JP2015210569A - 画像処理装置、情報共有装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、情報共有装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2015210569A JP2015210569A JP2014090213A JP2014090213A JP2015210569A JP 2015210569 A JP2015210569 A JP 2015210569A JP 2014090213 A JP2014090213 A JP 2014090213A JP 2014090213 A JP2014090213 A JP 2014090213A JP 2015210569 A JP2015210569 A JP 2015210569A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- image data
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2350/00—Solving problems of bandwidth in display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】送信側での画像処理の負荷を低減することを可能とする。【解決手段】電子黒板2は、通信ネットワーク9を介して画像データを送信する送信側の電子黒板2であって、画像データを入力する映像取得部21と、画像データを分割することにより、分割画像データを夫々に生成する画像分割部31aと、各分割画像データを保存するとともに、前記各分割画像データの保存先を表す位置データを出力する画像データ管理部830と、各分割画像データと画像データ管理部830から取得した各位置データを含む通知データを夫々に生成する通知データ生成部31bと、各通知データを他の電子黒板2に順次に送信する遠隔操作処理部83と、を備えることを特徴とする。【選択図】図4
Description
本発明は、送信側での画像処理の負荷を低減することが可能な画像処理装置、情報共有装置、画像処理方法、及びプログラムに関する。
液晶ディスプレイやプラズマディスプレイなどのフラットパネル装置や、プロジェクタ装置を用いた40インチ〜60インチ程度のサイズの大型のディスプレイ装置に、タッチパネルを搭載した、情報共有装置の一例として、いわゆる電子情報ボードが市場に提供されている。
ここで、図12を参照して、電子情報ボードの典型的な外観について説明する。
この電子情報ボード1000はパーソナルコンピュータ(以下、パソコン)1010a、1010bを接続することによって、接続したパソコンの画面に表示された画像よりも大きい画像1001を映すことができ、企業や行政機関の会議におけるプレゼンテーション等や、教育機関等で用いられている。電子情報ボードに搭載されたタッチパネル機能を用いて、表示中の画面に直接タッチすることで、タッチ操作をパソコンに入力してパソコンを操作することが可能になる。
ここで、図12を参照して、電子情報ボードの典型的な外観について説明する。
この電子情報ボード1000はパーソナルコンピュータ(以下、パソコン)1010a、1010bを接続することによって、接続したパソコンの画面に表示された画像よりも大きい画像1001を映すことができ、企業や行政機関の会議におけるプレゼンテーション等や、教育機関等で用いられている。電子情報ボードに搭載されたタッチパネル機能を用いて、表示中の画面に直接タッチすることで、タッチ操作をパソコンに入力してパソコンを操作することが可能になる。
電子情報ボードは、画面上に設けられたタッチパネル上に手書き文字などを描く機能、このアプリケーションソフトウエアを提供するパソコンの画面を電子情報ボードに取り込んで画面上に表示し、その画面上に設けられたタッチパネル上に手書き文字や図形を重畳して描く機能などがある。
また、電子情報ボードは、遠隔地から送信された画像データを画面に表示しておき、画面上の画像データに対して、描き込むことができる。このように、電子情報ボードを用いた遠隔会議では、送信側において表示した画面の画像データを受信側において同時進行で表示することで、通信ネットワークの通信帯域が低い環境でも、受信側に低画質ながらも変化した画面を素早く表示することができるという利点を有している。
特許文献1には、地図等の画像表示システムにおいて、画像のスクロールや拡大縮小を連続的に円滑に行う目的で、画像コンバータが、元画像データに基づいてピクセルサイズが段階的に異なる複数枚の副画像データを作成し、各副画像データを多数の小領域の断片画像データに分割して出力する技術が開示されている。こうして作成された多数の断片画像データのデータ群をネットワーク上の画像サーバに記憶させておき、クライアント側が元画像の所望部分を表示しようとするときに、その表示に必要な断片画像データを選択的に画像サーバからクライアント側へと伝送する。
特許文献2には、クライアント側からのデータ要求に応じて最適なデータを送信する目的で、サーバが、サーバ保持データ態様識別情報を格納したメッセージをクライアント側に送信し、クライアント側は、サーバ保持データ態様識別情報を受信し、クライアント側の処理能力等に応じた階層符号化データ態様を示す情報をサーバに送信する技術が開示されている。サーバは、要求データ態様識別情報に基づいて、当該クライアント側に対応した符号化データを抽出または生成してクライアント側に送信する。サーバは、記憶部の格納データから、クライアント側のデータ要求に応じたデータを抽出することにより様々な構成のデータを送信データとすることが可能となる。
特許文献2には、クライアント側からのデータ要求に応じて最適なデータを送信する目的で、サーバが、サーバ保持データ態様識別情報を格納したメッセージをクライアント側に送信し、クライアント側は、サーバ保持データ態様識別情報を受信し、クライアント側の処理能力等に応じた階層符号化データ態様を示す情報をサーバに送信する技術が開示されている。サーバは、要求データ態様識別情報に基づいて、当該クライアント側に対応した符号化データを抽出または生成してクライアント側に送信する。サーバは、記憶部の格納データから、クライアント側のデータ要求に応じたデータを抽出することにより様々な構成のデータを送信データとすることが可能となる。
しかしながら、特許文献1、2に開示される従来の画像処理装置は、画像の送信側が予め元画像を保存しておき、受信側の画像要求に応じて、元画像の画質や解像度とは異なる複数の部分画像を生成又は抽出した後に、生成後の複数の部分画像を夫々の受信側に送信する必要があり、受信側の画像処理装置の台数が増えるほど、送信側における画像生成又は画像抽出についての処理負荷が大きいといった問題があった。
本発明は、上記に鑑みてなされたもので、その目的としては、送信側での画像処理の負荷を低減することが可能な画像処理装置、情報共有装置、画像処理方法、及びプログラムを提供することにある。
本発明は、上記に鑑みてなされたもので、その目的としては、送信側での画像処理の負荷を低減することが可能な画像処理装置、情報共有装置、画像処理方法、及びプログラムを提供することにある。
請求項1記載の発明は、上記課題を解決するため、通信ネットワークを介して画像データを送信する送信側の画像処理装置であって、画像データを入力する画像入力手段と、前記画像データを分割することにより、分割画像データを夫々に生成する画像分割手段と、前記各分割画像データを保存するとともに、前記各分割画像データの保存先を表す位置データを出力する画像データ保存手段と、前記各分割画像データと前記画像データ保存手段から取得した前記各位置データを含む通知データを夫々に生成する通知データ生成手段と、前記各通知データを他の画像処理装置に順次に送信する送信手段と、を備えることを特徴とする。
本発明は、画像データを分割することにより、分割画像データを夫々に生成し、各分割画像データを保存するとともに、各分割画像データの保存先を表す位置データを出力し、各分割画像データと各分割画像データに関する各位置データを含む通知データを夫々に生成し、各通知データを他の画像処理装置に順次に送信することで、送信側での画像処理の負荷を低減することが可能なる。
本発明の実施形態を説明する。本発明は、遠隔会議を行う場合に、一拠点の画面画像を送信し、他拠点で該画面画像を表示処理する際に、以下の特徴を有する。要するに、送信側は受信側の状況に関わらず、高品質/高解像度のJPEG2000形式の画像を生成し、分割保存しておけばよく、受信側が自身の状況に応じて、通知データ内のURLから分割画像データを取得・合成し、プログレッシブに画像表示することが特徴になっている。
以下、本発明の実施形態について、図面を参照して説明する。
以下、本発明の実施形態について、図面を参照して説明する。
<第1実施形態>
<システムの概要>
図1は、本発明の第1実施形態に係る情報共有装置を備えた情報共有システムの全体構成図である。なお、本発明の実施形態に係る情報共有システムの一例として、通信ネットワークに接続された複数の電子黒板(画像処理装置)を用いることとする。
図1を参照して、本発明の第1実施形態に係る情報共有システムの構成について説明する。なお、図1では、説明を簡略化するために、2台の電子黒板2a、2b及びこれに付随する電子ペン4a、4b等を示しているが、3台以上の電子黒板や電子ペン等を利用してもよい。
図1に示すように、情報共有システム1は、第1乃至第3拠点に夫々配置された複数の機器を備えている。
第1拠点には、電子黒板2aと、電子ペン4aと、USBメモリ5aと、ノートPC(Personal Computer)6aと、テレビ(ビデオ)会議端末7aとを備えている。
第2拠点には、電子黒板2bと、電子ペン4bと、USBメモリ5bと、ノートPC(Personal Computer)6bと、テレビ(ビデオ)会議端末7bとを備えている。
第3拠点には、PC8を備えている。
<システムの概要>
図1は、本発明の第1実施形態に係る情報共有装置を備えた情報共有システムの全体構成図である。なお、本発明の実施形態に係る情報共有システムの一例として、通信ネットワークに接続された複数の電子黒板(画像処理装置)を用いることとする。
図1を参照して、本発明の第1実施形態に係る情報共有システムの構成について説明する。なお、図1では、説明を簡略化するために、2台の電子黒板2a、2b及びこれに付随する電子ペン4a、4b等を示しているが、3台以上の電子黒板や電子ペン等を利用してもよい。
図1に示すように、情報共有システム1は、第1乃至第3拠点に夫々配置された複数の機器を備えている。
第1拠点には、電子黒板2aと、電子ペン4aと、USBメモリ5aと、ノートPC(Personal Computer)6aと、テレビ(ビデオ)会議端末7aとを備えている。
第2拠点には、電子黒板2bと、電子ペン4bと、USBメモリ5bと、ノートPC(Personal Computer)6bと、テレビ(ビデオ)会議端末7bとを備えている。
第3拠点には、PC8を備えている。
電子黒板2a、2b、及びPC8は、通信ネットワーク9を介して通信可能に接続されている。また、電子黒板2a、2bには、夫々にディスプレイ3a、3bが設けられている。
また、ユーザが電子ペン4aを操作し、電子ペン4aのペン先、又は電子ペン4aのペン尻がディスプレイ3aにタッチすると、ディスプレイ3aはイベントを生成する。
電子黒板2aは、電子ペン4aによって生じたイベントにより描画された画像をディスプレイ3aに表示させる。なお、電子ペン4aに代わって、ユーザの手Ha等によって生じたイベントとして拡大、縮小、ページめくり等のジェスチャに基づいて、ディスプレイ3a上に表示されている画像を変更させることも可能である。
また、ユーザが電子ペン4aを操作し、電子ペン4aのペン先、又は電子ペン4aのペン尻がディスプレイ3aにタッチすると、ディスプレイ3aはイベントを生成する。
電子黒板2aは、電子ペン4aによって生じたイベントにより描画された画像をディスプレイ3aに表示させる。なお、電子ペン4aに代わって、ユーザの手Ha等によって生じたイベントとして拡大、縮小、ページめくり等のジェスチャに基づいて、ディスプレイ3a上に表示されている画像を変更させることも可能である。
また、電子黒板2aは、USBメモリ5aを接続した場合に、USBメモリ5aからPDF等の電子ファイルを読み出したり、USBメモリ5aに電子ファイルを記録したりする。
また、電子黒板2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の接続規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、電子黒板2aは、ユーザの操作によりディスプレイ3aに対する接触操作に応じてイベントを発生させ、このイベントを示すイベントデータを、マウスやキーボード等の入力装置のイベントと同様に、ノートPC6aに送信する。
さらに、電子黒板2aには、上記接続規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。
なお、ノートPC6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。
一方、電子黒板2bが設置されている第2拠点では、上記と同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等の操作に応じて電子黒板2aに生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
また、電子黒板2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の接続規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、電子黒板2aは、ユーザの操作によりディスプレイ3aに対する接触操作に応じてイベントを発生させ、このイベントを示すイベントデータを、マウスやキーボード等の入力装置のイベントと同様に、ノートPC6aに送信する。
さらに、電子黒板2aには、上記接続規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。
なお、ノートPC6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。
一方、電子黒板2bが設置されている第2拠点では、上記と同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等の操作に応じて電子黒板2aに生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
これにより、第1拠点に配置されている電子黒板2aのディスプレイ3a上に描画された画像は、第2拠点に配置されている電子黒板2bのディスプレイ3b上にも表示され、逆に第2拠点に配置されている電子黒板2bのディスプレイ3b上に描画された画像は、第1拠点に配置されている電子黒板2aのディスプレイ3a上に表示される。このように、情報共有システム1では、拠点が異なる2つの遠隔地において、同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に情報共有システム1を用いると、非常に便利である。
なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPCのうち任意のノートPCを示す場合には「ノードPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示すこととする。
なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPCのうち任意のノートPCを示す場合には「ノードPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示すこととする。
また、本実施形態では、画像処理装置の一例として、電子黒板を用いるが、本発明はこれに限定されるものではなく、画像処理装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は遠隔画像(映像)診断装置等であってもよい。
また、情報処理端末の一例として、ノートPC6を用いるが、これに限定されるものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。
更に、通信ネットワーク9には、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリ5を用いるが、これに限定されるものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。
また、情報処理端末の一例として、ノートPC6を用いるが、これに限定されるものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。
更に、通信ネットワーク9には、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリ5を用いるが、これに限定されるものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。
<電子黒板のハードウェア構成>
続いて、図2を参照して、本実施形態の電子黒板のハードウェア構成を説明する。なお、図2は、図1に示す電子黒板のハードウェア構成を示すブロック図である。
図2に示すように、電子黒板2は、電子黒板2全体の動作を制御するCPU101と、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102と、CPU101のワークエリアとして使用されるRAM103と、電子黒板2用のプログラム等の各種データを記憶するSSD204と、通信ネットワーク9との通信を制御するネットワークコントローラ105と、USBメモリ5との通信を制御する外部記憶コントローラ106とを備えている。
また、電子黒板2は、ノートPC6からJPEG2000形式にフォーマットされた映像情報を静止画または動画として取得するキャプチャデバイス111と、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112と、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ105とを備えている。
続いて、図2を参照して、本実施形態の電子黒板のハードウェア構成を説明する。なお、図2は、図1に示す電子黒板のハードウェア構成を示すブロック図である。
図2に示すように、電子黒板2は、電子黒板2全体の動作を制御するCPU101と、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102と、CPU101のワークエリアとして使用されるRAM103と、電子黒板2用のプログラム等の各種データを記憶するSSD204と、通信ネットワーク9との通信を制御するネットワークコントローラ105と、USBメモリ5との通信を制御する外部記憶コントローラ106とを備えている。
また、電子黒板2は、ノートPC6からJPEG2000形式にフォーマットされた映像情報を静止画または動画として取得するキャプチャデバイス111と、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112と、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ105とを備えている。
更に、電子黒板2は、接触センサ115の処理を制御するセンサコントローラ114と、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115とを備えている。この接触センサ115は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置(図示しない)が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって同一光路上に反射する光を受光する方法である。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全てのIDは、識別情報の一例である。
また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
また、電子黒板2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
更に、電子黒板2は、図2に示すように、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、及びセンサコントローラ114を電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
なお、電子黒板2に用いるプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体に記録してもよい。
更に、電子黒板2は、図2に示すように、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、及びセンサコントローラ114を電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
なお、電子黒板2に用いるプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体に記録してもよい。
<電子黒板の機能構成>
次に、図3乃至図5を参照して、電子黒板の機能構成について説明する。先ず、図3を参照して、電子黒板2の全体的な機能構成について説明する。
図3は、図1に示す電子黒板の機能ブロック図である。
電子黒板2は、図2に示すハードウェア構成において、CPU10がROM102から読み出したプログラムを実行することにより、図3に示す各機能構成を実現する。電子黒板2は、大別して、クライアント機20及びサーバ機90の両方によって構成されている。即ち、電子黒板2の1台の筐体内に、クライアント機20及びサーバ機90が含まれている。
次に、図3乃至図5を参照して、電子黒板の機能構成について説明する。先ず、図3を参照して、電子黒板2の全体的な機能構成について説明する。
図3は、図1に示す電子黒板の機能ブロック図である。
電子黒板2は、図2に示すハードウェア構成において、CPU10がROM102から読み出したプログラムを実行することにより、図3に示す各機能構成を実現する。電子黒板2は、大別して、クライアント機20及びサーバ機90の両方によって構成されている。即ち、電子黒板2の1台の筐体内に、クライアント機20及びサーバ機90が含まれている。
<クライアント機20の機能構成>
ここで、主に図3乃至図5を参照して、クライアント機20の機能構成について説明する。
クライアント機20は、映像取得部21と、座標検知部22と、自動調整部23と、接触検知部24と、イベント処理部25と、操作処理部26と、ジェスチャ処理部27と、映像合成部28と、画像処理部30と、通信制御部60とを備えている。
映像取得部21は、ケーブル10に接続されたノートPC6等の映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器(ノートPC6等)から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像データを導出し、画像取得部31に出力する。
座標検知部22は、ディスプレイ3上でユーザによるタッチ操作によって生じたイベントの座標位置を検知する。また、座標検知部22は、このタッチ操作における接触面積も検知する。
自動調整部23は、電子黒板2の起動時に実行し、座標検知部22の調整を自動で行う。
接触検知部24は、ユーザによるタッチ操作によって生じたイベント(ディスプレイ3に電子ペン4のペン先がタッチ、又は、電子ペン3のペン尻がタッチ)を検知する。
ここで、主に図3乃至図5を参照して、クライアント機20の機能構成について説明する。
クライアント機20は、映像取得部21と、座標検知部22と、自動調整部23と、接触検知部24と、イベント処理部25と、操作処理部26と、ジェスチャ処理部27と、映像合成部28と、画像処理部30と、通信制御部60とを備えている。
映像取得部21は、ケーブル10に接続されたノートPC6等の映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器(ノートPC6等)から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像データを導出し、画像取得部31に出力する。
座標検知部22は、ディスプレイ3上でユーザによるタッチ操作によって生じたイベントの座標位置を検知する。また、座標検知部22は、このタッチ操作における接触面積も検知する。
自動調整部23は、電子黒板2の起動時に実行し、座標検知部22の調整を自動で行う。
接触検知部24は、ユーザによるタッチ操作によって生じたイベント(ディスプレイ3に電子ペン4のペン先がタッチ、又は、電子ペン3のペン尻がタッチ)を検知する。
イベント処理部25は、座標検知部22によって検知されたイベントの座標位置と、接触検知部24によって検知された検知結果に基づいて、ストローク描画、UI操作、及びジェスチャ操作に振り分ける。ここで、ストローク描画は、ユーザによる電子ペン4や手Hによる描画である。UI操作は、ユーザによるUI画像(後述のUI画像(A))の操作であり、例えば、電子ペン4により描画される線の色や幅等を設定するための操作である。ジェスチャ操作は、ユーザによるジェスチャの操作であり、例えば、ユーザがディスプレイ3に手Hを接触させた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うための操作である。
操作処理部26は、イベント処理部25によってUI操作と判断されたものから、イベントが発生されたUIの要素に従って、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント処理部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
操作処理部26は、イベント処理部25によってUI操作と判断されたものから、イベントが発生されたUIの要素に従って、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント処理部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
画像処理部30は、図5に示すような各画像レイヤの合成処理等を行う。この画像処理部30は、画像取得部31と、ストローク処理部32と、UI画像生成部33と、背景生成部34と、レイアウト管理部35と、表示合成部36と、ページ処理部37と、ファイル処理部40と、ページデータ記憶部300と、遠隔ライセンス管理テーブル310とを備えている。
画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。この画像は、図5に示す映像出力機器(ノートPC6等)から出力される出力画像(C)に相当する。
また、画像取得部31は、画像分割部31aと、通知データ生成部31bとを備えている。
画像分割部31aは、画像データを分割することにより、分割画像データを夫々に生成し、各分割画像データを画像データ管理部830に保存するとともに、各分割画像データの保存先を表す位置データを出力する。
通知データ生成部31bは、各分割画像データと画像データ管理部830から取得した各位置データを含む通知データを夫々に生成する。
図3に示すストローク処理部32は、イベント処理部25によって、電子ペン4のペン先のタッチ、ペン尻のタッチ、ユーザの手Hによるタッチなどストローク等に基づいて画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストロークによって描画された画像は、図5に示すストローク画像(B)に相当する。また、このストローク等に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部840に記憶される。
画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。この画像は、図5に示す映像出力機器(ノートPC6等)から出力される出力画像(C)に相当する。
また、画像取得部31は、画像分割部31aと、通知データ生成部31bとを備えている。
画像分割部31aは、画像データを分割することにより、分割画像データを夫々に生成し、各分割画像データを画像データ管理部830に保存するとともに、各分割画像データの保存先を表す位置データを出力する。
通知データ生成部31bは、各分割画像データと画像データ管理部830から取得した各位置データを含む通知データを夫々に生成する。
図3に示すストローク処理部32は、イベント処理部25によって、電子ペン4のペン先のタッチ、ペン尻のタッチ、ユーザの手Hによるタッチなどストローク等に基づいて画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストロークによって描画された画像は、図5に示すストローク画像(B)に相当する。また、このストローク等に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部840に記憶される。
UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図5に示すUI画像(A)に相当する。
背景生成部34は、ディスプレイ3上に表示される背景画像を生成する。
この背景画像は、図5に示す背景画像(D)に相当する。背景画像のパターンは、無地、グリッド表示等である。レイアウト管理部35は、表示合成部36に対して、画像取得部31、ストローク処理部32、UI画像生成部33、及び背景生成部34から出力された各画像のレイアウトを示すレイアウトデータを管理している。これにより、レイアウト管理部35は、表示合成部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示合成部36は、レイアウト管理部35から出力されたレイアウトデータに基づき、画像取得部31、ストローク処理部32、UI画像生成部33、及び背景生成部34から出力された各画像のレイアウトを行う。
背景生成部34は、ディスプレイ3上に表示される背景画像を生成する。
この背景画像は、図5に示す背景画像(D)に相当する。背景画像のパターンは、無地、グリッド表示等である。レイアウト管理部35は、表示合成部36に対して、画像取得部31、ストローク処理部32、UI画像生成部33、及び背景生成部34から出力された各画像のレイアウトを示すレイアウトデータを管理している。これにより、レイアウト管理部35は、表示合成部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示合成部36は、レイアウト管理部35から出力されたレイアウトデータに基づき、画像取得部31、ストローク処理部32、UI画像生成部33、及び背景生成部34から出力された各画像のレイアウトを行う。
ページ処理部37は、背景画像(D)とストロークによる画像(B)を、1ページとして記録する。また、ページ処理部37は、記録したページを再表示し、ストロークの再編集を行う。更に、ページ処理部37は、ページを削除したり複製したりする。
表示合成部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトに従って合成する。これにより、図5に示すように、各画像が重なってもユーザが目視可能な順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイアの構成となっている。また、表示合成部36は、図5に示す出力画像(C)と背景画像(D)を切り替えて合成することも可能である。例えば、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、描画(C)を合成対象から外すことができる。また、表示合成部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
表示合成部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトに従って合成する。これにより、図5に示すように、各画像が重なってもユーザが目視可能な順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイアの構成となっている。また、表示合成部36は、図5に示す出力画像(C)と背景画像(D)を切り替えて合成することも可能である。例えば、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、描画(C)を合成対象から外すことができる。また、表示合成部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
映像合成部28は、表示合成部36で合成された画像を映像として映像出力機器(ノートPC6等)に対して表示する。また、映像合成部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像を合成することによりピクチャ・イン・ピクチャする。更に、映像合成部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。
映像合成部28は、サーバ機90における遠隔画像処理部82及び遠隔画像受付部74、並びにクライアント機20における遠隔画像要求部64及び表示合成部36を介して送られて来た画像データ(出力画像(C))をディスプレイ3に表示させる。
このように、送信側と受信側を一体にした構成の電子黒板2を提供することができる。
映像合成部28は、サーバ機90における遠隔画像処理部82及び遠隔画像受付部74、並びにクライアント機20における遠隔画像要求部64及び表示合成部36を介して送られて来た画像データ(出力画像(C))をディスプレイ3に表示させる。
このように、送信側と受信側を一体にした構成の電子黒板2を提供することができる。
<通信制御部60の機能構成>
次に、図4を参照して、通信制御部60の機能構成について説明する。
通信制御部60は、通信ネットワーク9を介して、他の拠点に設けられた電子黒板2と行う通信や、サーバ機90における後述の通信制御部70との間で行われる通信を制御する。そのため、通信制御部60は、遠隔開始処理部61と、遠隔参加処理部62と、遠隔画像送信部63と、遠隔画像要求部64、遠隔操作送信部65と、遠隔操作受信部66と、参加拠点管理テーブル610とを有している。
このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ機90に対して、新たに遠隔共有処理を開始する要求を行い、サーバ機90から要求の結果を受信する。この場合、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照し、ライセンスデータ(プロダクトID、ライセンスID、及び有効期限)が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンスデータが管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
次に、図4を参照して、通信制御部60の機能構成について説明する。
通信制御部60は、通信ネットワーク9を介して、他の拠点に設けられた電子黒板2と行う通信や、サーバ機90における後述の通信制御部70との間で行われる通信を制御する。そのため、通信制御部60は、遠隔開始処理部61と、遠隔参加処理部62と、遠隔画像送信部63と、遠隔画像要求部64、遠隔操作送信部65と、遠隔操作受信部66と、参加拠点管理テーブル610とを有している。
このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ機90に対して、新たに遠隔共有処理を開始する要求を行い、サーバ機90から要求の結果を受信する。この場合、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照し、ライセンスデータ(プロダクトID、ライセンスID、及び有効期限)が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンスデータが管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置としての電子黒板2のサーバ機90における遠隔接続要求受信部71に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル440を参照して、参加先の電子黒板2のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブルが参照されず、ユーザによって参加先の電子黒板2のIPアドレスが入力されてもよい。
遠隔画像送信部63は、映像取得部21から画像取得部31を介して送られて来た出力画像(C)を、サーバ機90に送信する。
遠隔画像要求部64は、サーバ機90から、他の電子黒板2に接続された映像出力機器からの画像データを受信し、表示合成部36に出力することで、遠隔共有処理を可能にする。
遠隔操作送信部65は、遠隔共有処理に必要な各種操作データをサーバ機90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部66は、サーバ機90から、他の電子黒板2で入力された操作データを受信し、画像処理部30に出力することで、遠隔共有処理を行う。
遠隔画像送信部63は、映像取得部21から画像取得部31を介して送られて来た出力画像(C)を、サーバ機90に送信する。
遠隔画像要求部64は、サーバ機90から、他の電子黒板2に接続された映像出力機器からの画像データを受信し、表示合成部36に出力することで、遠隔共有処理を可能にする。
遠隔操作送信部65は、遠隔共有処理に必要な各種操作データをサーバ機90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部66は、サーバ機90から、他の電子黒板2で入力された操作データを受信し、画像処理部30に出力することで、遠隔共有処理を行う。
<サーバ機90の機能構成>
続いて、図4を参照して、サーバ機90の機能構成について説明する。サーバ機90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ機としての役割を果たすことができる。そのため、サーバ機90は、通信制御部70と、データ管理部80とを備えている。
続いて、図4を参照して、サーバ機90の機能構成について説明する。サーバ機90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ機としての役割を果たすことができる。そのため、サーバ機90は、通信制御部70と、データ管理部80とを備えている。
<通信制御部70の機能構成>
次に、図4を参照して、通信制御部70の機能構成について説明する。
通信制御部70は、同じ電子黒板2内のクライアント機20における通信制御部70、及び通信ネットワーク9を介して他の電子黒板2内のクライアント機20における通信制御部70との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
更に詳細に説明すると、通信制御部70は、遠隔接続要求受信部71と、遠隔接続結果送信部72と、遠隔画像受信部73と、遠隔画像受付部74と、遠隔操作受信部75と、遠隔操作送信部76とを備えている。
このうち、遠隔接続要求受信部71は、遠隔開始処理部61からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部62からの遠隔共有処理に対する参加要求を受信したりする。
遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部62へ遠隔共有処理に対する参加要求の結果を送信したりする。
遠隔画像受信部73は、遠隔画像送信部63からの画像データ(出力画像(C)のデータ)を受信し、後述の遠隔画像処理部82に送信する。
遠隔画像受付部74は、遠隔画像処理部82から画像データを受信して受け付け、遠隔画像要求部64に対して、この画像データを送信する。
遠隔操作受信部75は、遠隔操作送信部65からの操作データ(ストローク画像(B)等のデータ)を受信し、後述の遠隔操作処理部83に送信する。
遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、この操作データを送信する。
次に、図4を参照して、通信制御部70の機能構成について説明する。
通信制御部70は、同じ電子黒板2内のクライアント機20における通信制御部70、及び通信ネットワーク9を介して他の電子黒板2内のクライアント機20における通信制御部70との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
更に詳細に説明すると、通信制御部70は、遠隔接続要求受信部71と、遠隔接続結果送信部72と、遠隔画像受信部73と、遠隔画像受付部74と、遠隔操作受信部75と、遠隔操作送信部76とを備えている。
このうち、遠隔接続要求受信部71は、遠隔開始処理部61からの遠隔共有処理の開始要求を受信したり、遠隔参加処理部62からの遠隔共有処理に対する参加要求を受信したりする。
遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求の結果を送信したり、遠隔参加処理部62へ遠隔共有処理に対する参加要求の結果を送信したりする。
遠隔画像受信部73は、遠隔画像送信部63からの画像データ(出力画像(C)のデータ)を受信し、後述の遠隔画像処理部82に送信する。
遠隔画像受付部74は、遠隔画像処理部82から画像データを受信して受け付け、遠隔画像要求部64に対して、この画像データを送信する。
遠隔操作受信部75は、遠隔操作送信部65からの操作データ(ストローク画像(B)等のデータ)を受信し、後述の遠隔操作処理部83に送信する。
遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、この操作データを送信する。
<データ管理部80の機能構成>
次に、図4を参照して、データ管理部80の機能構成について説明する。
データ管理部80は、遠隔接続処理部81と、遠隔画像処理部82と、遠隔操作処理部83と、操作合成処理部84と、ページ処理部85とを備えている。更に、サーバ機90は、パスコード管理部810と、参加拠点管理テーブル820と、画像データ管理部830と、操作データ記憶部840と、ページデータ記憶部850とを備えている。
このうち、遠隔接続処理部81は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンスデータ、又は、遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンスデータに基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部81は、クライアント機として他の拠点に設けられた電子黒板2からの参加要求が予め定められた参加可能数を超えていないかを確認する。
更に、遠隔接続処理部81は、他の拠点に存在する電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、主催装置としての電子黒板2のユーザから、電話機や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、この電子黒板2にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。
次に、図4を参照して、データ管理部80の機能構成について説明する。
データ管理部80は、遠隔接続処理部81と、遠隔画像処理部82と、遠隔操作処理部83と、操作合成処理部84と、ページ処理部85とを備えている。更に、サーバ機90は、パスコード管理部810と、参加拠点管理テーブル820と、画像データ管理部830と、操作データ記憶部840と、ページデータ記憶部850とを備えている。
このうち、遠隔接続処理部81は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンスデータ、又は、遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンスデータに基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部81は、クライアント機として他の拠点に設けられた電子黒板2からの参加要求が予め定められた参加可能数を超えていないかを確認する。
更に、遠隔接続処理部81は、他の拠点に存在する電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、主催装置としての電子黒板2のユーザから、電話機や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、この電子黒板2にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。
また、遠隔接続処理部81は、他の拠点に存在する参加装置としての電子黒板2の遠隔参加処理部62から通信ネットワーク9を介して送られて来た参加要求に含まれる参加拠点データを、サーバ機90の参加拠点管理テーブル820に記憶する。これにより、主催装置としての電子黒板2では、クライアント機20及びサーバ機90の両方で、同じ内容の参加拠点管理テーブルを管理することになる。
更に、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点データを読み出し、通信ネットワーク9を介してサーバ機としての電子黒板2の遠隔開始処理部61に送る。
更に、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点データを読み出し、通信ネットワーク9を介してサーバ機としての電子黒板2の遠隔開始処理部61に送る。
遠隔画像処理部82は、遠隔共有処理中の各電子黒板2のクライアント機(開催装置である自己の電子黒板のクライアント機を含む)に接続された映像出力機器(ノードPC6等)からの分割された画像データ(出力画像(C))をそれぞれ受信する。クライアント機20は映像出力機器で取得された画像データを分割して、サーバ機90に送信する。
なお、JPEG2000規格では、符号順序制御に関して、解像度レベル、プリシンクト(position)、レイヤ、コンポーネント(色成分)の組み合わせによる5種類のプログレッション順序が定義されている。
その中で、代表的なものにLRCP(Layer-Resolutionlevel-Component-Positionprogression)と、RLCP(Resolutionlevel-Layer-Component-Positionprogression)がある。
LRCP符号化データ列は、符号化データ列を順次復号することで、解像度を一定にし、画質を徐々に向上させていくプログレッション復号が可能となる。一方、RLCPは、画質を均一に保って解像度を徐々に拡大させるプログレッション復号が可能となる。
本実施形態におけるデータ通信では、例えば上述のLRCPまたはRLCPに対応する符号列でウェーブレット変換データを保持する。サーバがLRCPまたはRLCPのいずれのデータを保持しているかについての情報、およびその他の符号化データに関する符号化処理態様情報について、符号化データの送信以前にサーバクライアント間で実行する制御情報伝送処理、すなわちRTSP(Real-timeStreamingProtocol)による情報交換の際に、クライアント側に通知する処理を実行する。
なお、JPEG2000規格では、符号順序制御に関して、解像度レベル、プリシンクト(position)、レイヤ、コンポーネント(色成分)の組み合わせによる5種類のプログレッション順序が定義されている。
その中で、代表的なものにLRCP(Layer-Resolutionlevel-Component-Positionprogression)と、RLCP(Resolutionlevel-Layer-Component-Positionprogression)がある。
LRCP符号化データ列は、符号化データ列を順次復号することで、解像度を一定にし、画質を徐々に向上させていくプログレッション復号が可能となる。一方、RLCPは、画質を均一に保って解像度を徐々に拡大させるプログレッション復号が可能となる。
本実施形態におけるデータ通信では、例えば上述のLRCPまたはRLCPに対応する符号列でウェーブレット変換データを保持する。サーバがLRCPまたはRLCPのいずれのデータを保持しているかについての情報、およびその他の符号化データに関する符号化処理態様情報について、符号化データの送信以前にサーバクライアント間で実行する制御情報伝送処理、すなわちRTSP(Real-timeStreamingProtocol)による情報交換の際に、クライアント側に通知する処理を実行する。
ここで、分割は分割サイズごと、またはJPEG2000のレイヤごとや、解像度ごとに分割してもよい。分割サイズを用いて分割する場合は、例えば10KB単位になるように分割してもよく、またユーザの選択する転送モードによって分割サイズを変更してもよい。
例えば、拠点間の通信帯域として、高帯域モード(≧1Mbps)が選択されたとき分割サイズを100KBごと、中帯域モード(500kbps≦S<1Mbps)が選択されたとき分割サイズを50KBごと、低帯域モード(200kbps≦S<500kbps)が選択されたとき分割サイズを25KBごと、超低帯域モード(≦S<200kbps)が選択されたとき分割サイズを10KBとしてもよい。
JPEG2000の場合、画面全体の粗い情報から段々時により細かい情報となり、8×8画素単位のブロックまで分割することが可能なため、指定された分割サイズで収まる範囲のブロック数の画像データを分割画像データとし、それらのブロックの配置位置を位置データとすればよい。
また、遠隔画像処理部82は、クライアント機20の遠隔画像要求部64からの要求に従って、通信制御部70(遠隔画像受付部74)を介して、前記要求に含まれる位置データに対応する画像データを応答する。ここで、位置データはURL(RFC1738)で良く、分割されたデータが保存されている場所を表している。さらに、位置データは、JPEG2000のプレシンクト(画像ファイル内の画像データのアドレス)を表している。
例えば、拠点間の通信帯域として、高帯域モード(≧1Mbps)が選択されたとき分割サイズを100KBごと、中帯域モード(500kbps≦S<1Mbps)が選択されたとき分割サイズを50KBごと、低帯域モード(200kbps≦S<500kbps)が選択されたとき分割サイズを25KBごと、超低帯域モード(≦S<200kbps)が選択されたとき分割サイズを10KBとしてもよい。
JPEG2000の場合、画面全体の粗い情報から段々時により細かい情報となり、8×8画素単位のブロックまで分割することが可能なため、指定された分割サイズで収まる範囲のブロック数の画像データを分割画像データとし、それらのブロックの配置位置を位置データとすればよい。
また、遠隔画像処理部82は、クライアント機20の遠隔画像要求部64からの要求に従って、通信制御部70(遠隔画像受付部74)を介して、前記要求に含まれる位置データに対応する画像データを応答する。ここで、位置データはURL(RFC1738)で良く、分割されたデータが保存されている場所を表している。さらに、位置データは、JPEG2000のプレシンクト(画像ファイル内の画像データのアドレス)を表している。
遠隔操作処理部83は、遠隔共有処理中の各電子黒板2のクライアント機(開催装置である自己の電子黒板のクライアント機を含む)で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を受信し、開催装置である自己の電子黒板2のサーバ機90に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。
なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント機20(開催装置である自己の電子黒板のクライアント機を含む)に操作データを送信する。また、遠隔操作処理部83は、クライアント機20から、画像データの保存完了を表す通知データを受信し、ストロークと同様に他のクライアント機20に送信する。ここで、送受信するデータのフォーマットはJSON形式で記述してよく、XMLでもよい。
なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント機20(開催装置である自己の電子黒板のクライアント機を含む)に操作データを送信する。また、遠隔操作処理部83は、クライアント機20から、画像データの保存完了を表す通知データを受信し、ストロークと同様に他のクライアント機20に送信する。ここで、送受信するデータのフォーマットはJSON形式で記述してよく、XMLでもよい。
ここで、図6を参照して、画像データの通知データの一例について説明する。
図6において、to、from、originはそれぞれ宛先データ、送信元データ、生成元データを含み、これらは、UUID(RFC4122)、IPアドレス、URI(RFC2396)、URL(RFC1738)、XMPP Address(RFC6122)であってもよい。
typeはデータ種別を表し、strokeの場合はストロークデータを表し、mediaの場合は画像の通知データを表す。sequenceはメッセージを一意に識別するシーケンス番号である。Referencesは参照するシーケンス番号を表す。methodはadd、remove、updateを含み、addは追加(描画)、removeは削除、updateは更新を表す。idはストロークデータのIDを表す。
pointsはストロークデータの座標列を表す。urlは画像の分割ファイルの位置データ(URL)を表す。parentは親要素(ページ)のIDを表す。
図6において、to、from、originはそれぞれ宛先データ、送信元データ、生成元データを含み、これらは、UUID(RFC4122)、IPアドレス、URI(RFC2396)、URL(RFC1738)、XMPP Address(RFC6122)であってもよい。
typeはデータ種別を表し、strokeの場合はストロークデータを表し、mediaの場合は画像の通知データを表す。sequenceはメッセージを一意に識別するシーケンス番号である。Referencesは参照するシーケンス番号を表す。methodはadd、remove、updateを含み、addは追加(描画)、removeは削除、updateは更新を表す。idはストロークデータのIDを表す。
pointsはストロークデータの座標列を表す。urlは画像の分割ファイルの位置データ(URL)を表す。parentは親要素(ページ)のIDを表す。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、この合成結果としての操作データを、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。この操作データは、遠隔操作送信部76から、主催装置である電子黒板のクライアント機、及び参加装置である電子黒板のクライアント機のそれぞれに送信されることで、各電子黒板2で同じ操作データに係る画像が表示される。
なお、操作合成処理部84は、この操作合成処理部84に操作データが入力された順に合成を行うため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストローク順に、遠隔共有処理中の全ての拠点に設けられた電子黒板2のディスプレイ3にストローク画像(B)が表示される。
ページ処理部85は、クライアント機20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ機90でも、上述したページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容であるため、その説明を省略する。
なお、操作合成処理部84は、この操作合成処理部84に操作データが入力された順に合成を行うため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストローク順に、遠隔共有処理中の全ての拠点に設けられた電子黒板2のディスプレイ3にストローク画像(B)が表示される。
ページ処理部85は、クライアント機20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ機90でも、上述したページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容であるため、その説明を省略する。
次に、図7、図8を参照して、本発明の実施形態に係る画像処理装置の一例である電子黒板2の動作手順を説明する。図7は電子黒板2が画像送信側となる場合の第1動作手順を表すフローチャートである。図8は電子黒板2が画像受信側となる場合の第2動作手順を表すフローチャートである。
図7に示す第1動作手順において、通知データ生成部31bは通知データ(図6参照)に関するシーケンス番号Sに1を代入して初期化する(S1)。次いで、映像取得部21ではノートPC6から画像入力の有無を検出した後に(S2)、ノートPC6から画像入力がある場合にステップS3に進む。
ノートPC6から画像入力がある場合に、画像取得部31はJPEG2000形式の順序に従って画像データ(出力画像(C))を取得し、画像データをRAM103に記憶する(S3)。
その後、画像取得部31はRAM103から画像データをビデオレートで読み出して表示合成部36に出力し、さらに、表示合成部36を介して映像合成部28から画面をディスプレイ3に表示する(S4)。
図7に示す第1動作手順において、通知データ生成部31bは通知データ(図6参照)に関するシーケンス番号Sに1を代入して初期化する(S1)。次いで、映像取得部21ではノートPC6から画像入力の有無を検出した後に(S2)、ノートPC6から画像入力がある場合にステップS3に進む。
ノートPC6から画像入力がある場合に、画像取得部31はJPEG2000形式の順序に従って画像データ(出力画像(C))を取得し、画像データをRAM103に記憶する(S3)。
その後、画像取得部31はRAM103から画像データをビデオレートで読み出して表示合成部36に出力し、さらに、表示合成部36を介して映像合成部28から画面をディスプレイ3に表示する(S4)。
この表示の後に、画像分割部31aはRAM103上に記憶された画像データ(出力画像(C))をN分割し、分割画像リストLを初期化する(S5)。なお、分割画像リストLは、データを記憶するためのデータテーブルを有し、以降の処理において、分割画像データに対応する位置データが記載される。
ここで、画像分割部31aは、分割数Nについて、画像データのファイルサイズ(FileSize)[KB]、分割サイズを10KBとし、式(1)に従って算出しても良い。
N=FileSize/10 ・・・(1)
ステップS5では、画像分割部31aは、画像データ(出力画像(C))をN分割し、分割画像データを含む分割画像ファイルを夫々に生成し、分割画像リストLに記憶する。
ここで、JPEG2000の画像データを分割対象とする場合、画像データは画面全体の粗い情報から段々時により細かい情報となるため、レイヤ毎にブロックの境界位置で分割して分割サイズで収まる範囲のブロック数の画像データを分割画像データとし、分割画像ファイル内の分割画像データのアドレスを位置データとすればよい。
また、JPEG2000の画像データを解像度ごとに分割する場合、解像度レベルのブロックの境界位置を分割サイズで収まる範囲のブロック数の画像データを分割画像データとし、分割画像ファイル内の分割画像データのアドレスを位置データとすればよい。
このように、JPEG2000規格に従った画像フレームに含まれるブロック単位の画像データを利用して分割画像データを容易に生成することができ、送信側の処理負担を低減することができる。
ここで、画像分割部31aは、分割数Nについて、画像データのファイルサイズ(FileSize)[KB]、分割サイズを10KBとし、式(1)に従って算出しても良い。
N=FileSize/10 ・・・(1)
ステップS5では、画像分割部31aは、画像データ(出力画像(C))をN分割し、分割画像データを含む分割画像ファイルを夫々に生成し、分割画像リストLに記憶する。
ここで、JPEG2000の画像データを分割対象とする場合、画像データは画面全体の粗い情報から段々時により細かい情報となるため、レイヤ毎にブロックの境界位置で分割して分割サイズで収まる範囲のブロック数の画像データを分割画像データとし、分割画像ファイル内の分割画像データのアドレスを位置データとすればよい。
また、JPEG2000の画像データを解像度ごとに分割する場合、解像度レベルのブロックの境界位置を分割サイズで収まる範囲のブロック数の画像データを分割画像データとし、分割画像ファイル内の分割画像データのアドレスを位置データとすればよい。
このように、JPEG2000規格に従った画像フレームに含まれるブロック単位の画像データを利用して分割画像データを容易に生成することができ、送信側の処理負担を低減することができる。
その後、画像分割部31aは、画像データインデックスiがN未満(処理途中か否か)かどうかを判別する(S6)。
画像分割部31aは、画像データインデックスiがN未満である場合(S6、Yes)に、処理途中であるため、ステップS7aでは、画像データインデックスiに対応する分割画像データを、遠隔画像送信部63、遠隔画像受信部73を介して遠隔画像処理部82に転送する。
サーバ機90の遠隔画像処理部82では、画像分割部31aから受信した分割画像データを画像データ管理部830に保存する。このとき、遠隔画像処理部82は、分割画像データの保存先である画像データ管理部830上の保存先のURL(位置データ)を抽出し、この保存先URL(位置データ)を遠隔画像受信部73、遠隔画像送信部63を介して画像取得部31に返信する。
次いで、画像分割部31aは分割画像リストLに保存先URL(位置データ)を追加し、画像データインデックスiをインクリメント(i=i+1)する。
この結果、分割画像リストLには、分割画像データに対応する位置データがN組記載される。次いで、ステップS6に戻る。
画像分割部31aは、画像データインデックスiがN未満である場合(S6、Yes)に、処理途中であるため、ステップS7aでは、画像データインデックスiに対応する分割画像データを、遠隔画像送信部63、遠隔画像受信部73を介して遠隔画像処理部82に転送する。
サーバ機90の遠隔画像処理部82では、画像分割部31aから受信した分割画像データを画像データ管理部830に保存する。このとき、遠隔画像処理部82は、分割画像データの保存先である画像データ管理部830上の保存先のURL(位置データ)を抽出し、この保存先URL(位置データ)を遠隔画像受信部73、遠隔画像送信部63を介して画像取得部31に返信する。
次いで、画像分割部31aは分割画像リストLに保存先URL(位置データ)を追加し、画像データインデックスiをインクリメント(i=i+1)する。
この結果、分割画像リストLには、分割画像データに対応する位置データがN組記載される。次いで、ステップS6に戻る。
一方、画像分割部31aは、画像データインデックスiがNを超えている場合(S6、No)は、通知データ生成部31bに、通知データに分割画像リストLの内容を保存させ、通知データにシーケンス番号Sを付加した後に、シーケンス番号Sをインクリメント(S=S+1)する(S7b)。
その後、遠隔操作処理部83を介して通知データをシーケンス番号1から順に送信する(S8)。このとき、遠隔操作処理部83は、1つの分割画像データに対して1つの通知データを送信する。通知データには、分割画像データ、分割画像データの保存先URL(位置データ)、分割画像データが付加された分割画像リストL、画像データに一意に与えられたシーケンス番号Sが含まれている。なお、表1は通知データの構成を示す表である。
その後、遠隔操作処理部83を介して通知データをシーケンス番号1から順に送信する(S8)。このとき、遠隔操作処理部83は、1つの分割画像データに対して1つの通知データを送信する。通知データには、分割画像データ、分割画像データの保存先URL(位置データ)、分割画像データが付加された分割画像リストL、画像データに一意に与えられたシーケンス番号Sが含まれている。なお、表1は通知データの構成を示す表である。
これにより、送信側での画像処理の負荷を低減することが可能なる。
図8を参照して、本発明の実施形態に係る画像処理装置の一例である電子黒板2a、2b間の伝送手順について説明する。
図7に示すように、ノートPC6から出力された画像データは、電子黒板2aに設けられた画像取得部31に転送され(Se1)、さらに、画像取得部31はこの画像データをRAM103に記憶する(Se2)。
次いで、画像分割部31aは、RAM103に記憶した画像データをN分割するため、画像データのうちの分割領域分の画像データを分割画像データとして読み出し(Se3、Se4)、分割画像データを分割の都度に画像データ管理部830に転送する(Se5)。ここで、画像分割部31aでは、手順Se3〜Se5を繰り返すことで、N分割した全ての分割画像データの転送を終了する。
次いで、遠隔操作処理部83は、画像データ管理部830から通知データ1を読み出し(Se6)、通知データ内のシーケンス番号1から順に通信ネットワーク9を介して電子黒板2bに送信する(Se7)。ここで、遠隔操作処理部83では、手順Se6〜Se7を繰り返すことで、N分割した各分割画像データが含まれる各通知データの転送を終了する。
図7に示すように、ノートPC6から出力された画像データは、電子黒板2aに設けられた画像取得部31に転送され(Se1)、さらに、画像取得部31はこの画像データをRAM103に記憶する(Se2)。
次いで、画像分割部31aは、RAM103に記憶した画像データをN分割するため、画像データのうちの分割領域分の画像データを分割画像データとして読み出し(Se3、Se4)、分割画像データを分割の都度に画像データ管理部830に転送する(Se5)。ここで、画像分割部31aでは、手順Se3〜Se5を繰り返すことで、N分割した全ての分割画像データの転送を終了する。
次いで、遠隔操作処理部83は、画像データ管理部830から通知データ1を読み出し(Se6)、通知データ内のシーケンス番号1から順に通信ネットワーク9を介して電子黒板2bに送信する(Se7)。ここで、遠隔操作処理部83では、手順Se6〜Se7を繰り返すことで、N分割した各分割画像データが含まれる各通知データの転送を終了する。
図9は電子黒板2が画像受信側となる場合の第2動作手順を表すフローチャートである。
図9に示す画像受信側において、遠隔操作受信部66は通知データに関するシーケンス番号tに0を代入して初期化する(S’1)。次いで、通信制御部60に設けられた遠隔操作受信部66は、通信ネットワーク9を介して通知データを受信したか否かを判別している(S’2)。
通信ネットワーク9を介して通知データを受信した後に(S’2、Yes)、通信制御部60は、通知データに含まれる分割画像リストLに付加された分割数N、分割画像データ、位置データをRAM103に記憶する。
次いで、通信制御部60は、上記通知データに付加されたシーケンス番号が、前回受信したシーケンス番号tより大きいか否かを判別する(S’3)。
今回のシーケンス番号が前回のシーケンス番号よりも大きい場合はtに今回のシーケンス番号をセットする(S’4)。
その後、通信制御部60は、上記通知データに含まれる分割画像データを全て取得しているか否かを判別する(S’5)。すなわち、今回受信したシーケンス番号が分割数Nに到達したか否かを判別する。
上記通知データに含まれる分割画像データを全て取得している場合(S’5、Yes)は、ステップS’2に戻り、再度通知データの受信を待ち受ける(S’2)。
図9に示す画像受信側において、遠隔操作受信部66は通知データに関するシーケンス番号tに0を代入して初期化する(S’1)。次いで、通信制御部60に設けられた遠隔操作受信部66は、通信ネットワーク9を介して通知データを受信したか否かを判別している(S’2)。
通信ネットワーク9を介して通知データを受信した後に(S’2、Yes)、通信制御部60は、通知データに含まれる分割画像リストLに付加された分割数N、分割画像データ、位置データをRAM103に記憶する。
次いで、通信制御部60は、上記通知データに付加されたシーケンス番号が、前回受信したシーケンス番号tより大きいか否かを判別する(S’3)。
今回のシーケンス番号が前回のシーケンス番号よりも大きい場合はtに今回のシーケンス番号をセットする(S’4)。
その後、通信制御部60は、上記通知データに含まれる分割画像データを全て取得しているか否かを判別する(S’5)。すなわち、今回受信したシーケンス番号が分割数Nに到達したか否かを判別する。
上記通知データに含まれる分割画像データを全て取得している場合(S’5、Yes)は、ステップS’2に戻り、再度通知データの受信を待ち受ける(S’2)。
一方、上記通知データに含まれる分割画像データをまだ全て取得していない(今回受信したシーケンス番号が分割数Nに到達していない)場合(S’5、No)は、通信制御部60はタイマによる計時を開始する(S’6)。
次いで、通信制御部60は、今回受信した通知データから分割画像データを取得し、分割画像データを取得した場合に、タイマを停止する(S’7)。
その後、通信制御部60は取得した分割画像データ及び位置データを画像処理部30に渡す。画像処理部30の表示合成部36を介して映像合成部28から画面をディスプレイ3に表示する(S’8)。すなわち、画像処理部30は、今回受信した通知データに含まれる分割画像データに基づいて、受信した順番に分割画像データを展開することにより画像データをディスプレイ3に表示して再生する。
次いで、通信制御部60は、今回受信した通知データから分割画像データを取得し、分割画像データを取得した場合に、タイマを停止する(S’7)。
その後、通信制御部60は取得した分割画像データ及び位置データを画像処理部30に渡す。画像処理部30の表示合成部36を介して映像合成部28から画面をディスプレイ3に表示する(S’8)。すなわち、画像処理部30は、今回受信した通知データに含まれる分割画像データに基づいて、受信した順番に分割画像データを展開することにより画像データをディスプレイ3に表示して再生する。
次いで、通信制御部60は、タイマで測定した時間u[秒]とファイルサイズ(FileSize)[byte]に基づいて、式(2)に従って受信速度R[bps]を算出する。
R=8・FileSize/u ・・・(2)
ここで、通信制御部60はファイル取得にかかった時間uが、基準値P[kbps]未満か否かを判別する(S’9)。ここで、基準値Pは100[kbps]としてもよい。
通信制御部60は、受信速度Rが基準値Pを超えている場合(S’9、No)は、ステップS’5に戻り、全ての画像データを取得しているかを判別する(S’5)。
一方、受信速度Rが基準値Pを超えていない場合(S’9、Yes)は、ステップS’2に戻り、再び通知データを待ち受ける(S’2)。
なお、本実施形態では、電子黒板2が画像受信側となる場合の第2動作手順においては、画像受信側の電子黒板2から送信された全ての通知データに含まれる分割画像データを受信するように構成したが、本発明はこのような場合に限定されるものではない。すなわち、送信側からの分割画像データに対する受信側のディスプレイ上に割り当て可能な表示領域のサイズや、送信側からの分割画像データに対して受信側が必要とする分割画像データの数に応じて、受信側が受信する分割画像データの数を変更してもよい。
R=8・FileSize/u ・・・(2)
ここで、通信制御部60はファイル取得にかかった時間uが、基準値P[kbps]未満か否かを判別する(S’9)。ここで、基準値Pは100[kbps]としてもよい。
通信制御部60は、受信速度Rが基準値Pを超えている場合(S’9、No)は、ステップS’5に戻り、全ての画像データを取得しているかを判別する(S’5)。
一方、受信速度Rが基準値Pを超えていない場合(S’9、Yes)は、ステップS’2に戻り、再び通知データを待ち受ける(S’2)。
なお、本実施形態では、電子黒板2が画像受信側となる場合の第2動作手順においては、画像受信側の電子黒板2から送信された全ての通知データに含まれる分割画像データを受信するように構成したが、本発明はこのような場合に限定されるものではない。すなわち、送信側からの分割画像データに対する受信側のディスプレイ上に割り当て可能な表示領域のサイズや、送信側からの分割画像データに対して受信側が必要とする分割画像データの数に応じて、受信側が受信する分割画像データの数を変更してもよい。
このように、送信側の電子黒板では、受信側の状況に関わらず、高品質/高解像度なJPEG2000形式で画像データを取得し、取得した画像データを分割保存しておき、受信側の電子黒板が自身の状況に応じて、通知データ内の保存先URL(位置データ)から分割画像データを取得して合成し、プログレッシブに画像表示する。
また、送信側の電子黒板では、JPEG2000形式の画像を生成・分割して保存し、分割画像データと位置データを順次に受信側に送信することで、受信側の電子黒板では、自身の通信状況に応じて順次に分割画像を受信するので、分割画像を受信した都度に表示することが可能になり、画像受信の途中経過を確認しながらプログレッシブな表示を行うことができる。
さらに、受信した順番に分割画像データを位置データで表された配置位置に展開することにより画像データを再生するので、解像度の異なる受信側の電子黒板2であって、画像データを再生することができる。
また、送信側の電子黒板では、JPEG2000形式の画像を生成・分割して保存し、分割画像データと位置データを順次に受信側に送信することで、受信側の電子黒板では、自身の通信状況に応じて順次に分割画像を受信するので、分割画像を受信した都度に表示することが可能になり、画像受信の途中経過を確認しながらプログレッシブな表示を行うことができる。
さらに、受信した順番に分割画像データを位置データで表された配置位置に展開することにより画像データを再生するので、解像度の異なる受信側の電子黒板2であって、画像データを再生することができる。
<第2実施形態>
次に、図10を参照して、本発明の第2実施形態に係る画像処理装置の一例である電子黒板2の動作手順を説明する。図10は電子黒板2が画像送信側となる場合の第3動作手順(分割サイズをユーザ操作により実施する)を表すフローチャートである。なお、図10に示す符号のうち、図7に示す符号と同一のものについては同様の動作であるので、その説明を省略する。
図10に示す第3動作手順において、通知データ生成部31bは通知データに関するシーケンス番号Sに1を代入して初期化する(S1)。
次いで、操作処理部26は、帯域モードに対応した分割サイズ(size)を指定するための選択ボタンとして、図11に示すように、高帯域モード(1Mbps以上)ボタン150、中帯域モード(500kbps〜1Mbps)ボタン151、低帯域モード(200kbps〜500kbps)ボタン152、超低帯域モード(200kbps)ボタン153をディスプレイ3に表示しておく(S11)。
次いで、イベント処理部25は、分割サイズを指定するための選択ボタン150〜153に対して、接触操作があるか否かを判断する(S12)。
画像分割部31aは、分割サイズを指定する場合(S12、Yes)には、選択ボタン150〜153の何れか1つへの選択に応じた選択値を分割サイズ(size)として設定する(S13)。
次に、図10を参照して、本発明の第2実施形態に係る画像処理装置の一例である電子黒板2の動作手順を説明する。図10は電子黒板2が画像送信側となる場合の第3動作手順(分割サイズをユーザ操作により実施する)を表すフローチャートである。なお、図10に示す符号のうち、図7に示す符号と同一のものについては同様の動作であるので、その説明を省略する。
図10に示す第3動作手順において、通知データ生成部31bは通知データに関するシーケンス番号Sに1を代入して初期化する(S1)。
次いで、操作処理部26は、帯域モードに対応した分割サイズ(size)を指定するための選択ボタンとして、図11に示すように、高帯域モード(1Mbps以上)ボタン150、中帯域モード(500kbps〜1Mbps)ボタン151、低帯域モード(200kbps〜500kbps)ボタン152、超低帯域モード(200kbps)ボタン153をディスプレイ3に表示しておく(S11)。
次いで、イベント処理部25は、分割サイズを指定するための選択ボタン150〜153に対して、接触操作があるか否かを判断する(S12)。
画像分割部31aは、分割サイズを指定する場合(S12、Yes)には、選択ボタン150〜153の何れか1つへの選択に応じた選択値を分割サイズ(size)として設定する(S13)。
例えば、表2を参照して、高帯域モードが選択されたときに100KB、中帯域モードが選択されたときに50KB、低帯域モードが選択されたときに25KB、超低帯域モードが選択されたときに10KBとして分割サイズを設定すればよい。
次いで、ステップS2へ進む。
一方、画像分割部31aは、分割サイズを指定せず未選択である場合(S12、No)には、分割サイズ(size)を10KBに初期化して設定する(S14)。このように、通信帯域が未選択である場合には、画像データを所定の分割サイズを用いて分割するので、所定の分割サイズの分割画像データを生成することができる。
次いで、ステップS2へ進む。
ステップS2以降の処理については、図7に示すステップS2〜S8と同様あるので、その説明を省略する。
なお、電子黒板2が画像受信側となる場合の第4動作手順は、図9に示す第2動作手順を表すフローチャートと同様であるので、その説明を省略する。
次いで、ステップS2へ進む。
一方、画像分割部31aは、分割サイズを指定せず未選択である場合(S12、No)には、分割サイズ(size)を10KBに初期化して設定する(S14)。このように、通信帯域が未選択である場合には、画像データを所定の分割サイズを用いて分割するので、所定の分割サイズの分割画像データを生成することができる。
次いで、ステップS2へ進む。
ステップS2以降の処理については、図7に示すステップS2〜S8と同様あるので、その説明を省略する。
なお、電子黒板2が画像受信側となる場合の第4動作手順は、図9に示す第2動作手順を表すフローチャートと同様であるので、その説明を省略する。
このように、選択された通信帯域に対応する分割サイズを用いて画像データを分割するので、通信帯域に適した分割サイズの分割画像データを生成することができる。
また、ユーザが分割サイズを指定できることで、各拠点間の通信帯域が高帯域の場合に分割サイズを大きくすることができ、通信オーバヘッド(通信に関する余計な時間)を低減し、より少ない遅延時間で他拠点に画像を送信できるように設定でき、ユーザの利便性を向上することができる。
また、ユーザが分割サイズを指定できることで、各拠点間の通信帯域が高帯域の場合に分割サイズを大きくすることができ、通信オーバヘッド(通信に関する余計な時間)を低減し、より少ない遅延時間で他拠点に画像を送信できるように設定でき、ユーザの利便性を向上することができる。
<本発明の実施態様例と効果>
<第1態様>
本態様の電子黒板2は、通信ネットワーク9を介して画像データを送信する送信側の電子黒板2であって、画像データを入力する映像取得部21と、画像データを分割することにより、分割画像データを夫々に生成する画像分割部31aと、各分割画像データを保存するとともに、前記各分割画像データの保存先を表す位置データを出力する画像データ管理部830と、各分割画像データと画像データ管理部830から取得した各位置データを含む通知データを夫々に生成する通知データ生成部31bと、各通知データを他の電子黒板2に順次に送信する遠隔操作処理部83と、を備えることを特徴とする。
本態様によれば、送信側での画像処理の負荷を低減することが可能なる。
<第1態様>
本態様の電子黒板2は、通信ネットワーク9を介して画像データを送信する送信側の電子黒板2であって、画像データを入力する映像取得部21と、画像データを分割することにより、分割画像データを夫々に生成する画像分割部31aと、各分割画像データを保存するとともに、前記各分割画像データの保存先を表す位置データを出力する画像データ管理部830と、各分割画像データと画像データ管理部830から取得した各位置データを含む通知データを夫々に生成する通知データ生成部31bと、各通知データを他の電子黒板2に順次に送信する遠隔操作処理部83と、を備えることを特徴とする。
本態様によれば、送信側での画像処理の負荷を低減することが可能なる。
<第2態様>
本態様の電子黒板2は、複数の通信帯域の何れか一つを選択するイベント処理部25と、イベント処理部25により選択された通信帯域に対応する分割サイズを取得する画像分割部31aとを備え、画像分割部31aは、分割サイズを用いて映像取得部21から入力された画像データを分割することを特徴とする。
本態様によれば、選択された通信帯域に対応する分割サイズを用いて画像データを分割するので、通信帯域に適した分割サイズの分割画像データを生成することができる。
本態様の電子黒板2は、複数の通信帯域の何れか一つを選択するイベント処理部25と、イベント処理部25により選択された通信帯域に対応する分割サイズを取得する画像分割部31aとを備え、画像分割部31aは、分割サイズを用いて映像取得部21から入力された画像データを分割することを特徴とする。
本態様によれば、選択された通信帯域に対応する分割サイズを用いて画像データを分割するので、通信帯域に適した分割サイズの分割画像データを生成することができる。
<第3態様>
本態様の電子黒板2は、画像分割部31aにおいて、イベント処理部25により通信帯域が未選択である場合には、映像取得部21から入力された画像データを所定の分割サイズを用いて分割することを特徴とする。
本態様によれば、通信帯域が未選択である場合には、画像データを所定の分割サイズを用いて分割するので、所定の分割サイズの分割画像データを生成することができる。
本態様の電子黒板2は、画像分割部31aにおいて、イベント処理部25により通信帯域が未選択である場合には、映像取得部21から入力された画像データを所定の分割サイズを用いて分割することを特徴とする。
本態様によれば、通信帯域が未選択である場合には、画像データを所定の分割サイズを用いて分割するので、所定の分割サイズの分割画像データを生成することができる。
<第4態様>
本態様の電子黒板2は、映像取得部21において、画像データとして、JPEG2000規格に従った画像フレームにより構成された画像データを入力することを特徴とする。
本態様によれば、JPEG2000規格に従った画像フレームに含まれるブロック単位の画像データを利用して分割画像データを容易に生成することができ、送信側の処理負担を低減することができる。
本態様の電子黒板2は、映像取得部21において、画像データとして、JPEG2000規格に従った画像フレームにより構成された画像データを入力することを特徴とする。
本態様によれば、JPEG2000規格に従った画像フレームに含まれるブロック単位の画像データを利用して分割画像データを容易に生成することができ、送信側の処理負担を低減することができる。
<第5態様>
本態様の電子黒板2は、送信側の電子黒板2から通信ネットワーク9を介して画像データを受信する受信側の電子黒板2であって、送信側の電子黒板2から通知データを受信する遠隔操作受信部66と、各通知データに含まれる各分割画像ファイルに基づいて、受信した順番に分割画像データを展開することにより画像データを再生する画像処理部30と、を備えることを特徴とする。
本態様によれば、受信した順番に分割画像データを展開することにより画像データを再生するので、解像度の異なる受信側の電子黒板2であって、画像データを再生することができる。
本態様の電子黒板2は、送信側の電子黒板2から通信ネットワーク9を介して画像データを受信する受信側の電子黒板2であって、送信側の電子黒板2から通知データを受信する遠隔操作受信部66と、各通知データに含まれる各分割画像ファイルに基づいて、受信した順番に分割画像データを展開することにより画像データを再生する画像処理部30と、を備えることを特徴とする。
本態様によれば、受信した順番に分割画像データを展開することにより画像データを再生するので、解像度の異なる受信側の電子黒板2であって、画像データを再生することができる。
<第6態様>
本態様の電子黒板は、送信側の電子黒板2と、受信側の電子黒板2と、を備えることを特徴とする。
本態様によれば、送信側と受信側を一体にした構成の電子黒板2を提供することができる。
本態様の電子黒板は、送信側の電子黒板2と、受信側の電子黒板2と、を備えることを特徴とする。
本態様によれば、送信側と受信側を一体にした構成の電子黒板2を提供することができる。
<第7態様>
本態様の電子黒板2の処理方法は、送信側の電子黒板2における画像処理方法であって、画像データを入力する画像入力ステップ(S2)と、画像データを分割することにより、分割画像データを夫々に生成する画像分割ステップ(S5)と、各分割画像データを画像データ管理部830に保存するとともに、各分割画像データの保存先を表す位置データを出力する画像データ保存ステップ(S7a)と、各分割画像データと画像データ管理部830から取得した前記各位置データを含む通知データを夫々に生成する通知データ生成ステップ(S7b)と、各通知データを他の画像処理装置に順次に送信する送信ステップ(S8)と、を備えることを特徴とする。
本態様によれば、送信側での画像処理の負荷を低減することが可能なる。
本態様の電子黒板2の処理方法は、送信側の電子黒板2における画像処理方法であって、画像データを入力する画像入力ステップ(S2)と、画像データを分割することにより、分割画像データを夫々に生成する画像分割ステップ(S5)と、各分割画像データを画像データ管理部830に保存するとともに、各分割画像データの保存先を表す位置データを出力する画像データ保存ステップ(S7a)と、各分割画像データと画像データ管理部830から取得した前記各位置データを含む通知データを夫々に生成する通知データ生成ステップ(S7b)と、各通知データを他の画像処理装置に順次に送信する送信ステップ(S8)と、を備えることを特徴とする。
本態様によれば、送信側での画像処理の負荷を低減することが可能なる。
<第8態様>
本態様の電子黒板2の処理方法は、受信側の電子黒板2における画像処理方法であって、送信側の電子黒板2から通知データを受信する受信ステップ(S’2)と、各通知データに含まれる各分割画像データ、及び位置データに基づいて、受信した順番に分割画像データを展開することにより画像データを再生する画像データ再生ステップ(S’8)と、を備えることを特徴とする。
本態様によれば、受信した順番に分割画像データを展開することにより画像データを再生するので、解像度の異なる受信側の電子黒板2であって、画像データを再生することができる。
本態様の電子黒板2の処理方法は、受信側の電子黒板2における画像処理方法であって、送信側の電子黒板2から通知データを受信する受信ステップ(S’2)と、各通知データに含まれる各分割画像データ、及び位置データに基づいて、受信した順番に分割画像データを展開することにより画像データを再生する画像データ再生ステップ(S’8)と、を備えることを特徴とする。
本態様によれば、受信した順番に分割画像データを展開することにより画像データを再生するので、解像度の異なる受信側の電子黒板2であって、画像データを再生することができる。
<第9態様>
本態様のプログラムは、送信側の画像処理装置における画像処理方法の各ステップをCPU101に実行させることを特徴とする。
本態様によれば、受信側の画像処理装置における画像処理方法の各ステップをCPU101に実行させることができる。
本態様のプログラムは、送信側の画像処理装置における画像処理方法の各ステップをCPU101に実行させることを特徴とする。
本態様によれば、受信側の画像処理装置における画像処理方法の各ステップをCPU101に実行させることができる。
<第10態様>
本態様のプログラムは、各ステップをCPU101に実行させることを特徴とする。
本態様によれば、各ステップをCPU101に実行させることができる。
本態様のプログラムは、各ステップをCPU101に実行させることを特徴とする。
本態様によれば、各ステップをCPU101に実行させることができる。
1…情報共有システム、2…電子黒板、3…ディスプレイ、4…電子ペン、5…USBメモリ、6…ノートPC、7…テレビ会議端末、9…通信ネットワーク、20…クライアント機、21…映像取得部、22…座標検知部、23…自動調整部、24…接触検知部、25…イベント処理部、26…操作処理部、27…ジェスチャ処理部、28…映像合成部、30…画像処理部、31…画像取得部、31a…画像分割部、31b…通知データ生成部、32…ストローク処理部、33…UI画像生成部、34…背景生成部35…レイアウト管理部、36…表示合成部、37…ページ処理部、40…ファイル処理部、60…通信制御部、64…遠隔画像要求部、61…遠隔開始処理部、62…遠隔参加処理部、63…遠隔画像送信部、65…遠隔操作送信部、66…遠隔操作受信部、71…遠隔接続要求受信部、72…遠隔接続結果送信部、73…遠隔画像受信部、74…遠隔画像受付部、80…データ管理部、82…遠隔画像処理部、83…遠隔操作処理部、81…遠隔接続処理部、84…操作合成処理部、90…サーバ機、101…CPU、102…ROM、103…RAM、105…ネットワークコントローラ、106…外部記憶コントローラ、111…キャプチャデバイス、105…ディスプレイコントローラ、115…接触センサ、114…センサコントローラ、116…電子ペンコントローラ、112…GPU、120…バスライン、150…選択ボタン、204…SSD、300…ページデータ記憶部、310…遠隔ライセンス管理テーブル、840…操作データ記憶部、810…パスコード管理部、830…画像データ管理部
Claims (10)
- 通信ネットワークを介して画像データを送信する送信側の画像処理装置であって、
画像データを入力する画像入力手段と、
前記画像データを分割することにより、分割画像データを夫々に生成する画像分割手段と、
前記各分割画像データを保存するとともに、前記各分割画像データの保存先を表す位置データを出力する画像データ保存手段と、
前記各分割画像データと前記画像データ保存手段から取得した前記各位置データを含む通知データを夫々に生成する通知データ生成手段と、
前記各通知データを他の画像処理装置に順次に送信する送信手段と、を備えることを特徴とする画像処理装置。 - 複数の通信帯域の何れか一つを選択する選択手段と、
前記選択手段により選択された通信帯域に対応する分割サイズを取得する分割サイズ取得手段とを備え、
前記画像分割手段は、前記分割サイズを用いて前記画像入力手段から入力された前記画像データを分割することを特徴とする請求項1に記載の画像処理装置。 - 前記画像分割手段は、前記選択手段により通信帯域が未選択である場合には、前記画像入力手段から入力された前記画像データを所定の分割サイズを用いて分割することを特徴とする請求項2に記載の画像処理装置。
- 前記画像入力手段は、前記画像データとして、JPEG2000規格に従った画像フレームにより構成された画像データを入力することを特徴とする請求項1乃至3の何れか一項に記載の画像処理装置。
- 請求項1乃至4の何れか一項に記載の送信側の画像処理装置から通信ネットワークを介して画像データを受信する受信側の画像処理装置であって、
前記送信側の前記画像処理装置から前記通知データを受信する受信手段と、
前記各通知データに含まれる前記各分割画像データ、及び前記位置データに基づいて、受信した順番に分割画像データを展開することにより画像データを再生する画像データ再生手段と、を備えることを特徴とする画像処理装置。 - 請求項1乃至4の何れか一項に記載の送信側の画像処理装置と、
請求項5に記載の受信側の画像処理装置と、を備えることを特徴とする情報共有装置。 - 請求項1乃至4の何れか一項に記載の送信側の画像処理装置における画像処理方法であって、
画像データを入力する画像入力ステップと、
前記画像データを分割することにより、分割画像データを夫々に生成する画像分割ステップと、
前記各分割画像データを画像データ保存手段に保存するとともに、前記各分割画像データの保存先を表す位置データを出力する画像データ保存ステップと、
前記各分割画像データと前記画像データ保存手段から取得した前記各位置データを含む通知データを夫々に生成する通知データ生成ステップと、
前記各通知データを他の画像処理装置に順次に送信する送信ステップと、を備えることを特徴とする画像処理方法。 - 請求項5に記載の受信側の画像処理装置における画像処理方法であって、
前記送信側の前記画像処理装置から前記通知データを受信する受信ステップと、
前記各通知データに含まれる前記各分割画像データ、及び前記位置データに基づいて、受信した順番に分割画像データを展開することにより画像データを再生する画像データ再生ステップと、を備えることを特徴とする画像処理方法。 - 請求項7に記載の各ステップをコンピュータに実行させることを特徴とするプログラム。
- 請求項8に記載の各ステップをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014090213A JP2015210569A (ja) | 2014-04-24 | 2014-04-24 | 画像処理装置、情報共有装置、画像処理方法、及びプログラム |
US14/674,422 US9898241B2 (en) | 2014-04-24 | 2015-03-31 | Information sharing system, image processing apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014090213A JP2015210569A (ja) | 2014-04-24 | 2014-04-24 | 画像処理装置、情報共有装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015210569A true JP2015210569A (ja) | 2015-11-24 |
Family
ID=54334828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014090213A Pending JP2015210569A (ja) | 2014-04-24 | 2014-04-24 | 画像処理装置、情報共有装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9898241B2 (ja) |
JP (1) | JP2015210569A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7447503B2 (ja) | 2019-02-28 | 2024-03-12 | 株式会社リコー | 画面共有システム、情報処理装置、画面共有方法及びプログラム |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150346898A1 (en) * | 2014-06-02 | 2015-12-03 | Andrew Brown | High-definition blackboard |
WO2016208396A1 (ja) * | 2015-06-23 | 2016-12-29 | 株式会社リコー | 通信端末、管理システム、通信システム、表示方法、及びプログラム |
US11106417B2 (en) * | 2015-06-23 | 2021-08-31 | Airwatch, Llc | Collaboration systems with managed screen sharing |
JP6747025B2 (ja) * | 2016-04-13 | 2020-08-26 | セイコーエプソン株式会社 | 表示システム、表示装置、及び、表示システムの制御方法 |
CN117311543A (zh) * | 2017-09-01 | 2023-12-29 | 平蛙实验室股份公司 | 触摸感测设备 |
US11579978B2 (en) * | 2018-02-14 | 2023-02-14 | Rubrik, Inc. | Fileset partitioning for data storage and management |
US11163478B2 (en) * | 2018-09-18 | 2021-11-02 | International Business Machines Corporation | Reducing the amount of data transferred to remote storage locations for modified objects |
US11620191B2 (en) * | 2018-10-01 | 2023-04-04 | Rubrik, Inc. | Fileset passthrough using data management and storage node |
US11061641B2 (en) * | 2019-02-28 | 2021-07-13 | Ricoh Company, Ltd. | Screen sharing system, and information processing apparatus |
JP2023512682A (ja) | 2020-02-10 | 2023-03-28 | フラットフロッグ ラボラトリーズ アーベー | 改良型タッチ検知装置 |
JP7467986B2 (ja) * | 2020-03-02 | 2024-04-16 | 株式会社リコー | 通信端末、通信システム、通信方法およびプログラム |
JP2022029341A (ja) * | 2020-08-04 | 2022-02-17 | 株式会社リコー | 通信システム、通信端末、通信方法、及びプログラム |
JP2022049600A (ja) * | 2020-09-16 | 2022-03-29 | 株式会社リコー | 情報処理装置、プログラム及び情報処理システム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5430486A (en) * | 1993-08-17 | 1995-07-04 | Rgb Technology | High resolution video image transmission and storage |
US6163344A (en) * | 1995-08-31 | 2000-12-19 | Nikon Corporation | Electronic camera that transfers signals to an external device |
US5990852A (en) * | 1996-10-31 | 1999-11-23 | Fujitsu Limited | Display screen duplication system and method |
JP2003208597A (ja) | 2002-01-11 | 2003-07-25 | Dream Technologies Kk | 画像コンバータ及び画像コンバート方法 |
JP2004192140A (ja) | 2002-12-09 | 2004-07-08 | Sony Corp | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
US8699330B2 (en) * | 2004-11-24 | 2014-04-15 | Qualcomm Incorporated | Systems and methods for digital data transmission rate control |
US20070008338A1 (en) * | 2005-05-28 | 2007-01-11 | Young-Chan Kim | Display system, display apparatus, and method of controlling video source and display apparatus |
JP4712639B2 (ja) | 2005-09-13 | 2011-06-29 | 株式会社リコー | ネットワーク印刷システム、印刷装置、印刷データ生成装置、ネットワーク印刷方法、印刷方法、印刷データ生成方法およびプログラム |
KR100770835B1 (ko) * | 2006-07-24 | 2007-10-26 | 삼성전자주식회사 | 영상 데이터 처리 시스템 및 그 방법 |
JP4880396B2 (ja) | 2006-08-03 | 2012-02-22 | 株式会社リコー | 画像処理装置、プログラムおよびプレビュー画像表示方法 |
TWI386895B (zh) * | 2007-08-16 | 2013-02-21 | Alpha Imaging Technology Corp | 液晶顯示器的加速裝置與方法及其控制裝置 |
JP5163233B2 (ja) * | 2008-03-31 | 2013-03-13 | 富士通株式会社 | 情報処理装置、プログラム、方法、処理回路及び通信システム |
JP5446519B2 (ja) | 2008-09-17 | 2014-03-19 | 株式会社リコー | 携帯端末装置およびプログラム |
JP5668365B2 (ja) | 2009-11-20 | 2015-02-12 | 株式会社リコー | 描画処理システム、サーバ装置、ユーザ端末、描画処理方法、プログラム及び記録媒体 |
GB2481612A (en) * | 2010-06-30 | 2012-01-04 | Skype Ltd | Updating image regions in a shared image system |
JP5672830B2 (ja) | 2010-08-06 | 2015-02-18 | 株式会社リコー | 画像表示制御装置、画像表示システム、画像表示方法、プログラムおよび記録媒体 |
JP2012185798A (ja) | 2011-02-16 | 2012-09-27 | Ricoh Co Ltd | 座標検出システム、情報処理装置、方法、プログラムおよび記録媒体 |
JP5589909B2 (ja) | 2011-03-14 | 2014-09-17 | 株式会社リコー | 表示装置、表示装置のイベント切替え制御方法及びプログラム |
JP5942498B2 (ja) * | 2012-03-14 | 2016-06-29 | 日本電気株式会社 | 画面送信装置、画面共有装置、画面送信方法、及び、画面送信プログラム |
JP6015086B2 (ja) | 2012-04-17 | 2016-10-26 | 株式会社リコー | 情報共有装置、情報共有システム、描画処理方法及びプログラム |
JP2013228797A (ja) | 2012-04-24 | 2013-11-07 | Ricoh Co Ltd | 画像制御装置、画像処理システムおよびプログラム |
JP6094550B2 (ja) | 2013-09-17 | 2017-03-15 | 株式会社リコー | 情報処理装置、プログラム |
-
2014
- 2014-04-24 JP JP2014090213A patent/JP2015210569A/ja active Pending
-
2015
- 2015-03-31 US US14/674,422 patent/US9898241B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7447503B2 (ja) | 2019-02-28 | 2024-03-12 | 株式会社リコー | 画面共有システム、情報処理装置、画面共有方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20150309765A1 (en) | 2015-10-29 |
US9898241B2 (en) | 2018-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015210569A (ja) | 画像処理装置、情報共有装置、画像処理方法、及びプログラム | |
US9754559B2 (en) | Image processing apparatus | |
US10521500B2 (en) | Image processing device and image processing method for creating a PDF file including stroke data in a text format | |
JP6583432B2 (ja) | 画像処理装置、画像表示方法、プログラム | |
US9898243B2 (en) | Information processing apparatus, program, information processing system, and information processing method | |
US11294495B2 (en) | Electronic whiteboard, method for image processing in electronic whiteboard, and recording medium containing computer program of electronic whiteboard | |
US20180082663A1 (en) | Information processing apparatus, image displaying method, and non-transitory computer readable medium | |
US20170229102A1 (en) | Techniques for descriptor overlay superimposed on an asset | |
JP6020397B2 (ja) | 画像処理装置および画像処理システム | |
US20130328746A1 (en) | Image distribution apparatus, display apparatus, and image distribution system | |
US20150149586A1 (en) | Information processing apparatus, information processing method, and information processing system | |
JP6631643B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
JP2017194944A (ja) | ドキュメントを共有する方法、プログラム及び装置 | |
US20160210101A1 (en) | Document display support device, terminal, document display method, and computer-readable storage medium for computer program | |
US20150067056A1 (en) | Information processing system, information processing apparatus, and information processing method | |
US11610560B2 (en) | Output apparatus, output system, and method of changing format information | |
JP2014149579A (ja) | データ制御装置、データ共有システムおよびプログラム | |
US20200301645A1 (en) | Display apparatus and display method | |
US20150312287A1 (en) | Compacting Content in a Desktop Sharing Session | |
JP7512655B2 (ja) | 出力装置、出力システム、フォーマット情報変更方法、プログラム、コントローラー | |
JP2016014834A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2016076775A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |