JP2013080443A - Screen sharing method and screen sharing processing equipment - Google Patents
Screen sharing method and screen sharing processing equipment Download PDFInfo
- Publication number
- JP2013080443A JP2013080443A JP2011221312A JP2011221312A JP2013080443A JP 2013080443 A JP2013080443 A JP 2013080443A JP 2011221312 A JP2011221312 A JP 2011221312A JP 2011221312 A JP2011221312 A JP 2011221312A JP 2013080443 A JP2013080443 A JP 2013080443A
- Authority
- JP
- Japan
- Prior art keywords
- partial image
- line
- updated
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
本発明は、画面共有方法、および、画面共有処理装置に関する。 The present invention relates to a screen sharing method and a screen sharing processing apparatus.
従来、テレビ会議に用いられる画面共有処理装置が知られている（例えば、特許文献１参照）。
この特許文献１の構成では、まず、オリジナル画像を送信した後に、画面が更新されたか否かを判断する。そして、更新されたと判断した場合には、オリジナル画像よりも解像度を低下させることでデータサイズを小さくした高速表示用データを送信し、高速表示用画像を参加者側で表示させる。また、所定期間更新されていないと判断した場合には、オリジナル画像と同等の解像度を有し、高速表示用データよりもデータサイズが大きい高画質表示用データを送信し、高画質表示用画像を参加者側で表示させる。
このように、表示画面が更新された場合には、データサイズが小さい高速表示用データを送信することで、参加者側での更新に要する時間を短縮できる。また、所定期間更新が行われない場合には、高画質表示用データを送信することで、参加者側での画質の低下を抑制できる。
なお、上記の「解像度」および以下に出てくる「解像度」とは、「色解像度」を意味するものであり、「画素解像度」を意味するものではない。
2. Description of the Related Art Conventionally, a screen sharing processing device used for a video conference is known (for example, see Patent Document 1).
In the configuration of
As described above, when the display screen is updated, the time required for the update on the participant side can be shortened by transmitting the high-speed display data having a small data size. In addition, when the update is not performed for a predetermined period, it is possible to suppress deterioration in image quality on the participant side by transmitting high-quality display data.
Note that the above-mentioned “resolution” and “resolution” described below mean “color resolution”, and do not mean “pixel resolution”.
また、特許文献１には、高速表示用データあるいは高画質表示用データを送信する前に、オリジナル画像に対して、例えば、縦横１６ドットずつの微小領域から構成される仮想的なセルを設定し、この仮想的なセル毎に更新されたか否かを判断する構成も開示されている。
この構成では、更新されたセルを高速表示セルとして設定し、所定期間更新されていないセルを高画質表示セルとして設定する。そして、高速表示セルの集合体単位で、あるいは、高速表示セル単位で高速表示用データを生成して、参加者側へ送信する。また、高画質表示セルの集合体単位で、あるいは、高画質表示セル単位で高画質表示用データを生成して、参加者側へ送信する。
Further, in
In this configuration, an updated cell is set as a high-speed display cell, and a cell that has not been updated for a predetermined period is set as a high-quality display cell. Then, high-speed display data is generated in units of aggregates of high-speed display cells or in units of high-speed display cells, and transmitted to the participants. Also, high-quality display data is generated in units of aggregates of high-quality display cells or in units of high-quality display cells and transmitted to the participants.
しかしながら、特許文献１のような構成では、仮想的なセル単位で更新されたか否かを判断しているため、セルのうち一部分のみが更新されている場合であっても、セル全体に対応する高速表示用データや高画質表示用データが生成されてしまう。このため、更新されていない不要な部分についても、高速表示用データや高画質表示用データが生成されてしまうこととなり、通信量の低減を図ることができない。さらに、画面共有の即時性も悪くなる。
However, in the configuration as in
本発明は、通信量を低減可能かつ画面共有の即時性を向上可能な画面共有方法、および、画面共有処理装置を提供することを１つの目的とする。 An object of the present invention is to provide a screen sharing method and a screen sharing processing apparatus that can reduce the amount of communication and improve the immediacy of screen sharing.
本発明の画面共有方法は、第１表示部に画像を表示可能な端末にネットワークを介して接続され、第２表示部に画像を表示可能に構成された画面共有処理装置を用い、前記端末との間で画像を共有する画面共有方法であって、前記画面共有処理装置が、前記第２表示部に表示中の画像の一部分である部分画像が更新されたと判定すると、当該画像に対して複数の画素から構成される複数の仮想セルを設定するステップと、前記仮想セルごとに前記部分画像を含むか否かを判定し、前記部分画像を含む仮想セルで構成される更新セル領域を設定するステップと、前記更新セル領域の外側から内側に向かって、ライン単位でスキャンし、前記部分画像を含まないラインを削除して前記部分画像を抽出するステップと、前記部分画像の部分画像データを圧縮して圧縮部分画像データを生成するステップと、
前記圧縮部分画像データを前記端末へ送信して、前記第１表示部に表示中の画像に前記圧縮部分画像データに基づく部分画像を表示させるステップと、を含むことを特徴とする。
The screen sharing method of the present invention uses a screen sharing processing apparatus connected to a terminal capable of displaying an image on a first display unit via a network and configured to display an image on a second display unit. A screen sharing method for sharing an image between the images, and when the screen sharing processing apparatus determines that a partial image that is a part of an image being displayed on the second display unit has been updated, Setting a plurality of virtual cells composed of the pixels, determining whether or not each of the virtual cells includes the partial image, and setting an updated cell region composed of the virtual cells including the partial image Scanning from the outside to the inside of the update cell region in units of lines, deleting lines not including the partial image, and extracting the partial image; and partial image data of the partial image Generating a compressed partial image data by compressing,
Transmitting the compressed partial image data to the terminal, and displaying a partial image based on the compressed partial image data in an image being displayed on the first display unit.
本発明の画面共有処理装置は、第１表示部に画像を表示可能な端末にネットワークを介して接続されるとともに、第２表示部に画像を表示可能に構成され、前記端末との間で画像を共有する画面共有処理装置であって、前記第２表示部に表示中の画像の一部分である部分画像が更新されたと判定すると、当該画像に対して複数の画素から構成される複数の仮想セルを設定する仮想セル設定部と、前記仮想セルごとに前記部分画像を含むか否かを判定し、前記部分画像を含む仮想セルで構成される更新セル領域を設定する更新セル領域設定部と、前記更新セル領域の外側から内側に向かって、ライン単位でスキャンし、前記部分画像を含まないラインを削除して前記部分画像を抽出する部分画像抽出部と、前記部分画像の部分画像データを圧縮して圧縮部分画像データを生成する圧縮部と、前記圧縮部分画像データを前記端末へ送信して、前記第１表示部に表示中の画像に前記圧縮部分画像データに基づく部分画像を表示させる送信部と、を備えることを特徴とする。 The screen sharing processing device of the present invention is configured to be connected to a terminal capable of displaying an image on the first display unit via a network and configured to be able to display an image on the second display unit. And a plurality of virtual cells each composed of a plurality of pixels for the image when it is determined that a partial image that is a part of the image being displayed on the second display unit has been updated. A virtual cell setting unit for setting, an update cell region setting unit for determining whether to include the partial image for each virtual cell, and setting an update cell region composed of virtual cells including the partial image, A partial image extraction unit that scans in units of lines from the outside to the inside of the update cell area, deletes lines that do not include the partial image, and extracts the partial image; and compresses the partial image data of the partial image A compression unit that generates compressed partial image data, and a transmission unit that transmits the compressed partial image data to the terminal and displays a partial image based on the compressed partial image data on an image being displayed on the first display unit And.
［画面共有システムの構成］
図１に示すように、画面共有システム１は、相互に離れた会議室たる拠点Ａおよび拠点Ｂを繋ぐネットワーク２に収容された、発表者側システム３および参加者側システム４を含んで構成される。そして、画面共有システム１は、発表者側システム３を管轄下に置く、拠点Ａの発表者１０Ａ（単数であっても複数であっても構わない）と、参加者側システム４を管轄下に置く、拠点Ｂの参加者１０Ｂ（単数であっても複数であっても構わない）との間で、表示画面を相互に且つ視覚的に共有しつつデータ会議を行うことが可能に構成される。
[Configuration of screen sharing system]
As shown in FIG. 1, the
発表者側システム３は、図２に示すように、画面共有処理装置としての発表者側ＰＣ（パーソナルコンピュータ）３１と、第２表示部としての発表者側表示装置３２とを備える。
発表者側ＰＣ３１は、発表者側システム３の動作を制御する。この発表者側ＰＣ３１は、入力部３３と、送信部としての通信部３４と、記憶部３５と、制御部３６とを備える。
入力部３３は、キーボード、マウスあるいはタッチペンなどを含み、発表者１０Ａによる適宜の操作が可能に構成された入力デバイスである。
通信部３４は、例えばＬＡＮ（Local Area Network）ケーブルや、所定の無線通信帯域を有する無線通信ユニットを介して、ネットワーク２と接続される。
記憶部３５は、発表者側ＰＣ３１が利用する各種データや、発表者側表示装置３２に表示させる画像の画像データを記憶する。
制御部３６は、記憶部３５に記憶されたプログラムおよびデータをＣＰＵが処理することにより構成され、表示制御部３６１と、仮想セル設定部３６２と、更新セル領域設定部３６３と、部分画像抽出部３６４と、圧縮部３６５と、送信制御部３６６とを備える。
As shown in FIG. 2, the presenter-side system 3 includes a presenter-side PC (personal computer) 31 as a screen sharing processing device and a presenter-
The presenter PC 31 controls the operation of the presenter system 3. The presenter-side PC 31 includes an input unit 33, a
The input unit 33 is an input device that includes a keyboard, a mouse, a touch pen, or the like and is configured to be appropriately operated by the
The
The
The
表示制御部３６１は、入力部３３の入力操作に基づいて、あるいは、所定時間経過ごとに、記憶部３５に記憶された画像データに基づく画像を発表者側表示装置３２の表示面３２１に表示させる。
仮想セル設定部３６２は、発表者側表示装置３２に表示された画像の一部分である部分画像が更新されたと判定すると、画像に対して複数の画素から構成される複数の仮想セルを設定する。このとき、仮想セル設定部３６２は、部分画像が更新されたことを、更新前の画像と更新後の画像とを比較することで判定する。
更新セル領域設定部３６３は、仮想セルごとに部分画像を含むか否かを判定し、部分画像を含む仮想セルで構成される更新セル領域を設定する。
The
When the virtual
The update cell
部分画像抽出部３６４は、更新セル領域の外側から内側に向かってライン単位でスキャンし、部分画像を含まないラインを削除して、部分画像を抽出する。
圧縮部３６５は、表示制御部３６１の制御により、表示面３２１に表示されている画像の画像データを所定の圧縮形式で圧縮する。また、圧縮部３６５は、部分画像を表示させるための部分画像データを、部分画像を構成する色の数に基づき異なる圧縮形式で圧縮する。
送信制御部３６６は、圧縮部３６５で圧縮した画像データを、通信部３４を介して参加者側システム４へ送信することで、参加者側表示装置４２の表示面４２１に表示面３２１と同じ画像を表示させる。また、送信制御部３６６は、圧縮部３６５で圧縮した部分画像データを、通信部３４を介して参加者側システム４へ送信することで、参加者側表示装置４２の表示面４２１で表示されている画像に、部分画像データに基づく部分画像を表示させる。
The partial
The
The
参加者側システム４は、図３に示すように、端末としての参加者側ＰＣ（パーソナルコンピュータ）参加者側ＰＣ４１と、第１表示部としての参加者側表示装置４２とを備える。
参加者側ＰＣ４１は、参加者側システム４の動作を制御する。この参加者側ＰＣ４１は、入力部４３と、通信部４４と、記憶部４５と、制御部４６とを備える。なお、入力部４３、通信部４４、記憶部４５は、発表者側システム３の入力部３３、通信部３４、記憶部３５と同様の構成を有しているため、説明を省略する。
制御部４６は、記憶部４５に記憶されたプログラムおよびデータをＣＰＵが処理することにより構成されている。そして、制御部４６は、通信部４４を介して発表者側ＰＣ３１から画像データを取得して、当該画像データに基づく画像を参加者側表示装置４２の表示面４２１に表示させる。また、制御部４６は、通信部４４を介して発表者側ＰＣ３１から圧縮された部分画像データを取得して、表示面４２１で表示中の画像に部分画像データに基づく部分画像を表示させる。
As shown in FIG. 3, the participant-side system 4 includes a participant-side PC (personal computer) participant-side PC 41 as a terminal and a participant-
The
The
［画面共有システムの作用］
次に、画面共有システム１の作用について説明する。
なお、ここでは、表示面３２１および表示面４２１に同じ内容の画像が表示されている状態において、発表者側表示装置３２の画像の一部分である部分画像が更新された場合について説明する。
[Operation of screen sharing system]
Next, the operation of the
Here, a case will be described in which a partial image that is a part of an image on the presenter-
図４に示すように、発表者側ＰＣ３１の仮想セル設定部３６２は、表示面３２１が更新されたか否かを判定する（ステップＳ１）。具体的には、図５に示すように、表示面３２１に画像Ｐが表示されている状態において、画像Ｐの一部分である部分画像Ｐｐが更新されたか否かを判断する。
このステップＳ１において、仮想セル設定部３６２は、更新されたと判断すると、画像Ｐに対して複数の画素Ｇから構成される複数の仮想セルＣｉを設定する（ステップＳ２）。この仮想セルＣｉは、例えば、図５における上下および左右に３２個ずつ並んだ画素Ｇにより構成され、正方形に形成されている。なお、仮想セルＣｉの形状としては、正方形に限らず、長方形や三角形などとしてもよい。
As shown in FIG. 4, the virtual
In this step S1, if it is determined that the virtual
この後、発表者側ＰＣ３１の更新セル領域設定部３６３は、部分画像Ｐｐを含む仮想セルＣｉのみから構成される更新セル領域Ｃｕを設定する（ステップＳ３）。具体的に、更新セル領域設定部３６３は、仮想セルＣｉごとに部分画像Ｐｐの少なくとも一部を含むか否かを判定し、部分画像Ｐｐを含む仮想セルＣｉから構成される更新セル領域Ｃｕを設定する。
例えば、図５に示すように、画像Ｐにおいて、それぞれ長方形の部分画像Ｐｐ１および部分画像Ｐｐ２を更新した場合には、上下に３個、左右に４個並ぶ１２個の仮想セルＣｉから構成される長方形の更新セル領域Ｃｕ１と、上下左右にそれぞれ２個ずつ並ぶ４個の仮想セルＣｉから構成される正方形の更新セル領域Ｃｕ２とを設定する。なお、更新セル領域設定部３６３は、部分画像Ｐｐが１個の仮想セルＣｉよりも小さい場合には、１個の仮想セルＣｉから構成される更新セル領域Ｃｕを設定する。
Thereafter, the update cell
For example, as shown in FIG. 5, in the image P, when the rectangular partial image Pp1 and the partial image Pp2 are respectively updated, the image P is composed of twelve virtual cells Ci arranged vertically and four horizontally. A rectangular update cell region Cu1 and a square update cell region Cu2 composed of four virtual cells Ci arranged in the vertical and horizontal directions are set. In addition, the update cell area |
次に、発表者側ＰＣ３１の部分画像抽出部３６４は、ステップＳ３で設定された更新セル領域Ｃｕから部分画像Ｐｐを抽出する（ステップＳ４）。具体的に、部分画像抽出部３６４は、まず、更新セル領域Ｃｕの上側（外側）から下側（内側）に向かって、更新セル領域Ｃｕの長方形あるいは正方形（四角形）を構成する上辺（第１辺）に沿った（平行な）ライン単位で、画素Ｇを順次スキャンする。そして、左右に並ぶ複数の画素Ｇから構成される１個のラインの中に、更新領域である部分画像Ｐｐを構成する画素Ｇが１個も含まれていない場合には、当該ラインを削除し、その下側に存在するラインを同様にスキャンする。一方で、１個のラインの中に、部分画像Ｐｐを構成する画素Ｇが少なくとも１個含まれている場合には、当該ラインを削除せずに、上辺に沿ったライン単位のスキャンを終了する。
このような処理により、図６に示すように、ラインＬｕ１、ラインＬｕ２の順でラインＬｕ（ｕ−１）まで順次削除され、ラインＬｕｕが削除されない状態で、上辺に沿ったライン単位のスキャンが終了する。
Next, the partial
By such processing, as shown in FIG. 6, the line Lu1 and the line Lu2 are sequentially deleted up to the line Lu (u-1), and the line Lu scan is performed along the upper side in a state where the line Luu is not deleted. finish.
また、部分画像抽出部３６４は、更新セル領域Ｃｕの下側（外側）から上側（内側）に向かって、更新セル領域Ｃｕの四角形を構成する下辺（第２辺）に沿った（平行な）ライン単位で、画素Ｇを順次スキャンする。すなわち、上述した上辺に沿ったライン単位のスキャンと同様の処理を行うことにより、図７に示すように、ラインＬｓ１、ラインＬｓ２の順でラインＬｓ（ｓ−１）まで順次削除され、ラインＬｓｓが削除されない状態で、下辺に沿ったライン単位のスキャンが終了する。
Further, the partial
さらに、部分画像抽出部３６４は、更新セル領域Ｃｕの左側（外側）から右側（内側）に向かって、更新セル領域Ｃｕの四角形を構成する左辺（第３辺）に沿った（平行な）ライン単位で、画素Ｇを順次スキャンする。また、部分画像抽出部３６４は、更新セル領域Ｃｕの右側（外側）から左側（内側）に向かって、更新セル領域Ｃｕの四角形を構成する右辺（第４辺）に沿った（平行な）ライン単位で、画素Ｇを順次スキャンする。
このような処理により、まず、図８に示すように、ラインＬｈ１、ラインＬｈ２の順でラインＬｈ（ｈ−１）まで順次削除され、ラインＬｈｈが削除されない状態で、左辺に沿ったライン単位のスキャンが終了する。その後、図９に示すように、ラインＬｍ１、ラインＬｍ２の順でラインＬｍ（ｍ−１）まで順次削除され、ラインＬｍｍが削除されない状態で、右辺に沿ったライン単位のスキャンが終了する。
Furthermore, the partial
As a result of such processing, first, as shown in FIG. 8, the line Lh1 and the line Lh2 are sequentially deleted up to the line Lh (h-1), and the line Lhh is not deleted. The scan ends. Thereafter, as shown in FIG. 9, the line Lm1 and the line Lm2 are sequentially deleted up to the line Lm (m−1), and the line unit scan along the right side is completed in a state where the line Lmm is not deleted.
部分画像抽出部３６４は、以上のような上辺、下辺、左辺、右辺に沿ったライン単位のスキャンを行うことにより、更新セル領域Ｃｕ１から部分画像Ｐｐ１を抽出する。
また、部分画像抽出部３６４は、ステップＳ３で設定された更新セル領域Ｃｕが複数ある場合には、全ての更新セル領域Ｃｕについて、上辺、下辺、左辺、右辺に沿ったライン単位のスキャンを行うことにより、部分画像Ｐｐを抽出する。
すなわち、部分画像抽出部３６４は、部分画像Ｐｐ１を抽出した後、図１０、図１１、および、図１２に示すように、更新セル領域Ｃｕ２に対して、上辺、下辺、左辺、右辺に沿ったライン単位のスキャンを順次行うことにより、部分画像Ｐｐ２を抽出する。なお、ライン単位のスキャンは、上述した順序に限らず、例えば、上辺、左辺、下辺、右辺の順序で行ってもよい。
The partial
In addition, when there are a plurality of update cell regions Cu set in step S3, the partial
That is, after extracting the partial image Pp1, the partial
この後、発表者側ＰＣ３１の圧縮部３６５は、図４に示すように、ステップＳ４で抽出した部分画像Ｐｐを表示させるための部分画像データの圧縮方式を判定する（ステップＳ５）。具体的に、圧縮部３６５は、部分画像Ｐｐを構成する色の数に応じて、例えば、以下の表１に示す条件に基づいて、圧縮方式を判定する。
Thereafter, as shown in FIG. 4, the
すなわち、色の数が１６色以下の場合には、解像度がＪ１（Ｊ１は整数）の非可逆圧縮を行い、１７色以上２５６色以下の場合には、解像度がＪ１よりも高いＪ２（Ｊ２は整数）の非可逆圧縮を行い、２５７色以上の場合には、解像度がＪ２よりも高いＪ３（Ｊ３は整数）の非可逆圧縮を行う。
ここで、非可逆圧縮としては、例えばＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Motion Picture Experts Group）などの規格に準じたものに類する（即ち、必ずしも何らかの規格に準じる必要はない）各種のデータ圧縮手法が採用され、部分画像Ｐｐの解像度が所望の値まで低下させられる。この際、データ圧縮の度合いは、予め単一の固定値であってもよいし、複数の選択肢の中から選択的に決定された値であってもよいし、発表者１０Ａの意思を反映した可変な値であってもよい。
That is, when the number of colors is 16 or less, irreversible compression with a resolution of J1 (J1 is an integer) is performed. When the number of colors is 17 or more and 256 colors or less, the resolution is J2 higher than J1 (J2 is J2). An integer) lossy compression is performed, and in the case of 257 colors or more, a lossy compression of J3 (J3 is an integer) whose resolution is higher than J2 is performed.
Here, as the irreversible compression, for example, various data compression similar to those according to standards such as JPEG (Joint Photographic Experts Group) and MPEG (Motion Picture Experts Group) (that is, it is not always necessary to comply with any standards). A technique is employed, and the resolution of the partial image Pp is reduced to a desired value. At this time, the degree of data compression may be a single fixed value in advance, or may be a value that is selectively determined from a plurality of options, and reflects the intention of the
そして、圧縮部３６５は、部分画像Ｐｐを表示させるための部分画像データを、ステップＳ５で判定した圧縮方式で圧縮して圧縮部分画像データとしての高速表示用データを生成する（ステップＳ６）。なお、圧縮部３６５は、ステップＳ４で抽出された部分画像Ｐｐが複数ある場合には、それぞれの部分画像Ｐｐごとに色の数に基づく圧縮方式で圧縮した高速表示用データを生成する。このような処理を行うため、圧縮部３６５は、例えば、部分画像Ｐｐ１の色の数が１６色以下であり、部分画像Ｐｐ２の色の数が１７色以上の場合には、部分画像Ｐｐ１の高速表示用データと部分画像Ｐｐ２の高速表示用データとが、異なる解像度となる。
この後、発表者側ＰＣ３１の送信制御部３６６は、通信部３４およびネットワーク２を介して、ステップＳ６で生成された高速表示用データを参加者側ＰＣ４１へ送信する（ステップＳ７）。
Then, the
Thereafter, the
一方、ステップＳ１において、仮想セル設定部３６２は、表示面３２１が更新されていないと判定すると、画面更新が生じていない旨が連続して判定された回数（以下、適宜「連続更新無し回数」と称す）が、基準値である「Ｎ回」であるか否かを判定する（ステップＳ８）。
このステップＳ８において、仮想セル設定部３６２は、連続更新無し回数がＮ回でないと判定すると、ステップＳ１の処理を行う。一方で、ステップＳ８において、連続更新無し回数がＮ回であると判定すると、圧縮部３６５は、例えば、以下の表２に示す条件に基づいて、ステップＳ４で抽出した部分画像Ｐｐの部分画像の圧縮方式を判定する（ステップＳ９）。
On the other hand, if the virtual
In step S8, when the virtual
すなわち、部分画像Ｐｐの色の数が２５６色以下であり、当該部分画像Ｐｐが文字を含む可能性が高い場合には、色の数に応じた解像度の可逆圧縮を行い、２５７色以上であり模様や風景などを含む可能性が高い場合には、解像度がＪ３よりも高いＪ４（Ｊ４は整数）の非可逆圧縮を行う。
一般的に、文字は、可逆圧縮の場合、データサイズが大きくならず読みにくくもならないが、非可逆圧縮の場合、読みにくくなる。一方で、模様や風景は、可逆圧縮の場合、データサイズが大きくなるが、非可逆圧縮の場合、データサイズが大きくならず見やすさの低減についても文字ほど影響が大きくない。
表２に示すように、部分画像Ｐｐの色の数に基づいて、圧縮方式を設定することで、文字、模様、風景などのいずれの場合であっても、データサイズの増加の抑制と、見やすさの低減の抑制とを両立することができる。
That is, when the number of colors of the partial image Pp is 256 or less and there is a high possibility that the partial image Pp includes characters, the resolution is reversibly compressed according to the number of colors and the number of colors is 257 or more. When there is a high possibility of including a pattern or landscape, lossy compression of J4 (J4 is an integer) whose resolution is higher than J3 is performed.
In general, in the case of lossless compression, characters do not have a large data size and are difficult to read, but in the case of lossy compression, characters are difficult to read. On the other hand, the data size of patterns and landscapes increases in the case of lossless compression, but in the case of irreversible compression, the data size does not increase and the effect of reducing visibility is not as great as characters.
As shown in Table 2, by setting the compression method based on the number of colors of the partial image Pp, it is possible to suppress the increase in data size and make it easy to see in any case of characters, patterns, landscapes, etc. It is possible to achieve both suppression of reduction in thickness.
ここで、ステップＳ９における可逆圧縮としては、ＰＮＧ（Portable Network Graphic）やＧＩＦ（Graphics Interchange Format）などの形式に準じたものに類する（即ち、必ずしも何らかの規格に準じる必要はない）各種データ圧縮手法が採用される。また、ステップＳ９における非可逆圧縮の解像度Ｊ３は、例えば画質の低下が、例えば予め実験的に、経験的に、理論的に又はシミュレーション等に基づいて人間の視覚上有意な差異が生じない旨が確定している、あるいは、そのような判断を下し得る範囲内に収まるような範囲に設定されている。 Here, the lossless compression in step S9 includes various data compression methods similar to those conforming to formats such as PNG (Portable Network Graphic) and GIF (Graphics Interchange Format) (that is, not necessarily conforming to any standard). Adopted. In addition, the lossy resolution J3 in step S9 indicates that, for example, a decrease in image quality does not cause a significant difference in human vision based on, for example, experimental, empirical, theoretical or simulation in advance. It is set within a range that is fixed or within a range where such a determination can be made.
そして、圧縮部３６５は、部分画像Ｐｐの部分画像データを、ステップＳ９で判定した圧縮方式で圧縮して圧縮部分画像データとしての高画質表示用データを生成する（ステップＳ１０）。なお、圧縮部３６５は、ステップＳ４で抽出された部分画像Ｐｐが複数ある場合には、それぞれの部分画像Ｐｐごとに色の数に基づく圧縮方式で圧縮した高画質表示用データを生成する。このような処理を行うため、圧縮部３６５は、例えば、部分画像Ｐｐ１の色の数が２５６色以下であり、部分画像Ｐｐ２の色の数が２５７色以上の場合には、部分画像Ｐｐ１の高画質表示用データが可逆圧縮されたものとなり、部分画像Ｐｐ２の高画質表示用データが非可逆圧縮されたものとなる。
この後、送信制御部３６６は、通信部３４およびネットワーク２を介して、ステップＳ１０で生成された高画質表示用データを参加者側ＰＣ４１へ送信する（ステップＳ１１）。
Then, the
Thereafter, the
ステップＳ７において高速表示用データが送信されるか、あるいは、ステップＳ１１において高速表示用データが送信されると、処理はステップＳ１に戻され、一連の処理が繰り返される。画面共有処理は、以上のようにして繰り返し実行される。
なお、高速表示用データを生成する際に、上述の仮想セルＣｉの設定処理（ステップＳ２）、更新セル領域Ｃｕの設定処理（ステップＳ３）、部分画像Ｐｐの抽出処理（ステップＳ４）を行ってから、圧縮方式の判定処理（ステップＳ９）を行ってもよい。
When the high-speed display data is transmitted in step S7 or the high-speed display data is transmitted in step S11, the process is returned to step S1, and a series of processes is repeated. The screen sharing process is repeatedly executed as described above.
When generating high-speed display data, the virtual cell Ci setting process (step S2), the update cell region Cu setting process (step S3), and the partial image Pp extraction process (step S4) are performed. Therefore, the compression method determination process (step S9) may be performed.
ここで、参加者側ＰＣ４１の動作を説明すると、制御部４６は、画面共有処理の実行時には基本的に、通信部４４を制御し、ネットワーク２を介して発表者側ＰＣ３１から送信されてくる画像データや部分画像データを取得する。そして、制御部４６は、取得した画像データに基づく画像あるいは部分画像データに基づく部分画像を参加者側表示装置４２の表示面４２１に表示させる処理を繰り返し実行している。
この際、送信されてくる部分画像データが高速表示用データであれば、表示面４２１に表示される部分画像は、部分画像Ｐｐに対し解像度が低下した低画質の高速表示用部分画像Ｐｓであり、送信されてくる部分画像データが高画質表示用データであれば、表示面４２１に表示される画像は、部分画像Ｐｐと同等の解像度を有する高画質の高画質表示用部分画像Ｐｃとなる。
Here, the operation of the
At this time, if the transmitted partial image data is high-speed display data, the partial image displayed on the
次に、図１３を参照して、画面共有システム１における画像の更新状態について詳細に説明する。
図１３において、時刻Ｔ０において、発表者側ＰＣ３１は、拠点Ａの画像Ｐの一部を部分画像Ｐｐに更新すると、データ生成に要する時間を便宜的に無視すれば、時刻Ｔ０において、高速表示用データの送信を開始する。この高速表示用データは、部分画像Ｐｐ（Ｐｐ１，Ｐｐ２）の部分画像データを圧縮したものであり、相対的にみればデータサイズが小さい。このため、ネットワーク２におけるデータ伝送用の帯域（即ち、一義的にデータ伝送速度）が一定であるものとして、データ伝送に要する伝送時間は、ΔＴｈｓである。
したがって、拠点Ｂの参加者側ＰＣ４１は、時刻Ｔ０から伝送時間ΔＴｈｓが経過した時刻Ｔ１において、高速表示用部分画像Ｐｓ（Ｐｓ１，Ｐｓ２）の表示を開始する。ただし、高速表示用部分画像Ｐｓは、解像度を部分画像Ｐｐに対して低下させた非可逆圧縮の画像であり、画質が粗くなる。
Next, an image update state in the
In FIG. 13, at time T0, the presenter-
Accordingly, the participant-
一方、発表者側ＰＣ３１は、時刻Ｔ１において高速表示用データの伝送が完了すると、即座に高画質表示用データの送信を開始する。この高画質表示用データは、高速表示用データと比べて解像度が高く、あるいは、部分画像データを可逆圧縮したものであり、相対的にデータサイズが大きい画像データである。このため、データ伝送用の帯域が一定であるものとして、データの伝送時間は、ΔＴｈｃ（ΔＴｈｃ＞ΔＴｈｓ）である。
On the other hand, when the transmission of the high-speed display data is completed at time T1, the presenter-
したがって、拠点Ｂの参加者側ＰＣ４１は、時刻Ｔ１から伝送時間ΔＴｈｃが経過した時刻Ｔ２において、高画質表示用部分画像Ｐｃ（Ｐｃ１，Ｐｃ２）の表示を開始し、高速表示用部分画像Ｐｓ（Ｐｓ１，Ｐｓ２）がこの高画質表示用部分画像Ｐｃ（Ｐｃ１，Ｐｃ２）に切り替わる。この際、高画質表示用部分画像Ｐｃは、解像度が部分画像Ｐｐと同等な、非圧縮画像あるいは可逆圧縮画像であり、画質の点では図示するように部分画像Ｐｐと遜色ない画像である。
Accordingly, the participant-
このように、上述の画面共有処理によれば、高速表示用データの送信を高画質表示用データの送信前に行うことによって、拠点Ａにおいて画面更新がなされてから、拠点Ｂの表示面４２１がそれに追従する形で更新されるまでに要する時間を、可及的に短縮化することが可能である。
As described above, according to the above-described screen sharing process, the
ここで特に、発表者側ＰＣ３１が高画質表示用データの送信を高速表示用データの送信前に行えば、拠点Ｂの表示画面が更新されない遅延時間は、高画質表示用データの伝送時間ΔＴｈｃに相当する時間となり、本実施形態と比べて明らかに長くなる。このため、画面共有処理をデータ会議に使用したり、他の用途に適用したりする場合、画面共有に際しての即時性の低下が悪影響を及ぼすことを回避し難い。
Here, in particular, if the presenter-
加えて、発表者側ＰＣ３１は、高速表示用データの送信が完了すれば、即座に高画質表示用データの送信を開始するため、相応の時間経過の後には、拠点Ｂの表示面４２１が、部分画像Ｐｐと同等の高画質表示用部分画像Ｐｃに更新される。すなわち、単に即時性のみを追及して画像データのデータサイズを縮減するのみと比べれば、表示面４２１に表示される画像が、定常的には高画質表示用部分画像Ｐｃに収束する点において、画質の面で明らかに有利に構成される。
In addition, the presenter-
次に、図１４に示すような画像Ｐに対する上述の処理が、高画質表示用データのデータサイズに及ぼす影響について説明する。
画像Ｐは、背景としてのフルカラーの写真で構成された壁紙と、当該壁紙の上に表示されたウインドウである部分画像Ｐｐとを有している。そして、ウインドウの領域が、白色背景に黒色文字が表示された部分画像Ｐｐに更新されたと仮定する。
Next, the effect of the above-described processing on the image P as shown in FIG. 14 on the data size of the high-quality display data will be described.
The image P has a wallpaper composed of a full-color photo as a background and a partial image Pp which is a window displayed on the wallpaper. Then, it is assumed that the window area is updated to a partial image Pp in which black characters are displayed on a white background.
この場合、発表者側ＰＣ３１は、まず、部分画像Ｐｐを含む仮想セルＣｉ（図１４では図示せず）から構成される更新セル領域Ｃｕを設定する。この更新セル領域Ｃｕは、部分画像Ｐｐと、当該部分画像Ｐｐを囲む四角枠状に形成されたフルカラーの周囲画像Ｐｑとを表示する。そして、発表者側ＰＣ３１は、更新セル領域Ｃｕから部分画像Ｐｐを抽出し、この部分画像Ｐｐの色の数に応じて高速表示用データや高画質表示用データを生成して、参加者側ＰＣ４１へ送信する。
In this case, the presenter-
ここで、発表者側ＰＣ３１は、高画質表示用データを生成する際に、部分画像Ｐｐの色の数によらず、周囲画像Ｐｑの色の数に基づいてフルカラーのＰＮＧを採用した場合、２色の部分画像Ｐｐを可逆圧縮した高画質表示用データのデータサイズは、例えば、１７ＫＢｙｔｅｓとなる。
さらに、更新セル領域Ｃｕから部分画像Ｐｐを抽出せずに、従来のように、部分画像Ｐｐのみが更新された場合でも、更新セル領域Ｃｕ内の全画像について、すなわち部分画像Ｐｐおよび周囲画像Ｐｑとから構成される画像について、フルカラーのＰＮＧにより高画質表示用データを生成すると、そのデータサイズは、例えば、１０４ＫＢｙｔｅｓとなる。
Here, when the presenter-
Further, even if only the partial image Pp is updated without extracting the partial image Pp from the updated cell region Cu, the entire image in the updated cell region Cu, that is, the partial image Pp and the surrounding image Pq, are updated. Is generated by full-color PNG, the data size is, for example, 104 Kbytes.
一方で、本実施形態では、発表者側ＰＣ３１は、色の数が２５６色以下の部分画像Ｐｐの高画質表示用データを生成する場合、表２に示すように、解像度が２５６あるいは１６の可逆圧縮を行う。
図１４に示す２色の部分画像Ｐｐに対して、発表者側ＰＣ３１は、解像度が１６の可逆圧縮を行う。可逆圧縮方式がＰＮＧの場合には、高画質表示用データのデータサイズは、例えば、７．５ＫＢｙｔｅｓとなる。
On the other hand, in the present embodiment, when the presenter-
For the two-color partial image Pp shown in FIG. 14, the
以上のように、本実施形態では、発表者側ＰＣ３１は、従来のように更新セル領域Ｃｕ内の全画像を可逆圧縮せずに、更新セル領域Ｃｕから抽出した部分画像Ｐｐのみを可逆圧縮する。このため、それぞれについてフルカラーのＰＮＧで可逆圧縮した場合を考えると、参加者側ＰＣ４１へ送信する画像の面積の削減効果（１−（部分画像Ｐｐの面積／更新セル領域Ｃｕ内の全画像の面積））が例えば、１３．２％であるのに対して、データサイズの削減効果（１−（部分画像Ｐｐのデータサイズ／更新セル領域Ｃｕ内の全画像のデータサイズ））は、例えば、８３．７％となる。
As described above, in the present embodiment, the presenter-
また、本実施形態では、発表者側ＰＣ３１は、部分画像Ｐｐの圧縮方式を部分画像Ｐｐの色の数に応じて変更する。ここで、２色の部分画像Ｐｐを色の数によらずフルカラーのＰＮＧで可逆圧縮した場合と、解像度が１６のＰＮＧで可逆圧縮した場合とを比較すると、データサイズの削減効果（１−（解像度が１６のＰＮＧでの可逆圧縮時のデータサイズ／フルカラーのＰＮＧでの可逆圧縮時のデータサイズ））は、例えば、５５．９％となる。また、１６色以下の部分画像Ｐｐについて、解像度が１６のＰＮＧで可逆圧縮した場合と、フルカラーのＰＮＧで可逆圧縮した場合とを比較すると、画質はほぼ同等である。
これらのことから、画質の低下を招くことなく、データサイズを例えば、５５．９％（トータルで９２．８％）低減することができる。
In the present embodiment, the presenter-
For these reasons, the data size can be reduced by, for example, 55.9% (92.8% in total) without degrading the image quality.
［画面共有システムの効果］
上述したような実施形態では、以下のような作用効果を奏することができる。
（１）画面共有システム１の発表者側ＰＣ３１は、発表者側表示装置３２に表示中の画像Ｐの部分画像Ｐｐが更新されたと判定すると、複数の仮想セルＣｉを設定する。この後、部分画像Ｐｐを含む仮想セルＣｉで構成される更新セル領域Ｃｕを設定し、更新セル領域Ｃｕの外側から内側に向かって、更新セル領域Ｃｕの上辺、下辺、左辺、右辺と平行なライン単位でスキャンして、１フレーム前（更新前）の画像Ｐと比較することで、更新領域である部分画像Ｐｐを含まないラインを削除して部分画像Ｐｐを抽出する。そして、部分画像Ｐｐの部分画像データを圧縮して高速表示用データを生成し、当該高速表示用データを参加者側ＰＣ４１へ送信して、参加者側表示装置４２に表示中の画像に高速表示用データに基づく高速表示用部分画像Ｐｓを表示させる。また、発表者側ＰＣ３１は、部分画像Ｐｐの部分画像データを圧縮して高画質表示用データを生成し、当該高画質表示用データを参加者側ＰＣ４１へ送信して、参加者側表示装置４２に表示中の画像に高画質表示用データに基づく高画質表示用部分画像Ｐｃを表示させる。
このため、更新セル領域Ｃｕよりも部分画像Ｐｐが小さく更新セル領域Ｃｕ内の一部分のみが更新されている場合には、更新セル領域Ｃｕ内の画像全体の画像データを圧縮せずに、部分画像Ｐｐのみの部分画像データを圧縮するので、参加者側ＰＣ４１へ送信する高速表示用データや高画質表示用データのデータサイズを、従来と比べて小さくすることができる。したがって、参加者側ＰＣ４１との通信量を低減できるとともに、画面共有の即時性も向上できる。
さらには、更新セル領域Ｃｕの上辺、下辺、左辺、右辺と平行なライン単位で順次スキャンして、１フレーム前（更新前）の画像Ｐと比較するだけの簡単な処理で部分画像Ｐｐを抽出できる。
[Effect of screen sharing system]
In the embodiment as described above, the following operational effects can be achieved.
(1) When the presenter-
Therefore, when the partial image Pp is smaller than the update cell region Cu and only a part of the update cell region Cu is updated, the partial image is not compressed without compressing the entire image data in the update cell region Cu. Since the partial image data of only Pp is compressed, the data size of the high-speed display data and high-quality display data transmitted to the participant-
Furthermore, the partial image Pp is extracted by a simple process that is sequentially scanned in units of lines parallel to the upper side, lower side, left side, and right side of the update cell region Cu and compared with the image P one frame before (before update). it can.
（２）発表者側ＰＣ３１は、部分画像Ｐｐの色の数に応じて、異なる圧縮方式で部分画像データを圧縮している。このため、図１４に示すように、部分画像Ｐｐの色の数に応じた圧縮方式を採用することによって、画質の低下を招くことなく、高速表示用データや高画質表示用データのデータサイズをより小さくすることができる。
特に、発表者側ＰＣ３１は、更新セル領域Ｃｕ内の画像全体の色の数ではなく、部分画像Ｐｐのみの色の数に応じて異なる圧縮方式で圧縮している。ここで、例えば、更新セル領域Ｃｕ内の画像のうち、部分画像Ｐｐが２５６色以下の文字から構成され、部分画像Ｐｐ以外の領域が２５７色以上の模様で構成されている場合、更新セル領域Ｃｕ内の画像全体の色の数に応じて圧縮方式を設定すると、色の数が２５７色以上と判定され、解像度がＪ４の非可逆圧縮が選択される。このような場合には、部分画像Ｐｐに表示されている文字が読みにくくなってしまうおそれがある。一方で、本実施形態のように部分画像Ｐｐのみの色の数に応じて設定すると、２５６色以下と判定され、解像度が１６あるいは２５６の可逆圧縮が選択される。部分画像Ｐｐに表示されている文字が読みにくくなることがない。
(2) The presenter-
In particular, the presenter-
［変形例］
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
すなわち、部分画像Ｐｐの色の分布に基づいて圧縮方式を設定してもよい。色の分布としては、同じ色の範囲（同一色範囲）の大きさ、部分画像Ｐｐ全体における同一色範囲の位置や形状が例示できる。また、例えば、隣り合う画素Ｇの色が同じ箇所の個数に基づいて、色の分布を数値（同色率）として算出し、同色率に基づいて圧縮方式を選択してもよい。
さらには、圧縮方式の設定条件としては、表１、表２に示す解像度や圧縮方式に限られない。
[Modification]
It should be noted that the present invention is not limited to the above-described embodiment, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention.
That is, the compression method may be set based on the color distribution of the partial image Pp. Examples of the color distribution include the size of the same color range (same color range) and the position and shape of the same color range in the entire partial image Pp. Further, for example, the color distribution may be calculated as a numerical value (same color ratio) based on the number of locations where the colors of adjacent pixels G are the same, and the compression method may be selected based on the same color ratio.
Further, the compression method setting conditions are not limited to the resolutions and compression methods shown in Tables 1 and 2.
さらに、画面更新が行われた場合に、高速表示用データを生成せずに、高画質表示用データを生成する処理のみを行って（ステップＳ１で画面更新有りと判定した場合に、ステップＳ２〜Ｓ４、ステップＳ９〜Ｓ１１を行い、ステップＳ１で画面更新無しと判定した場合に、所定時間経過後にステップＳ１を行って）、高画質表示用データを参加者側ＰＣ４１へ送信してもよい。
また、画面更新が行われた場合に、高画質表示用データを生成せずに、高速表示用データを生成する処理のみを行って（ステップＳ１で画面更新有りと判定した場合に、ステップＳ２〜Ｓ７を行い、ステップＳ１で画面更新無しと判定した場合に、所定時間経過後にステップＳ１を行って）、高速表示用データを参加者側ＰＣ４１へ送信してもよい。
Further, when the screen is updated, only the processing for generating the high-quality display data is performed without generating the high-speed display data (when it is determined in step S1 that the screen is updated, steps S2 to S2 are performed). If S4 and steps S9 to S11 are performed and it is determined in step S1 that there is no screen update, step S1 is performed after a predetermined time has elapsed), and the high-quality display data may be transmitted to the
Further, when the screen is updated, only the processing for generating the high-speed display data is performed without generating the high-quality display data (when it is determined in step S1 that the screen has been updated, steps S2 to S2 are performed). If S7 is performed and it is determined in step S1 that there is no screen update, step S1 is performed after a predetermined time has elapsed), and the high-speed display data may be transmitted to the participant-
また、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、上述したように取扱が容易で、利用の拡大が容易に図れる。 Each function described above is constructed as a program. However, for example, it may be configured by hardware such as a circuit board or an element such as one integrated circuit (IC), and can be used in any form. Note that, by using a configuration that allows reading from a program or a separate recording medium, as described above, handling is easy, and usage can be easily expanded.
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。 In addition, the specific structure and procedure for carrying out the present invention can be appropriately changed to other structures and the like within a range in which the object of the present invention can be achieved.
３１…画面共有処理装置としての発表者側ＰＣ
３２…第２表示部としての発表者側表示装置
３４…送信部としての通信部
４１…端末としての参加者側ＰＣ
４２…第１表示部としての参加者側表示装置
３６２…仮想セル設定部
３６３…更新セル領域設定部
３６４…部分画像抽出部
３６５…圧縮部
31 ... Presenter's PC as a screen sharing processor
32 ... Presenter side display device as
42 ... Participant side display device as
Claims (6)
前記画面共有処理装置が、
前記第２表示部に表示中の画像の一部分である部分画像が更新されたと判定すると、当該画像に対して複数の画素から構成される複数の仮想セルを設定するステップと、
前記仮想セルごとに前記部分画像を含むか否かを判定し、前記部分画像を含む仮想セルで構成される更新セル領域を設定するステップと、
前記更新セル領域の外側から内側に向かって、ライン単位でスキャンし、前記部分画像を含まないラインを削除して前記部分画像を抽出するステップと、
前記部分画像の部分画像データを圧縮して圧縮部分画像データを生成するステップと、
前記圧縮部分画像データを前記端末へ送信して、前記第１表示部に表示中の画像に前記圧縮部分画像データに基づく部分画像を表示させるステップと、を含む
ことを特徴とする画面共有方法。 A screen that is connected to a terminal capable of displaying an image on the first display unit via a network and uses a screen sharing processing device configured to display an image on the second display unit, and shares an image with the terminal A sharing method,
The screen sharing processing device
When determining that the partial image that is a part of the image being displayed on the second display unit has been updated, setting a plurality of virtual cells composed of a plurality of pixels for the image;
Determining whether to include the partial image for each virtual cell, and setting an update cell region composed of virtual cells including the partial image;
Scanning from the outside to the inside of the updated cell area in units of lines, deleting lines that do not include the partial image, and extracting the partial image;
Compressing the partial image data of the partial image to generate compressed partial image data;
Transmitting the compressed partial image data to the terminal, and displaying a partial image based on the compressed partial image data in an image being displayed on the first display unit.
前記圧縮部分画像データを生成するステップは、前記部分画像に含まれる色の数に基づいて、前記部分画像データを異なる圧縮方式で圧縮する
ことを特徴とする画面共有方法。 The screen sharing method according to claim 1,
The step of generating the compressed partial image data compresses the partial image data with a different compression method based on the number of colors included in the partial image.
前記更新セル領域を設定するステップは、四角形状の前記更新セル領域を設定し、
前記部分画像を抽出するステップは、
前記更新セル領域の四角形状を構成する第１辺と平行なライン単位で画素ごとにスキャンし、当該スキャンしたラインに更新された部分画像の画素が含まれていないことを検出すると当該ラインを削除し、前記スキャンしたラインに更新された部分画像の画素が含まれていることを検出すると当該ラインを削除せずに、前記第１辺と平行なスキャンを終了し、
前記第１辺と平行なスキャンの終了後に、前記更新セル領域の四角形状を構成する第２辺と平行なライン単位で画素ごとにスキャンし、当該スキャンしたラインに更新された部分画像の画素が含まれていないことを検出すると当該ラインを削除し、前記スキャンしたラインに更新された部分画像の画素が含まれていることを検出すると当該ラインを削除せずに、前記第２辺と平行なスキャンを終了し、
前記第２辺と平行なスキャンの終了後に、前記更新セル領域の四角形状を構成する第３辺と平行なライン単位で画素ごとにスキャンし、当該スキャンしたラインに更新された部分画像の画素が含まれていないことを検出すると当該ラインを削除し、前記スキャンしたラインに更新された部分画像の画素が含まれていることを検出すると当該ラインを削除せずに、前記第３辺と平行なスキャンを終了し、
前記第３辺と平行なスキャンの終了後に、前記更新セル領域の四角形状を構成する第４辺と平行なライン単位で画素ごとにスキャンし、当該スキャンしたラインに更新された部分画像の画素が含まれていないことを検出すると当該ラインを削除し、前記スキャンしたラインに更新された部分画像の画素が含まれていることを検出すると当該ラインを削除せずに、前記第４辺と平行なスキャンを終了することで、前記部分画像を抽出する
ことを特徴とする画面共有方法。 The screen sharing method according to claim 1 or 2,
The step of setting the update cell region sets the update cell region having a rectangular shape,
The step of extracting the partial image includes:
Scan for each pixel in units of lines parallel to the first side forming the quadrangular shape of the updated cell area, and delete the line when it is detected that the updated partial image pixel is not included in the scanned line And detecting that the pixel of the updated partial image is included in the scanned line, ending the scan parallel to the first side without deleting the line,
After completion of scanning parallel to the first side, scanning is performed for each pixel in units of lines parallel to the second side constituting the quadrangular shape of the update cell region, and the pixels of the partial image updated to the scanned line are displayed. When it is detected that the line is not included, the line is deleted, and when it is detected that the pixel of the updated partial image is included in the scanned line, the line is not deleted and is parallel to the second side. End the scan
After completion of scanning parallel to the second side, scanning is performed for each pixel in units of lines parallel to the third side constituting the quadrangular shape of the update cell region, and the pixels of the partial image updated to the scanned line are displayed. When it is detected that the line is not included, the line is deleted, and when it is detected that the scanned line includes a pixel of the updated partial image, the line is not deleted and is parallel to the third side. End the scan
After completion of the scan parallel to the third side, scanning is performed for each pixel in units of lines parallel to the fourth side forming the quadrangular shape of the update cell region, and the pixel of the partial image updated to the scanned line is displayed. When it is detected that the line is not included, the line is deleted, and when it is detected that the pixel of the updated partial image is included in the scanned line, the line is not deleted and is parallel to the fourth side. The screen sharing method, wherein the partial image is extracted by terminating scanning.
前記第２表示部に表示中の画像の一部分である部分画像が更新されたと判定すると、当該画像に対して複数の画素から構成される複数の仮想セルを設定する仮想セル設定部と、
前記仮想セルごとに前記部分画像を含むか否かを判定し、前記部分画像を含む仮想セルで構成される更新セル領域を設定する更新セル領域設定部と、
前記更新セル領域の外側から内側に向かって、ライン単位でスキャンし、前記部分画像を含まないラインを削除して前記部分画像を抽出する部分画像抽出部と、
前記部分画像の部分画像データを圧縮して圧縮部分画像データを生成する圧縮部と、
前記圧縮部分画像データを前記端末へ送信して、前記第１表示部に表示中の画像に前記圧縮部分画像データに基づく部分画像を表示させる送信部と、を備える
ことを特徴とする画面共有処理装置。 A screen sharing processing device configured to be connected to a terminal capable of displaying an image on the first display unit via a network and configured to display an image on the second display unit, and to share an image with the terminal. And
When it is determined that a partial image that is a part of an image being displayed on the second display unit has been updated, a virtual cell setting unit that sets a plurality of virtual cells composed of a plurality of pixels for the image;
An update cell region setting unit that determines whether or not to include the partial image for each virtual cell, and sets an update cell region composed of virtual cells including the partial image;
A partial image extraction unit that scans in units of lines from the outside to the inside of the update cell area, deletes lines that do not include the partial image, and extracts the partial image;
A compression unit that compresses partial image data of the partial image to generate compressed partial image data;
A screen sharing process comprising: a transmission unit that transmits the compressed partial image data to the terminal and displays a partial image based on the compressed partial image data in an image being displayed on the first display unit. apparatus.
前記圧縮部は、前記部分画像に含まれる色の数に基づいて、前記部分画像データを異なる圧縮方式で圧縮する
ことを特徴とする画面共有処理装置。 The screen sharing processing device according to claim 4,
The screen sharing processing apparatus, wherein the compression unit compresses the partial image data with a different compression method based on the number of colors included in the partial image.
前記更新セル領域設定部は、四角形状の前記更新セル領域を設定し、
前記部分画像抽出部は、
前記更新セル領域の四角形状を構成する第１辺と平行なライン単位で画素ごとにスキャンし、当該スキャンしたラインに更新された部分画像の画素が含まれていないことを検出すると当該ラインを削除し、前記スキャンしたラインに更新された部分画像の画素が含まれていることを検出すると当該ラインを削除せずに、前記第１辺と平行なスキャンを終了し、
前記第１辺と平行なスキャンの終了後に、前記更新セル領域の四角形状を構成する第２辺と平行なライン単位で画素ごとにスキャンし、当該スキャンしたラインに更新された部分画像の画素が含まれていないことを検出すると当該ラインを削除し、前記スキャンしたラインに更新された部分画像の画素が含まれていることを検出すると当該ラインを削除せずに、前記第２辺と平行なスキャンを終了し、
前記第２辺と平行なスキャンの終了後に、前記更新セル領域の四角形状を構成する第３辺と平行なライン単位で画素ごとにスキャンし、当該スキャンしたラインに更新された部分画像の画素が含まれていないことを検出すると当該ラインを削除し、前記スキャンしたラインに更新された部分画像の画素が含まれていることを検出すると当該ラインを削除せずに、前記第３辺と平行なスキャンを終了し、
前記第３辺と平行なスキャンの終了後に、前記更新セル領域の四角形状を構成する第４辺と平行なライン単位で画素ごとにスキャンし、当該スキャンしたラインに更新された部分画像の画素が含まれていないことを検出すると当該ラインを削除し、前記スキャンしたラインに更新された部分画像の画素が含まれていることを検出すると当該ラインを削除せずに、前記第４辺と平行なスキャンを終了することで、前記部分画像を抽出する
ことを特徴とする画面共有処理装置。 In the screen sharing processing device according to claim 4 or 5,
The update cell region setting unit sets the update cell region having a rectangular shape,
The partial image extraction unit
Scan for each pixel in units of lines parallel to the first side forming the quadrangular shape of the updated cell area, and delete the line when it is detected that the updated partial image pixel is not included in the scanned line And detecting that the pixel of the updated partial image is included in the scanned line, ending the scan parallel to the first side without deleting the line,
After completion of scanning parallel to the first side, scanning is performed for each pixel in units of lines parallel to the second side constituting the quadrangular shape of the update cell region, and the pixels of the partial image updated to the scanned line are displayed. When it is detected that the line is not included, the line is deleted, and when it is detected that the pixel of the updated partial image is included in the scanned line, the line is not deleted and is parallel to the second side. End the scan
After completion of scanning parallel to the second side, scanning is performed for each pixel in units of lines parallel to the third side constituting the quadrangular shape of the update cell region, and the pixels of the partial image updated to the scanned line are displayed. When it is detected that the line is not included, the line is deleted, and when it is detected that the scanned line includes a pixel of the updated partial image, the line is not deleted and is parallel to the third side. End the scan
After completion of the scan parallel to the third side, scanning is performed for each pixel in units of lines parallel to the fourth side forming the quadrangular shape of the update cell region, and the pixel of the partial image updated to the scanned line is displayed. When it is detected that the line is not included, the line is deleted, and when it is detected that the pixel of the updated partial image is included in the scanned line, the line is not deleted and is parallel to the fourth side. The screen sharing processing apparatus, wherein the partial image is extracted by finishing scanning.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011221312A JP2013080443A (en) | 2011-10-05 | 2011-10-05 | Screen sharing method and screen sharing processing equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011221312A JP2013080443A (en) | 2011-10-05 | 2011-10-05 | Screen sharing method and screen sharing processing equipment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013080443A true JP2013080443A (en) | 2013-05-02 |
Family
ID=48526753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011221312A Pending JP2013080443A (en) | 2011-10-05 | 2011-10-05 | Screen sharing method and screen sharing processing equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013080443A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020155834A (en) * | 2019-03-18 | 2020-09-24 | 株式会社デンソー | Data compression method and data compression device |
-
2011
- 2011-10-05 JP JP2011221312A patent/JP2013080443A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020155834A (en) * | 2019-03-18 | 2020-09-24 | 株式会社デンソー | Data compression method and data compression device |
| JP7135955B2 (en) | 2019-03-18 | 2022-09-13 | 株式会社デンソー | Data compression method, data compression device |
| US11443456B2 (en) | 2019-03-18 | 2022-09-13 | Denso Corporation | Data compression method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103957416B (en) | Partial expansion method of encoded images and image processing apparatus | |
| CN100583022C (en) | Method for capturing computer screen image | |
| EP1585062A2 (en) | Portable game machine and computer-readable recording medium | |
| CN105959724B (en) | Video data processing method and device | |
| US20050021810A1 (en) | Remote display protocol, video display system, and terminal equipment | |
| JP6055433B2 (en) | Game provision server | |
| JP2013131990A (en) | Information processor and program | |
| WO2021008427A1 (en) | Image synthesis method and apparatus, electronic device, and storage medium | |
| WO2018126594A1 (en) | Display switching method for terminal, and terminal | |
| EP1594092A2 (en) | Image processing system for increasing the number of rendered polygons | |
| WO2011077550A1 (en) | Screen relay device | |
| CN109993817B (en) | Animation realization method and terminal | |
| JP2003050694A (en) | Presentation system, image display device, its program and recording medium | |
| WO2012095906A1 (en) | Information processing device | |
| JP5265306B2 (en) | Image processing device | |
| JP2013016973A (en) | Image processor and image processing method | |
| JP2013243610A (en) | Image data transmission apparatus, image data reception apparatus, image data transmission system, image data transmission method, image data reception method, transmission image data, and program | |
| CN103731581B (en) | Image procossing cooperative system, collaboration method, mobile terminal device | |
| CN100492489C (en) | Anti-flash display method and device | |
| JP2013080443A (en) | Screen sharing method and screen sharing processing equipment | |
| JP5988696B2 (en) | Image compression circuit, image compression method, semiconductor device, and smartphone | |
| CN113986168B (en) | Image display method, device, equipment and readable storage medium | |
| KR20180117826A (en) | Method and apparatus for production of webtoon movies | |
| JP5331432B2 (en) | Image processing apparatus and image processing method | |
| JP4809412B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140919 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150721 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151117 |