JP2016111626A - 中継装置、中継プログラム及び中継方法 - Google Patents

中継装置、中継プログラム及び中継方法 Download PDF

Info

Publication number
JP2016111626A
JP2016111626A JP2014249339A JP2014249339A JP2016111626A JP 2016111626 A JP2016111626 A JP 2016111626A JP 2014249339 A JP2014249339 A JP 2014249339A JP 2014249339 A JP2014249339 A JP 2014249339A JP 2016111626 A JP2016111626 A JP 2016111626A
Authority
JP
Japan
Prior art keywords
image
unit
server
watermark
watermark image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2014249339A
Other languages
English (en)
Inventor
松井 一樹
Kazuki Matsui
一樹 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014249339A priority Critical patent/JP2016111626A/ja
Publication of JP2016111626A publication Critical patent/JP2016111626A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】中継装置の処理負荷を抑えつつ、データの正当性をクライアント端末に識別させる。【解決手段】GWサーバ200は、Webサーバ100の実行結果を描画する画像を保持するフレームバッファ204を有する。GWサーバ200は、フレームバッファ204に描画された画像を複数の領域に分割し、領域ごとにフレーム間の変更の頻度を判別する更新頻度判定部205を有する。GWサーバ200は、変更の頻度が低いと判別される領域の一部に透かし画像を埋め込む透かし画像埋込部206を有する。GWサーバ200は、埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行う静止画(可逆)圧縮部207を有する。GWサーバ200は、圧縮された圧縮画像をクライアント端末300に送信する通信部212を有する。【選択図】図1

Description

本発明は、中継装置等に関する。
シンクライアントというシステムが知られている。シンクライアントシステムでは、クライアント端末に最低限の機能しか持たせず、サーバでアプリケーションやファイル等のリソースを管理するようにシステムが構築される。
かかるシンクライアントシステムは、実際にはサーバが処理を実行した処理結果やサーバが保持するデータをクライアント端末に表示させつつも、あたかもクライアント端末が主体となって処理を実行したり、データを保持したりしているかのように振る舞う。
このようなシンクライアントシステムでは、ウェブサーバからのデータを中継するサーバからクライアント端末に送信するデータ量を低減させるために、以下の技術が知られている。すなわち、シンクライアントシステムの中継サーバが、画像メモリに描画された画像を複数の領域に分割し、領域ごとにフレーム間の変更の頻度を判別し、変更のある領域の画像をクライアント端末に送信する。このとき、中継サーバは、変更の頻度がしきい値を超えた領域を高頻度更新領域として識別し、識別した領域の画像を、静止画よりも圧縮率の高い動画の圧縮処理を行って送信する。なお、中継サーバからクライアント端末に送信するデータ量を低減させるために、静止画および動画の圧縮処理は、圧縮後のデータを圧縮前のデータに完全に戻せない非可逆の圧縮処理であることが多い。
また、データに埋め込まれた透かし情報を用いてデータの真偽を行う技術が知られている。かかる技術では、ウェブサーバと接続する管理サーバが電子透かし情報をウェブページに埋め込み、該ウェブページをクライアント端末に配信する。配信を受けたクライアント端末は、少なくとも電子透かし情報の識別情報とウェブページのURLとを用いてウェブページの真偽判定を行う。
特開2011−238014号公報 特開2006−343825号公報 特開2003−152984号公報 特開2009−081827号公報
しかしながら、中継装置からクライアント端末に送信するデータ量を低減させる上記の技術を用いる場合に、中継サーバが透かし情報をウェブページに埋め込む際、中継サーバの処理負荷が増大するという問題がある。すなわち、中継サーバは、透かし情報をウェブページに埋め込む処理を画像変更があるたびに実行することとなるので、透かし情報をウェブページに埋め込む処理負荷が増大する。
また、上記の技術を用いる場合に、中継サーバが透かし情報をウェブページに埋め込む際、中継サーバはウェブページの正当性をクライアント端末に識別させることができないという問題がある。すなわち、中継サーバが圧縮前の原画像に対して透かし画像を埋め込むと、透かし画像の部分を非可逆の圧縮処理で圧縮するので、情報量が落ちてしまう。この結果、クライアント端末は、透かし画像をうまく抽出することができず、ウェブページの正当性を識別できない。なお、中継サーバが圧縮後の画像に対して透かし画像を埋め込むことも想定できるが、上記の技術を変更する必要がある。
一つの側面では、本発明は、中継装置からクライアント端末に送信するデータ量を低減させる技術を用いる場合に、中継装置の処理負荷を抑えつつ、データの正当性をクライアント端末に識別させることができる中継装置、中継プログラム及び中継方法を提供することにある。
本願の開示する中継装置は、サーバ装置の実行結果を描画する画像を保持する画像メモリと、前記画像メモリに描画された画像を複数の領域に分割し、前記領域ごとにフレーム間の変更の頻度を判別する変更頻度判別部と、前記変更頻度判別部により前記変更の頻度が低いと判別される領域の一部に透かし画像を埋め込む埋込部と、前記埋込部により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行う圧縮部と、前記圧縮部により圧縮された圧縮画像をクライアント端末に送信する送信部と、を有する。
本願の開示する中継装置の一つの態様によれば、中継装置からクライアント端末に送信するデータ量を低減させる技術を用いる場合に、中継装置の処理負荷を抑えつつ、データの正当性をクライアント端末に識別させることができるという効果を奏する。
図1は、実施例に係るシンクライアントシステムに含まれる各装置の構成を示すブロック図である。 図2は、実施例に係るWebサイト登録DBのデータ構造の一例を示す図である。 図3は、実施例に係る透かし画像埋込処理の流れを示す図である。 図4は、実施例に係るGWサーバの透かし画像埋込処理の手順を示すフローチャートである。 図5は、実施例に係るクライアント端末の透かし画像表示処理の手順を示すフローチャートである。 図6は、実施例に係る透かし画像表示の一例を示す図である。 図7は、実施例に係る透かし画像表示の変形例を示す図である。 図8は、実施例に係る透かし画像表示の別の変形例を示す図である。 図9は、中継プログラムを実行するコンピュータの一例を示す図である。
以下に、本願の開示する中継装置、中継プログラム及び中継方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
[システム構成]
まず、本実施例に係るシンクライアントシステムの構成について説明する。図1は、実施例に係るシンクライアントシステムに含まれる各装置の構成を示すブロック図である。図1に示すシンクライアントシステム1は、クライアント端末300が表示する画面をリモートで中継装置であるGW(Gate Way)サーバ200に制御させるものである。つまり、シンクライアントシステム1は、実際にはGWサーバ200が実行した処理結果や保持するデータをクライアント端末300に表示させつつも、あたかもクライアント端末300が主体となって処理を実行したり、データを保持したりしているかのように振る舞う。
図1に示すシンクライアントシステム1は、サーバ装置であるWebサーバ100と、中継装置であるGWサーバ200と、クライアント端末300とを有する。なお、図1の例では、1つのGWサーバ200に対し、1つのWebサーバ100および1つのクライアント端末300を接続する場合を図示したが、任意の数のWebサーバおよびクライアント端末を接続できる。
これらWebサーバ100、GWサーバ200およびクライアント端末300は、所定のネットワークを介して、相互に通信可能に接続される。かかるネットワークには、有線または無線を問わず、インターネット、LAN(Local Area Network)やVPN(Virtual Private Network)等の任意の種類の通信網を適用できる。なお、GWサーバ200およびクライアント端末300間の通信プロトコルには、一例として、VNCにおけるRFB(Remote Frame Buffer)プロトコルを適用する場合を想定する。
Webサーバ100は、コンテンツを配信するサーバ装置であり、Webページを配信する。Webサーバ100は、GWサーバ200からのWebページ要求に応じて、対応するWebページをGWサーバ200に送信する。なお、以下の説明では、Webページのことを単にページと記載する場合がある。
GWサーバ200は、クライアント端末300に表示させる画面をリモートで制御するサービスを提供するコンピュータである。例えば、GWサーバ200は、クライアント端末300から取得されたWebページの要求に対するページ(Web画面)を表示するための画面を生成する。GWサーバ200は、画面を生成する際に、画面の更新頻度が低い静止画の領域の一部に透かし画像を埋め込む。GWサーバ200は、画面のうち、埋め込んだ透かし画像を含む領域に可逆の圧縮を行う。GWサーバ200は、埋め込んだ透かし画像を含む領域以外の領域に非可逆の圧縮を行う。GWサーバ200は、圧縮された領域に対応する画像をクライアント端末300に送信する。
クライアント端末300は、GWサーバ200によるリモート画面制御サービスの提供を受ける側のコンピュータである。例えば、クライアント端末300は、GWサーバ200から圧縮された領域に対応する画像を受信すると、圧縮方式に応じて各領域を復元する。クライアント端末300は、圧縮方式が可逆である場合には、静止画の可逆の復元を行う。すなわち、クライアント端末300は、透かし画像を静止画の可逆の復元を行う。クライアント端末300は、圧縮方式が非可逆である場合には、静止画または動画の区別に応じて非可逆の復元を行う。クライアント端末300は、透かし画像を含む復元した画像を表示部に表示する。但し、透かし画像は、視覚では認識できないものとする。透かし画像が、視覚で認識できると、不正サイトに悪用されるおそれがあるからである。
かかるクライアント端末300の一例としては、タブレット端末、スマートフォン等を適用できる。また、クライアント端末300の他の例としては、携帯電話機、PHS(Personal Handyphone System)やPDA(Personal Digital Assistant)等の移動体端末の他、パーソナルコンピュータ(personal computer)等の固定端末を適用することができる。
[Webサーバの構成]
次に、実施例に係るWebサーバの機能的構成について説明する。図1に示すように、Webサーバ100は、通信部101と、読出部102と、記憶部103とを有する。なお、Webサーバ100は、図1に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや表示デバイス等の機能を有するものとする。
通信部101は、例えば、NIC(Network Interface Card)等によって実現される。通信部101は、ネットワークを介してGWサーバ200と有線または無線で接続され、GWサーバ200との間で情報の通信を司る通信インタフェースである。通信部101は、GWサーバ200からページ要求を受信し、受信したページ要求を読出部102に出力する。また、通信部101は、読出部102から入力されたページをGWサーバ200に送信する。
読出部102は、通信部101からページ要求が入力されると、対応するページを記憶部103から読み出す。読出部102は、ページ要求として、例えば、所定URL(Uniform Resource Locator)が入力されると、記憶部103から所定URLに対応するページを読み出す。読出部102は、読み出したページを通信部101に出力する。
記憶部103は、ページを記憶する。ページは、例えば、HTML(Hyper Text Markup Language)等で記述され、画像等が含まれる。また、ページは、Java(登録商標)アプレット、Java(登録商標)EE(Java Platform, Enterprise Edition)、Flash(登録商標)、Ajax等を用いた動的なページであっても良い。ページは、他にも、JPEG等の静止画像、MPEG−2やMPEG−4等の動画像を含んでも良い。
[GWサーバの構成]
次に、本実施例に係るGWサーバの機能的構成について説明する。図1に示すように、GWサーバ200は、Web画面取得部201と、ウィンドウ管理部202と、Web画面描画部203と、フレームバッファ204と、更新頻度判定部205と、透かし画像埋込部206と、静止画(可逆)圧縮部207とを有する。また、GWサーバ200は、静止画(非可逆)圧縮部208と、動画圧縮部209と、更新画像送信制御部210と、入力処理部211と、通信部212と、記憶部213とを有する。なお、GWサーバ200は、図1に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや表示デバイス等の機能を有するものとする。
Web画面取得部201は、例えば、NIC等によって実現される。Web画面取得部201は、ネットワークを介してWebサーバ100と有線または無線で接続され、Webサーバ100との間で情報の通信を司る通信インタフェースである。Web画面取得部201は、Webサーバ100に対してページ要求を送信し、Webサーバ100から要求したページ(Web画面)を取得する。
ウィンドウ管理部202は、ウィンドウを管理する。例えば、ウィンドウ管理部202は、Web画面取得部201により取得されたWeb画面(ページ)をフレームバッファ204に描画する要求をWeb画面描画部203に指示する。また、ウィンドウ管理部202は、後述する入力処理部211により入力されたウィンドウに関わるアプリケーションの起動指示やウィンドウに関わるアプリケーションに対するコマンドを検出し、Web画面描画部203に指示する。
Web画面描画部203は、ウィンドウ管理部202による指示に基づき、Web画面を描画する。例えば、Web画面描画部203は、ウィンドウ管理部202によりアプリケーションの起動が指示された場合や起動中のアプリケーションにコマンドの実行が指示された場合にアプリケーションを動作させる。Web画面描画部203は、アプリケーションを実行することにより得られた、Web画面の処理結果の表示用画像(リモート画面)を、アプリケーションにより指定されたフレームバッファ204上の描画位置へ描画する。
なお、Web画面描画部203が実行するアプリケーションは、プリインストールされたものであってもよく、GWサーバ200の出荷後にインストールされたものであってもかまわない。また、JAVA(登録商標)などのネットワーク環境から動的にデータを読み込んだ上で動作するアプリケーションであっても良い。
フレームバッファ204は、Web画面描画部203により描画された表示用画像を画像データフレームとして記憶する記憶デバイスである。かかるフレームバッファ204の一態様としては、VRAM(Video Random Access Memory)を始めとするRAM(Random Access Memory)、ROM(Read Only Memory)やフラッシュメモリ(flash memory)等の半導体メモリ素子が挙げられる。なお、フレームバッファ204は、ハードディスク、光ディスク等の記憶装置を適用することとしてもかまわない。
更新頻度判定部205は、フレームバッファ204を検査し、画像データフレームの更新頻度を判定する。なお、更新頻度判定部205による更新頻度を判定する手法には、様々な手法を用いることができる。一例として、特開2011-238014号公報によって示される技術では、以下のように判定される。例えば、更新頻度判定部205は、Web画面描画部203によりフレームバッファ204へ画像データフレームが格納される度に、次のような処理を行う。すなわち、更新頻度判定部205は、前回クライアント端末300で表示させていたデスクトップ画面と、今回フレームバッファ204へ書き込まれたデスクトップ画面とを比較し、変更があった部分を矩形に整形した更新矩形の画像を生成する。更新頻度判定部205は、更新矩形を図示しない作業用の内部メモリへ所定の期間にわたって蓄積する。このとき、更新頻度判定部205は、更新矩形の位置および大きさを特定可能な属性情報、例えば更新矩形の左上の頂点の座標と更新矩形の幅および高さとを蓄積する。そして、更新頻度判定部205は、更新矩形の画像を蓄積してから所定の期間が経過した場合に、デスクトップ画面をメッシュ状に分割したマップを用いて、画像データフレームの更新頻度を判定する。すなわち、更新頻度判定部205は、所定の期間における更新頻度が閾値より高いメッシュを動画化更新領域として高頻度の更新領域と判定する。更新頻度判定部205は、所定の期間における更新頻度が閾値より低いメッシュを静止画更新領域として低頻度の更新領域と判定する。
透かし画像埋込部206は、静止画更新領域の一部に透かし画像を埋め込む。例えば、透かし画像埋込部206は、Web画面取得部201により取得されたページがあらかじめURLが登録されたWebサイトのページであれば、以下の処理を行う。これは、あらかじめURLが登録されたWebサイトのセキュリティを担保するためである。URLを登録するDBには、一例として、後述するWebサイト登録DB213aが挙げられる。透かし画像埋込部206は、更新頻度判定部205により低頻度の更新領域と判定された静止画更新領域が透かし画像の大きさより大きい場合には、デスクトップ画面を透かし画像の大きさに応じて格子状に分割する。透かし画像埋込部206は、静止画更新領域に対応する格子の1つにランダムに透かし画像を割り当て、割り当てた格子に透かし画像を埋め込む。これにより、透かし画像埋込部206は、画面更新が低頻度の静止画更新領域に透かし画像を埋め込むことで、透かし画像の埋め込む頻度を低くすることができ、GWサーバ200の負荷を軽減できる。なお、透かし画像埋込部206は、更新部分が全くない場合には、静止画更新領域がないので、透かし画像を埋め込まない。また、透かし画像埋込部206は、全ての領域が動画化更新領域である場合には、静止画更新領域がないので、透かし画像を埋め込まない。
静止画(可逆)圧縮部207は、透かし画像埋込部206により埋め込まれた透かし画像に対して可逆の静止画圧縮を行う。これにより、透かし画像に対して非可逆の静止画圧縮を行った場合に情報量が落ちてしまうことを避けることができる。なお、可逆の静止画圧縮方式の一態様としては、PNG方式やGIF方式が挙げられる。
静止画(非可逆)圧縮部208は、透かし画像埋込部206により埋め込まれた透かし画像以外の静止画像に対して非可逆の静止画圧縮を行う。なお、非可逆の静止画圧縮方式の一態様としては、JPEG方式が挙げられる。
動画圧縮部209は、動画化更新領域の画像を圧縮する。例えば、動画圧縮部209は、更新頻度判定部205により高頻度の更新領域と判定された動画化更新領域のビットマップ画像がストリームを形成可能なフレーム数に到達した段階で動画化更新領域のビットマップ画像を圧縮する。なお、動画圧縮方式の一態様としては、MPEG−2やMPEG−4等のMPEG方式やMotion−JPEG方式が挙げられる。
更新画像送信制御部210は、更新画像を送信する制御を行う。例えば、更新画像送信制御部210は、静止画(可逆)圧縮部207により圧縮された透かし画像に対する領域の圧縮画像を通信部212に出力する。また、更新画像送信制御部210は、静止画(非可逆)圧縮部208により圧縮された静止画更新領域の圧縮画像を通信部212に出力する。また、更新画像送信制御部210は、動画圧縮部209により圧縮された動画化更新領域の圧縮画像を通信部212に出力する。
入力処理部211は、後述する通信部212が受信したクライアント端末300の操作情報を入力する処理部である。例えば、入力処理部211は、クライアント端末300からのページ要求を操作情報として入力する。入力処理部211は、マウスの左右のクリックを始め、ダブルクリックやドラッグ、マウスの移動操作を介して得られたマウスカーソルの移動量を操作情報として入力する。他の一例としては、入力処理部211は、クライアント端末300から取得したタッチパネル上でのフリックの操作量、パンの操作量等を入力しても良い。
通信部212は、例えば、NIC等によって実現される。通信部212は、ネットワークを介してクライアント端末300と有線または無線で接続され、クライアント端末300との間で情報の通信を司る通信インタフェースである。例えば、通信部212は、更新画像送信制御部210から出力された、透かし画像に対する領域の圧縮画像および属性情報をクライアント端末300へ送信する。通信部212は、更新画像送信部210から出力された、静止画更新領域の圧縮画像および属性情報をクライアント端末300へ送信する。これらの圧縮画像を送信する場合の通信プロトコルには、一例としてVNCにおけるRFBプロトコルが採用される。また、通信部212は、更新画像送信部210から出力された、動画化更新領域の圧縮画像および属性情報をクライアント端末300へ送信する。この動画化更新領域の圧縮画像を送信する場合の通信プロトコルには、一例として、RTP(Real-time Transport Protocol)を採用できる。
記憶部213は、Webサイト登録DB213aを記憶する。Webサイト登録DB213aは、セキュリティを担保するWebサイトをURLとともに登録するDBである。なお、Webサイト登録DB213aは、一例として、透かし画像埋込部206によって用いられる。ここで、Webサイト登録DB213aのデータ構造の一例を、図2を参照して説明する。
図2は、実施例に係るWebサイト登録DBのデータ構造の一例を示す図である。図2に示すように、Webサイト登録DB213aは、URL識別子およびサイト名を対応付けて記憶する。URL識別子は、URLの識別子であり、URLそのものであっても良い。サイト名は、URLに対応するサイトの名称である。すなわち、Webサイト登録DB213aは、透かし画像によりセキュリティを担保するWebサイトをあらかじめ記憶する。
[クライアント端末の構成]
次に、本実施例に係るクライアント端末の機能的構成について説明する。図1に示すように、クライアント端末300は、表示部301と、入力部302と、通信部303と、圧縮画像復元部304と、Web画像表示部305とを有する。また、クライアント端末300は、透かし画像抽出部306と、透かし画像表示部307と、透かし画像表示完了判定部308と、入力処理部309とを有する。なお、クライアント端末300は、図1に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば音声出力部等の機能を有するものとする。
表示部301は、各種の情報、例えばGWサーバ200から送信されたデスクトップ画面等を表示する表示デバイスであり、一例としては、モニタ(monitor)、ディスプレイ(display)やタッチパネル(touch panel)等を適用できる。
入力部302は、ユーザから各種操作を受け付ける入力デバイスである。例えば、入力部302は、タッチパネル、マウスやキーボード等によって実現される。また、入力部302は、タッチパネルを用いる場合には、表示デバイスである表示部301と一体化される。
通信部303は、例えば、NIC等によって実現され、送信部および受信部を有する。通信部303は、ネットワークを介してGWサーバ200と有線または無線で接続され、GWサーバ200との間で情報の通信を司る通信インタフェースである。通信部303は、後述する入力処理部309により処理された操作情報を、ネットワークを介してGWサーバ200に送信する。また、通信部303は、GWサーバ200から圧縮データを受信すると、圧縮画像復元部304に対して圧縮データを出力する。圧縮データには、圧縮画像および属性情報が含まれる。
圧縮画像復元部304は、圧縮画像を復元する。なお、圧縮画像復元部304は、GWサーバ200に搭載される圧縮方式に適合する復元方式により圧縮画像を復元する。例えば、圧縮画像復元部304は、透かし画像の圧縮画像に対して、実施された可逆の静止画圧縮方式に適合する復元方式により復元する。また、圧縮画像復元部304は、透かし画像以外の静止画像の圧縮画像に対して、実施された非可逆の静止画圧縮方式に適合する復元方式により復元する。また、圧縮画像復元部304は、動画像の圧縮画像に対して、実施された動画圧縮方式に適合する復元方式により復元する。
Web画像表示部305は、Web画像を表示部301に表示させる。例えば、Web画像表示部305は、圧縮画像復元部304により復元された透かし画像以外の静止画像の復元画像を、通信部303により受信された当該静止画像の圧縮データに含まれる属性情報に基づき、表示部301に表示させる。また、Web画像表示部305は、圧縮画像復元部304により復元された動画像の復元画像を、通信部303により受信された当該動画像の圧縮データに含まれる属性情報に基づき、表示部301に表示させる。
透かし画像抽出部306は、圧縮画像復元部304により復元された画像のうち透かし画像を抽出する。
透かし画像表示部307は、透かし画像を表示部301に表示させる。例えば、透かし画像表示部307は、圧縮画像復元部304により復元された透かし画像の復元画像を、通信部303により受信された透かし画像の圧縮データに含まれる属性情報に基づき、表示部301に表示させる。つまり、透かし画像表示部307は、透かし画像を、Web画面と別の領域に表示させる。そして、透かし画像表示部307は、透かし画像の表示開始時に、後述する透かし画像表示完了判定部308および入力処理部309に対して、透かし画像の表示を開始する旨を通知する。
透かし画像表示完了判定部308は、表示部301への透かし画像の表示が完了したか否かを判定する。例えば、透かし画像表示完了判定部308は、透かし画像表示部307から透かし画像の表示を開始する旨を受け取ると、その後、表示部301への透かし画像の表示が完了したか否かを監視する。透かし画像表示完了判定部309は、表示部301への透かし画像の表示が完了したと判定した場合には、透かし画像の表示が完了した旨を入力処理部309に通知する。
入力処理部309は、入力部302により受け付けられた、ユーザの操作に応じた操作情報を処理する。例えば、入力処理部309は、透かし画像が表示されるまで、操作情報のGWサーバ200への送信を停止するように処理する。一例として、入力処理部309は、透かし画像表示部307から透かし画像の表示を開始する旨を受け取ると、入力部302により受け付けられた操作情報を蓄積する。すなわち、入力処理部309は、操作情報のGWサーバ200への送信を停止するように処理する。そして、入力処理部309は、透かし画像表示完了判定部308から透かし画像の表示が完了した旨を受け取ると、入力処理した操作情報を通信部303に出力する。すなわち、入力処理部309は、操作情報のGWサーバ200への送信停止を解除し、蓄積された操作情報があれば、該操作情報を通信部303に出力する。
[透かし画像埋め込み処理の流れ]
図3は、実施例に係る透かし画像埋込処理の流れを示す図である。図3に示すように、GWサーバ200のデスクトップ画面g0は、横1200画素、縦800画素であるとする。Web画面描画部203は、ウィンドウ管理部202による指示に基づいて、Web画面の処理結果の表示用画像をフレームバッファ204上へ描画する。これにより、Web画面の表示用画像がデスクトップ画面g0に表示されている。
そして、更新頻度判定部205は、フレームバッファ204を検査し、画像データフレームの更新頻度を判定する(s1)。一例として、更新頻度判定部205は、所定の期間における更新頻度が閾値より高いメッシュを動画化更新領域として高頻度の更新領域と判定する。更新頻度判定部205は、所定の期間における更新頻度が閾値より低いメッシュを静止画更新領域として低頻度の更新領域と判定する。ここでは、符号g1で示される領域がアニメーション部分であるとする。すると、かかる領域は、所定の期間における更新頻度が閾値より高い場合とすると、高頻度の更新領域と判定される。また、符号g2で示される領域がスクロールを少しだけ上下移動する部分であるとする。かかる領域は、所定の期間における更新頻度が閾値より低い場合とすると、低頻度の更新領域と判定される。
そして、透かし画像埋込部206は、更新頻度判定部205により低頻度の更新領域と判定された静止画更新領域が透かし画像の大きさより大きい場合には、デスクトップ画面を透かし画像の大きさに応じて格子状に分割する(s2)。ここでは、透かし画像の大きさは、横200画素、縦100画素であるとする。静止画更新領域は、透かし画像の大きさより大きい場合であるので、透かし画像埋込部206は、静止画格子領域を、透かし画像の大きさで格子に分割する。
そして、透かし画像埋込部206は、静止画更新領域に対応する格子の1つにランダムに透かし画像を割り当て、割り当てた格子に透かし画像を埋め込む(s3)。ここでは、デスクトップ画面g0の静止画更新領域内のランダムな格子の位置に透かし画像g3が埋め込まれる。
その後、動画化更新領域は、動画圧縮部209により例えばMPEGで圧縮され、クライアント端末300へ送信される。透かし画像の部分は、静止画(可逆)圧縮部207により例えばPNGで圧縮され、クライアント端末300へ送信される。透かし画像以外の静止画像の部分は、静止画(非可逆)圧縮部208により例えばJPEGで圧縮され、クライアント端末300へ送信される。
[GWサーバの透かし画像埋込処理のフローチャート]
次に、GWサーバ200の透かし画像埋込処理のフローチャートを、図4を参照して説明する。図4は、実施例に係るGWサーバの透かし画像埋込処理の手順を示すフローチャートである。なお、GWサーバ200は、通常、クライアント端末300から取得される各種入力情報(操作情報)を処理するが、図4では、入力情報として新規のWebページの要求を処理する場合について説明する。
まず、GWサーバ200の通信部212が、クライアント端末300から入力情報(操作情報)を受信すると(ステップS11)、入力処理部211が新規のWebページの要求であるか否かを判定する(ステップS12)。入力処理部211が新規のWebページの要求でないと判定した場合には(ステップS12;No)、新規のWebページの要求を待つべく、ステップS11に移行する。
一方、入力処理部211が新規のWebページの要求であると判定した場合には(ステップS12;Yes)、ウィンドウ管理部202は新規のWebページの取得に成功したか否かを判定する(ステップS13)。新規のWebページの取得に成功しないと判定した場合には(ステップS13;No)、新規のWebページの要求を待つべく、ステップS11に移行する。
新規のWebページの取得に成功した場合には(ステップS13;Yes)、Web画面描画部203は、ウィンドウ管理部202の指示に基づき、新規のWebページの画像データフレームをフレームバッファ204に描画する。そして、更新頻度判定部205は、フレームバッファ204を検査し、画像データフレームの画面更新判定を行う(ステップS14)。例えば、更新頻度判定部205は、フレームバッファ204へ画像データフレームが格納されるたびに、以下の処理を行う。更新頻度判定部205は、前回クライアント端末300で表示させていたデスクトップ画面と、今回フレームバッファ204へ書き込まれたデスクトップ画面とを比較し、更新部分があったか否かを判定する。
更新頻度判定部205は、画像データフレームに更新があるか否かを判定する(ステップS15)。更新頻度判定部205は、画像データフレームに更新がない場合には(ステップS15;No)、透かし画像を埋め込まないので、新規のWebページの要求を待つべく、ステップS11に移行する。
一方、更新頻度判定部205は、画像データフレームに更新がある場合には(ステップS15;Yes)、画像データフレームに動画化更新があるか否かを判定する(ステップS16)。例えば、更新頻度判定部205は、更新がある部分を矩形に整形した更新矩形の画像を生成する。そして、更新頻度判定部205は、更新矩形の画像を、所定の期間にわたって蓄積する。そして、更新頻度判定部205は、更新矩形の画像を蓄積してから所定の期間が経過した場合に、デスクトップ画面をメッシュ状に分割したマップを用いて、画像データフレームの更新頻度を判定する。更新頻度判定部205は、所定の期間における更新頻度が閾値より高いメッシュがあるか否かを判定する。ここで、更新頻度判定部205は、更新頻度が閾値より高いメッシュがあれば、該メッシュを動画化更新領域として動画化更新があると判定する。更新頻度判定部205は、更新頻度が閾値より低いメッシュがあれば、該メッシュを静止画更新領域として静止画更新があると判定する。
更新頻度判定部205は、動画化更新があるか否かを判定する(ステップS16)。例えば、更新頻度判定部205は、更新頻度が閾値より高いメッシュがあるか否かを判定する。更新頻度判定部205は、動画化更新があると判定した場合には(ステップS16;Yes)、動画圧縮部209は、動画化更新があると判定されたメッシュが示す動画化更新領域を動画圧縮する(ステップS17)。例えば、動画圧縮部209は、動画化更新領域の画像がストレームを形成可能なフレーム数に到達した段階で動画化更新領域の画像を動画圧縮する。
一方、更新頻度判定部205は、動画化更新がないと判定した場合には(ステップS16;No)、静止画更新があるか否かを判定する(ステップS18)。例えば、更新頻度判定部205は、更新頻度が閾値より低いメッシュがあるか否かを判定する。更新頻度判定部205が、静止画更新がないと判定した場合には(ステップS18;No)、透かし画像を埋め込まないので、ステップS25に移行する。
一方、更新頻度判定部205が、静止画更新があると判定した場合には(ステップS18;Yes)、透かし画像埋込部206は、Webページが登録済みのURLであるか否かを判定する(ステップS19)。透かし画像埋込部206が、Webページが登録済みのURLでないと判定した場合には(ステップS19;No)、透かし画像を埋め込まないので、ステップS24に移行する。
透かし画像埋込部206が、Webページが登録済みのURLであると判定した場合には(ステップS19;Yes)、静止画の更新矩形が透かし画像より大きいか否かを判定する(ステップS20)。透かし画像埋込部206が、静止画の更新矩形が透かし画像より小さいと判定した場合には(ステップS20;No)、透かし画像を埋め込めないので、ステップS24に移行する。
一方、透かし画像埋込部206が、静止画の更新矩形が透かし画像より大きいと判定した場合には(ステップS20;Yes)、デスクトップ画面を格子状に分割する(ステップS21)。透かし画像埋込部206は、格子の1つにランダムに透かし画像を割り当て、透かし画像を埋め込む(ステップS22)。これにより、透かし画像埋込部206は、画面更新が低頻度の静止画更新領域に透かし画像を埋め込むことで、透かし画像の埋め込む頻度を低くすることができ、GWサーバ200の負荷を軽減できる。
そして、静止画(可逆)圧縮部207は、静止画の更新矩形のうち透かし画像を割り当てた部分を可逆の静止画圧縮(例えば、PNG)で圧縮する(ステップS23)。これにより、透かし画像に対して非可逆の静止画圧縮を行った場合に情報量が落ちてしまうことを避けることができる。
そして、静止画(非可逆)圧縮部208は、静止画の更新矩形のうち透かし画像を割り当てた部分以外の部分を非可逆静止画圧縮(例えば、JPEG)で圧縮する(ステップS24)。
そして、更新画像送信制御部210は、更新画像の全てを統合する(ステップS25)。すなわち、更新画像送信制御部210は、透かし画像を割り当てた部分の圧縮画像、透かし画像を割り当てた部分以外の部分の圧縮画像、動画化更新領域の圧縮画像を統合する。そして、更新画像送信制御部210は、通信部212を介して、更新画像をクライアント端末300に送信する(ステップS26)。
[クライアント端末の透かし画像表示処理のフローチャート]
次に、クライアント端末300の画像表示処理のフローチャートを、図5を参照して説明する。図5は、実施例に係るクライアント端末の透かし画像表示処理の手順を示すフローチャートである。
まず、入力処理部309がユーザから入力情報(操作情報)を受信すると(ステップS31)、通信部303は、受信した入力情報をGWサーバ200に送信する(ステップS32)。
続いて、通信部303は、GWサーバ200から圧縮画像データを受信したか否かを判定する(ステップS33)。通信部303が、GWサーバ200から圧縮画像データを受信していないと判定した場合には(ステップS33;No)、ステップS31に移行する。
一方、通信部303がGWサーバ200から圧縮画像データを受信したと判定した場合には(ステップS33;Yes)、圧縮画像復元部304は、静止画の圧縮画像データがあるか否かを判定する(ステップS34)。圧縮画像復元部304は、静止画の圧縮画像データがないと判定した場合には(ステップS34;No)、ステップS36に移行する。
一方、圧縮画像復元部304は、静止画の圧縮画像データがあると判定した場合には(ステップS34;Yes)、静止画の圧縮画像データ(非可逆)を復元する(ステップS35)。すなわち、圧縮画像復元部304は、透かし画像以外の静止画の圧縮画像に対して、実施された非可逆の静止画圧縮方式に適合する復元方式により復元する。そして、圧縮画像復元部304は、ステップS36に移行する。
ステップS36において、圧縮画像復元部304は、動画の圧縮画像データがあるか否かを判定する(ステップS36)。圧縮画像復元部304は、動画の圧縮画像データがないと判定した場合には(ステップS36;No)、ステップS38に移行する。
一方、圧縮画像復元部304は、動画の圧縮画像データがあると判定した場合には(ステップS36;Yes)、動画の圧縮画像データを復元する(ステップS37)。すなわち、圧縮画像復元部304は、動画の圧縮画像に対して、実施された動画圧縮方式に適合する復元方式により復元する。そして、圧縮画像復元部304は、ステップS38に移行する。
ステップS38において、Web画像表示部305は、Web画像を表示部301に表示させる(ステップS38)。例えば、Web画像表示部305は、圧縮画像復元部304により復元された透かし画像以外の静止画の復元画像および圧縮画像復元部304により復元された動画の復元画像を表示部301に表示させる。
続いて、圧縮画像復元部304は、透かし画像の圧縮画像データがあるか否かを判定する(ステップS39)。圧縮画像復元部304は、透かし画像の圧縮画像データがないと判定した場合には(ステップS39;No)、ステップS31に移行する。
一方、圧縮画像復元部304は、透かし画像の圧縮画像データがあると判定した場合には(ステップS39;Yes)、静止画の圧縮画像データ(可逆)を復元する(ステップS40)。すなわち、圧縮画像復元部304は、透かし画像の圧縮画像に対して、実施された可逆の静止画圧縮方式に適合する復元方式により復元する。
そして、透かし画像表示部307は、透かし画像を表示部301に表示させる(ステップS41)。例えば、透かし画像表示部307は、圧縮画像復元部304により復元された透かし画像の復元画像を表示部301に表示させる。
そして、透かし画像表示完了判定部308は、透かし画像の表示が完了したか否かを判定する(ステップS42)。透かし画像表示完了判定部308は、透かし画像の表示が完了していないと判定した場合には(ステップS42;No)、透かし画像の表示が完了するまで、判定処理を繰り返す。
一方、透かし画像表示完了判定部308は、透かし画像の表示が完了したと判定した場合には(ステップS42;Yes)、入力処理部309が次の入力情報を受信すべく、ステップS31に移行する。
なお、図5のフローチャートでは、透かし画像表示完了判定部308が、透かし画像の表示が完了したと判定した場合に、入力処理部309が次の入力情報を受信するようにしたが、これに限定されない。入力処理部309は、ユーザからの入力情報(操作情報)をいつでも受信できるようにする。すなわち、入力処理部309は、透かし画像の表示が開始されてから完了するまでであっても入力情報を受信するようにしても良い。そして、透かし画像表示完了判定部308が、透かし画像の表示が完了したと判定した場合に、入力処理部309は、既に受信していた入力情報をGWサーバ200に送信するようにすれば良い。
[透かし画像表示の一例]
図6は、実施例に係る透かし画像表示の一例を示す図である。図6に示すように、Webサーバ100には、銀行サイトを正式とする正式サイトと、虚偽サイトとが存在する。GWサーバ200のWebサイト登録DB213aには、銀行サイトの名称がURLとともに登録されているとする。
GWサーバ200が、Webサーバ100の銀行サイトに対して所定のページ要求を送信し、銀行サイトから要求したページ(Web画面)を取得する。かかる場合、GWサーバ200は、取得したページのURLがWebサイト登録DB213aに登録されているので、静止画更新領域の一部にランダムに透かし画像を埋め込む。なお、GWサーバ200が、不正アクセス可能な環境であるとすると、Webサーバ100の虚偽サイトに対して所定のページ要求を送信し、虚偽サイトから要求したページ(Web画面)を取得する。かかる場合、GWサーバ200は、取得したページのURLがWebサイト登録DB213aに登録されていないので、静止画更新領域の一部に透かし画像を埋め込まない。
GWサーバ200は、透かし画像を埋め込んだ場合、透かし画像を可逆の静止画圧縮方式であるPNG方式で圧縮する。透かし画像以外の静止画更新領域を非可逆の静止画圧縮方式であるJPEG方式で圧縮する。動画化更新領域を非可逆の動画圧縮方式であるMPEG方式で圧縮する。そして、GWサーバ200は、圧縮画像をクライアント端末300に送信する。
クライアント端末300は、圧縮画像を受信し、透かし画像の圧縮画像に対して、実施された可逆の静止画圧縮方式に適合する復元方式により復元する。透かし画像以外の静止画の圧縮画像に対して、実施された非可逆の静止画圧縮方式に適合する復元方式により復元する。動画の圧縮画像に対して、実施された非可逆の動画圧縮方式に適合する復元方式により復元する。そして、クライアント端末300は、Web画面を表示部301に表示させる。クライアント端末300は、復元された画像から透かし画像を抽出し、透かし画像g10を表示部301のWeb画面と別の領域に表示させる。これにより、GWサーバ200は、GWサーバ200の処理負荷を抑えつつ、Webサイトの正当性をクライアント端末300に識別させることができる。
また、クライアント端末300は、透かし画像の表示が完了するまで、Web画面での入力情報をGWサーバ200に送信しないようにする。これにより、クライアント端末300では、ユーザが透かし画像を確認前に誤って不正サイトへ入力情報を送ってしまうのを防ぐことができる。
[透かし画像表示の変形例]
図7は、実施例に係る透かし画像表示の変形例を示す図である。図7に示すように、Webサーバ100には、銀行サイトを正式とする正式サイトと、虚偽サイトとが存在する。GWサーバ200のWebサイト登録DB213aには、銀行サイトの名称がURLとともに登録されているとする。
GWサーバ200での透かし画像の埋め込み処理は、図6で示した処理と同様であるので、その説明を省略する。
圧縮画像がGWサーバ200からクライアント端末300に送信されると、クライアント端末300は、圧縮画像を受信し、受信した圧縮画像を復元する。クライアント端末300での復元処理は、図6で示した処理と同様であるので、その説明を省略する。
クライアント端末300では、Web画面を表示部301の新規なウィンドウに表示させる。クライアント端末300は、復元された画像から透かし画像を抽出し、透かし画像を表示部301のWeb画面を表示させたウィンドウに表示させる。仮に虚偽サイトのWeb画面であっても、クライアント端末300は、Web画面を表示部301のさらに新規なウィンドウに表示させる。ここでいう新規なウィンドウとは、一例として、ポップアップウィンドウのことをいう。すなわち、新規なウィンドウは、既に表示されているウィンドウと別のウィンドウのことである。これにより、クライアント端末300は、Web画面ごとに各Web画面を別々のウィンドウに表示させることで、正式サイト上に虚偽サイトのWeb画面が重畳して表示されても正式サイトか虚偽サイトかを容易に識別できる。
[透かし画像表示の別の変形例]
図8は、実施例に係る透かし画像表示の別の変形例を示す図である。図8に示すように、クライアント端末300には、表示部301がスマートグラスの一部に搭載されている。なお、Webサーバ100およびGWサーバ200は、図6と同様であるので、その説明を省略する。
圧縮画像がGWサーバ200からクライアント端末300に送信されると、クライアント端末300は、圧縮画像を受信し、受信した圧縮画像を復元する。クライアント端末300での復元処理は、図6で示した処理と同様であるので、その説明を省略する。
クライアント端末300では、Web画面を表示部301に表示させる。クライアント端末300は、復元された画像から透かし画像を抽出し、透かし画像を表示部301のWeb画面と別の領域に表示させる。仮にWeb画面が虚偽サイトである場合には、クライアント端末300は、Web画面の画像を別画像に差し替えて表示部301に表示させる。これは、表示部301に表示される画面が小さく、該画面が正式サイトか虚偽サイトかを識別し難いからである。ここでは、Web画面が虚偽サイトである場合には、Web画面の画像を「×」の画像に差し替えて表示部301に表示される。これにより、クライアント端末300は、正式サイトか虚偽サイトかを視覚的に識別できる。
[実施例の効果]
このようにして、上記実施例では、GWサーバ200は、Webサーバ100の実行結果を描画する画像を保持するフレームバッファ204に描画された画像を複数の領域に分割し、領域ごとにフレーム間の変更の頻度を判別する。GWサーバ200は、変更の頻度が低いと判別される領域の一部に透かし画像を埋め込む。GWサーバ200は、埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行う。GWサーバ200は、圧縮された圧縮画像をクライアント端末300に送信する。かかる構成によれば、GWサーバ200は、透かし画像を、変更の頻度が低いと判別される領域に埋め込むので、変更の頻度が高いと判別される領域に埋め込む場合と比較して、処理負荷を軽減することができる。また、GWサーバ200は、透かし画像に対して可逆の圧縮を行うので、Webサーバ100の実行結果を描画する画像の正当性を、クライアント端末300に効果的に識別させることができる。
また、上記実施例では、GWサーバ200は、埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行い、透かし画像を含む領域以外の領域に対して非可逆の圧縮を行う。かかる構成によれば、GWサーバ200は、クライアント端末300に送信するデータの送信量を削減することができる。
また、上記実施例では、GWサーバ200は、変更の頻度が低いと判別される領域の中で、ランダムな領域に透かし画像を埋め込む。かかる構成によれば、GWサーバ200は、透かし画像を埋め込む位置を変動させるので、透かし画像を不正サイトに模倣させない様にすることができる。この結果、GWサーバ200は、セキュリティを強固にすることができる。
また、上記実施例では、GWサーバ200は、変更の頻度が、分割された複数の領域について、変更の領域がすべて高いと判別された場合、または、変更の頻度がすべてゼロであると判別された場合に、透かし画像を埋め込まない。かかる構成によれば、GWサーバ200は、透かし画像を埋め込む処理負荷を軽減することができる。
[その他]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
例えば、GWサーバ200の動画圧縮部209および更新画像送信制御部210を1つの動画圧縮部に統合することとしても良い。また、GWサーバ200の静止画(可逆)圧縮部207および更新画像送信制御部210を1つの静止画(可逆)圧縮部に統合することとしても良い。また、GWサーバ200の静止画(非可逆)圧縮部208および更新画像送信制御部210を1つの静止画(非可逆)圧縮部に統合することとしても良い。また、記憶部213をGWサーバ200の外部装置としてネットワーク経由で接続するようにしても良い。
[中継プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。そこで、以下では、図9を用いて、上記の実施例と同様の機能を有する画像送信プログラムを実行するコンピュータの一例について説明する。なお、図9は、実施例に係る中継プログラムを実行するコンピュータの一例について説明するための図である。
図9に示すように、コンピュータ200は、各種演算処理を実行するCPU203と、ユーザからのデータの入力を受け付ける入力装置215と、表示装置209を制御する表示制御部207とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読取るドライブ装置213と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信制御部217とを有する。また、コンピュータ200は、各種情報を一時記憶するメモリ201と、HDD205を有する。そして、メモリ201、CPU203、HDD205、表示制御部207、ドライブ装置213、入力装置215、通信制御部217は、バス219で接続されている。
ドライブ装置213は、例えばリムーバブルディスク211用の装置である。HDD205は、中継プログラム205aおよび中継処理関連情報205bを記憶する。
CPU203は、中継プログラム205aを読み出して、メモリ201に展開し、プロセスとして実行する。かかるプロセスは、GWサーバ200の各機能部に対応する。中継処理関連情報205bは、フレームバッファ204やWebサイト登録DB213aに対応する。そして、例えばリムーバブルディスク211が、中継プログラム205a等の各情報を記憶する。
なお、中継プログラム205aについては、必ずしも最初からHDD205に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカード等の「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ200がこれらから中継プログラム205aを読み出して実行するようにしても良い。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)サーバ装置の実行結果を描画する画像を保持する画像メモリと、
前記画像メモリに描画された画像を複数の領域に分割し、前記領域ごとにフレーム間の変更の頻度を判別する変更頻度判別部と、
前記変更頻度判別部により前記変更の頻度が低いと判別される領域の一部に透かし画像を埋め込む埋込部と、
前記埋込部により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行う圧縮部と、
前記圧縮部により圧縮された圧縮画像をクライアント端末に送信する送信部と、
を有することを特徴とする中継装置。
(付記2)前記圧縮部は、前記埋込部により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行い、前記透かし画像を含む領域以外の領域に対して非可逆の圧縮を行う
ことを特徴とする付記1に記載の中継装置。
(付記3)前記埋込部は、前記変更頻度判別部により前記変更の頻度が低いと判別された領域の中で、ランダムな領域に前記透かし画像を埋め込む
ことを特徴とする付記1または付記2に記載の中継装置。
(付記4)前記埋込部は、前記変更頻度判別部により、前記変更の頻度が、分割された複数の領域について、前記変更の領域がすべて高いと判別された場合、または、前記変更の頻度がすべてゼロであると判別された場合に、前記透かし画像を埋め込まない
ことを特徴とする付記1から付記3のいずれか1つに記載の中継装置。
(付記5)コンピュータに、
サーバ装置の実行結果を描画する画像を保持する画像メモリに描画された画像を複数の領域に分割し、前記領域ごとにフレーム間の変更の頻度を判別し、
前記判別する処理により前記変更の頻度が低いと判別される領域の一部に透かし画像を埋め込み、
前記埋め込み処理により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行い、
前記可逆の圧縮を行う処理により圧縮された圧縮画像をクライアント端末に送信する
処理を実行させることを特徴とする中継プログラム。
(付記6)コンピュータが、
サーバ装置の実行結果を描画する画像を保持する画像メモリに描画された画像を複数の領域に分割し、前記領域ごとにフレーム間の変更の頻度を判別し、
前記判別する処理により前記変更の頻度が低いと判別される領域の一部に透かし画像を埋め込み、
前記埋め込み処理により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行い、
前記可逆の圧縮を行う処理により圧縮された圧縮画像をクライアント端末に送信する
処理を実行することを特徴とする中継方法。
(付記7)クライアント装置と中継装置とを有する中継システムであって、
前記中継装置は、
サーバ装置の実行結果を描画する画像を保持する画像メモリと、
前記画像メモリに描画された画像を複数の領域に分割し、前記領域ごとにフレーム間の変更の頻度を判別する変更頻度判別部と、
前記変更頻度判別部により前記変更の頻度が低いと判別される領域の一部に透かし画像を埋め込む埋込部と、
前記埋込部により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行う圧縮部と、
前記圧縮部により圧縮された圧縮画像を前記クライアント端末に送信する送信部と、を有し、
前記クライアント端末は、
前記送信部により送信された圧縮画像を、圧縮方式に適合する復元方式により復元部と、
前記復元部により復元された画像を表示する表示部と、
を有することを特徴とする中継システム。
1 シンクライアントシステム
100 Webサーバ
101 通信部
102 読出部
103 記憶部
200 GWサーバ
201 Web画面取得部
202 ウィンドウ管理部
203 Web画面描画部
204 フレームバッファ
205 更新頻度判定部
206 透かし画像埋込部
207 静止画(可逆)圧縮部
208 静止画(非可逆)圧縮部
209 動画圧縮部
210 更新画像送信制御部
211 入力処理部
212 通信部
213 記憶部
213a Webサイト登録DB
300 クライアント端末
301 表示部
302 入力部
303 通信部
304 圧縮画像復元部
305 Web画像表示部
306 透かし画像抽出部
307 透かし画像表示部
308 透かし画像表示完了判定部
309 入力処理部

Claims (5)

  1. サーバ装置の実行結果を描画する画像を保持する画像メモリと、
    前記画像メモリに描画された画像を複数の領域に分割し、前記領域ごとにフレーム間の変更の頻度を判別する変更頻度判別部と、
    前記変更頻度判別部により前記変更の頻度が低いと判別される領域の一部に透かし画像を埋め込む埋込部と、
    前記埋込部により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行う圧縮部と、
    前記圧縮部により圧縮された圧縮画像をクライアント端末に送信する送信部と、
    を有することを特徴とする中継装置。
  2. 前記圧縮部は、前記埋込部により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行い、前記透かし画像を含む領域以外の領域に対して非可逆の圧縮を行う
    ことを特徴とする請求項1に記載の中継装置。
  3. 前記埋込部は、前記変更頻度判別部により前記変更の頻度が低いと判別された領域の中で、ランダムな領域に前記透かし画像を埋め込む
    ことを特徴とする請求項1または請求項2に記載の中継装置。
  4. コンピュータに、
    サーバ装置の実行結果を描画する画像を保持する画像メモリに描画された画像を複数の領域に分割し、前記領域ごとにフレーム間の変更の頻度を判別し、
    前記判別する処理により前記変更の頻度が低いと判別される領域の一部に透かし画像を埋め込み、
    前記埋め込み処理により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行い、
    前記可逆の圧縮を行う処理により圧縮された圧縮画像をクライアント端末に送信する
    処理を実行させることを特徴とする中継プログラム。
  5. コンピュータが、
    サーバ装置の実行結果を描画する画像を保持する画像メモリに描画された画像を複数の領域に分割し、前記領域ごとにフレーム間の変更の頻度を判別し、
    前記判別する処理により前記変更の頻度が低いと判別される領域の一部に透かし画像を埋め込み、
    前記埋め込み処理により埋め込まれた透かし画像を含む領域に対して可逆の圧縮を行い、
    前記可逆の圧縮を行う処理により圧縮された圧縮画像をクライアント端末に送信する
    処理を実行することを特徴とする中継方法。
JP2014249339A 2014-12-09 2014-12-09 中継装置、中継プログラム及び中継方法 Withdrawn JP2016111626A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014249339A JP2016111626A (ja) 2014-12-09 2014-12-09 中継装置、中継プログラム及び中継方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014249339A JP2016111626A (ja) 2014-12-09 2014-12-09 中継装置、中継プログラム及び中継方法

Publications (1)

Publication Number Publication Date
JP2016111626A true JP2016111626A (ja) 2016-06-20

Family

ID=56125020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014249339A Withdrawn JP2016111626A (ja) 2014-12-09 2014-12-09 中継装置、中継プログラム及び中継方法

Country Status (1)

Country Link
JP (1) JP2016111626A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974171A (zh) * 2024-04-01 2024-05-03 贵州华谊联盛科技有限公司 基于数字水印的数据要素交易溯源系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974171A (zh) * 2024-04-01 2024-05-03 贵州华谊联盛科技有限公司 基于数字水印的数据要素交易溯源系统
CN117974171B (zh) * 2024-04-01 2024-05-31 贵州华谊联盛科技有限公司 基于数字水印的数据要素交易溯源系统

Similar Documents

Publication Publication Date Title
KR101413130B1 (ko) 상태기반 브라우징
US20110276653A1 (en) Information processing device, image transmission program, image display program, and image display method
US8819270B2 (en) Information processing apparatus, computer-readable non transitory storage medium storing image transmission program, and computer-readable storage medium storing image display program
US8001213B2 (en) Method, apparatus and computer program product for providing unrestricted content on a user terminal
CN109309842B (zh) 直播数据处理方法和装置、计算机设备和存储介质
JP2007265208A (ja) コンピュータシステムにおけるサーバ装置及びサーバ制御プログラム
CN103034729A (zh) 网页绘制系统和方法
CN111681291A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN113655975B (zh) 图像显示方法、装置、电子设备和介质
CN110347319B (zh) 一种应用内屏幕截图方法及装置
CN110675465A (zh) 用于生成图像的方法和装置
WO2011077550A1 (ja) 画面中継装置
JP2016103117A (ja) 情報処理装置、端末装置、画像表示システムおよび画像送信プログラム
JP2015035996A (ja) ゲームを提供するサーバ及び方法
JP2016111626A (ja) 中継装置、中継プログラム及び中継方法
US20170372681A1 (en) Method, apparatus, and storage medium
CN107423187B (zh) 一种屏幕监控方法、装置及系统
US9571600B2 (en) Relay device, relay method and thin client system
CN109831673B (zh) 一种直播间数据处理方法、装置、设备及存储介质
US10949488B1 (en) Image quality optimization during remote isolated sessions
US20220358234A1 (en) Masking Sensitive Information While Screensharing HTML Elements
CN108429925B (zh) 一种视图显示方法及装置
KR102354268B1 (ko) 최적 클라우드 스트리밍 서비스를 위한 동적 어플리케이션 처리 방법 및 이를 위한 장치
JP2015089485A (ja) ゲームを提供するサーバ及び方法
CN110688282B (zh) 网页性能数据的监测、监测任务分发方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20171225