JP2021071790A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】サーバとシンクライアント端末間のような情報処理装置間のデータ通信量の削減を可能にする。【解決手段】情報処理装置（５００）は、ウェブページが外部コンテンツへの参照を含む場合に、外部コンテンツを除いたウェブページを描画する描画手段（５０２）と、描画手段（５０２）が描画した画像を送信する画像送信手段（５０３）と、ウェブページのレイアウト情報を送信するレイアウト送信手段（５０５）と、外部コンテンツを取得して送信するコンテンツ送信手段（５０６）と、を有する。【選択図】図５

Description

本発明は、ウェブページを描画する際の情報処理技術に関する。

従来、ユーザは、ウェブ（Ｗｅｂ）ブラウザを用いることによって、ウェブサイトの閲覧、オンラインショッピング、文書作成、写真管理、チャットやビデオによるオンラインコミュニケーション、複数人参加型のゲームをプレイすることができる。ウェブブラウザは、パーソナルコンピュータに限らず、携帯電話機などのモバイル機器などの、様々な情報処理装置にも搭載されており、外出先におけるウェブブラウジングも一般的になっている。

ユーザがウェブブラウザに対してウェブサイト閲覧を指示すると、ウェブブラウザは、ＨＴＴＰ通信やＨＴＴＰＳ暗号通信を用いて、ウェブサーバからＨＴＭＬ・ＪａｖａＳｃｒｉｐｔ（登録商標）・ＣＳＳなどのウェブコンテンツを取得する。近年では、従来のＨＴＴＰ通信を高速化するＨＴＴＰ２プロトコル、ウェブサーバとの双方向性通信を可能にするウェブソケット（WebSocket）プロトコルを活用したウェブサービスも普及しつつある。

また、ウェブブラウザの描画処理を高速化するために、クラウドサーバ上にクラウドブラウザ（Cloud Browser）サーバと呼ばれるウェブブラウザの描画用のサーバを設置したサービスがある。サービス提供者は、専用クライアントアプリ（アプリケーションプログラム）を提供し、描画サーバで描画されたウェブコンテンツの描画画像を、クライアントアプリに転送することによって、ウェブコンテンツをリモート表示することができる。描画サーバがシンクライアント端末のアプリに描画結果をリモート表示する際には、ＲＦＢ（Remote Framebuffer）プロトコルを用いたＶＮＣ（Virtual Network Computing）を用いることが一般的である。

また、描画サーバの描画結果やウェブコンテンツに含まれる音データを、複数のシンクライアント端末毎に分割送信する技術がある。シンクライアント端末に関する技術としては、複数ディスプレイを組み合わせた大型テレビジョンシステムがある（特許文献１参照）。またウェブコンテンツに含まれるメニュー画面をサーバ側で描画し、ウェブコンテンツに含まれるビデオコンテンツに関する技術としてはクライアント端末が直接ビデオコンテンツをストリーム受信するものがある（特許文献２参照）。

特開２０１４−２０００７０号公報 特開２００５−５７７７１号公報

描画サーバにおいてＶＮＣのようなリモート表示技術が用いられる場合、画像等をインターネットから逐次取得・表示する過程において、ＶＮＣは、変化の発生した領域の画像をタイル単位で送信する。このため、サーバとシンクライアント端末間のデータ通信量（情報処理装置間のデータ通信量）が増加する。このような情報処理装置間のデータ通信量の増加は、リモート表示処理の速度を低下させるため、ユーザによるウェブコンテンツ閲覧体験の低下を招くことになる。

そこで本発明は、サーバとシンクライアント端末間のような情報処理装置間のデータ通信量の削減を可能にすることを目的とする。

本発明の情報処理装置は、ウェブページが外部コンテンツへの参照を含む場合に、前記外部コンテンツを除いた前記ウェブページを描画する描画手段と、前記描画手段が描画した画像を送信する画像送信手段と、前記ウェブページのレイアウト情報を送信するレイアウト送信手段と、前記外部コンテンツを取得して送信するコンテンツ送信手段と、を有することを特徴とする。

本発明によれば、サーバとシンクライアント端末間のような情報処理装置間のデータ通信量の削減が可能となる。

実施形態のシステムと端末のブロック構成例を示す図である。 ウェブコンテンツとウェブブラウザの描画処理の説明に用いる図である。 ウェブブラウザによるウェブコンテンツ描画例を示す図である。 ＶＮＣによる画面転送の説明に用いる図である。 実施形態のサーバと端末の機能構成例を示す図である。 実施形態において通信される情報の説明に用いる図である。 第１の実施形態の描画サーバの処理手順を示すフローチャートである。 レイアウト情報の一例の説明に用いる図である。 シンクライアント端末の処理手順を示すフローチャートである。 シンクライアント端末における表示例を示す図である。 第２の実施形態のウェブコンテンツと描画サーバ処理手順を示す図である。

以下、実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は本発明を必ずしも限定するものではない。
＜第１の実施形態＞
図１（ａ）は、第１の実施形態に係る情報処理装置を含むシステムの概要を示した構成図である。図１（ａ）において、デジタルカメラ１０３とスマートフォン１０５は、ローカルエリアネットワーク（ＬＡＮ）１０２に接続されている。また、ＬＡＮ１０２には、パーソナルコンピュータ（ＰＣ）１０１とプリンタ１０４とが接続されている。本実施形態のシステムでは、情報処理装置の一例であるスマートフォン１０５が描画サーバとしての機能を有し、また情報処理装置の一例であるデジタルカメラ１０３がシンクライアント端末としての機能を有しているとする。したがって、本実施形態のシステムの場合、デジタルカメラ１０３は、スマートフォン１０５が有する描画サーバ機能によって描画された結果の画像データを受信可能となっている。また、図１（ａ）の例では、ＰＣ１０１が、外部リソースを保持している外部サーバとしての機能を有しているとする。なお、これら各情報処理装置が接続されるネットワークはＬＡＮに限定されるものではなく、ＷＡＮ（ワイドエリアネットワーク）、インターネット等であってもよく、また、各機器とネットワークとの接続は有線・無線のいずれであってもよい。

図１（ｂ）は、本実施形態に係るスマートフォン１０５とデジタルカメラ１０３とにおいて、共通している構成を示したブロック図である。図１（ｂ）の構成以外の、一般的なスマートフォン１０５が備えている他の構成と、同じく一般的なデジタルカメラ１０３が備えている他の構成の図示は省略している。
図１（ｂ）において、ＣＰＵ１１１は、システム制御部であり、装置全体を制御する。ＲＯＭ１１２は、ＣＰＵ１１１の制御プログラムや各種固定データを格納するものである。ＲＡＭ１１３は、ＳＲＡＭ、ＤＲＡＭなどで構成され、プログラム制御変数などを格納するためのものである。また、各種設定パラメータ、各種ワーク用バッファデータ等もＲＡＭ１１３に格納されるものである。記憶部１１４はハードディスクなどで構成され、画像データなど各種メディアファイルを格納するためのものである。ＣＰＵ１１１の制御プログラムや各種固定データ等は、記憶部１１４に格納されていてもよい。操作部１１５はボタンやタッチパネルで構成され、オペレータが各種入力操作を行うためのものである。表示部１１６は、画像や操作メニューを表示装置の画面上に表示する。ＬＡＮ ｉ／ｆ１１７は、ＬＡＮ回線１１８に接続するためのインタフェースである。ＵＳＢ ｉ／ｆ１１９は、ＵＳＢ回線１２０に接続するためのインタフェースである。

ここで本実施形態の詳細説明を行う前に、ウェブ（Ｗｅｂ）サーバから取得されるＨＴＭＬページ、一般的なウェブブラウザによるウェブコンテンツの描画処理の手順、ウェブコンテンツの表示、ＶＮＣサーバにて転送される画面について一例を挙げて説明する。
図２（ａ）は、ウェブサーバから取得されるＨＴＭＬページの一例を示した図である。図２（ａ）の例の場合、クライアント端末においてＨＴＭＬのｉｍｇ要素を用いて外部の画像ファイルが指定されることで、ユーザは、画像データを含むウェブコンテンツを閲覧することができる。

図２（ｂ）は、一般的なウェブブラウザによる、ウェブコンテンツの描画処理の手順を示した図である。まずウェブブラウザは、ＨＴＭＬ２０１を受信すると、ＨＴＭＬパーサ２０２を用いてマークアップに含まれる要素や属性を逐次解析処理する。ウェブブラウザは、解析結果を、開始タグ、終了タグ、要素内容などのイベント毎に取得し、ツリー構造のＤＯＭ（Document Object Model）ツリー２０３をＲＡＭ上に逐次構築していく。またウェブブラウザは、ＨＴＭＬから参照しているＣＳＳ（Cascading Style Sheets）２０４を、ＣＳＳパーサ２０５を用いて解析する。さらに、ウェブブラウザは、ＨＴＭＬ２０１の各ＧＵＩ（Graphical User Interface）部品の装飾情報であるスタイルルール２０６をＲＡＭ上に構築する。次に、ウェブブラウザは、構築したＤＯＭにスタイルルール２０６を適用することによって、ＤＯＭとは別に、レンダーツリー２０７と呼ばれるツリー構造の描画データを作成する。そして、ウェブブラウザは、レンダーツリー２０７の描画データを基に、各ＨＴＭＬコンテンツの配置を決定するレイアウト処理２０８を行う。その後、ウェブブラウザは、描画部２０９として、レイアウト処理２０８を行ったレンダーツリー２０７を、ウェブブラウザの画面表示に用いるバッファ領域であるサーフェスに描画する描画処理を行う。

これにより、図３に示すように、クライアント端末の画面のウェブブラウザ描画領域３００には、文字や、外部リソースを参照した外部コンテンツの画像３０１，３０２を含んだウェブページが表示され、ユーザはそれらを閲覧可能になる。ここで、ユーザによるテキストフィールドへの文字入力、ＪａｖａＳｃｒｉｐｔやＣＳＳによるアニメーションが発生した場合、ウェブブラウザは、ＤＯＭツリー２０３を更新する。そして、ウェブブラウザは、レンダーツリー２０７に対して再度レイアウト処理２０８を行い、サーフェスに再描画する。この再レイアウト処理が例えば３０フレーム／秒（ｆｐｓ）で逐次繰り返されることによって、ユーザは、自然なアニメーション表現で、ウェブページを閲覧することが可能になる。なお、本実施形態において、ウェブページは、Ｗ３Ｃ（World Wide Web Consortium）で策定されたＨＴＭＬ（HyperText Markup Language）形式で記述されているとする。

図４は、ＶＮＣサーバによって転送される画面の一例を示した図である。ＶＮＣは、転送する表示画面を予め決めた一定のサイズのタイル領域毎に分割する。そして、ＶＮＣは、予め決めた一定時間間隔で、差分の発生したタイル領域のみをＶＮＣクライアントとなるシンクライアント端末に送信する。図４は、ユーザが例えば８月のアルバム４００の写真４０１を閲覧している際に、画面操作によって９月のアルバム４１０にページ遷移する場合を例示している。この図４の例の場合、ＶＮＣサーバは、ピクセルデータに変化の発生したタイル領域単位の部分画像４１１，４１２（つまり差分の発生したタイル領域の画像）のみを、シンクライアント端末に分割送信する。なお、部分画像４１１では文字情報が変化し、部分画像４１２では、写真が写真４０１から写真４１３に変化することで差分が生じる。このような差分領域に絞った画面転送方式が採用されることによって、データの転送量が削減でき、ユーザはＶＮＣサーバ上の画面を円滑にリモート閲覧することができる。ただし描画サーバがＶＮＣのようなリモート表示技術を併用した場合、画像等をインターネットから逐次取得・表示する過程で、ＶＮＣは差分の発生した領域の画像をタイル領域単位で送信するので、サーバとシンクライアント端末間のデータ通信量が増加する。そして、このようなデータ通信量の増加は、リモート表示処理の速度を低下させるため、ユーザによるウェブコンテンツ閲覧体験の低下を招くことになる。

そこで、本実施形態のシステムにおいて、描画サーバは、描画処理前に生成したレイアウト情報のみをシンクライアント端末に送信し、外部リソースとして参照する画像等の外部コンテンツについてはサーバ側でレイアウトして描画するようなことを行わない。そして、描画サーバは、取得した外部コンテンツのデータを、逐次シンクライアント端末に送信し、シンクライアント端末は、予め受信したレイアウト情報に基づいて、それら外部コンテンツの画像等を表示部に描画する。すなわち、図１（ａ）及び図１（ｂ）に示した本実施形態のシステムの場合、描画サーバとして機能するスマートフォン１０５は、描画前に生成したレイアウト情報を、シンクライアント端末として機能するデジタルカメラ１０３に予め送信する。その後、スマートフォン１０５は、外部サーバとしてのＰＣ１０１から取得した外部リソースのデータを逐次デジタルカメラ１０３に送信する。デジタルカメラ１０３は、予め受信したレイアウト情報に基づいて、スマートフォン１０５から外部リソースとして参照されて転送されてきた外部コンテンツの画像等を配置して（レイアウトして）表示する。なお、レイアウト情報の詳細は後述する。

以下、本実施形態に係る描画サーバの描画処理において、描画前に生成したレイアウト情報のみをシンクライアント端末に送信し、画像のような外部コンテンツについてはシンクライアント端末が直接描画する手順について詳細に説明する。
図５（ａ）は、描画サーバ５００（本実施形態の場合は前述したスマートフォン１０５）、および、シンクライアント端末５１０（本実施形態の場合はデジタルカメラ１０３）の本実施形態に係る詳細な機能構成の一例を示した図である。

描画サーバ５００は、解析部５０１、ベース描画部５０２、画像送信部５０３、レイアウト生成部５０４、レイアウト送信部５０５、およびコンテンツ送信部５０６の各機能部を有して構成されている。なお、解析部５０１とレイアウト生成部５０４の処理は、ウェブブラウザに含まる機能であってもよいし、ウェブブラウザとは異なる機能として別途設けられてもよい。
シンクライアント端末５１０は、画像受信部５１１、レイアウト受信部５１２、コンテンツ受信部５１３、および描画部５１４を有して構成されている。

図５（ａ）の描画サーバ５００における各機能部は、例えば図１（ｂ）に示したＣＰＵ１１１が、ＲＯＭ１１２あるいは記憶部１１４に格納されている本実施形態に係るプログラムをＲＡＭ１１３上に展開して実行することにより実現可能である。同様に、図５（ａ）のシンクライアント端末５１０における各機能部は、ＣＰＵ１１１が、ＲＯＭ１１２あるいは記憶部１１４に格納されている本実施形態に係るプログラムをＲＡＭ１１３上に展開して実行することにより実現可能である。なお、図５（ａ）の描画サーバ５００あるいはシンクライアント端末５１０の各機能部は、一部がハードウェア構成となされ、残りがプログラムの実行によるソフトウェア構成となされても、あるいは全てがハードウェア構成により実現されてもよい。

描画サーバ５００の解析部５０１は、受信したＨＴＭＬを解析する。解析部５０１によるＨＴＭＬの解析結果は、ベース描画部５０２とレイアウト生成部５０４に送られ、またレイアウト生成部５０４を介してコンテンツ送信部５０６にも送られる。
レイアウト生成部５０４は、ＨＴＭＬの解析結果からレイアウト情報を生成して、ベース描画部５０２とレイアウト送信部５０５とに送る。
そしてレイアウト送信部５０５は、レイアウト生成部５０４から送られてきたレイアウト情報を、シンクライアント端末５１０に送信する。

ベース描画部５０２は、解析部５０１からの解析結果とレイアウト生成部５０４からのレイアウト情報とに基づいてＨＴＭＬの描画を行い、それをベース描画結果の画像データとして、画像送信部５０３に送る。
そして、画像送信部５０３は、ベース描画部５０２から送られてきたベース描画結果の画像データを、シンクライアント端末５１０に送信する。

コンテンツ送信部５０６は、ＨＴＭＬの解析結果を基に、ＨＴＭＬにより外部リソースとして外部コンテンツが参照されている場合には、当該参照される外部コンテンツを外部サーバ（本実施形態ではＰＣ１０１）から取得する。そして、コンテンツ送信部５０６は、その取得した外部コンテンツを、シンクライアント端末５１０に送信する。

シンクライアント端末５１０の画像受信部５１１は、描画サーバ５００の画像送信部５０３から送信されてきたＨＴＭＬのベース描画結果の画像データを受信して描画部５１４に送る。
レイアウト受信部５１２は、描画サーバ５００のレイアウト送信部５０５から送信されてきたレイアウト情報を受信して描画部５１４に送る。
コンテンツ受信部５１３は、描画サーバ５００のコンテンツ送信部５０６から外部コンテンツが送信されてきた場合には、それを描画部５１４に送る。

描画部５１４は、画像受信部５１１が受信したベース描画結果の画像とレイアウト受信部５１２が受信したレイアウト情報とを基に、描画を行って表示部１１６に表示させる。また、コンテンツ受信部５１３から外部コンテンツが送信されてきた場合には、描画部５１４は、その外部コンテンツをも用いて描画を行って表示部１１６に表示させる。

図５（ｂ）は、描画サーバ５００におけるＨＴＭＬの解析からレイアウト情報の作成、ＨＴＭＬのベース描画結果の画像生成、シンクライアント端末への送信までの一連の処理の手順および関連する機能部を表した図である。図５（ｂ）のＨＴＭＬ２０１、ＨＴＭＬパーサ２０２、ＤＯＭツリー２０３、ＣＳＳ２０４、ＣＳＳパーサ２０５、スタイルルール２０６、およびレンダーツリー２０７は、図２（ｂ）と同様である。

描画サーバ５００がＨＴＭＬ２０１を受け取ると、解析部５０１は、ＨＴＭＬ２０１を解析した解析結果として、前述の図２（ｂ）で説明した手順によって描画用のレンダーツリー２０７を生成する。当該レンダーツリー２０７は、レイアウト生成部５０４に送られる。

レイアウト生成部５０４は、レンダーツリー２０７を用いてレイアウト処理２０８を行って、ＨＴＭＬ２０１によるウェブコンテンツの文字列や画像等の描画位置を示したレイアウト情報を生成する。そして、当該レイアウト情報は、レイアウト送信部５０５からシンクライアント端末５１０に送られる。

また、レイアウト処理２０８が行われた後のレンダーツリー２０７は、ベース描画部５０２に送られる。ベース描画部５０２は、レイアウト処理後のレンダーツリー２０７を基に、バッファ領域であるサーフェスに描画を行う。そして、ベース描画部５０２は、当該描画により得られたベース描画結果の画像データを、画像送信部５０３に送る。これにより、画像送信部５０３からは、ベース描画結果の画像データがシンクライアント端末５１０に送られる。

図６は、前述した描画サーバ５００（スマートフォン１０５）とシンクライアント端末５１０（デジタルカメラ１０３）とを含めたシステムと、レイアウト情報６１０および外部コンテンツの画像６１１，６１２の一例を示した図である。なお、図６は、描画サーバ５００がインターネット６０１に接続された例を示している。図６の例は、ユーザが、シンクライアント端末５１０の表示部１１６により写真アルバムのウェブコンテンツを閲覧する場合において、外部サーバに写真アルバムの画像データが外部コンテンツとして保存されているユースケースを示したものである。

描画サーバ５００とシンクライアント端末５１０との間の通信方式は、ＨＴＴＰプロトコルを用いたロングポーリング形式、あるいはウェブソケット（WebSocket）やＨＴＴＰ／２を用いた双方向通信プロトコルを用いた通信が考えられる。ＨＴＴＰ（RFC2616 Hypertext Transfer Protocol）は、ＩＥＴＦ（Internet Engineering Task Force）で策定されたプロトコルである。ＨＴＴＰ／２（RFC7540 Hypertext Transfer Protocol Version 2）とウェブソケット（RFC6455 The WebSocket Protocol）もＩＥＴＦで策定されたプロトコルである。

図７は、本実施形態における描画サーバ５００の処理手順を示したフローチャートである。
描画サーバ５００は、図２（ａ）に示したような内容のＨＴＭＬ２０１を受け取ると、図５（ｂ）に示された手順の流れに沿って、描画用のレンダーツリー２０７を生成した後に、図７のフローチャートに示す処理を開始する。

まずステップＳ７０２の処理として、レイアウト生成部５０４は、レンダーツリー２０７を用いてレイアウト処理２０８を行うことにより、ＨＴＭＬ２０１によるウェブコンテンツの文字列や画像等の描画位置を示したレイアウト情報を生成する。

次にステップＳ７０３の処理として、ベース描画部５０２は、レイアウト処理２０８が行われたレンダーツリー２０７と、ステップＳ７０２で生成されたレイアウト情報とを基に、ベースとなるＨＴＭＬの画面を描画（ベース描画結果の画像を生成）する。

図８（ａ）は、ベースとなるＨＴＭＬの画面の描画結果（ベース描画結果）の画像の一例を示した図である。図８（ａ）に示すように、ベースとなるＨＴＭＬの画面の描画結果８００は、表示対象となるテキストと、参照される外部コンテンツの画像データの挿入予定領域８０１，８０２とを含んだものである。

図８（ｂ）は、レイアウト情報の一例を示した図である。レイアウト情報は、Ｗ３Ｃで策定されたＸＭＬ（Extensible Markup Language）形式のテキストデータであり、少なくとも、外部コンテンツの識別子と描画座標と描画サイズの情報とを含む。図８（ｂ）の例の場合、レイアウト情報は、ｌａｙｏｕｔ要素の子要素として任意数のｉｍｇ要素を持つ。各ｉｍｇ要素は、参照する外部コンテンツの画像データのＵＲＬを値として持つｓｒｃ属性と、その画像データの挿入予定の位置座標および描画サイズを示したｘｙｗｈ属性とを有する。図８（ｂ）の例では、１つ目のｉｍｇ要素のＵＲＬは"８−１．ｊｐｇ"であり、挿入予定の左上部の位置座標（ｘ，ｙ）が（１００，１００）で、幅と高さ（描画サイズ）が（６００，２００）である。なお本実施形態において単位はピクセルとする。また、２つ目のｉｍｇ要素のＵＲＬは"８−２．ｊｐｇ"であり、挿入予定の左上部の位置座標が（１００，３５０）で、幅と高さが（６００，２００）である。

次にステップＳ７０４に進むと、画像送信部５０３は、ステップＳ７０３において図８（ａ）のように描画したＨＴＭＬの画像データ（ベースとなるＨＴＭＬの画面の描画結果８００）を、シンクライアント端末５１０に送信する。また、レイアウト送信部５０５は、ステップＳ７０２で生成されたレイアウト情報を、シンクライアント端末５１０に送信する。
また、ステップＳ７０４において、コンテンツ送信部５０６は、ＨＴＴＰ通信を用いて、ＨＴＭＬにおいて参照されている外部コンテンツの画像ファイルなどの取得処理を開始する。

次にステップＳ７０５に進むと、コンテンツ送信部５０６は、ＨＴＭＬにて参照される外部コンテンツの全ての画像データの受信を完了したかどうか判定する。そして、コンテンツ送信部５０６は、受信未完了の画像データがあると判定した場合にはステップＳ７０６に処理を進める。

ステップＳ７０６の処理に進むと、コンテンツ送信部５０６は、ＨＴＭＬにて参照される外部コンテンツを保持している外部サーバから、タイル領域単位で分割送信されてくる画像データ（部分画像データとする）の受信処理を行う。

そして、コンテンツ送信部５０６は、ステップＳ７０７の処理として、外部サーバからタイル領域単位の部分画像データを取得した際に用いた取得リクエストのＵＲＬを、シンクライアント端末５１０に送信する。

さらに、コンテンツ送信部５０６は、ステップＳ７０８の処理として、外部サーバからタイル領域単位で取得した部分画像データを、シンクライアント端末５１０に送信、つまり転送する。ステップＳ７０８の後、コンテンツ送信部５０６は、ステップＳ７０５に戻る。その後、ステップＳ７０５において、外部コンテンツの全ての画像データの受信を完了したと判定された場合、描画サーバ５００は、図７のフローチャートの処理を終了する。

図９は、描画サーバ５００から受信したＨＴＭＬの描画結果とレイアウト情報とに基づいて、シンクライアント端末５１０が、表示部１１６にウェブコンテンツを描画するまでの処理手順を示したフローチャートである。

まずステップＳ９０２の処理として、シンクライアント端末５１０では、画像受信部５１１が、描画サーバ５００の画像送信部５０３から送信されたＨＴＭＬのベース描画結果の画像データを受信し、その画像を描画部５１４が表示部１１６に表示する。

またステップＳ９０３の処理として、レイアウト受信部５１２は、レイアウト送信部５０５から送信されてきたＸＭＬ形式のレイアウト情報を受信して解析する。
次にステップＳ９０４の処理として、当該解析されたレイアウト情報に基づいて、コンテンツ受信部５１３は、描画サーバ５００のコンテンツ送信部５０６から送信（転送）される外部コンテンツの全ての部分画像データの受信が完了したかを判定する。コンテンツ受信部５１３は、全ての部分画像データの受信が完了していないと判定した場合にはステップＳ９０５に処理を進める。

ステップＳ９０５に進むと、コンテンツ受信部５１３は、受信した部分画像について、コンテンツ送信部５０６から送信されてきた部分画像データのＵＲＬを解析し、ステップＳ９０３の解析で得られたレイアウトにおいて該当するｉｍｇ要素を特定する。さらに、ステップＳ９０６において、コンテンツ受信部５１３は、コンテンツ送信部５０６から送信（転送）されてきた部分画像の描画サイズを解析する。

次にステップＳ９０７に進むと、描画部５１４は、ステップＳ９０２で描画したＨＴＭＬのベース描画結果の画像上に、ステップＳ９０５で特定されたｉｍｇ要素に含まれる位置座標とステップＳ９０６で解析された描画サイズとを基に部分画像を上書き描画する。

ステップＳ９０６の処理後、シンクライアント端末５１０は、ステップＳ９０４に処理を戻す。そして、シンクライアント端末５１０は、ステップＳ９０４においてレイアウト情報に基づいて描画される部分画像データを全て受信したと判定された場合には、図９のフローチャートの処理を終了する。

図１０は、描画サーバ５００から受信したＨＴＭＬのベース描画結果の画像と受信途中の部分画像とが、シンクライアント端末５１０の表示部１１６に描画領域１０００に表示されている状態の例を示した図である。
図１０の例は、外部コンテンツの部分画像データを受信している途中の状態（ロードしている途中の状態）を表しており、外部コンテンツの各画像１００１，１００２は上部だけが表示されている。外部コンテンツの各画像１００１，１００２の下部は、データの受信待ちの状態なので空白領域１００３，１００４となっている。

ここで、従来のＶＮＣを併用した構成の場合、外部コンテンツの部分画像をロードしている過程で、ピクセル差分のあった全てのタイル領域の画像が、予め決めた時間間隔のタイミングで、シンクライアント端末に転送される。これに対し、本実施形態の場合は、シンクライアント端末５１０の受信する画像データは、描画サーバ５００が外部サーバから取得した外部コンテンツのデータと同一なので、ＶＮＣを併用する従来の構成に比べて、データ通信量を削減することができる。すなわち本実施形態によれば、描画サーバ５００が外部リソースとして画像等の外部コンテンツを逐次取得し、シンクライアント端末５１０で表示等する過程において、描画サーバ５００とシンクライアント端末５１０との間のデータ通信量を削減することができる。このデータ通信量の削減効果は、ウェブコンテンツのリモート表示の速度の向上に寄与するため、ユーザによるウェブコンテンツ閲覧体験が向上する。また、シンクライアント端末５１０が画像データを受信するタイミングは、描画サーバ５００が外部サーバ等から画像を取得したタイミングと概ね同じなので、表示速度が向上する。

＜第２の実施形態＞
次に、第２の実施形態として、ＨＴＭＬ２０１が外部コンテンツの幅・高さの情報を含まない場合、レイアウト処理２０８の過程において、外部リソースを先行取得し、そのヘッダから得た情報を基にレイアウト情報を作成する手順について説明する。なお、第２の実施形態におけるシステム構成や描画サーバ５００、シンクライアント端末５１０の構成等は前述の第１の実施形態と同様であるため、それらの図示と説明は省略する。

図１１（ａ）は、第２の実施形態において、外部リソースにおける外部コンテンツとしての画像データの幅・高さ情報を含まない、すなわち描画サイズ情報を含まない、ＨＴＭＬページの一例を示した図である。第２の実施形態の場合、解析部５０１は、ＨＴＭＬ２０１に外部コンテンツの画像データの描画サイズ情報が含まれていない場合、当該画像データの幅・高さを０（ゼロ）とみなして、描画用のレンダーツリー２０７を作成する。そして、ベース描画部５０２は、その描画用のレンダーツリー２０７に基づいてベース描画結果の画像を生成する。

また、レイアウト生成部５０４は、外部サーバから外部コンテンツが逐次取得されたタイミングで、都度レイアウト情報とレンダーツリー２０７を更新する。これにより、シンクライアント端末５１０では、画像が画面の上部から下部方向に向かって描画されることになる。

図１１（ｂ）は、第２の実施形態の描画サーバ５００における処理手順を示したフローチャートである。
まずステップＳ１１０２の処理として、描画サーバ５００のレイアウト生成部５０４は、前述のステップＳ７０２と同様にして、ＨＴＭＬ２０１の解析結果に基づいてレイアウト情報を作成する。

次にステップＳ１１０３の処理として、レイアウト生成部５０４は、ＨＴＭＬ２０１で参照している外部コンテンツの画像データに対するレイアウトを全て決定したかどうかを判定する。レイアウト生成部５０４は、外部コンテンツの画像データのレイアウトが未だ全て決定されていない、つまりレイアウトが未確定の画像データがあると判定した場合には、ステップＳ１１０４に処理を進める。

ステップＳ１１４に進むと、コンテンツ送信部５０６は、レイアウト生成部５０４が外部コンテンツにおいてレイアウトが未確定と判定した画像データを外部サーバに要求して、当該要求した画像データを当該外部サーバからＨＴＴＰ通信によって取得する。

次にレイアウト生成部５０４は、ステップＳ１１０５においてコンテンツ送信部５０６が外部サーバから取得した画像データのヘッダ領域を解析する。そして、レイアウト生成部５０４は、ステップＳ１１０６において、ヘッダ領域の情報から、当該画像データの幅・高さ情報つまり描画サイズの情報を取得するのサイズ取得処理を行う。

次にレイアウト生成部５０４は、ステップＳ１１０７において、ステップＳ１１０６で取得した幅・高さ情報（描画サイズ情報）を基に、ステップＳ１１０２で作成したレイアウトに対し、該当する画像データをレイアウト可能にするための更新処理を行う。

ステップＳ１１０７の後、描画サーバ５００の処理はステップＳ１１０３に戻る。そしてステップＳ１１０３において外部参照される画像データのレイアウトを全て決定したと判定された場合、描画サーバ５００は、図１１（ｂ）のフローチャートの処理を終了する。その後、描画サーバ５００のレイアウト送信部５０５からは、当該更新処理後のレイアウト情報が、シンクライアント端末５１０へ送信されることになる。これにより、シンクライアント端末５１０では、ＨＴＭＬのベース描画結果の画像上に外部コンテンツの画像を描画するような画像表示が行われる。

第２の実施形態においても、描画サーバ５００が画像等の外部コンテンツを逐次表示する過程で、描画サーバ５００とシンクライアント端末５１０との間のデータ通信量を削減でき、その結果ユーザによるウェブコンテンツ閲覧体験を向上させることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

５００：描画サーバ、５０１：解析部、５０２：ベース描画部、５０３：画像送信部、５０４：レイアウト生成部、５０５：レイアウト送信部、５０６：コンテンツ送信部、５１０：シンクライアント端末、５１１：画像受信部、５１２：レイアウト受信部、５１３：コンテンツ受信部、５１４：描画部

Claims (9)

1. ウェブページが外部コンテンツへの参照を含む場合に、前記外部コンテンツを除いた前記ウェブページを描画する描画手段と、
   前記描画手段が描画した画像を送信する画像送信手段と、
   前記ウェブページのレイアウト情報を送信するレイアウト送信手段と、
   前記外部コンテンツを取得して送信するコンテンツ送信手段と、
   を有することを特徴とする情報処理装置。
2. 前記ウェブページを記述した情報を解析する解析手段と、
   前記解析手段によって解析された情報から前記ウェブページのレイアウト情報を生成するレイアウト生成手段と、
   を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記レイアウト情報は、前記外部コンテンツの識別子、前記外部コンテンツの描画座標、前記外部コンテンツの描画サイズ情報を含むことを特徴とする請求項２に記載の情報処理装置。
4. 前記ウェブページが前記外部コンテンツの描画サイズ情報を含まない場合には、前記外部コンテンツから描画サイズ情報を取得するサイズ取得手段を有し、
   前記レイアウト生成手段は、前記サイズ取得手段が前記外部コンテンツから取得した前記描画サイズ情報を用いて、前記ウェブページの前記レイアウト情報を生成することを特徴とする請求項２または３に記載の情報処理装置。
5. 外部コンテンツへの参照を含むウェブページから前記外部コンテンツが除かれた前記ウェブページを描画した画像を、受信する画像受信手段と、
   前記ウェブページのレイアウト情報を受信するレイアウト受信手段と、
   前記外部コンテンツを受信するコンテンツ受信手段と、
   前記画像受信手段が受信した画像と、前記レイアウト受信手段が受信したレイアウト情報と、前記コンテンツ受信手段が受信した外部コンテンツとを用いて、描画する描画手段と、
   を有することを特徴とする情報処理装置。
6. 情報処理装置が実行する情報処理方法であって、
   ウェブページが外部コンテンツへの参照を含む場合に、前記外部コンテンツを除いた前記ウェブページを描画する描画工程と、
   前記描画工程で描画した画像を送信する画像送信工程と、
   前記ウェブページのレイアウト情報を送信するレイアウト送信工程と、
   前記外部コンテンツを取得して送信するコンテンツ送信工程と、
   を有することを特徴とする情報処理方法。
7. 情報処理装置が実行する情報処理方法であって、
   外部コンテンツへの参照を含むウェブページから前記外部コンテンツが除かれた前記ウェブページを描画した画像を、受信する画像受信工程と、
   前記ウェブページのレイアウト情報を受信するレイアウト受信工程と、
   前記外部コンテンツを受信するコンテンツ受信工程と、
   前記画像受信工程で受信した画像と、前記レイアウト受信工程で受信したレイアウト情報と、前記コンテンツ受信工程で受信した外部コンテンツとを用いて、描画する描画工程と、
   を有することを特徴とする情報処理方法。
8. コンピュータを請求項１から５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
9. ウェブページが外部コンテンツへの参照を含む場合に前記外部コンテンツを除いた前記ウェブページを描画する描画手段と、前記描画手段が描画した画像を第２の情報処理装置へ送信する画像送信手段と、前記ウェブページのレイアウト情報を前記第２の情報処理装置へ送信するレイアウト送信手段と、前記外部コンテンツを取得して前記第２の情報処理装置へ送信するコンテンツ送信手段と、を有する第１の情報処理装置と、
   前記画像送信手段から送信された前記ウェブページを描画した画像を受信する画像受信手段と、前記レイアウト送信手段から送信された前記ウェブページのレイアウト情報を受信するレイアウト受信手段と、前記コンテンツ送信手段から送信された前記外部コンテンツを受信するコンテンツ受信手段と、前記画像受信手段が受信した画像と前記レイアウト受信手段が受信したレイアウト情報と前記コンテンツ受信手段が受信した外部コンテンツとを用いて描画する描画手段と、を有する前記第２の情報処理装置と、
   を有することを特徴とするシステム。

Images