JP2020187482A - 情報処理方法 - Google Patents

Abstract

【課題】クライアント装置のユーザの視線に基づいてデータを送信する制御を行う情報処理装置を提供する。【解決手段】クライアント装置に対してデータを送信する情報処理装置４０である。情報処理装置は、クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する取得部と、取得部が取得した位置情報に基づいて、クライアント装置に対してデータを送信する際の送信制御を行う制御部と、を有する。【選択図】図６

Description

本発明は、情報処理方法、情報処理装置、プログラムに関する。

画像がより高解像度、高フレームレートになることなどにより、画像をホストから情報処理装置に送信する際のネットワークトラフィックが増大することが問題となっている。このような問題は、例えば、情報処理装置に複数の画像データを表示する場合などにおいて、より悪化することになる。

このような負荷の増大に対処するための技術として、例えば、特許文献１がある。特許文献１には、負荷状況取得手段と、実行状態制御手段と、を有する情報処理装置が記載されている。特許文献１によると、負荷状況取得手段は、情報処理装置の負荷状況を取得する。そして、実行状態制御手段は、負荷状況取得手段が取得した負荷状況に応じてアプリケーションの実行状態を制御する。

特開２０１８−８４８６３号公報

特許文献１に記載されているように、情報処理装置の負荷状況に応じて単に実行状態を制御してしまうと、例えば、ユーザが注目している画像領域などであっても負荷状況に応じて実行状態の制御が行われてしまう。その結果、ユーザが注目している領域で画質やフレームレートの劣化が生じ、ユーザの利便性が損なわれるおそれがある、という課題が生じていた。

そこで、本発明の目的は、ユーザの利便性を損なうことなく負荷を抑制することが難しい、という課題を解決する情報処理方法、情報処理装置、プログラムを提供することにある。

かかる目的を達成するため本発明の一形態である情報処理方法は、
クライアント装置に対してデータを送信する情報処理装置が行う情報処理方法であって、
クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得し、取得した位置情報に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う
という構成をとる。

また、本発明の他の形態である情報処理装置は、
クライアント装置に対してデータを送信する情報処理装置であって、
クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する取得部と、
前記取得部が取得した位置情報に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う制御部と、
を有する
という構成をとる。

また、本発明の他の形態であるプログラムは、
クライアント装置に対してデータを送信する情報処理装置に、
クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する取得部と、
前記取得部が取得した位置情報に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う制御部と、
を実現するためのプログラムである。

本発明は、以上のように構成されることにより、ユーザの利便性を損なうことなく負荷を抑制することが難しい、という課題を解決する情報処理方法、情報処理装置、プログラムを提供することが可能となる。

本発明の第１の実施形態における情報処理システムの全体の構成の一例を示すブロック図である。 図１で示すクライアント装置の構成の一例を示すブロック図である。 図１で示す仮想マシンの構成の一例を示すブロック図である。 本発明の第１の実施形態におけるクライアント装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態におけるホスト装置の動作の一例を示すフローチャートである。 本発明の第２の実施形態における情報処理装置の構成の一例を示すブロック図である。

［第１の実施形態］
本発明の第１の実施形態を図１から図５までを参照して説明する。図１は、情報処理システム３００の全体の構成の一例を示すブロック図である。図２は、クライアント装置２００の構成の一例を示すブロック図である。図３は、仮想マシン１３０の構成の一例を示すブロック図である。図４は、クライアント装置２００の動作の一例を示すフローチャートである。図５は、ホスト装置１００の動作の一例を示すフローチャートである。

本発明の第１の実施形態では、クライアント装置２００を操作するユーザがディスプレイ上で注目している領域に応じて、クライアント装置２００で動作するアプリケーションの表示制御を行う情報処理システム３００について説明する。後述するように、情報処理システム３００では、ユーザがディスプレイ内のどこの領域をユーザが注目しているか判定する。そして、情報処理システム３００は、判定した結果に応じて表示制御が行われたアプリケーションの表示を行う。

図１は、情報処理システム３００の全体の構成の一例を示している。図１を参照すると、情報処理システム３００は、例えば、ホスト装置１００とクライアント装置２００とを有している。図１で示すように、ホスト装置１００とクライアント装置２００とは、ネットワークなどを介して、互いに通信可能なよう接続されている。なお、情報処理システム３００は、任意の数のホスト装置１００と任意の数のクライアント装置２００とを有して構わない。

情報処理システム３００は、ユーザが使用するクライアント装置２００からホスト装置１００上で稼働する仮想マシン１３０にリモートで接続する仮想デスクトップ環境（ＶＤＩ：Virtual Desktop Infrastructure）を有するシステムである。図１で示すように、ホスト装置１００が有するハードウェア１１０上のハイパーバイザー１２０では複数の仮想マシン１３０が稼働している。そして、クライアント装置２００は、ネットワークなどを介して、ホスト装置１００で稼働する仮想マシン１３０にアクセスする。図１で示すような構成によると、クライアント装置２００が有するＯＳ等に標準的に搭載されているリモートデスクトップ接続機能を用いて、ユーザは、仮想マシン１３０上のデスクトップを遠隔から操作して、その操作結果である画面や音声などをクライアント装置２００のディスプレイ装置２２０などに出力させることが出来る。

クライアント装置２００は、ＰＣ（personal computer）やタブレットなどのユーザが操作する情報処理装置である。図２は、クライアント装置２００の構成の一例を示している。図２を参照すると、クライアント装置２００は、例えば、処理装置２１０とディスプレイ装置２２０とカメラ２３０とを有している。図２で示すように、処理装置２１０は、ディスプレイ装置２２０やカメラ２３０と互いに通信可能なよう接続されている。

処理装置２１０は、ディスプレイ装置２２０のディスプレイ上でユーザが一定の領域に注目しているか否か判定する。例えば、処理装置２１０は、カメラ２３０が撮影したユーザの顔画像に基づいて、ディスプレイ上のユーザの視線が向いている先、位置を検出する。そして、処理装置２１０は、検出した結果が所定の条件を満たす場合、ユーザがディスプレイ上の一定領域に注目していると判定する。また、処理装置２１０は、ホスト装置１００から符号化画像データを受信する。すると、処理装置２１０は、受信した符号化画像データを復号して、復号した結果をディスプレイ装置２２０などに出力する。

図２を参照すると、処理装置２１０は、例えば、視線検出部２１１と視線情報送出部２１２と符号化画像データ受信部２１３と画像復号部２１４とディスプレイ出力部２１５とを有している。

例えば、処理装置２１０は、ＣＰＵ（Central Processing Unit）などの演算装置と記憶装置とを有している。例えば、処理装置２１０は、記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。

視線検出部２１１は、ディスプレイ上でユーザの視線が向いている位置を検出する。また、視線検出部２１１は、ユーザがディスプレイ上の一定領域に注目しているか否か判定する。

例えば、視線検出部２１１は、カメラ２３０が撮影したユーザの顔画像に基づいて、ディスプレイ上でユーザの視線が向いている位置を検出する。これにより、視線検出部２１１は、カメラ２３０が撮影した顔画像に基づいて、ユーザの視線がディスプレイ上のどこの位置に向いているかを示す位置情報を取得する。換言すると、視線検出部２１１は、ユーザの顔画像に基づいて、ディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する。

また、視線検出部２１１は、検出した位置情報に基づいて予め定められた時間内にユーザの視線が大きく変動しているかいないか判定することにより、ユーザがディスプレイ上の一定領域に注目しているか否か判定する。例えば、視線検出部２１１は、予め定められた時間内にユーザの視線が所定の閾値以上変動しているか否か確認することで、ユーザが一定領域に注目しているか否か判定する。例えば、視線検出部２１１は、予め定められた時間内にユーザの視線が所定の閾値以上変動していない場合、ユーザが一定領域に注目していると判定する。この場合、視線検出部２１１は、予め定められた時間内にユーザの視線が閾値以上動いていない旨を視線情報送出部２１２に通知する。一方、予め定められた時間内にユーザの視線が所定の閾値以上変動している場合、視線検出部２１１は、視線情報送出部２１２に対する通知を行わない。

なお、視線検出部２１１が判定を行う際に用いる時間や閾値などの値は任意に設定して構わない。また、時間や閾値などの値は、固定された値であっても構わないし、可変な値であっても構わない。例えば、閾値は、ディスプレイ装置２２０のディスプレイ上に表示されたアプリケーションの表示領域の大きさなどに応じて変更するよう構成しても構わない。

視線情報送出部２１２は、視線検出部２１１からの通知を受信すると、視線検出部２１１が取得した位置情報を含む視線情報をホスト装置１００に対して通知する。

符号化画像データ受信部２１３は、ホスト装置１００が送信した符号化データを受信する。また、画像復号部２１４は、符号化画像データ受信部２１３が受信した符号化データを復号する。そして、ディスプレイ出力部２１５は、画像復号部２１４が復号したデータをディスプレイ装置２２０に出力する。その結果、ディスプレイ装置２２０のディスプレイ上に画像が表示される。

なお、画像復号部２１４は、後述する画像符号化部１３５が行う符号化方式と同一の方式で復号を行うよう構成されている。

ディスプレイ装置２２０は、ディスプレイ出力部２１５からの出力に応じて、画像などをディスプレイ装置２２０が有するディスプレイ上に表示する。例えば、ディスプレイ装置２２０は、ディスプレイ出力部２１５が出力したデータを受信する。すると、ディスプレイ装置２２０は、受信したデータに応じた画像をディスプレイ上に表示させる。

なお、ディスプレイ装置２２０のディスプレイ上には、複数のアプリケーションの画像データを表示することが出来る。例えば、図２の場合、アプリケーションＡの画像データとアプリケーションＢの画像データとの２つの画像データが表示されている。ディスプレイ上には、３つ以上の複数のアプリケーションの画像データが表示されても構わない。

カメラ２３０は、例えば、ディスプレイ装置２２０の近辺に搭載されている。カメラ２３０は、ディスプレイ装置２２０の前面にいるユーザの顔画像を撮影する。カメラ２３０が撮影した顔画像は、処理装置２１０に出力される。

以上が、クライアント装置２００の構成の一例である。なお、クライアント装置２００の構成は、図２で示す場合に限定されない。例えば、クライアント装置２００は、処理装置２１０としての機能とディスプレイ装置２２０としての機能とカメラ２３０としての機能とを有する１台の情報処理装置であっても構わない。換言すると、処理装置２１０とディスプレイ装置２２０とカメラ２３０とは、一つの情報処理装置として一体的に構成されていても構わないし、複数の装置に分かれて実現されても構わない。

ホスト装置１００は、データセンターなどに配置され、クライアント装置２００に対して仮想化環境を提供するとともに、画像データなどのデータを送信する情報処理装置である。後述するように、ホスト装置１００は、クライアント装置２００から受信した位置情報を含む視線情報に基づいて、所定の送信制御を行った上で、画像データなどのデータをクライアント装置２００に対して送信する。

上述したように、例えば、ホスト装置１００が有するハードウェア１１０上でハイパーバイザー１２０が稼働している。ハイパーバイザー１２０は、ホスト装置１００上の物理リソース（ハードウェア１１０）の制御を担っている。ハイパーバイザー１２０は、ある仮想マシン１３０からハードウェア１１０の使用が要求される際に、リソースの制御を行い、実際の物理ハードウェア使用の割り当てなどを行う。ホスト装置１００上で複数の仮想マシン１３０が同時に稼働する場合でも、ハイパーバイザー１２０でのリソース制御により、並列実行を行うことが出来る。

仮想マシン１３０は、クライアント装置２００から受信した視線情報に基づいて、表示制御対象となるアプリケーションを判定する。つまり、仮想マシン１３０は、視線情報に基づいて、表示制御対象となる領域を判定する。そして、仮想マシン１３０は、表示制御対象となるアプリケーションの画像データに対する所定の表示制御を送信制御として行った後、符号化したデータをクライアント装置２００に対して送信する。言い換えると、仮想マシン１３０は、表示制御対象となる領域に応じた画像データに対する所定の送信制御を行った後、符号化したデータをクライアント装置２００に対して送信する。

図３は、仮想マシン１３０の構成の一例を示している。図３を参照すると、仮想マシン１３０は、例えば、視線情報受信部１３１と、表示制御対象アプリケーション判定部１３２と、画像制御部１３３と、表示画像合成部１３４と、画像符号化部１３５と、符号化画像データ送出部１３６と、を有している。なお、上述した各機能は、例えば、記憶装置に格納されたプログラムを演算装置が実行することで実現される。

視線情報受信部１３１は、クライアント装置２００の視線情報送出部２１２が通知した視線情報を受信する。

表示制御対象アプリケーション判定部１３２は、視線情報受信部１３１が受信した視線情報に基づいて、表示制御対象となるアプリケーション、表示制御対象となる領域を判定する。例えば、表示制御対象アプリケーション判定部１３２は、ディスプレイ装置２２０のディスプレイ上に表示されているアプリケーションの位置を示す情報を有している。そして、表示制御対象アプリケーション判定部１３２は、アプリケーションの位置を示す情報と視線情報とに基づいて、視線情報が示す位置に存在するアプリケーションと視線情報が示す位置に存在しないアプリケーションとを判別する。換言すると、表示制御対象アプリケーション判定部１３２は、アプリケーションの位置を示す情報と視線情報とに基づいて、ユーザが注目しているアプリケーションとユーザが注目していないアプリケーションとを判別する。例えば、表示制御対象アプリケーション判定部１３２は、視線情報が示す位置と重なる位置に存在するアプリケーションをユーザが注目しているアプリケーションと判別する一方で、視線情報が示す位置と重ならない位置に存在するアプリケーションをユーザが注目していないアプリケーションとを判別する。そして、表示制御対象アプリケーション判定部１３２は、ユーザが注目していないとした判別したアプリケーションを表示制御対象のアプリケーションであると判定する。その後、表示制御対象アプリケーション判定部１３２は、表示制御対象のアプリケーションであると判定したアプリケーションを示す情報を画像制御部１３３に通知する。

画像制御部１３３は、表示制御対象アプリケーション判定部１３２が表示制御対象のアプリケーションであると判定したアプリケーションが出力する画像に対して、所定の表示制御を行う。例えば、画像制御部１３３は、対象のアプリケーションが出力する画像に対して、画像フレームの間引き、または画質を下げる処理を行う。画像フレームは、動画の元となる静止画像１枚を指し、その１秒間当たりの表示速度はフレームレート（ＦＰＳ：frames per second）で示されるものである。例えば、３０ＦＰＳの動画のフレームを半分に間引くと１５ＦＰＳとなり、３０ＦＰＳの画像データと比べ、動画の滑らかな変化は損なわれるが、１秒間当たりの画像の変化量は減少する。また、画像フレームの解像度やコントラストを下げることで、画質は低下するが、その画像フレームを表現するデータサイズは少なくなる。

このように、画像制御部１３３は、ユーザが注目していないと判別されたアプリケーションが出力する画像に対して、画像フレームの間引きを行ったり画質を下げたりするなど、画像データを送信する際にネットワークに与える負荷を低減させるための制御を行う。換言すると、画像制御部１３３は、画像データを送信する際の送信制御として、ユーザが注目していないと判別されたアプリケーションが出力する画像に対して、画像を送信する際の負荷を低減させるための処理を行う。なお、画像制御部１３３は、ユーザが注目していないと判別されたアプリケーションが存在する領域に応じた画像データに対して、画像データを送信する際の送信制御を行っている、ということも出来る。

表示画像合成部１３４は、画像制御部１３３による表示制御対象となったアプリケーションの画像と画像制御部１３３による表示制御対象外の画像とを合成する。また、画像符号化部１３５は、表示画像合成部１３４が合成したデータを符号化する。そして、符号化画像データ送出部１３６は、画像符号化部１３５が符号化した符号化データをクライアント装置２００に対して送信する。

なお、画像符号化部１３５が行う符号化方式は、一般的に使用される画像圧縮規格のＨ．２６４やＭＰＥＧ２などを任意に選択して構わない。上述したように、クライアント装置２００の画像復号部２１４は、画像符号化部１３５と同一の方式で復号を行う。

以上が、ホスト装置１００の構成の一例である。このように、ホスト装置１００は、ユーザが注目していないと判別されたアプリケーションが出力する画像を送信する際の負荷を低減させるための処理を行った後、符号化して符号化データを送信する。

続いて、図４、図５を参照して、ホスト装置１００とクライアント装置２００の動作の一例について説明する。

まず、図４を参照して、クライアント装置２００の動作の一例について説明する。図４を参照すると、視線検出部２１１は、ディスプレイ上でユーザの視線が向いている位置を検出して、検出した位置を示す位置情報を取得する（ステップＳ１０１）。

また、視線検出部２１１は、予め定められた時間内にユーザの視線が大きく変動しているかいないか判定する（ステップＳ１０２）。ユーザの視線が大きく変動していない場合（ステップＳ１０２、Ｎｏ）、視線検出部２１１は、その旨を視線情報送出部２１２に通知する。また、視線情報送出部２１２は、視線検出部２１１からの通知を受信すると、視線検出部２１１が取得した位置情報を含む視線情報をホスト装置１００に対して通知する（ステップＳ１０３）。一方、ユーザの視線が大きく変動している場合（ステップＳ１０２、Ｙｅｓ）、視線検出部２１１は視線情報送出部２１２に対する通知を行わない。

続いて、図５を参照して、ホスト装置１００の動作の一例について説明する。図５を参照すると、視線情報受信部１３１が視線情報を受信した場合（ステップＳ２０１、Ｙｅｓ）、表示制御対象アプリケーション判定部１３２は、視線情報受信部１３１が受信した視線情報に基づいて、表示制御対象となるアプリケーションを判定する（ステップＳ２０２）。

また、画像制御部１３３は、表示制御対象アプリケーション判定部１３２が表示制御対象のアプリケーションであると判定したアプリケーションが出力する画像に対して、所定の制御を行う。例えば、画像制御部１３３は、表示制御対象のアプリケーションが出力する画像に対して、フレームレートまたは画質を変更する処理を行う（ステップＳ２０３）。

視線情報受信部１３１が視線情報を受信していない場合（ステップＳ２０１、Ｎｏ）、または、ステップＳ２０３の処理の後、表示画像合成部１３４は、画像制御部１３３による表示制御対象となったアプリケーションの画像と画像制御部１３３による表示制御対象外の画像とを合成する（ステップＳ２０４）。また、画像符号化部１３５は、表示画像合成部１３４が合成したデータを符号化する（ステップＳ２０５）。そして、符号化画像データ送出部１３６は、画像符号化部１３５が符号化した符号化データをクライアント装置２００に対して送信する（ステップＳ２０６）。

このように、ホスト装置１００は、視線情報受信部１３１と、表示制御対象アプリケーション判定部１３２と、画像制御部１３３と、を有している。このような構成により、表示制御対象アプリケーション判定部１３２は、視線情報受信部１３１が受信した視線情報に基づいて、表示制御対象となるアプリケーションを判定することが出来る。また、画像制御部１３３は、表示制御対象アプリケーション判定部１３２が表示制御対象のアプリケーションであると判定したアプリケーションが出力する画像に対して、ネットワーク負荷を低減させるための所定の制御を行うことが出来る。その結果、ホスト装置１００は、視線情報に基づいてユーザが注目していないと判別されるアプリケーションが出力する画像に対してのみ負荷を低減させる制御を行うことが可能となる。つまり、ホスト装置１００は、ユーザが注目しているアプリケーションが出力する画像の質を抑制することなく、ユーザが注目していないアプリケーションが出力する画像に対してのみ負荷を低減させる制御を行うことが可能となる。これにより、ユーザの利便性を損なうことなく負荷を抑制することが可能となる。

また、クライアント装置２００は、ユーザがディスプレイ上の一定領域に注目していると判定される場合に視線情報を送信するよう構成されている。このような構成により、ユーザが特定の領域、特定のアプリケーションが出力する画像、に注目していると判別される場合にのみ視線情報を送信することが出来る。その結果、不要な視線情報の送信を抑制することが可能となる。

なお、本実施形態においては、表示制御対象アプリケーション判定部１３２としての機能をホスト装置１００が有するとした。しかしながら、表示制御対象アプリケーション判定部１３２としての機能はクライアント装置２００が有していても構わない。

また、本実施形態においては、ホスト装置１００が仮想マシン１３０を有する構成とした。しかしながら、本発明は、仮想化を行うシステム以外のシステムであっても適用可能である。換言すると、本発明によると、仮想化を行うシステム以外であっても、ネットワークの負荷を低減させることが出来る。

また、本実施形態においては、アプリケーション単位でユーザが注目しているか否か判別する場合について例示した。しかしながら、本発明はアプリケーション単位での送信制御を行う場合に限定されない。例えば、本発明は、アプリケーションをさらに細かい領域に分けて、領域単位で画質の調整などを行うよう構成しても構わない。

［第２の実施形態］
次に、図６を参照して、本発明の第２の実施形態について説明する。第２の実施形態では、情報処理装置４０の構成の概要について説明する。

情報処理装置４０は、当該情報処理装置４０と接続されたクライアント装置に対してデータを送信する。図６は、情報処理装置４０の構成の一例を示している。図６を参照すると、情報処理装置４０は、例えば、取得部４１と、制御部４２と、を有している。

例えば、情報処理装置４０は、ＣＰＵなどの演算装置と記憶装置とを有している。例えば、情報処理装置４０は、記憶装置に格納されたプログラムを演算装置が実行することで、上述した各処理部を実現する。

取得部４１は、クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する。

制御部４２は、取得部４１が取得した位置情報に基づいて、クライアント装置に対してデータを送信する際の送信制御を行う。

このように、情報処理装置４０は、取得部４１と制御部４２とを有している。このような構成により、制御部４２は、取得部４１が取得した位置情報に基づいて、クライアント装置に対してデータを送信する際の送信制御を行うことが出来る。その結果、制御部４２は、位置情報に基づいて、データをクライアント装置に対して送信する際にネットワークに与える負荷を低減させるように、送信制御を行うことが可能となる。これにより、ユーザの利便性を損なうことなく負荷を抑制することが可能となる。

また、上述した情報処理装置４０は、当該情報処理装置４０に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、クライアント装置に対してデータを送信する情報処理装置に、クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する取得部４１と、取得部４１が取得した位置情報に基づいて、クライアント装置に対してデータを送信する際の送信制御を行う制御部４２と、を実現するためのプログラムである。

また、上述した情報処理装置４０により実行される情報処理方法は、クライアント装置に対してデータを送信する情報処理装置が行う情報処理方法であって、クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得し、取得した位置情報に基づいて、クライアント装置に対してデータを送信する際の送信制御を行う、という方法である。

上述した構成を有する、プログラム、又は、情報処理方法、の発明であっても、上記情報処理装置４０と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理方法などの概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
クライアント装置に対してデータを送信する情報処理装置が行う情報処理方法であって、
クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得し、取得した位置情報に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う
情報処理方法。
（付記２）
付記１に記載の情報処理方法であって、
前記位置情報に基づいて特定される領域に応じたデータに対して、データを送信する際の送信制御を行う
情報処理方法。
（付記３）
付記１または付記２に記載の情報処理方法であって、
前記位置情報に基づいて、前記クライアント装置のディスプレイ上に表示されているアプリケーションのうちユーザが注目しているアプリケーションを判別し、判別した結果に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う
情報処理方法。
（付記４）
付記１から付記３までのいずれか１項に記載の情報処理方法であって、
前記位置情報に基づいて、前記クライアント装置のディスプレイ上に表示されているアプリケーションのうちユーザが注目しているアプリケーションを判別し、ユーザが注目していないと判別したアプリケーションが出力するデータに対して、データを送信する際の送信制御を行う
情報処理方法。
（付記５）
付記４に記載の情報処理方法であって、
ユーザが注目していると判別したアプリケーションが出力するデータに対しては、データを送信する際の送信制御を行わない
情報処理方法。
（付記６）
付記１から付記５までのいずれか１項に記載の情報処理方法であって、
データを送信する際の送信制御として、ネットワークに与える負荷を低減させるための制御を行う
情報処理方法。
（付記７）
付記６に記載の情報処理方法であって、
ネットワークに与える負荷を低減させるための制御として、データフレームの間引き、又は、データの質を下げる処理を行う
情報処理方法。
（付記８）
付記１から付記７までのいずれか１項に記載の情報処理方法であって、
定められた時間、ユーザがディスプレイ上の一定領域に注目している場合に、前記クライアント装置から前記位置情報を含む情報を受信する
情報処理方法。
（付記９）
クライアント装置に対してデータを送信する情報処理装置であって、
クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する取得部と、
前記取得部が取得した位置情報に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う制御部と、
を有する
情報処理装置。
（付記１０）
クライアント装置に対してデータを送信する情報処理装置に、
クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する取得部と、
前記取得部が取得した位置情報に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う制御部と、
を実現するためのプログラム。

なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。

１００ ホスト装置
１１０ ハードウェア
１２０ ハイパーバイザー
１３０ 仮想マシン
１３１ 視線情報受信部
１３２ 表示制御対象アプリケーション判定部
１３３ 画像制御部
１３４ 表示画像合成部
１３５ 画像符号化部
１３６ 符号化画像データ送出部
２００ クライアント装置
２１０ 処理装置
２１１ 視線検出部
２１２ 視線情報送出部
２１３ 符号化画像データ受信部
２１４ 画像復号部
２１５ ディスプレイ出力部
２２０ ディスプレイ装置
２３０ カメラ
３００ 情報処理システム
４０ 情報処理装置
４１ 取得部
４２ 制御部

Claims (10)

1. クライアント装置に対してデータを送信する情報処理装置が行う情報処理方法であって、
   クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得し、取得した位置情報に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う
   情報処理方法。
2. 請求項１に記載の情報処理方法であって、
   前記位置情報に基づいて特定される領域に応じたデータに対して、データを送信する際の送信制御を行う
   情報処理方法。
3. 請求項１または請求項２に記載の情報処理方法であって、
   前記位置情報に基づいて、前記クライアント装置のディスプレイ上に表示されているアプリケーションのうちユーザが注目しているアプリケーションを判別し、判別した結果に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う
   情報処理方法。
4. 請求項１から請求項３までのいずれか１項に記載の情報処理方法であって、
   前記位置情報に基づいて、前記クライアント装置のディスプレイ上に表示されているアプリケーションのうちユーザが注目しているアプリケーションを判別し、ユーザが注目していないと判別したアプリケーションが出力するデータに対して、データを送信する際の送信制御を行う
   情報処理方法。
5. 請求項４に記載の情報処理方法であって、
   ユーザが注目していると判別したアプリケーションが出力するデータに対しては、データを送信する際の送信制御を行わない
   情報処理方法。
6. 請求項１から請求項５までのいずれか１項に記載の情報処理方法であって、
   データを送信する際の送信制御として、ネットワークに与える負荷を低減させるための制御を行う
   情報処理方法。
7. 請求項６に記載の情報処理方法であって、
   ネットワークに与える負荷を低減させるための制御として、データフレームの間引き、又は、データの質を下げる処理を行う
   情報処理方法。
8. 請求項１から請求項７までのいずれか１項に記載の情報処理方法であって、
   定められた時間、ユーザがディスプレイ上の一定領域に注目している場合に、前記クライアント装置から前記位置情報を含む情報を受信する
   情報処理方法。
9. クライアント装置に対してデータを送信する情報処理装置であって、
   クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する取得部と、
   前記取得部が取得した位置情報に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う制御部と、
   を有する
   情報処理装置。
10. クライアント装置に対してデータを送信する情報処理装置に、
    クライアント装置から、当該クライアント装置のディスプレイ上でユーザの視線が向いている位置を示す位置情報を取得する取得部と、
    前記取得部が取得した位置情報に基づいて、前記クライアント装置に対してデータを送信する際の送信制御を行う制御部と、
    を実現するためのプログラム。
    
    

Images