JP2016184352A - 通信システム、端末装置、プログラム、サーバ装置及び情報処理方法 - Google Patents

Abstract

【課題】ユーザの操作に対するレスポンスを短縮したサーバベースコンピューティングを可能とする。
【解決手段】端末装置は、ユーザ操作を示す操作情報と、端末装置により実行される処理を示す第１処理情報及びサーバ装置によるアプリケーションプログラムの実行を示す第２処理情報の何れかとが対応付けられた定義情報を記憶する一時記憶手段に記憶された定義情報に基づいて、操作画面を表示手段に表示させ、入力されたユーザ操作を示す操作情報に対応する第１処理情報又は第２処理情報を定義情報から決定し、第１処理情報が決定された場合、第１処理情報が示す処理を実行し、第２処理情報が決定された場合、第２処理情報が示す処理の要求を示す要求情報をサーバ装置へ送信し、サーバ装置のアプリケーションプログラムの実行に応じてサーバ装置から切替情報を受信し、切替情報に基づいて、処理情報の決定に用いられる定義情報を切り替える。
【選択図】図１２

Description

本発明は、サーバ装置が、ネットワークを介して送信された要求に応じた処理を実行し、この処理の実行結果を示す映像及び音声の少なくとも何れか一方をネットワークを介して送信するシステムの技術分野に関する。

従来、クライアントサーバモデルにおいて、大部分の処理をサーバ側に集中させ、クライアント側はユーザ操作の受け付けや処理結果の表示などを行うサーバベースコンピューティングが知られている。この方式においては、例えばユーザからの操作入力に対応した操作信号をクライアント装置がサーバ装置へ送信する。サーバ装置は、操作信号に応じた処理を実行し、その結果に応じた映像をストリーミングなどによりクライアント装置へ配信する。

また、特許文献１には、サーバ装置からクライアント装置へのレスポンスの改善を目的とした技術が開示されている。この技術において、サーバ装置は、クライアント装置からの要求に応じた画面情報を複数のブロックに分割し、複数のブロックのうち、ユーザからの入力に対応するブロックを優先してクライアント装置へ送信する。

特開２００８−２１０１１３号公報

しかしながら、特許文献１に記載の技術では、ユーザが操作をするたびに、クライアント装置からサーバ装置への要求の送信、及びサーバ装置からクライアント装置への映像の送信が発生する。このようなクライアント装置とサーバ装置との間の通信が常に発生するため、ユーザの操作に対するレスポンスが低下するという問題がある。

本発明は、以上の点に鑑みてなされたものであり、ユーザの操作に対するレスポンスを短縮したサーバベースコンピューティングを可能とする通信システム等を提供することを課題とする。

上記課題を解決するために、請求項１に記載の発明は、アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する通信システムにおいて、前記ネットワークを介して前記サーバ装置へ前記アプリケーションプログラムの実行を要求する端末装置と、前記サーバ装置と、前記出力装置と、を備え、前記端末装置は、前記アプリケーションプログラムに対応したユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を記憶する一時記憶手段と、前記一時記憶手段に記憶された前記定義情報に基づいて、前記アプリケーションプログラムに対応する操作画面を表示手段に表示させる表示制御手段と、ユーザ操作が入力される入力手段と、前記一時記憶手段に記憶された前記定義情報から、前記入力手段を用いて入力された前記ユーザ操作を示す操作情報に対応する前記処理情報として前記第１処理情報又は前記第２処理情報を決定する決定手段と、前記決定手段により前記第１処理情報が決定された場合、前記第１処理情報が示す処理を実行する処理実行手段と、前記決定手段により前記第２処理情報が決定された場合、前記第２処理情報が示す処理の要求を示す要求情報を前記サーバ装置へ送信する要求情報送信手段と、前記要求情報送信手段により送信された前記要求情報に基づいて前記サーバ装置により前記アプリケーションプログラムが実行されることに応じて前記サーバ装置から送信される切替情報であって、切り替え先の定義情報に関する切替情報を受信する切替情報受信手段と、前記切替情報受信手段により受信された前記切替情報に基づいて、前記決定手段による処理情報の決定に用いられる定義情報を切り替える切替手段と、を備え、前記サーバ装置は、前記アプリケーションプログラムを記憶するプログラム記憶手段と、前記端末装置から前記要求情報を受信する要求情報受信手段と、前記要求情報受信手段により受信された前記要求情報に基づいて、前記プログラム記憶手段に記憶された前記アプリケーションプログラムを実行するプログラム実行手段と、前記プログラム実行手段による前記アプリケーションプログラムの実行に応じて、前記切替情報を前記端末装置へ送信する切替情報送信手段と、前記プログラム実行手段による前記アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成する生成手段と、前記生成手段により生成された、前記映像データ及び前記音声データの少なくとも何れか一方を前記出力装置へ送信する送信手段と、を備え、前記出力装置は、前記サーバ装置から送信された、前記映像データ及び音声データの少なくとも何れか一方を受信する受信手段と、前記受信手段により受信された、前記映像データ及び音声データの少なくとも何れか一方が示す実行結果を出力手段により出力させる出力制御手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の通信システムにおいて、複数の前記定義情報を記憶する定義情報記憶手段と、前記定義情報記憶手段に記憶された前記定義情報を前記端末装置へ送信する定義情報送信手段と、を備える第２サーバ装置を更に含み、前記端末装置は、前記第２サーバ装置から送信された前記定義情報を受信する定義情報受信手段を更に備え、前記切替手段は、前記定義情報受信手段により受信された前記定義情報を前記一時記憶手段に記憶させ、前記決定手段による処理情報の決定に用いられる定義情報を、前記一時記憶手段に記憶された前記定義情報に切り替えることを特徴とする。

請求項３に記載の発明は、請求項２に記載の通信システムにおいて、前記切替情報送信手段は、前記プログラム実行手段によるアプリケーションプログラムの実行に応じた前記切り替え先の定義情報を識別する定義情報識別情報を前記切替情報として送信し、前記端末装置は、前記切替情報受信手段により受信された前記定義情報識別情報を第２サーバ装置へ送信する定義情報識別情報送信手段を更に備え、前記第２サーバ装置は、前記端末装置から送信された前記定義情報識別情報を受信する定義情報識別情報受信手段を更に備え、前記定義情報記憶手段は、前記定義情報と、前記定義情報を識別する定義情報識別情報とを対応付けて複数記憶し、前記定義情報送信手段は、前記定義情報記憶手段に記憶されている複数の前記定義情報のうち、前記定義情報識別情報受信手段により受信された前記定義情報識別情報に対応する定義情報を送信することを特徴とする。

請求項４に記載の発明は、請求項１に記載の通信システムにおいて、前記サーバ装置は、複数の前記定義情報を記憶する定義情報記憶手段を更に備え、前記切替情報送信手段は、前記定義情報記憶手段に記憶された前記複数の定義情報のうち、前記プログラム実行手段によるアプリケーションプログラムの実行に応じた前記切り替え先の定義情報を前記切替情報として送信し、前記端末装置は、前記切替手段は、前記切替情報受信手段により受信された前記定義情報を前記一時記憶手段に記憶させ、前記決定手段による処理情報の決定に用いられる定義情報を、前記一時記憶手段に記憶された前記定義情報に切り替えることを特徴とする。

請求項５に記載の発明は、請求項１乃至４の何れか１項に記載の通信システムにおいて、前記端末装置は、複数の前記定義情報を記憶する不揮発性記憶手段を更に備え、前記切替手段は、前記切り替え先の定義情報が前記不揮発性記憶手段に記憶されている場合、前記不揮発性記憶手段に記憶された前記切り替え先の定義情報を前記一時記憶手段に記憶させ、前記決定手段による処理情報の決定に用いられる定義情報を、前記一時記憶手段に記憶された前記定義情報に切り替えることを特徴とする。

請求項６に記載の発明は、請求項５に記載の通信システムにおいて、複数の前記定義情報を記憶する定義情報記憶手段と、前記定義情報の問い合わせを示す問い合わせ情報を前記端末装置から受信する問い合わせ情報受信手段と、前記問い合わせ情報受信手段により前記問い合わせ情報が受信された場合、前記定義情報記憶手段に記憶された前記複数の定義情報のうち、前記端末装置に記憶されている定義情報よりも新しい定義情報を前記端末装置へ送信する定義情報送信手段と、を備える第２サーバ装置を更に含み、前記端末装置は、前記問い合わせ情報を定期的に前記第２サーバ装置へ送信する問い合わせ情報送信手段と、前記第２サーバ装置から送信された前記定義情報を受信する定義情報受信手段と、前記定義情報受信手段により受信された前記定義情報で、前記定義情報記憶手段に記憶された定義情報を更新する更新手段と、を更に備えることを特徴とする。

請求項７に記載の発明は、請求項１乃至６の何れか１項に記載の通信システムにおいて、前記要求情報送信手段は、前記第２処理情報がアプリケーションプログラムの起動を示す場合、起動される前記アプリケーションプログラムを識別するアプリケーションプログラム識別情報を含む前記要求情報を送信し、前記プログラム記憶手段は、アプリケーションプログラムと前記アプリケーションプログラムを識別するアプリケーションプログラム識別情報とを対応付けて複数記憶し、前記プログラム実行手段は、前記プログラム記憶手段に記憶された複数のアプリケーションプログラムのうち、前記要求情報に含まれる前記アプリケーションプログラム識別情報に対応するアプリケーションプログラムを起動させ、前記切替情報送信手段は、前記プログラム実行手段によりアプリケーションプログラムが起動された場合に、起動された前記アプリケーションプログラムに対応する前記切り替え先の定義情報に関する前記切替情報を送信することを特徴とする。

請求項８に記載の発明は、請求項１乃至６の何れか１項に記載の通信システムにおいて、前記切替情報送信手段は、起動中のアプリケーションプログラムが前記プログラム実行手段により実行されることにより、前記起動中のアプリケーションプログラムの内部状態 が変化した場合、前記起動中のアプリケーションプログラムに対応する複数の定義情報のうち、変化した前記内部状態に対応する前記切り替え先の定義情報に関する前記切替情報を送信することを特徴とする。

請求項９に記載の発明は、請求項１乃至８の何れか１項に記載の通信システムにおいて、前記端末装置は、前記端末装置の属性を示す属性情報を記憶する属性情報記憶手段を更に備え、前記切替手段は、前記属性情報記憶手段に記憶された前記属性情報が示す属性に対応する定義情報へ切り替えることを特徴とする。

請求項１０に記載の発明は、請求項１乃至９の何れか１項に記載の通信システムにおいて、前記定義情報は、前記表示手段に表示されている前記操作画面のスクロール及び前記操作画面内のユーザ操作の対象を示すしるしの移動の何れかを含む処理を示す前記第１処理情報と、前記サーバ装置から前記出力装置へ送信される、前記映像データ及び前記音声データの少なくとも何れか一方の切り替えを伴う処理を示す前記第２処理情報とを含むことを特徴とする。

請求項１１に記載の発明は、アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する通信システムに含まれる端末装置において、前記アプリケーションプログラムに対応したユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を記憶する一時記憶手段と、前記一時記憶手段に記憶された前記定義情報に基づいて、前記アプリケーションプログラムに対応する操作画面を表示手段に表示させる表示制御手段と、ユーザ操作が入力される入力手段と、前記一時記憶手段に記憶された前記定義情報から、前記入力手段を用いて入力された前記ユーザ操作を示す操作情報に対応する処理情報として前記第１処理情報又は前記第２処理情報を決定する決定手段と、前記決定手段により前記第１処理情報が決定された場合、前記第１処理情報が示す処理を実行する処理実行手段と、前記決定手段により前記第２処理情報が決定された場合、前記第２処理情報が示す処理の要求を示す要求情報を前記サーバ装置へ送信する要求情報送信手段と、前記要求情報送信手段により送信された前記要求情報に基づいて前記サーバ装置により前記アプリケーションプログラムが実行されることに応じて前記サーバ装置から送信される切替情報であって、切り替え先の定義情報に関する切替情報を受信する切替情報受信手段と、前記切替情報受信手段により受信された前記切替情報に基づいて、前記決定手段による処理情報の決定に用いられる定義情報を切り替える切替手段と、を備えることを特徴とする。

請求項１２に記載の発明は、アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する通信システムに含まれる端末装置により実行されるプログラムにおいて、前記アプリケーションプログラムに対応するユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を記憶する一時記憶手段と、ユーザ操作が入力される入力手段と、を備える前記端末装置のコンピュータに、前記一時記憶手段に記憶された前記定義情報に基づいて、前記アプリケーションプログラムに対応する操作画面を表示手段に表示させる表示制御ステップと、前記一時記憶手段に記憶された前記定義情報から、前記入力手段を用いて入力された前記ユーザ操作を示す操作情報に対応する処理情報として前記第１処理情報又は前記第２処理情報を決定する決定ステップと、前記決定ステップにより前記第１処理情報が決定された場合、前記第１処理情報が示す処理を実行する処理実行ステップと、前記決定ステップにより前記第２処理情報が決定された場合、前記第２処理情報が示す処理の要求を示す要求情報を前記サーバ装置へ送信する要求情報送信ステップと、前記要求情報送信ステップにより送信された前記要求情報に基づいて前記サーバ装置により前記アプリケーションプログラムが実行されることに応じて前記サーバ装置から送信される切替情報であって、切り替え先の定義情報に関する切替情報を受信する切替情報受信ステップと、前記切替情報受信ステップにより受信された前記切替情報に基づいて、前記決定ステップによる処理情報の決定に用いられる定義情報を切り替える切替ステップと、を実行させることを特徴とする。

請求項１３に記載の発明は、アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する通信システムに含まれる前記サーバ装置において、前記ネットワークを介して端末装置からの要求に応じて実行されるアプリケーションプログラムを記憶するプログラム記憶手段と、前記アプリケーションプログラムに対応するユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記ネットワークを介して前記サーバ装置へ前記アプリケーションプログラムの実行を要求する端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を複数記憶する定義情報記憶手段と、前記端末装置が備える一時記憶手段に記憶された前記定義情報から、前記端末装置が備える入力手段を用いて入力されたユーザ操作を示す前記操作情報に対応する処理情報として前記第２処理情報が決定された場合、前記端末装置から、前記第２処理情報が示す処理の要求を示す要求情報を受信する要求情報受信手段と、前記要求情報受信手段により受信された前記要求情報に基づいて、前記プログラム記憶手段に記憶されたアプリケーションプログラムを実行するプログラム実行手段と、前記プログラム実行手段によるアプリケーションプログラムの実行に応じて、前記入力手段を用いて入力されるユーザ操作を示す操作情報に対応する前記処理情報の決定に用いられる定義情報の切り替え先の定義情報に関する切替情報を前記端末装置へ送信する切替情報送信手段であって、前記定義情報記憶手段に記憶された複数の前記定義情報のうち、前記アプリケーションプログラムの実行に応じた定義情報を、切り替え先の定義情報として含む前記切替情報を送信する切替情報送信手段と、前記プログラム実行手段によるアプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成する生成手段と、前記生成手段により生成された、前記映像データ及び前記音声データの少なくとも何れか一方を前記出力装置へ送信する送信手段と、を備えることを特徴とする。

請求項１４に記載の発明は、アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する情報処理装置において、前記ネットワークを介して前記サーバ装置へ前記アプリケーションプログラムの実行を要求する端末装置であって、前記アプリケーションプログラムに対応したユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を記憶する一時記憶手段と、ユーザ操作が入力される入力手段と、を備える端末装置が、前記一時記憶手段に記憶された前記定義情報に基づいて、前記アプリケーションプログラムに対応する操作画面を表示手段に表示させる表示制御ステップと、前記端末装置が、前記一時記憶手段に記憶された前記定義情報から、前記入力手段を用いて入力された前記ユーザ操作を示す操作情報に対応する前記処理情報として前記第１処理情報又は前記第２処理情報を決定する決定ステップと、前記端末装置が、前記決定ステップにより前記第１処理情報が決定された場合、前記第１処理情報が示す処理を実行する処理実行ステップと、前記端末装置が、前記決定ステップにより前記第２処理情報が決定された場合、前記第２処理情報が示す処理の要求を示す要求情報を前記サーバ装置へ送信する要求情報送信ステップと、前記サーバ装置が、前記端末装置から前記要求情報を受信する要求情報受信ステップと、前記サーバ装置が、前記要求情報受信ステップにより受信された前記要求情報に基づいて、前記アプリケーションプログラムを記憶するプログラム記憶手段に記憶された前記アプリケーションプログラムを実行するプログラム実行ステップと、前記サーバ装置が、前記プログラム実行ステップによる前記アプリケーションプログラムの実行に応じて、前記入力手段を用いて入力されるユーザ操作を示す操作情報に対応する前記処理情報の決定に用いられる定義情報の切り替え先の定義情報に関する切替情報を前記端末装置へ送信する切替情報送信ステップと、前記端末装置が、前記サーバ装置から送信された前記切替情報を受信する切替情報受信ステップと、前記端末装置が、前記切替情報受信ステップにより受信された前記切替情報に基づいて、前記決定ステップによる処理情報の決定に用いられる定義情報を切り替える切替ステップと、前記サーバ装置が、前記プログラム実行ステップによる前記アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成する生成ステップと、前記サーバ装置が、前記生成ステップにより生成された、前記映像データ及び前記音声データの少なくとも何れか一方を前記出力装置へ送信する送信ステップと、前記出力装置が、前記サーバ装置から送信された、前記映像データ及び音声データの少なくとも何れか一方を受信する受信ステップと、前記出力装置が、前記受信ステップにより受信された、前記映像データ及び音声データの少なくとも何れか一方が示す実行結果を出力手段により出力させる出力制御ステップと、を含むことを特徴とする。

請求項１、１１乃至１４のそれぞれに記載の発明によれば、ユーザ操作に対応する処理のうち、端末装置で実行される処理については、端末装置はサーバ装置へ要求情報を送信しない。そのため、ユーザの操作に対するレスポンスを短縮させることができる。

請求項２に記載の発明によれば、端末装置は、アプリケーションプログラムを実行するサーバ装置と異なる第２サーバ装置から定義情報を取得することができる。

請求項３に記載の発明によれば、アプリケーションプログラムの実行に応じた定義情報を、アプリケーションプログラムを実行するサーバ装置と異なる第２サーバ装置から取得することができる。

請求項４に記載の発明によれば、端末装置は、アプリケーションプログラムの実行に応じた定義情報を、アプリケーションプログラムを実行するサーバ装置から取得することができる。

請求項５に記載の発明によれば、端末装置は、定義情報を切り替えるときに、切り替え先の定義情報を他の装置から取得する必要がない。

請求項６に記載の発明によれば、定義情報が更新された場合、更新された定義情報に切り替えるよりも前に、更新された定義情報を端末装置に記憶させておくことができる。

請求項７に記載の発明によれば、起動したアプリケーションプログラムに対応するユーザインタフェースに切り替えることができる。

請求項８に記載の発明によれば、起動中のアプリケーションプログラムの内部状態に対応するユーザインタフェースに切り替えることができる。

請求項９に記載の発明によれば、端末装置の属性に合ったユーザインタフェースに切り替えることができる。

請求項１０に記載の発明によれば、サーバ装置は、スクロールやしるしの移動により表示が変化する操作画面を生成して送信する必要がない。

（Ａ）は、一実施形態の通信システムＳ１の概要構成例を示す図である。（Ｂ）は、一実施形態のアプリケーションサーバ１の概要構成例を示す図である。（Ｃ）は、一実施形態のコントローラ２の概要構成例を示す図である。 （Ａ）は、コントローラ２がリモートコントローラである場合におけるアプリケーションプログラム選択用の操作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、アプリケーションプログラムの一覧の一例を示す図である。（Ｃ）は、リモートコントローラの外観及び操作画面の例を示す図である。 （Ａ）は、コントローラ２がリモートコントローラである場合におけるカラオケのアプリケーションプログラムの選曲用の操作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、リモートコントローラの外観及び操作画面の例を示す図である。 （Ａ）は、コントローラ２がリモートコントローラである場合におけるカラオケのアプリケーションプログラムのカラオケの演奏中の操作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、リモートコントローラの外観及び操作画面の例を示す図である。 （Ａ）は、コントローラ２がリモートコントローラである場合におけるリズムゲームのアプリケーションプログラムの操作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、リモートコントローラの外観及び操作画面の例を示す図である。 （Ａ）は、コントローラ２がスマートフォンである場合におけるアプリケーションプログラム選択用の操作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、スマートフォンの外観及び操作画面の例を示す図である。 （Ａ）は、コントローラ２がスマートフォンである場合におけるカラオケのアプリケーションプログラムの選曲用の操作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、スマートフォンの外観及び操作画面の例を示す図である。 （Ａ）は、コントローラ２がスマートフォンである場合におけるリズムゲームのアプリケーションプログラムの作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、スマートフォンの外観及び操作画面の例を示す図である。 （Ａ）は、一体型クライアント４がテレビ受像機である場合におけるアプリケーションプログラム選択用の操作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、テレビ受像機の外観及び表示画面の例を示す図である。 （Ａ）は、一体型クライアント４がテレビ受像機である場合におけるカラオケのアプリケーションプログラムの選曲用の操作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、テレビ受像機の外観及び表示画面の例を示す図である。 （Ａ）は、一体型クライアント４がテレビ受像機である場合におけるリズムゲームのアプリケーションプログラムの操作画面に対応するＵＩ定義の一例を示す図である。（Ｂ）は、テレビ受像機の外観及び表示画面の例を示す図である。 通信システムＳ１の処理概要の一例を示すシーケンス図である。 アプリケーションサーバ１の処理例を示すフローチャートである。 コントローラ２の処理例を示すフローチャートである。 （Ａ）は、一実施形態の通信システムＳ２の概要構成例を示す図である。（Ｂ）は、一実施形態のＵＩ定義サーバ７の概要構成例を示す図である。 通信システムＳ２の処理概要の一例を示すシーケンス図である。 コントローラ２におけるＵＩ定義更新処理の一例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

［１．第１実施形態］
［１−１．通信システムの構成］
図１（Ａ）は、本実施形態の通信システムＳ１の概要構成例を示す図である。図１（Ａ）に示すように、通信システムＳ１は、アプリケーションサーバ１、複数のコントローラ２、及び複数のレンダラ３を含んで構成される。アプリケーションサーバ１は、本発明のサーバ装置の一例である。コントローラ２は、本発明の端末装置の一例である。レンダラ３は、本発明の出力装置の一例である。アプリケーションサーバ１、コントローラ２、及びレンダラ３は、それぞれネットワーク１０に接続される。ネットワーク１０は、例えば、インターネット等により構成される。

アプリケーションサーバ１は、コントローラ２からの要求に応じて、アプリケーションプログラムを実行する。アプリケーションプログラムの例として、カラオケ、フィットネス、テレビゲーム等のアプリケーションプログラムが挙げられる。アプリケーションサーバ１は、アプリケーションプログラムの実行結果を示す映像及び音声の少なくとも何れか一方を生成する。そして、アプリケーションサーバ１は、生成した映像及び音声の少なくとも一方をストリーミングでレンダラ３へ送信する。

アプリケーションサーバ１は、アプリケーションＤＢ５及びＵＩ定義ＤＢ６にアクセス可能に構成されている。例えば、アプリケーションサーバ１と、アプリケーションＤＢ５及びＵＩ定義ＤＢ６とがＬＡＮ（Local Area Network）等のネットワークにより接続されてもよい。或いは、アプリケーションサーバ１が、アプリケーションＤＢ５及びＵＩ定義ＤＢ６を備えてもよい。アプリケーションＤＢ５は、１又は複数のアプリケーションプログラムが登録されている。各アプリケーションプログラムは、アプリケーションＩＤと対応付けてアプリケーションＤＢ５に記憶される。アプリケーションＩＤは、本発明のアプリケーションプログラム識別情報の一例である。アプリケーションＩＤは、アプリケーションプログラムを識別する識別情報である。ＵＩ定義ＤＢ６には、１又は複数のＵＩ定義が登録されている。ＵＩ定義は、本発明の定義情報の一例である。ＵＩ定義は、アプリケーションプログラムを操作又は実行するためのユーザインタフェースの定義を示す情報である。アプリケーションプログラムごとに、１又は複数のＵＩ定義がＵＩ定義ＤＢ６に記憶されている。アプリケーションサーバ１は、アプリケーションプログラムの実行に応じて、そのアプリケーションプログラムに対応するＵＩ定義をコントローラ２へ送信する。

コントローラ２は、ネットワーク１０を介してアプリケーションサーバ１へアプリケーションプログラムの実行を要求する端末装置である。コントローラ２は、アプリケーションプログラムの実行に応じてアプリケーションサーバ１から送信されてきたＵＩ定義に基づいて、そのアプリケーションプログラムに対応する操作画面をディスプレイに表示させる。また、コントローラ２は、ユーザによる操作が入力された場合、ＵＩ定義に基づいて、その操作に対応する処理を実行し、又はその操作に対応するアプリケーションプログラムの実行をアプリケーションサーバ１に要求する。コントローラ２の例として、ネットワーク１０に接続可能なリモートコントローラ、スマートフォン、携帯電話機、携帯用テレビゲーム機等が挙げられる。

レンダラ３は、アプリケーションサーバ１から、アプリケーションプログラムの実行結果を示す映像及び音声の少なくとも何れか一方を受信する。実行結果を示す映像を受信した場合、レンダラ３は、受信した映像をディスプレイに表示させる。実行結果を示す音声を受信した場合、レンダラ３は、受信した音声をスピーカにより出力させる。レンダラ３の例として、スマートテレビ等のテレビ受像機、パーソナルコンピュータ、カラオケ装置等が挙げられる。

ユーザは、コントローラ２とレンダラ３との組み合わせにより、アプリケーションプログラムを利用する。すなわち、ユーザは、コントローラ２を操作することにより、アプリケーションサーバ１によりアプリケーションプログラムを実行させ、レンダラ３を利用して、アプリケーションプログラムの実行結果を確認する。

なお、通信システムＳ１は、コントローラ２とレンダラ３との機能を兼ね備える一体型クライアント４を含んでもよいし、含まなくてもよい。一体型クライアント４の例として、テレビ受像機、パーソナルコンピュータ等が挙げられる。

［１−２．アプリケーションサーバ１の構成］
次に、図１（Ｂ）を参照して、アプリケーションサーバ１の構成について説明する。図１（Ｂ）は、本実施形態のアプリケーションサーバ１の概要構成例を示す図である。図１（Ｂ）に示すように、アプリケーションサーバ１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、記憶部１４及び通信部１５等を備えて構成される。これらの構成要素は、バス１６に接続されている。通信部１５は、ネットワーク１０に接続される。記憶部１４は、例えばハードディスクドライブにより構成される。記憶部１４には、例えば楽曲データ、テロップデータ及び映像データが記憶されている。楽曲データは、カラオケの楽曲の演奏音を示すデータである。テロップデータは、カラオケの楽曲の歌詞を示すデータである。映像データは、カラオケの映像を示すデータである。楽曲データ、テロップデータ及び映像データは、例えば楽曲番号に対応付けて記憶部１４に記憶されている。楽曲番号は、カラオケの楽曲を識別する識別番号である。また、記憶部１４に、アプリケーションＤＢ５及びＵＩ定義ＤＢ６の少なくとも何れか一方が記憶されていてもよい。また、記憶部１４には、ＯＳ、及びアプリケーションサーバプログラム等が記憶されている。アプリケーションサーバプログラムは、コンピュータとしてのＣＰＵ１１に、ＵＩ定義の送信、アプリケーションプログラムの実行、アプリケーションプログラムの実行結果を示す映像の送信等の処理を実行させるプログラムである。アプリケーションサーバプログラム等は、例えばネットワーク１０等を介して他のサーバ等からダウンロードされてもよい。或いは、アプリケーションサーバプログラム等は、例えば光ディスク、磁気テープ、メモリカード等の記録媒体に記録されてドライブ装置を介して記憶部１４に読み込まれてもよい。

［１−３．コントローラ２の構成］
次に、図１（Ｃ）を参照して、コントローラ２の構成について説明する。図１（Ｃ）は、本実施形態のコントローラ２の概要構成例を示す図である。図１（Ｃ）に示すように、コントローラ２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、通信部２５、入力部２６、及び表示部２７等を備えて構成される。これらの構成要素は、バス２８に接続されている。通信部２５は、ネットワーク１０に接続される。ＲＡＭ２３は、本発明の一時記憶手段の一例である。一時記憶手段は、ＲＡＭに限定されるものではない。例えば、保存を目的とせずにＵＩ定義が一時的に記憶されるのであれば、例えば不揮発性のメモリが一時記憶手段であってもよい。また例えば、コントローラ２の電源か切断された場合に、記憶されていたＵＩ定義が消去されるメモリが一時記憶手段であってもよい。入力部２６は、ユーザの操作を入力するための入力デバイスである。入力部２６は、例えばボタン、キー、タッチパネル、キーボード等の少なくとも１つにより構成されてもよい。表示部２７は、例えば液晶パネル、有機ＥＬパネル等により構成されるディスプレイである。記憶部２４は、本発明の不揮発性記憶手段の一例である。記憶部２４は、例えばフラッシュメモリ又はハードディスクドライブ等により構成される。記憶部２４には、コントローラ属性が記憶されている。コントローラ属性は、本発明の属性情報の一例である。コントローラ属性は、コントローラ２の属性を示す情報である。例えば、コントローラ属性は、コントローラ２の種類を示す情報であってもよい。例えば、コントローラ２がリモートコントローラである場合、コントローラ属性は「remote controller」に設定され、コントローラ２がスマートフォンである場合、コントローラ属性は「smartphone」に設定されている。また、記憶部２４には、ＯＳ、及びコントローラプログラム等が記憶されている。コントローラプログラムは、コンピュータとしてのＣＰＵ２１に、ＵＩ定義の受信及び記憶、操作画面の表示、ユーザの操作に応じた処理の実行、アプリケーションサーバ１への要求の送信等の処理を実行させるプログラムである。コントローラプログラム等は、例えばネットワーク１０等を介してアプリケーションサーバ１等のサーバ装置からダウンロードされてもよい。或いは、コントローラプログラム等は、例えば光ディスク、磁気テープ、メモリカード等の記録媒体に記録されてドライブ装置を介して記憶部２４に読み込まれてもよい。或いは、コントローラプログラム等は、コントローラ２に予めインストールされていてもよい。

［１−４．ＵＩ定義］
次に、ＵＩ定義及びＵＩ定義に関する処理の概要について説明する。

ＵＩ定義は、コントローラ２におけるユーザインタフェースの定義を示す情報である。具体的に、ＵＩ定義は、操作画面の表示内容と、ユーザの操作に対応する処理を定義する。ＵＩ定義には、操作画面において受け付け可能なユーザ操作ごとに、ユーザ操作を示す操作情報と、ユーザ操作に応じた処理を示す処理情報とが対応付けられている。ユーザ操作に応じた処理とは、ＵＩ定義において、ユーザ操作を示す操作情報に対応付けられた処理情報が示す処理である。

処理情報として、コントローラ２により実行される処理を示すローカル処理情報と、アプリケーションサーバ１により実行される処理を示すリモート処理情報とがある。ローカル処理情報は、本発明の第１処理情報の一例である。リモート処理情報は、本発明の第２処理情報の一例である。コントローラ２により実行される処理と、アプリケーションサーバ１により実行される処理とは、例えば重複する処理を含まなくてもよい。

コントローラ２により実行される処理は、例えば操作画面に関する処理であってもよいし、別の処理であってもよい。操作画面に関する処理は、例えば操作画面のスクロールであってもよいし、操作画面内のユーザ操作の対象を示すしるしの移動を、別の構成要素に対応する位置に移動させることであってもよし、操作画面の少なくとも一部を更新する別の処理であってもよい。しるしは、例えばカーソル、ポインタ、フォーカス等であってもよい。ユーザ操作の対象は、例えばボタン、チェックボックス、画像、文字、入力領域、リスト等であってもよい。また、しるしは、テキストボックス内のカーソルであってもよい。この場合のカーソルは、テキストボックスの中で、ユーザ操作によって文字が入力される位置を示す。

アプリケーションサーバ１により実行される処理は、具体的にはアプリケーションプログラムを実行することである。例えば、この処理は、アプリケーションプログラムの実行結果としてアプリケーションサーバ１からレンダラ３へ送信される映像及び音声の少なくとも何れか一方の切り替えを伴う処理であってもよいし、そのような切り替えを伴わない処理であってもよい。

ＵＩ定義ＤＢ６には、アプリケーションプログラムごとに、アプリケーションプログラムに対応するユーザインタフェースを定義する１又は複数のＵＩ定義が記憶されている。各ＵＩ定義は、ＵＩ定義位置情報と対応付けてＵＩ定義ＤＢ６に記憶されている。ＵＩ定義位置情報は、本発明の定義情報識別情報の一例である。ＵＩ定義位置情報は、ＵＩ定義を識別する情報である。例えば、ＵＩ定義位置情報はＵＲＬ（Uniform Resource Locator）であってもよい。アプリケーションプログラムとは別にＵＩ定義が存在することで、ユーザインタフェースを変更する場合であっても、ＵＩ定義を変更すればよく、アプリケーションプログラムを変更する必要がない。

１つのアプリケーションプログラムに対応して複数のＵＩ定義が存在する場合、例えばアプリケーションプログラムの内部状態に応じた複数のＵＩ定義がＵＩ定義ＤＢ６に記憶されている。内部状態は、例えばアプリケーションプログラムの進行状況、処理状況等であってもよい。例えば、カラオケのアプリケーションプログラムの場合、カラオケを選曲する際のＵＩ定義、カラオケ演奏中のＵＩ定義等がＵＩ定義ＤＢ６に記憶されてもよい。

また、コントローラ属性ごとに、コントローラ属性に対応したＵＩ定義がＵＩ定義ＤＢ６に記憶されてもよい。具体的に、コントローラ属性が示す属性を有するコントローラ２の入力部２６及び表示部２７の少なくとも何れか一方に対応したＵＩ定義がＵＩ定義ＤＢ６に記憶される。例えば、リモートコントローラ用のＵＩ定義、スマートフォン用のＵＩ定義等がＵＩ定義ＤＢ６に記憶されてもよい。コントローラ属性ごとにユーザインタフェースを用意する場合においても、コントローラ属性ごとにＵＩ定義を作成すればよく、コントローラ属性ごとにアプリケーションプログラムを作成する必要がない。

ＵＩ定義は、例えば対応するアプリケーションプログラム、内部状態、及びコントローラ属性を識別可能にＵＩ定義ＤＢ６に記憶されてもよい。例えば、ＵＩ定義のＵＩ定義位置情報によってこれらの情報が識別可能であってもよい。

コントローラ２は、アプリケーションサーバ１から受信したＵＩ定義をＲＡＭ２３に記憶させる。そして、コントローラ２は、ＲＡＭ２３に記憶されたＵＩ定義に基づいて、操作画面を表示部２７に表示させる。入力部２６を用いてユーザ操作が入力された場合、コントローラ２は、ＲＡＭ２３に記憶されたＵＩ定義から、入力されたユーザ操作を示す操作情報に対応する処理情報を、実行される処理を示す処理情報として決定する。このとき、ローカル処理情報又はリモート処理情報が決定される。

ローカル処理情報を決定した場合、コントローラ２は、ローカル処理情報が示す処理を実行する。上述したように、この処理は、例えば操作画面に関する処理であってもよい。

リモート処理情報を決定した場合、コントローラ２は、アプリケーションプログラムの実行要求をアプリケーションサーバ１へ送信する。実行要求は、本発明の要求情報の一例である。この実行要求は、大別して、アプリケーションプログラムの起動の要求と、起動中のアプリケーションプログラムに対しての更なる処理の要求等がある。アプリケーションプログラムの実行要求は、実行されるアプリケーションプログラムのアプリケーションＩＤを含む。このアプリケーションＩＤは、リモート処理情報に含まれている。実行要求は、例えば記憶部２４に記憶されたコントローラ属性を更に含んでもよいし、含まなくてもよい。またこの実行要求は、例えばアプリケーションプログラムに渡されるパラメータを含んでもよいし、含まなくてもよい。

コントローラ２から実行要求を受信したアプリケーションサーバ１は、実行要求に基づいてアプリケーションプログラムを実行する。具体的に、アプリケーションサーバ１は、実行要求に含まれるアプリケーションＩＤが示すアプリケーションプログラムを実行することにより、コントローラ２により決定されたリモート処理情報が示す処理を実行する。アプリケーションサーバ１は、アプリケーションプログラムの実行結果を示す映像及び音声の少なくとも何れか一方をレンダラ３へストリーミング送信する。

アプリケーションサーバ１は、アプリケーションプログラムの実行に応じて、ＵＩ定義を切り替える指示を示す切替指示をコントローラ２へ送信する。具体的に、アプリケーションサーバ１は、アプリケーションプログラムを起動した場合、又は起動中のアプリケーションプログラムの実行により、そのアプリケーションプログラムの内部状態が変化した場合、切替指示を送信する。切替指示は、本発明の切替情報の一例である。切替指示は、切り替え先のＵＩ定義を含む。具体的に、アプリケーションサーバ１は、受信した実行要求に含まれるアプリケーションＩＤが示すアプリケーションプログラムに対応するＵＩ定義を送信する。このとき、受信した実行要求にコントローラ属性が含まれている場合、アプリケーションサーバ１は、コントローラ属性に対応するＵＩ定義をコントローラ２へ送信する。また、アプリケーションプログラムの内部状態に応じた複数のＵＩ定義がＵＩ定義ＤＢ６に記憶されている場合がある。この場合、アプリケーションサーバ１は、アプリケーションプログラムを起動したときには、起動直後の内部状態に対応するＵＩ定義をコントローラ２へ送信する。起動中のアプリケーションプログラムの実行の結果、アプリケーションプログラムの内部状態が変化した場合には、変化後の内部状態に対応するＵＩ定義をコントローラ２へ送信する。内部状態に対応するＵＩ定義とは、アプリケーションの内部状態によって実行可能な処理を示すリモート処理情報を含むＵＩ定義である。なお、状況によっては、或いはアプリケーションプログラムの内部状態によっては、アプリケーションサーバ１は、ＵＩ定義をコントローラ２へ送信しない場合があってもよい。

コントローラ２は、アプリケーションサーバ１から受信した切替指示に基づいて、ユーザインタフェースを切り替える。ユーザインタフェースを切り替えることは、操作画面を切り替えること、及び実行される処理を示す処理情報の決定に用いられるＵＩ定義を切り替えることである。具体的に、コントローラ２は、切替指示に含まれるＵＩ定義で、ＲＡＭ２３に記憶されているＵＩ定義を上書きする。そして、コントローラ２は、ＲＡＭ２３に新しく記憶されたＵＩ定義に基づいて、操作画面を表示部２７に表示する。

以上説明したように、ＵＩ定義に基づいてリモート処理情報が決定された場合、コントローラ２はアプリケーションサーバ１へ実行要求を送信する。一方、ローカル処理情報が決定された場合、アプリケーションサーバ１へ実行要求を送信せずに、コントローラ２自身が、ローカル処理情報が示す処理を実行する。従って、この場合には、コントローラ２とアプリケーションサーバ１間の通信が発生しないので、ユーザの操作に対するレスポンスを短縮することができる。

従来のサーバベースコンピューティングにおいては、サーバ装置は、操作画面を含む映像をクライアント装置にストリーミング送信する。クライアント装置は、ユーザ操作が行われるたびにサーバ装置へ毎回要求を送信する。サーバ装置が操作画面の映像の更新を行うので、例えば、操作画面をスクロールさせる操作や操作画面上のしるしを移動させる操作等が行われた場合であっても、クライアント装置はサーバ装置へ要求を送信する必要がある。従って、ユーザ操作に対するレスポンスが低下する。通信システムＳ１では、このような問題を解消することができる。

また、操作画面を表示するコントローラ２と、アプリケーションプログラムの実行結果を示す映像及び音声の少なくとも何れか一方を出力するレンダラ３とを別々の装置にすることによって、それぞれの装置の機能を単純化することができる。また、処理負荷を分散することができる。なお、一体型クライアント４のように、コントローラ２とレンダラ３が一体的に構成されてもよい。

なお、コントローラ２は、アプリケーションサーバ１から受信したＵＩ定義をＲＡＭ２３に記憶させるとともに、このＵＩ定義を記憶部２４に記憶させてもよい。このとき、コントローラ２は、ＵＩ定義をアプリケーションＩＤ等に対応付けて記憶部２４に記憶させてもよい。ＲＡＭ２３に記憶されたＵＩ定義を用いて処理情報としてリモート処理情報を決定したコントローラ２は、リモート処理情報に含まれるアプリケーションＩＤに対応するＵＩ定義が記憶部２４に記憶されている場合には、記憶部２４に記憶されているＵＩ定義をＲＡＭ２３に記憶させてもよい。そして、コントローラ２は、処理情報の決定に用いるＵＩ定義を、ＲＡＭ２３に新たに記憶されたＵＩ定義に切り替えてもよい。この場合、コントローラ２は、アプリケーションサーバ１からＵＩ定義を取得する必要がない。

［１−５．ＵＩ定義の具体例］
次に、図２乃至図１１を参照して、ＵＩ定義及びＵＩ定義に基づいて表示される操作画面の具体例について説明する。以降においては、ＸＭＬで記述されたＵＩ定義の例の詳細を説明する。なお、ＵＩ定義は、例えば所定のフォーマットのテキストデータであってもよいし、所定のフォーマットのバイナリデータであってもよい。ＵＩ定義は、例えばＵＩ定義識別部、表示定義部、及び入力定義部を含む。

ＵＩ定義識別部は、対応するアプリケーションプログラム、内部状態、及びコントローラ属性を定義する部分である。ＵＩ定義識別部は、例えばclientタグで示される。clientタグは、purpose属性及びdevice属性を含む。purpose属性は、アプリケーションプログラム及び内部状態を示す。device属性は、コントローラ属性を示す。

表示定義部は、操作画面を定義する部分であり、表示定義部は操作画面の内容を示す。また、表示定義部は、操作画面上に表示された要素が押下されたときの処理を定義する。表示定義部は、例えばdisplay開始タグとdisplay終了タグに囲まれた部分である。表示定義部は、titleタグ、select-boxタグ、text-boxタグ、textタグ等の少なくとも何れかを含む。title開始タグとtitle終了タグに囲まれたテキストは、操作画面上に表示されるタイトルを示す。select-boxタグは、操作画面上に表示される１又は複数ボタンを定義するタグである。select-box開始タグとselect-box終了タグとの間に、１又は複数のitemタグが含まれている場合がある。itemタグは、１つのボタンを定義するタグである。itemタグはface属性を含む。face属性は、ボタン上に表示されるテキストを示す。item開始タグとitem終了タグとの間に、behaviorタグが記述される。behaviorタグは、ボタンが押下された場合にコントローラ２が実行する処理を定義するタグである。behaviorタグは、本発明の処理情報の一例である。behaviorタグは、domain属性、target属性、及びcontrol属性を含む。domain属性は、処理を行う装置がアプリケーションサーバ１及びコントローラ２の何れであるかを示す。domain属性が「remote」である場合、アプリケーションサーバ１がアプリケーションプログラムを実行することを示す。domain属性が「remote」であるbehaviorタグは、リモート処理情報の一例である。domain属性が「local」である場合、コントローラ２が処理を実行することを示す。domain属性が「local」であるbehaviorタグは、ローカル処理情報の一例である。target属性は、処理の対象を示す。domain属性が「remote」である場合、target属性として、実行されるアプリケーションプログラムのＵＲＬが設定される。アプリケーションプログラムのＵＲＬは、アプリケーションＩＤの一例である。domain属性が「local」である場合、target属性として、操作画面に表示されている要素のうち、処理の対象となる要素を定義するタグのname属性又はdata属性が設定される。control属性は、実行される処理の内容を示す。domain属性が「local」である場合、control属性は、コントローラ２が実行する処理を示す。domain属性が「remote」である場合、control属性は、アプリケーションプログラムのＵＲＬとともにコントローラ２がアプリケーションサーバ１へ送信するパラメータを示す。text-boxタグは、操作画面上に表示されるテキストボックスを定義するタグである。ユーザは、テキストボックスに文字、数字等を入力することができる。text開始タグとtext終了タグに囲まれたテキストは、操作画面上に表示されるテキストを示す。

入力定義部は、ユーザによる操作が入力されたときの処理を定義する。表示定義部は、例えばinput開始タグとinput終了タグに囲まれた部分である。表示定義部は、操作要素タグを含む。操作要素タグは、入力部２６を構成するキー、ボタン、タッチパネル等の操作可能な要素のうち、操作を受け付ける要素を定義するタグである。例えば十字ボタンの場合、cross-keyタグが記述される。また例えば選択キーの場合、select-keyタグが記述される。操作要素タグは、本発明の操作情報の一例である。操作要素開始タグと操作要素終了タグの間に、behaviorタグが記述される。behaviorタグは、操作要素タグが示す要素に対する操作が行われた場合に実行される処理を定義するタグである。入力定義部に記述されるbehaviorタグの構成は、表示定義部に記述されるbehaviorタグの構成と同じである。

［１−５−１．リモートコントローラの場合］
図２（Ａ）は、コントローラ２がリモートコントローラである場合におけるアプリケーションプログラム選択用の操作画面に対応するＵＩ定義の一例を示す図である。図２（Ｂ）は、アプリケーションプログラムの一覧の一例を示す図である。図２（Ｃ）は、リモートコントローラの外観及び操作画面の例を示す図である。図２（Ｃ）に示すように、リモートコントローラは、入力部２６の構成要素として、例えば十字キー２６１と選択キー２６２とを備える。ユーザは、十字キー２６１を上下左右の何れかの方向に押すことができる。

図２（Ａ）において、表示定義部には、titleタグ及びselect-boxタグが記述されている。図２（Ａ）におけるselect-boxタグはsrc属性を含む。このsrc属性として、アプリケーションプログラムの一覧のファイル名が設定されている。図２（Ｂ）に示すように、アプリケーションプログラムの一覧には、アプリケーションプログラムごとに、アプリケーション名及びアプリケーションプログラムを識別するＵＲＬが記述されている。コントローラ２がアプリケーションサーバ１へアプリケーションプログラムの実行を要求するとき、コントローラ２は、アプリケーションプログラムの一覧に記述された何れかのＵＲＬをアプリケーションサーバ１へ送信する。

図２（Ａ）に示すＵＩ定義の場合、リモートコントローラの表示部２７には、図２（Ｃ）に示すような操作画面が表示される。例えば、表示部２７には、タイトル「アプリケーション選択」、及びアプリケーションプログラムの一覧に記述されたアプリケーション名をそれぞれ示したボタンが表示される。

図２（Ａ）において、入力定義部には、複数のcross-keyタグ、及びselect-keyタグが記述されている。cross-keyタグは十字キー２６１に対応し、select-keyタグは選択キー２６２に対応する。各cross-keyタグは、例えばclass属性を有する。class属性は、十字キー２６１が押された方向を示す。cross-keyタグに対応するbehaviorタグは、コントローラ２が、アプリケーションプログラムの一覧のボタンのうち現在選択されているボタンの位置に表示されるカーソルを、上下の何れかのボタンの位置に移動させることを示す。select-keyタグに対応するbehaviorタグは、コントローラ２が、現在選択されているボタンに対応するアプリケーションプログラムのＵＲＬをアプリケーションサーバ１に送信することにより、アプリケーションサーバ１にアプリケーションプログラムを実行させることを示す。

図３（Ａ）は、コントローラ２がリモートコントローラである場合におけるカラオケのアプリケーションプログラムの選曲用の操作画面に対応するＵＩ定義の一例を示す図である。図３（Ｂ）は、リモートコントローラの外観及び操作画面の例を示す図である。

図３（Ａ）において、表示定義部には、楽曲番号が入力されるテキストボックスに対応するtext-boxタグ、０〜９の数字ボタンに対応するitemタグ、選曲ボタンに対応するitemタグ、セッション番号を表示するためのtextタグが記述されている。０〜９の数字ボタンのそれぞれのbehaviorタグは、コントローラ２が、操作画面上において押下された数字ボタンに対応する数字をテキストボックスに追加することを示す。選曲ボタンのbehaviorタグは、コントローラ２がテキストボックスに入力されている楽曲番号をアプリケーションサーバ１に送信し、アプリケーションサーバ１がカラオケのアプリケーションプログラムを実行することを示す。コントローラ２から楽曲番号を受信したアプリケーションサーバ１は、カラオケのアプリケーションプログラムの実行により、楽曲番号に対応する楽曲の演奏処理を開始する。この演奏処理において、アプリケーションサーバ１は、記憶部１４に記憶された楽曲データ、テロップデータ及び映像データに基づいて、カラオケコンテンツを生成する。カラオケコンテンツは、カラオケの演奏音と、歌詞のテロップを含む映像を多重化したデータである。アプリケーションサーバ１は、演奏処理の結果を示す映像及び音声として、カラオケコンテンツのストリーミング配信を行う。また、アプリケーションサーバ１は、カラオケの演奏中の操作画面に対応するＵＩ定義をコントローラ２へ送信する。セッション番号は、アプリケーションサーバ１において起動されたアプリケーションプログラムに接続するためのセッションを識別する識別情報である。図３（Ａ）に示すＵＩ定義の場合、リモートコントローラの表示部２７には、図３（Ｂ）に示すような操作画面が表示される。図３（Ｂ）に示すように、テキストボックス、０〜９の数字ボタン、選曲ボタン及びセッション番号が表示される。

図３（Ａ）において、入力定義部には、複数のcross-keyタグ、及び１つのselect-keyタグが記述されている。cross-keyタグに対応するbehaviorタグは、コントローラ２が、操作画面に表示されているボタンのうち現在選択されているボタンの位置に表示されるカーソルを、上下左右の何れかのボタンの位置に移動させることを示す。select-keyタグに対応するbehaviorタグは、コントローラ２が、現在選択されているボタンが押下された場合の処理を実行することを示す。この場合、表示定義部において、押下されたボタンのitemタグに対応するbehaviorタグが示す処理が実行される。

図４（Ａ）は、コントローラ２がリモートコントローラである場合におけるカラオケのアプリケーションプログラムのカラオケの演奏中の操作画面に対応するＵＩ定義の一例を示す図である。図４（Ｂ）は、リモートコントローラの外観及び操作画面の例を示す図である。

図４（Ａ）において、表示定義部には、演奏中に各種の操作を行うためのボタンに対応するitemタグ、セッション番号を表示するためのtextタグが記述されている。演奏中の操作として、例えば、楽曲のキーを上げる、キーを下げる、キーをニュートラルに戻す、楽曲のテンポを早くする、テンポを遅くする、テンポをニュートラルに戻す、演奏を停止する等がある。これらのitemタグに対応するbehaviorタグは、コントローラ２が、押下されたボタンに対応するコマンドをアプリケーションサーバ１に送信し、アプリケーションサーバ１がカラオケのアプリケーションプログラムを実行することを示す。コントローラ２からコマンドを受信したアプリケーションサーバ１は、カラオケのアプリケーションプログラムの実行により、キーの変更、テンポの変更、カラオケの演奏停止等のコマンドに対応した処理を実行する。キーの変更又はテンポの変更を行う場合、アプリケーションサーバ１は、変更後のキー又はテンポに基づいてカラオケコンテンツの生成及びストリーミング配信を実行する。カラオケの演奏停止の場合、アプリケーションサーバ１は、カラオケコンテンツの生成及び配信を停止し、例えば選曲用のＵＩ定義をコントローラ２へ送信する。図４（Ａ）に示すＵＩ定義の場合、リモートコントローラの表示部２７には、図４（Ｂ）に示すような操作画面が表示される。図４（Ａ）に示すように、演奏中に各種操作を行うためのボタン及びセッション番号が表示される。図４（Ａ）が示す入力定義部は、図３（Ａ）に示す入力定義部と同じである。

図５（Ａ）は、コントローラ２がリモートコントローラである場合におけるリズムゲームのアプリケーションプログラムの操作画面に対応するＵＩ定義の一例を示す図である。図５（Ｂ）は、リモートコントローラの外観及び操作画面の例を示す図である。リズムゲームは、例えば青、赤、緑のボタンを、レンダラ３のディスプレイに表示されるゲーム画面の映像に応じてタイミングよく押すテレビゲームである。

図５（Ａ）において、表示定義部には、青、赤、緑のボタンに対応するitemタグ、及びセッション番号を表示するためのtextタグが記述されている。青、赤、緑のボタンのそれぞれのbehaviorタグは、コントローラ２が、操作画面上において押下されたボタンの色情報をアプリケーションサーバ１に送信し、アプリケーションサーバ１がリズムゲームのアプリケーションプログラムを実行することを示す。コントローラ２から色情報を受信したアプリケーションサーバ１は、リズムゲームのアプリケーションプログラムの実行により、受信した色情報、色情報を受信したタイミング等に応じたゲーム画面の映像を生成し、生成した映像をレンダラ３へストリーミング配信する。図５（Ａ）に示すＵＩ定義の場合、リモートコントローラの表示部２７には、図５（Ｂ）に示すような操作画面が表示される。図５（Ｂ）に示すように、青、赤、緑のボタン及びセッション番号が表示される。

図５（Ａ）において、入力定義部には、複数のcross-keyタグ、及びselect-keyタグが記述されている。cross-keyタグに対応するbehaviorタグは、コントローラ２が、操作画面に表示されているボタンのうち現在選択されているボタンの位置に表示されるカーソルを、左右の何れかのボタンの位置に移動させることを示す。select-keyタグに対応するbehaviorタグは、コントローラ２が、現在選択されているボタンが押下された場合の処理を実行することを示す。この場合、表示定義部において、押下されたボタンのitemタグに対応するbehaviorタグが示す処理が実行される。

［１−５−２．スマートフォンの場合］
図６（Ａ）は、コントローラ２がスマートフォンである場合におけるアプリケーションプログラム選択用の操作画面に対応するＵＩ定義の一例を示す図である。図６（Ｂ）は、スマートフォンの外観及び操作画面の例を示す図である。スマートフォンは、例えば入力部２６と表示部２７とが一体的に構成されたタッチパネルを備える。

図６（Ａ）に示す表示定義部は、図２（Ａ）に示す表示定義部と同じである。図６（Ａ）に示すＵＩ定義の場合、リモートコントローラの表示部２７には、図６（Ｂ）に示すような操作画面が表示される。図６（Ａ）において、入力定義部は、タッチパネルへのタップ操作に対応するtapタグが記述されている。tapタグに対応するbehaviorタグは、コントローラ２が、タップされたボタンに対応するアプリケーションプログラムのＵＲＬをアプリケーションサーバ１に送信することにより、アプリケーションサーバ１にアプリケーションプログラムを実行させることを示す。

図７（Ａ）は、コントローラ２がスマートフォンである場合におけるカラオケのアプリケーションプログラムの選曲用の操作画面に対応するＵＩ定義の一例を示す図である。図７（Ｂ）は、スマートフォンの外観及び操作画面の例を示す図である。

図７（Ａ）に示す表示定義部は、図３（Ａ）に示す表示定義部と同じである。図７（Ａ）に示すＵＩ定義の場合、リモートコントローラの表示部２７には、図７（Ｂ）に示すような操作画面が表示される。図７（Ａ）において、入力定義部は、タッチパネルへのタップ操作に対応するtapタグが記述されている。tapタグに対応するbehaviorタグは、コントローラ２が、タップされたボタンに対応する処理を実行することを示す。この場合、表示定義部において、タップされたボタンのitemタグに対応するbehaviorタグが示す処理が実行される。

図８（Ａ）は、コントローラ２がスマートフォンである場合におけるリズムゲームのアプリケーションプログラムの操作画面に対応するＵＩ定義の一例を示す図である。図８（Ｂ）は、スマートフォンの外観及び操作画面の例を示す図である。

図８（Ａ）に示す表示定義部は、図５（Ａ）に示す表示定義部と同じである。図８（Ａ）に示すＵＩ定義の場合、リモートコントローラの表示部２７には、図８（Ｂ）に示すような操作画面が表示される。図８（Ａ）において、入力定義部は、タッチパネルへのタップ操作に対応するtapタグが記述されている。tapタグに対応するbehaviorタグは、コントローラ２が、タップされたボタンに対応する処理を実行することを示す。この場合、表示定義部において、タップされたボタンのitemタグに対応するbehaviorタグが示す処理が実行される。

［１−５−３．テレビ受像機の場合］
図９（Ａ）は、一体型クライアント４がテレビ受像機である場合におけるアプリケーションプログラム選択用の操作画面に対応するＵＩ定義の一例を示す図である。図９（Ｂ）は、テレビ受像機の外観及び表示画面の例を示す図である。テレビ受像機の場合、例えばテレビ受像機に付属するテレビ用リモコンによる操作が可能である。このテレビ用リモコンは、例えば数字ボタン、方向ボタン、ＯＫボタン、青、赤、緑のボタン等を備える。また、一体型クライアント４としてのテレビ受像機の場合、表示部２７には、画面２７１及び２７２が表示される。画面２７１には、アプリケーションプログラムの実行結果を示す映像が表示される。画面２７２は操作画面である。

図９（Ａ）に示す表示定義部は、図２（Ａ）に示す表示定義部と同じである。図９（Ａ）に示すＵＩ定義の場合、テレビ受像機の表示部２７には、操作画面として、図９（Ｂ）に示すような画面２７２が表示される。図２（Ａ）において、入力定義部には、方向ボタンに対応する複数のdirection-keyタグ、及びＯＫボタンに対応するok-keyタグが記述されている。direction-keyタグに対応するbehaviorタグは、コントローラ２が、アプリケーションプログラムの一覧のボタンのうち現在選択されているボタンの位置に表示されるカーソルを、上下の何れかのボタンの位置に移動させることを示す。ok-keyタグに対応するbehaviorタグは、コントローラ２が、現在選択されているボタンに対応するアプリケーションプログラムのＵＲＬをアプリケーションサーバ１に送信することにより、アプリケーションサーバ１にアプリケーションプログラムを実行させることを示す。

図１０（Ａ）は、一体型クライアント４がテレビ受像機である場合におけるカラオケのアプリケーションプログラムの選曲用の操作画面に対応するＵＩ定義の一例を示す図である。図１０（Ｂ）は、テレビ受像機の外観及び表示画面の例を示す図である。

図１０（Ａ）において、表示定義部は、楽曲番号が入力されるテキストボックスに対応するtext-boxタグ、セッション番号を表示するためのtextタグ等が記述されている。図１０（Ａ）に示すＵＩ定義の場合、テレビ受像機の表示部２７には、図１０（Ｂ）に示すような画面２７２が表示される。図１０（Ｂ）に示すように、テキストボックス、及びセッション番号等が表示される。

図１０（Ａ）において、入力定義部には、０〜９の数字ボタンのそれぞれに対応するnum-keyタグ、及びOK-keyタグが記述されている。num-keyタグに対応するbehaviorタグは、コントローラ２が、押された数字ボタンに対応する数字をテキストボックスに追加することを示す。ok-keyタグに対応するbehaviorタグは、コントローラ２が、テキストボックスに入力されている楽曲番号をアプリケーションサーバ１に送信し、アプリケーションサーバ１がカラオケのアプリケーションプログラムを実行することを示す。

図１１（Ａ）は、一体型クライアント４がテレビ受像機である場合におけるリズムゲームのアプリケーションプログラムの操作画面に対応するＵＩ定義の一例を示す図である。図１１（Ｂ）は、テレビ受像機の外観及び表示画面の例を示す図である。図１１（Ａ）において、表示定義部は、セッション番号を表示するためのtextタグ等が記述されている。図１１（Ａ）に示すＵＩ定義の場合、テレビ受像機の表示部２７には、図１１（Ｂ）に示すような画面２７２が表示される。図１１（Ｂ）に示すように、セッション番号等が表示される。

図１１（Ａ）において、入力定義部には、青、赤、緑のボタンのそれぞれに対応するcolor-keyタグが記述されている。color-keyタグに対応するbehaviorタグは、コントローラ２が、押されたボタンに対応する色情報をアプリケーションサーバ１に送信し、アプリケーションサーバ１がリズムゲームのアプリケーションプログラムを実行することを示す。

［１−６．通信システムＳ１の動作］
次に、図１２乃至図１４を参照して、本実施形態の通信システムＳ１の動作について説明する。図１２は、通信システムＳ１の処理概要の一例を示すシーケンス図である。

図１２に示すように、ユーザは、コントローラ２に対して、コントローラプログラムを起動させる操作を行う（ステップＳ１）。すると、コントローラ２は、アプリケーション選択ＵＩ定義要求をアプリケーションサーバ１へ送信する（ステップＳ２）。アプリケーション選択ＵＩ定義要求は、コントローラ２の記憶部２４に記憶されたコントローラ属性を含む。アプリケーション選択ＵＩ定義要求を受信したアプリケーションサーバ１は、アプリケーション選択ＵＩ定義要求に含まれるコントローラ属性に対応するアプリケーションプログラム選択用のＵＩ定義をコントローラ２へ送信する（ステップＳ３）。

ＵＩ定義を受信したコントローラ２は、ＵＩ定義をＲＡＭ２３に記憶させ、ＵＩ定義に基づいて、アプリケーションプログラム選択用の操作画面を表示部２７に表示させる（ステップＳ４）。具体的に、コントローラ２は、ＵＩ定義に含まれる表示定義部が示す内容の操作画面を表示部２７に表示させる。

操作画面に表示されたアプリケーションプログラムの一覧から、ユーザが例えばカラオケのアプリケーションプログラムを選択する操作を行ったとする（ステップＳ５）。すると、コントローラ２は、アプリケーション起動要求をアプリケーションサーバ１へ送信する（ステップＳ６）。アプリケーション起動要求は、アプリケーションプログラムの起動の要求を示す実行要求である。この場合のアプリケーション起動要求は、カラオケのアプリケーションプログラムのアプリケーションＩＤ及びコントローラ２のコントローラ属性を含む。

アプリケーション起動要求を受信したアプリケーションサーバ１は、アプリケーションＤＢ５から、カラオケのアプリケーションプログラムを起動する（ステップＳ７）。このとき、アプリケーションサーバ１は、カラオケのアプリケーションプログラムの内部の情報として、アプリケーション起動要求に含まれるコントローラ属性をＲＡＭ１３に記憶させる。起動時のカラオケのアプリケーションプログラムの内部状態は、例えば選曲待ち状態である。次いで、アプリケーションサーバ１は、ＵＩ定義の切替指示をコントローラ２へ送信する（ステップＳ８）。この場合の切替指示は、カラオケのアプリケーションプログラムに対応するＵＩ定義のうち、アプリケーション起動要求に含まれるコントローラ属性に対応するＵＩ定義であって、カラオケのアプリケーションプログラムの起動時に対応するＵＩ定義を含む。カラオケのアプリケーションプログラムの起動時に対応するＵＩ定義は、例えばカラオケの選曲用のＵＩ定義である。切替指示は、更にセッション番号を含む。アプリケーションサーバ１は、起動したアプリケーションプログラムに対して新しいセッション番号を生成する。

切替指示を受信したコントローラ２は、切替指示に含まれるＵＩ定義に基づいて、カラオケの選曲用の操作画面を表示部２７に表示させるとともに、切替指示に含まれるセッション番号を表示部２７に表示させる（ステップＳ９）。

その後、ユーザは、レンダラ３に対して起動操作を行う（ステップＳ１０）。次いで、ユーザは、コントローラ２の表示部２７に表示されたセッション番号をレンダラ３に対して、入力する（ステップＳ１１）。すると、レンダラ３は、セッション接続要求をアプリケーションサーバ１へ送信する（ステップＳ１２）。セッション接続要求は、入力されたセッション番号、レンダラ３のＩＰアドレス及びポート番号を含む。セッション接続要求を受信したアプリケーションサーバ１は、セッション接続要求に含まれるセッション番号に対応するプロセスである起動中のカラオケのアプリケーションプログラムへ、接続要求を送信する（ステップＳ１３）。接続要求は、レンダラ３のＩＰアドレス及びポート番号を含む。接続要求を受信したアプリケーションプログラムを実行するアプリケーションサーバ１は、カラオケ用の画面の映像を、接続要求に含まれるＩＰアドレス及びポート番号により特定されるレンダラ３へストリーミング送信する（ステップＳ１４）。レンダラ３は、受信した映像に基づいてカラオケ用の画面を表示する（ステップＳ１５）。

ユーザは、コントローラ２の入力部２６を操作して楽曲番号を入力する。コントローラ２は、選曲用のＵＩ定義から、楽曲番号の入力の操作に対応する処理を示す処理情報として、ローカル処理情報を決定する。従って、コントローラ２は、ローカル処理情報を示す処理として、テキストボックスに数字を追加して、選曲用の操作画面を更新する。その後、ユーザは、選曲ボタンを押下する操作を行う（ステップＳ１６）。コントローラは、選曲用のＵＩ定義から、選曲ボタンを押下する操作に対応する処理を示す処理情報として、リモート処理情報を決定する。そこで、コントローラ２は、アプリケーションサーバ１へ、カラオケ演奏要求を送信する（ステップＳ１７）。カラオケ演奏要求は、カラオケの演奏の要求を示す実行要求である。カラオケ演奏要求は、セッション番号及び入力された楽曲番号を含む。アプリケーションサーバ１は、カラオケ演奏要求に含まれるセッション番号に対応するカラオケのアプリケーションプログラムへ、カラオケ演奏要求を転送する。カラオケ演奏要求を受信したカラオケのアプリケーションプログラムを実行するアプリケーションサーバ１は、レンダラ３へストリーミング送信する映像及び音声を切り替える。具体的に、アプリケーションサーバ１は、カラオケ演奏要求に含まれる楽曲番号に対応するカラオケコンテンツを生成しながら、カラオケコンテンツをレンダラ３へストリーミング送信する。楽曲番号が受信された場合のカラオケコンテンツの内部状態は、例えば演奏中状態に変化する。また、アプリケーションサーバ１は、カラオケの演奏中用のＵＩ定義のうち、起動中のカラオケのアプリケーションプログラムの内部情報としてのコントローラ属性に対応するＵＩ定義を含む切替指示を、コントローラ２へ送信する（ステップＳ１８）。切替指示を受信したコントローラ２は、切替指示に含まれるＵＩ定義に基づいて、カラオケの演奏中用の操作画面を表示部２７に表示させる（ステップＳ１９）。

図１３は、アプリケーションサーバ１の処理例を示すフローチャートである。例えば、アプリケーションサーバ１が起動して、アプリケーションサーバ１がアプリケーションサーバプログラムを起動すると、アプリケーションサーバ１のＣＰＵ１１は、図１３に示す処理を実行する。

図１３に示すように、ＣＰＵ１１は、アプリケーションサーバ１が停止するか否かを判定する（ステップＳ２１）。このとき、ＣＰＵ１１は、アプリケーションサーバ１が停止しないと判定した場合には（ステップＳ２１：ＮＯ）、ステップＳ２２に進む。ステップＳ２２において、ＣＰＵ１１は、コントローラ２からアプリケーション選択ＵＩ定義要求を受信したか否かを判定する。このとき、ＣＰＵ１１は、アプリケーション選択ＵＩ定義要求を受信していないと判定した場合には（ステップＳ２２：ＮＯ）、ステップＳ２４に進む。一方、ＣＰＵ１１は、アプリケーション選択ＵＩ定義要求を受信したと判定した場合には（ステップＳ２２：ＹＥＳ）、ステップＳ２３に進む。

ステップＳ２３において、ＣＰＵ１１は、アプリケーション選択ＵＩ定義要求に含まれるコントローラ属性に対応するアプリケーションプログラム選択用のＵＩ定義をＵＩ定義ＤＢ６から取得する。そして、ＣＰＵ１１は、取得したＵＩ定義をコントローラ２へ送信して、ステップＳ２４に進む。

ステップＳ２４において、ＣＰＵ１１は、コントローラ２からアプリケーション起動要求を受信したか否かを判定する。このとき、ＣＰＵ１１は、アプリケーション起動要求を受信していないと判定した場合には（ステップＳ２４：ＮＯ）、ステップＳ２７に進む。一方、ＣＰＵ１１は、アプリケーション起動要求を受信したと判定した場合には（ステップＳ２４：ＹＥＳ）、ステップＳ２５に進む。

ステップＳ２５において、ＣＰＵ１１は、アプリケーションＤＢ５から、アプリケーション起動要求に含まれるアプリケーションＩＤに対応するアプリケーションプログラムを実行する。また、ＣＰＵ１１は、セッション番号を生成する。次いで、ＣＰＵ１１は、アプリケーション起動要求に含まれるアプリケーションＩＤ及びコントローラ属性と、アプリケーションプログラム起動時の内部状態との組み合わせに対応するＵＩ定義をＵＩ定義ＤＢ６から取得する。そして、ＣＰＵ１１は、ＵＩ定義及びコントローラ属性を含む切替指示を、コントローラ２へ送信して（ステップＳ２６）、ステップＳ２７に進む。

ステップＳ２７において、ＣＰＵ１１は、コントローラ２からセッション接続要求を受信したか否かを判定する。このとき、ＣＰＵ１１は、セッション接続要求を受信していないと判定した場合には（ステップＳ２７：ＮＯ）、ステップＳ２１に進む。一方、ＣＰＵ１１は、セッション接続要求を受信したと判定した場合には（ステップＳ２７：ＹＥＳ）、ステップＳ２８に進む。ステップＳ２８において、ＣＰＵ１１は、セッション接続要求からレンダラ３のＩＰアドレス及びポート番号を取得する。そして、ＣＰＵ１１は、取得したＩＰアドレス及びポート番号を含む接続要求をアプリケーションプログラムへ送信して、ステップＳ２１に進む。ステップＳ２１において、ＣＰＵ１１は、アプリケーションサーバ１が停止すると判定した場合には（ステップＳ２１：ＹＥＳ）、図１３に示す処理を終了させる。

図１４は、コントローラ２の処理例を示すフローチャートである。例えば、コントローラ２がコントローラプログラムを起動すると、コントローラ２のＣＰＵ２１は、図１４に示す処理を実行する。

図１４において、ＣＰＵ２１は、記憶部２４に記憶されているコントローラ属性を含むアプリケーション選択ＵＩ定義要求をアプリケーションサーバ１へ送信することにより、アプリケーションサーバ１から、アプリケーションプログラムの選択用のＵＩ定義を取得する（ステップＳ３１）。次いで、ＣＰＵ２１は、ＵＩ定義をＲＡＭ２３に記憶させ、記憶させたＵＩ定義に基づいて、操作画面を表示部２７に表示する（ステップＳ３２）。例えば、ＵＩ定義がtitle開始タグ及びtitle終了タグを含む場合、ＣＰＵ２１は、これらのタグに囲まれたタイトルを表示部２７に表示する。また例えば、ＵＩ定義がselect-boxタグを含む場合、ＣＰＵ２１は、select-boxタグのsrc属性が示すファイルから、複数のアプリケーション名を取得する。そして、ＣＰＵ２１は、複数のアプリケーション名のそれぞれを含む複数のボタンを表示部２７に表示する。また例えば、ＵＩ定義がselect-box開始タグ及びselect-box終了タグを含む場合、ＣＰＵ２１は、これらのタグに囲まれている１又は複数のitemタグをＵＩ定義から取得する。そして、ＣＰＵ２１は、itemタグごとに、itemタグのsrc属性が示すテキストを含むボタンを表示部２７に表示する。また例えば、ＵＩ定義がtext-boxタグを含む場合、ＣＰＵ２１は、テキストボックスを表示部２７に表示する。また例えば、ＵＩ定義がtext開始タグ及びtext終了タグを含む場合、ＣＰＵ２１は、これらのタグに囲まれた内容を表示部２７に表示する。次いで、ＣＰＵ２１は、入力部２６から、ユーザ操作の入力が行われたか否かを判定する（ステップＳ３３）。このとき、ＣＰＵ２１は、ユーザ操作の入力が行われていないと判定した場合には（ステップＳ３３：ＮＯ）、ステップＳ３８に進む。一方、ＣＰＵ２１は、ユーザ操作の入力が行われたと判定した場合には（ステップＳ３３：ＹＥＳ）、ステップＳ３４に進む。

ステップＳ３４において、ＣＰＵ２１は、入力されたユーザ操作を示す操作情報を生成し、ＲＡＭ２３から、操作情報に対応する処理情報を取得する。そして、ＣＰＵ２１は、取得した処理情報がリモート処理情報であるか否かを判定する。このとき、ＣＰＵ２１は、取得した処理情報がリモート処理情報ではないと判定した場合には（ステップＳ３４：ＮＯ）、ステップＳ３５に進む。ステップＳ３５において、ＣＰＵ２１は、処理情報として取得したローカル処理情報が示す処理を実行して、操作画面の表示を変更する。次いで、ＣＰＵ２１は、ステップＳ３８に進む。一方、ＣＰＵ２１は、取得した処理情報がリモート処理情報であると判定した場合には（ステップＳ３４：ＹＥＳ）、ステップＳ３６に進む。

ステップＳ３６において、ＣＰＵ２１は、取得したリモート処理情報からアプリケーションＩＤを取得する。また、ＣＰＵ２１は、リモート処理情報に基づき、必要に応じてパラメータを取得する。そして、ＣＰＵ２１は、アプリケーションＩＤ、パラメータ、記憶部２４に記憶されたコントローラ属性を含む実行要求をアプリケーションサーバ１へ送信する。次いで、ＣＰＵ２１は、送信した実行要求に応じてアプリケーションサーバ１からＵＩ定義を含む切替指示が受信されたか否かを判定する（ステップＳ３７）。このとき、ＣＰＵ２１は、切替指示が受信されなかったと判定した場合には（ステップＳ３７：ＮＯ）、ステップＳ３８に進む。一方、ＣＰＵ２１は、切替指示が受信されたと判定した場合には（ステップＳ３７：ＹＥＳ）、ステップＳ３２に進む。ステップＳ３２において、ＣＰＵ２１は、ＲＡＭ２３に記憶されたＵＩ定義を、切替指示に含まれるＵＩ定義で上書きして、ＵＩ定義を切り替える。

ステップＳ３８において、ＣＰＵ２１は、コントローラプログラムが終了するか否かを判定する。このとき、ＣＰＵ２１は、コントローラプログラムが終了しないと判定した場合には（ステップＳ３８：ＮＯ）、ステップＳ３３に進む。一方、ＣＰＵ２１は、コントローラプログラムが終了すると判定した場合には（ステップＳ３８：ＹＥＳ）、図１４に示す処理を終了させる。

［２．第２実施形態］
［２−１．通信システムの構成］
図１５（Ａ）は、本実施形態の通信システムＳ２の概要構成例を示す図である。図１５（Ａ）において、図１（Ａ）と同様の要素については同様の符号が付されている。図１５（Ａ）に示すように、通信システムＳ２は、アプリケーションサーバ１、ＵＩ定義サーバ７、複数のコントローラ２、及び複数のレンダラ３を含んで構成される。通信システムＳ２は、一体型クライアント４を更に備えてもよい。ＵＩ定義サーバ７は、本発明の第２サーバ装置の一例である。アプリケーションサーバ１、ＵＩ定義サーバ７、コントローラ２、及びレンダラ３は、それぞれネットワーク１０に接続される。アプリケーションサーバ１は、アプリケーションＤＢ５にアクセス可能に構成されている。

ＵＩ定義サーバ７は、コントローラ２へＵＩ定義を送信する。ＵＩ定義サーバ７は、ＵＩ定義ＤＢ６にアクセス可能に構成されている。例えば、ＵＩ定義サーバ７とＵＩ定義ＤＢ６とがＬＡＮ等のネットワークにより接続されてもよい。或いは、ＵＩ定義サーバ７が、例えばＵＩ定義ＤＢ６を備えてもよい。通信システムＳ２によれば、アプリケーションプログラムとＵＩ定義とを別々のサーバ装置で管理することができる。

［２−２．ＵＩ定義サーバ７の構成］
次に、図１５（Ｂ）を参照して、ＵＩ定義サーバ７の構成について説明する。図１５（Ｂ）は、本実施形態のＵＩ定義サーバ７の概要構成例を示す図である。図１５（Ｂ）に示すように、ＵＩ定義サーバ７は、ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、記憶部７４及び通信部７５等を備えて構成される。これらの構成要素は、バス７６に接続されている。通信部７５は、ネットワーク１０に接続される。記憶部７４は、例えばハードディスクドライブにより構成される。記憶部７４に、ＵＩ定義ＤＢ６が記憶されていてもよい。記憶部７４には、ＯＳ、及びＵＩ定義サーバプログラム等が記憶されている。ＵＩ定義サーバプログラムは、コンピュータとしてのＣＰＵ７１に、ＵＩ定義の送信等の処理を実行させるプログラムである。ＵＩ定義サーバプログラム等は、例えばネットワーク１０等を介して他のサーバ等からダウンロードされてもよい。或いは、ＵＩ定義サーバプログラム等は、例えば光ディスク、磁気テープ、メモリカード等の記録媒体に記録されてドライブ装置を介して記憶部７４に読み込まれてもよい。

［２−３．通信システムＳ２の動作］
次に、図１６を参照して、本実施形態の通信システムＳ２の動作について説明する。図１６は、通信システムＳ２の処理概要の一例を示すシーケンス図である。図１６において、図１２と同様の処理については同様の符号が付されている。

図１６に示すように、先ずステップＳ１〜Ｓ７が実行される。次いで、アプリケーションサーバ１は、起動したカラオケのアプリケーションプログラムに対応するＵＩ定義のうち、アプリケーション起動要求に含まれるコントローラ属性に対応するＵＩ定義であって、カラオケのアプリケーションプログラムの起動時に対応するＵＩ定義のＵＩ定義位置情報を生成する。そして、アプリケーションサーバ１は、ＵＩ定義位置情報、及びセッション番号を含む切替指示をコントローラ２へ送信する（ステップＳ４１）。切替指示を受信したコントローラ２は、切替指示からＵＩ定義位置情報を取得し、このＵＩ定義位置情報を含むＵＩ定義要求をＵＩ定義サーバ７へ送信する（ステップＳ４２）。ＵＩ定義要求を受信したＵＩ定義サーバ７は、ＵＩ定義要求に含まれるＵＩ定義位置情報に対応するカラオケの選曲用のＵＩ定義を、ＵＩ定義ＤＢ６から取得する。そして、ＵＩ定義サーバ７は、ＵＩ定義をコントローラ２へ送信する（ステップＳ４３）。ＵＩ定義を受信したコントローラ２は、ＵＩ定義をＲＡＭ２３に記憶させる。そして、コントローラ２は、ＲＡＭ２３に記憶されたＵＩ定義に基づいて、カラオケの選曲用の操作画面を表示部２７に表示させる（ステップＳ９）。

次いで、ステップＳ１０〜Ｓ１７が実行される。次いで、起動中のカラオケのアプリケーションプログラムを実行するアプリケーションサーバ１は、カラオケの演奏中用のＵＩ定義のうち、起動中のカラオケのアプリケーションプログラムの内部情報としてのコントローラ属性に対応するＵＩ定義のＵＩ定義位置情報を含む切替指示を、コントローラ２へ送信する（ステップＳ４４）。切替指示を受信したコントローラ２は、切替指示からＵＩ定義位置情報を取得し、このＵＩ定義位置情報を含むＵＩ定義要求をＵＩ定義サーバ７へ送信する（ステップＳ４５）。ＵＩ定義要求を受信したＵＩ定義サーバ７は、ＵＩ定義要求に含まれるＵＩ定義位置情報に対応するカラオケの演奏中用のＵＩ定義を、ＵＩ定義ＤＢ６から取得する。そして、ＵＩ定義サーバ７は、ＵＩ定義をコントローラ２へ送信する（ステップＳ４６）。ＵＩ定義を受信したコントローラ２は、ＵＩ定義をＲＡＭ２３に記憶させる。そして、コントローラ２は、ＲＡＭ２３に記憶されたＵＩ定義に基づいて、カラオケの演奏中用の操作画面を表示部２７に表示させる（ステップＳ１９）。

なお、コントローラ２は、ＵＩ定義サーバ７から受信したＵＩ定義をＲＡＭ２３に記憶させるとともに、このＵＩ定義を記憶部２４に記憶させてもよい。このとき、コントローラ２は、ＵＩ定義をＵＩ定義位置情報等に対応付けて記憶部２４に記憶させてもよい。アプリケーションサーバ１から切替指示を受信したントローラ２は、切替指示に含まれるＵＩ定義位置情報に対応するＵＩ定義が記憶部２４に記憶されている場合には、記憶部２４に記憶されているＵＩ定義をＲＡＭ２３に記憶させてもよい。そして、コントローラ２は、処理情報の決定に用いるＵＩ定義を、ＲＡＭ２３に新たに記憶されたＵＩ定義に切り替えてもよい。この場合、コントローラ２は、ＵＩ定義サーバ７からＵＩ定義を取得する必要がない。

［３．第３実施形態］
次に説明する第３実施形態の通信システムは、例えば通信システムＳ１であってもよいし、通信システムＳ２であってもよい。通信システムＳ１及びＳ２の何れの場合であっても、アプリケーションサーバ１は、切り替え先のＵＩ定義のＵＩ定義位置情報を含む切替指示をコントローラ２へ送信する。

コントローラ２は、複数のＵＩ定義を記憶部２４に記憶させる。記憶部２４に記憶される複数のＵＩ定義は、記憶部２４に記憶されたコントローラ属性に対応するＵＩ定義である。例えば、複数のＵＩ定義が、光ディスク、磁気テープ、メモリカード等の記録媒体に記録されてドライブ装置を介して記憶部２４に読み込まれてもよい。或いは、コントローラ２の出荷時に複数のＵＩ定義が予め記憶部２４に記憶されていてもよい。或いは、コントローラ２が、アプリケーションサーバ１又はＵＩ定義サーバ７から、コントローラ属性に対応する全てのＵＩ定義を取得して、記憶部２４に記憶させてもよい。

コントローラ２は、アプリケーションサーバから切替指示を受信すると、切替指示に含まれるＵＩ定義位置情報に対応するＵＩ定義を、記憶部２４から読み出す。そして、コントローラ２は、読み出したＵＩ定義をＲＡＭ２３に記憶させる。ＲＡＭ２３に既に何らかのＵＩ定義が記憶されていた場合、コントローラ２は、ＲＡＭ２３に記憶されているＵＩ定義を、記憶部２４から読み出したＵＩ定義で上書きする。これにより、コントローラ２は、ユーザ操作に対応する処理を決定するためのＵＩ定義を切り替える。このため、コントローラ２は、ＵＩ定義を切り替えるときに、切り替え先のＵＩ定義をＵＩ定義サーバ７又はアプリケーションサーバ１から取得する必要がない。

ＵＩ定義ＤＢ６において、新しいＵＩ定義が登録されたり、ＵＩ定義が更新されたりする場合がある。コントローラ２は、新しい又は更新されたＵＩ定義を記憶部２４に記憶させるため、ＵＩ定義ＤＢ６に接続されたアプリケーションサーバ１又はＵＩ定義サーバ７へ、定期的にＵＩ定義更新状況問い合わせを送信してもよい。ＵＩ定義更新状況問い合わせは、本発明の問い合わせ情報の一例である。そして、コントローラ２は、アプリケーションサーバ１又はＵＩ定義サーバ７から取得したＵＩ定義で、記憶部２４に記憶されたＵＩ定義を更新する。これにより、ＵＩ定義が必要になるよりも前に、更新されたＵＩ定義を記憶部２４に記憶させておくことができる。

図１７は、コントローラ２におけるＵＩ定義更新処理の一例を示すフローチャートである。図１７に示すように、ＣＰＵ２１は、ＵＩ定義を更新する時刻が到来したか否かを判定する（ステップＳ５１）。例えば、１日のうち所定の時刻が、ＵＩ定義を更新する時刻であってもよい。或いは、例えば１週間のうち所定の曜日の所定の時刻が、ＵＩ定義を更新する時刻であってもよい。ＣＰＵ２１は、ＵＩ定義を更新する時刻が到来していないと判定した場合には（ステップＳ５１：ＮＯ）、ステップＳ５６に進む。一方、ＣＰＵ２１は、ＵＩ定義を更新する時刻が到来したと判定した場合には（ステップＳ５１：ＹＥＳ）、ステップＳ５２に進む。

ステップＳ５２において、ＣＰＵ２１は、ＵＩ定義更新状況問い合わせを、ＵＩ定義サーバ７（またはアプリケーションサーバ１）へ送信する。ＵＩ定義更新状況問い合わせは、例えば記憶部２４に記憶されているＵＩ定義のＵＩ定義位置情報及び最終更新日時のリストと、コントローラ属性とを含んでいてもよい。ＵＩ定義サーバ７は、ＵＩ定義更新状況問い合わせに含まれるリストに基づいて、ＵＩ定義ＤＢ６に記憶されているＵＩ定義のうち、ＵＩ定義更新状況問い合わせに含まれるコントローラ属性に対応するＵＩ定義の中から、コントローラ２に記憶されていないＵＩ定義及びコントローラ２に記憶されているＵＩ定義よりも最終更新日時が新しいＵＩ定義のＵＩ定義位置情報を取得する。そして、ＵＩ定義サーバ７は、取得したＵＩ定義位置情報を含む問い合わせ応答をコントローラ２へ送信する。

ＣＰＵ２１は、受信した問い合わせ応答に基づいて、ＵＩ定義の更新があるか否かを判定する（ステップＳ５３）。このとき、ＣＰＵ２１は、問い合わせ応答にＵＩ定義位置情報が含まれていなかった場合には、ＵＩ定義の更新がなかったと判定する（ステップＳ５３：ＮＯ）。この場合、ＣＰＵ２１は、ステップＳ５６に進む。一方、ＣＰＵ２１は、問い合わせ応答にＵＩ定義位置情報が含まれている場合には、ＵＩ定義の更新があると判定する（ステップＳ５３：ＹＥＳ）。この場合、ＣＰＵ２１は、ステップＳ５４に進む。

ステップＳ５４において、ＣＰＵ２１は、問い合わせ応答からＵＩ定義位置情報を取得し、ＵＩ定義位置情報を含むＵＩ定義要求をＵＩ定義サーバ７へ送信する。これにより、ＣＰＵ２１は、ＵＩ定義サーバ７からＵＩ定義を取得する。次いで、ＣＰＵ２１は、記憶部２４に記憶されるＵＩ定義を更新する（ステップＳ５５）。具体的には、ＣＰＵ２１は、ＵＩ定義サーバ７から取得したＵＩ定義を記憶部２４に記憶させる。このとき、ＵＩ定義サーバ７から取得したＵＩ定義のＵＩ定義位置情報と同一のＵＩ定義位置情報のＵＩ定義が記憶部２４に既に記憶されている場合、ＣＰＵ２１は、記憶部２４に既に記憶されているＵＩ定義を、取得したＵＩ定義で上書きする。次いで、ＣＰＵ２１は、ステップＳ５６に進む。ステップＳ５６において、ＣＰＵ２１は、コントローラ２が停止するか否かを判定する。このとき、ＣＰＵ２１は、コントローラ２が停止しないと判定した場合には（ステップＳ５６：ＮＯ）、ステップＳ５１に進む。一方、ＣＰＵ２１は、コントローラ２が停止すると判定した場合には（ステップＳ５６：ＹＥＳ）、ＵＩ定義更新処理を終了させる。

以上説明したように、上記各実施形態によれば、ユーザ操作に対応する処理のうち、コントローラ２で実行される処理については、コントローラ２はアプリケーションサーバ１へ要求を送信しない。そのため、ユーザの操作に対するレスポンスを短縮させることができる。

なお、コントローラ２により実行される処理は、操作画面のスクロール及び操作画面内のユーザ操作の対象を示すしるしの移動の少なくとも何れか一方のみであり、アプリケーションサーバ１により実行される処理は、操作画面のスクロール及び操作画面内のユーザ操作の対象を示すしるしの移動以外の全ての処理であってもよい。すなわち、ＵＩ定義において、操作画面のスクロール又は操作画面内のユーザ操作の対象を示すしるしの移動を示す処理情報は、ローカル処理情報としてのみ記述され、これらの処理以外の処理を示す処理情報は、リモート処理情報としてのみ記述されてもよい。

また、例えばＲＡＭ２３に、ＵＩ定義を記憶させる領域が複数設定されてもよい。コントローラ２は、複数の領域のそれぞれに互いに異なるＵＩ定義を記憶させてもよい。この場合、例えばＲＡＭ２３に、使用されるＵＩ定義のアドレスが記憶されてもよい。コントローラ２は、このアドレスが示す領域に記憶されているＵＩ定義を用いて、操作画面を表示し、処理情報を決定してもよい。コントローラ２は、ＵＩ定義のアドレスを変更することにより、操作画面の表示及び処理情報の決定に用いられるＵＩ定義を切り替えてもよい。

１ アプリケーションサーバ
２ コントローラ
３ レンダラ
４ 一体型クライアント
５ アプリケーションＤＢ
６ ＵＩ定義ＤＢ
７ ＵＩ定義サーバ
１０ ネットワーク
１１、２１、７１ ＣＰＵ
１２、２２、７２ ＲＯＭ
１３、２３、７３ ＲＡＭ
１４、２４、７４ 記憶部
１５、２５、７５ 通信部
２６ 入力部
２７ 表示部
Ｓ１、Ｓ２ 通信システム

Claims (14)

1. アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する通信システムにおいて、
   前記ネットワークを介して前記サーバ装置へ前記アプリケーションプログラムの実行を要求する端末装置と、
   前記サーバ装置と、
   前記出力装置と、
   を備え、
   前記端末装置は、
   前記アプリケーションプログラムに対応したユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を記憶する一時記憶手段と、
   前記一時記憶手段に記憶された前記定義情報に基づいて、前記アプリケーションプログラムに対応する操作画面を表示手段に表示させる表示制御手段と、
   ユーザ操作が入力される入力手段と、
   前記一時記憶手段に記憶された前記定義情報から、前記入力手段を用いて入力された前記ユーザ操作を示す操作情報に対応する前記処理情報として前記第１処理情報又は前記第２処理情報を決定する決定手段と、
   前記決定手段により前記第１処理情報が決定された場合、前記第１処理情報が示す処理を実行する処理実行手段と、
   前記決定手段により前記第２処理情報が決定された場合、前記第２処理情報が示す処理の要求を示す要求情報を前記サーバ装置へ送信する要求情報送信手段と、
   前記要求情報送信手段により送信された前記要求情報に基づいて前記サーバ装置により前記アプリケーションプログラムが実行されることに応じて前記サーバ装置から送信される切替情報であって、切り替え先の定義情報に関する切替情報を受信する切替情報受信手段と、
   前記切替情報受信手段により受信された前記切替情報に基づいて、前記決定手段による処理情報の決定に用いられる定義情報を切り替える切替手段と、
   を備え、
   前記サーバ装置は、
   前記アプリケーションプログラムを記憶するプログラム記憶手段と、
   前記端末装置から前記要求情報を受信する要求情報受信手段と、
   前記要求情報受信手段により受信された前記要求情報に基づいて、前記プログラム記憶手段に記憶された前記アプリケーションプログラムを実行するプログラム実行手段と、
   前記プログラム実行手段による前記アプリケーションプログラムの実行に応じて、前記切替情報を前記端末装置へ送信する切替情報送信手段と、
   前記プログラム実行手段による前記アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成する生成手段と、
   前記生成手段により生成された、前記映像データ及び前記音声データの少なくとも何れか一方を前記出力装置へ送信する送信手段と、
   を備え、
   前記出力装置は、
   前記サーバ装置から送信された、前記映像データ及び音声データの少なくとも何れか一方を受信する受信手段と、
   前記受信手段により受信された、前記映像データ及び音声データの少なくとも何れか一方が示す実行結果を出力手段により出力させる出力制御手段と、
   を備えることを特徴とする通信システム。
2. 請求項１に記載の通信システムにおいて、
   複数の前記定義情報を記憶する定義情報記憶手段と、
   前記定義情報記憶手段に記憶された前記定義情報を前記端末装置へ送信する定義情報送信手段と、
   を備える第２サーバ装置を更に含み、
   前記端末装置は、
   前記第２サーバ装置から送信された前記定義情報を受信する定義情報受信手段を更に備え、
   前記切替手段は、前記定義情報受信手段により受信された前記定義情報を前記一時記憶手段に記憶させ、前記決定手段による処理情報の決定に用いられる定義情報を、前記一時記憶手段に記憶された前記定義情報に切り替えることを特徴とする通信システム。
3. 請求項２に記載の通信システムにおいて、
   前記切替情報送信手段は、前記プログラム実行手段によるアプリケーションプログラムの実行に応じた前記切り替え先の定義情報を識別する定義情報識別情報を前記切替情報として送信し、
   前記端末装置は、
   前記切替情報受信手段により受信された前記定義情報識別情報を第２サーバ装置へ送信する定義情報識別情報送信手段を更に備え、
   前記第２サーバ装置は、
   前記端末装置から送信された前記定義情報識別情報を受信する定義情報識別情報受信手段を更に備え、
   前記定義情報記憶手段は、前記定義情報と、前記定義情報を識別する定義情報識別情報とを対応付けて複数記憶し、
   前記定義情報送信手段は、前記定義情報記憶手段に記憶されている複数の前記定義情報のうち、前記定義情報識別情報受信手段により受信された前記定義情報識別情報に対応する定義情報を送信することを特徴とする通信システム。
4. 請求項１に記載の通信システムにおいて、
   前記サーバ装置は、
   複数の前記定義情報を記憶する定義情報記憶手段を更に備え、
   前記切替情報送信手段は、前記定義情報記憶手段に記憶された前記複数の定義情報のうち、前記プログラム実行手段によるアプリケーションプログラムの実行に応じた前記切り替え先の定義情報を前記切替情報として送信し、
   前記端末装置は、
   前記切替手段は、前記切替情報受信手段により受信された前記定義情報を前記一時記憶手段に記憶させ、前記決定手段による処理情報の決定に用いられる定義情報を、前記一時記憶手段に記憶された前記定義情報に切り替えることを特徴とする通信システム。
5. 請求項１乃至４の何れか１項に記載の通信システムにおいて、
   前記端末装置は、
   複数の前記定義情報を記憶する不揮発性記憶手段を更に備え、
   前記切替手段は、前記切り替え先の定義情報が前記不揮発性記憶手段に記憶されている場合、前記不揮発性記憶手段に記憶された前記切り替え先の定義情報を前記一時記憶手段に記憶させ、前記決定手段による処理情報の決定に用いられる定義情報を、前記一時記憶手段に記憶された前記定義情報に切り替えることを特徴とする通信システム。
6. 請求項５に記載の通信システムにおいて、
   複数の前記定義情報を記憶する定義情報記憶手段と、
   前記定義情報の問い合わせを示す問い合わせ情報を前記端末装置から受信する問い合わせ情報受信手段と、
   前記問い合わせ情報受信手段により前記問い合わせ情報が受信された場合、前記定義情報記憶手段に記憶された前記複数の定義情報のうち、前記端末装置に記憶されている定義情報よりも新しい定義情報を前記端末装置へ送信する定義情報送信手段と、
   を備える第２サーバ装置を更に含み、
   前記端末装置は、
   前記問い合わせ情報を定期的に前記第２サーバ装置へ送信する問い合わせ情報送信手段と、
   前記第２サーバ装置から送信された前記定義情報を受信する定義情報受信手段と、
   前記定義情報受信手段により受信された前記定義情報で、前記定義情報記憶手段に記憶された定義情報を更新する更新手段と、
   を更に備えることを特徴とする通信システム。
7. 請求項１乃至６の何れか１項に記載の通信システムにおいて、
   前記要求情報送信手段は、前記第２処理情報がアプリケーションプログラムの起動を示す場合、起動される前記アプリケーションプログラムを識別するアプリケーションプログラム識別情報を含む前記要求情報を送信し、
   前記プログラム記憶手段は、アプリケーションプログラムと前記アプリケーションプログラムを識別するアプリケーションプログラム識別情報とを対応付けて複数記憶し、
   前記プログラム実行手段は、前記プログラム記憶手段に記憶された複数のアプリケーションプログラムのうち、前記要求情報に含まれる前記アプリケーションプログラム識別情報に対応するアプリケーションプログラムを起動させ、
   前記切替情報送信手段は、前記プログラム実行手段によりアプリケーションプログラムが起動された場合に、起動された前記アプリケーションプログラムに対応する前記切り替え先の定義情報に関する前記切替情報を送信することを特徴とする通信システム。
8. 請求項１乃至６の何れか１項に記載の通信システムにおいて、
   前記切替情報送信手段は、起動中のアプリケーションプログラムが前記プログラム実行手段により実行されることにより、前記起動中のアプリケーションプログラムの内部状態が変化した場合、前記起動中のアプリケーションプログラムに対応する複数の定義情報のうち、変化した前記内部状態に対応する前記切り替え先の定義情報に関する前記切替情報を送信することを特徴とする通信システム。
9. 請求項１乃至８の何れか１項に記載の通信システムにおいて、
   前記端末装置は、
   前記端末装置の属性を示す属性情報を記憶する属性情報記憶手段を更に備え、
   前記切替手段は、前記属性情報記憶手段に記憶された前記属性情報が示す属性に対応する定義情報へ切り替えることを特徴とする通信システム。
10. 請求項１乃至９の何れか１項に記載の通信システムにおいて、
    前記定義情報は、前記表示手段に表示されている前記操作画面のスクロール及び前記操作画面内のユーザ操作の対象を示すしるしの移動の何れかを含む処理を示す前記第１処理情報と、前記サーバ装置から前記出力装置へ送信される、前記映像データ及び前記音声データの少なくとも何れか一方の切り替えを伴う処理を示す前記第２処理情報とを含むことを特徴とする通信システム。
11. アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する通信システムに含まれる端末装置において、
    前記アプリケーションプログラムに対応したユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を記憶する一時記憶手段と、
    前記一時記憶手段に記憶された前記定義情報に基づいて、前記アプリケーションプログラムに対応する操作画面を表示手段に表示させる表示制御手段と、
    ユーザ操作が入力される入力手段と、
    前記一時記憶手段に記憶された前記定義情報から、前記入力手段を用いて入力された前記ユーザ操作を示す操作情報に対応する処理情報として前記第１処理情報又は前記第２処理情報を決定する決定手段と、
    前記決定手段により前記第１処理情報が決定された場合、前記第１処理情報が示す処理を実行する処理実行手段と、
    前記決定手段により前記第２処理情報が決定された場合、前記第２処理情報が示す処理の要求を示す要求情報を前記サーバ装置へ送信する要求情報送信手段と、
    前記要求情報送信手段により送信された前記要求情報に基づいて前記サーバ装置により前記アプリケーションプログラムが実行されることに応じて前記サーバ装置から送信される切替情報であって、切り替え先の定義情報に関する切替情報を受信する切替情報受信手段と、
    前記切替情報受信手段により受信された前記切替情報に基づいて、前記決定手段による処理情報の決定に用いられる定義情報を切り替える切替手段と、
    を備えることを特徴とする端末装置。
12. アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する通信システムに含まれる端末装置により実行されるプログラムにおいて、
    前記アプリケーションプログラムに対応するユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を記憶する一時記憶手段と、
    ユーザ操作が入力される入力手段と、
    を備える前記端末装置のコンピュータに、
    前記一時記憶手段に記憶された前記定義情報に基づいて、前記アプリケーションプログラムに対応する操作画面を表示手段に表示させる表示制御ステップと、
    前記一時記憶手段に記憶された前記定義情報から、前記入力手段を用いて入力された前記ユーザ操作を示す操作情報に対応する処理情報として前記第１処理情報又は前記第２処理情報を決定する決定ステップと、
    前記決定ステップにより前記第１処理情報が決定された場合、前記第１処理情報が示す処理を実行する処理実行ステップと、
    前記決定ステップにより前記第２処理情報が決定された場合、前記第２処理情報が示す処理の要求を示す要求情報を前記サーバ装置へ送信する要求情報送信ステップと、
    前記要求情報送信ステップにより送信された前記要求情報に基づいて前記サーバ装置により前記アプリケーションプログラムが実行されることに応じて前記サーバ装置から送信される切替情報であって、切り替え先の定義情報に関する切替情報を受信する切替情報受信ステップと、
    前記切替情報受信ステップにより受信された前記切替情報に基づいて、前記決定ステップによる処理情報の決定に用いられる定義情報を切り替える切替ステップと、
    を実行させることを特徴とするプログラム。
13. アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する通信システムに含まれる前記サーバ装置において、
    前記ネットワークを介して端末装置からの要求に応じて実行されるアプリケーションプログラムを記憶するプログラム記憶手段と、
    前記アプリケーションプログラムに対応するユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記ネットワークを介して前記サーバ装置へ前記アプリケーションプログラムの実行を要求する端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を複数記憶する定義情報記憶手段と、
    前記端末装置が備える一時記憶手段に記憶された前記定義情報から、前記端末装置が備える入力手段を用いて入力されたユーザ操作を示す前記操作情報に対応する処理情報として前記第２処理情報が決定された場合、前記端末装置から、前記第２処理情報が示す処理の要求を示す要求情報を受信する要求情報受信手段と、
    前記要求情報受信手段により受信された前記要求情報に基づいて、前記プログラム記憶手段に記憶されたアプリケーションプログラムを実行するプログラム実行手段と、
    前記プログラム実行手段によるアプリケーションプログラムの実行に応じて、前記入力手段を用いて入力されるユーザ操作を示す操作情報に対応する前記処理情報の決定に用いられる定義情報の切り替え先の定義情報に関する切替情報を前記端末装置へ送信する切替情報送信手段であって、前記定義情報記憶手段に記憶された複数の前記定義情報のうち、前記アプリケーションプログラムの実行に応じた定義情報を、切り替え先の定義情報として含む前記切替情報を送信する切替情報送信手段と、
    前記プログラム実行手段によるアプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成する生成手段と、
    前記生成手段により生成された、前記映像データ及び前記音声データの少なくとも何れか一方を前記出力装置へ送信する送信手段と、
    を備えることを特徴とするサーバ装置。
14. アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成するサーバ装置からネットワークを介して送信された、前記映像データ及び前記音声データの少なくとも何れか一方を出力装置が受信する情報処理装置において、
    前記ネットワークを介して前記サーバ装置へ前記アプリケーションプログラムの実行を要求する端末装置であって、前記アプリケーションプログラムに対応したユーザインタフェースの定義を示す定義情報であって、所定のユーザ操作ごとに、前記ユーザ操作を示す操作情報と、前記ユーザ操作に応じた処理を示す処理情報であって、前記端末装置により実行される処理を示す第１処理情報及び前記サーバ装置による前記アプリケーションプログラムの実行を示す第２処理情報の何れか一方とが対応付けられた定義情報を記憶する一時記憶手段と、ユーザ操作が入力される入力手段と、を備える端末装置が、前記一時記憶手段に記憶された前記定義情報に基づいて、前記アプリケーションプログラムに対応する操作画面を表示手段に表示させる表示制御ステップと、
    前記端末装置が、前記一時記憶手段に記憶された前記定義情報から、前記入力手段を用いて入力された前記ユーザ操作を示す操作情報に対応する前記処理情報として前記第１処理情報又は前記第２処理情報を決定する決定ステップと、
    前記端末装置が、前記決定ステップにより前記第１処理情報が決定された場合、前記第１処理情報が示す処理を実行する処理実行ステップと、
    前記端末装置が、前記決定ステップにより前記第２処理情報が決定された場合、前記第２処理情報が示す処理の要求を示す要求情報を前記サーバ装置へ送信する要求情報送信ステップと、
    前記サーバ装置が、前記端末装置から前記要求情報を受信する要求情報受信ステップと、
    前記サーバ装置が、前記要求情報受信ステップにより受信された前記要求情報に基づいて、前記アプリケーションプログラムを記憶するプログラム記憶手段に記憶された前記アプリケーションプログラムを実行するプログラム実行ステップと、
    前記サーバ装置が、前記プログラム実行ステップによる前記アプリケーションプログラムの実行に応じて、前記入力手段を用いて入力されるユーザ操作を示す操作情報に対応する前記処理情報の決定に用いられる定義情報の切り替え先の定義情報に関する切替情報を前記端末装置へ送信する切替情報送信ステップと、
    前記端末装置が、前記サーバ装置から送信された前記切替情報を受信する切替情報受信ステップと、
    前記端末装置が、前記切替情報受信ステップにより受信された前記切替情報に基づいて、前記決定ステップによる処理情報の決定に用いられる定義情報を切り替える切替ステップと、
    前記サーバ装置が、前記プログラム実行ステップによる前記アプリケーションプログラムの実行結果を示す映像データ及び音声データの少なくとも何れか一方を生成する生成ステップと、
    前記サーバ装置が、前記生成ステップにより生成された、前記映像データ及び前記音声データの少なくとも何れか一方を前記出力装置へ送信する送信ステップと、
    前記出力装置が、前記サーバ装置から送信された、前記映像データ及び音声データの少なくとも何れか一方を受信する受信ステップと、
    前記出力装置が、前記受信ステップにより受信された、前記映像データ及び音声データの少なくとも何れか一方が示す実行結果を出力手段により出力させる出力制御ステップと、
    を含むことを特徴とする情報処理方法。

Images