JP2012137900A - 映像出力システム、映像出力方法及びサーバ装置 - Google Patents

Abstract

【課題】
サーバにかかる負荷を低減することができる情報配信システムを提供する。
【解決手段】
サーバ装置において、出力装置から受信した情報を受信し、受信した情報を解析して識別情報を取得し、取得した識別情報を基に出力装置に出力させる画面情報のフレームレートを決定し、決定したフレームレートで出力装置に出力させる画面情報をエンコードして出力装置に送信し、出力装置は、受信した画面情報をデコードして出力することで、情報を配信するシステムを用いる。
【選択図】図１

Description

本発明はサーバ装置および情報処理方法に関する。

ネットワークを経由して遠隔地にある装置を操作するためのシンクライアント技術が実用化している。これは、遠隔地にサーバ装置を設置し、手元にあるシンクライアント装置とネットワークで接続し、シンクライアント装置に接続した入力装置からの操作情報をサーバ装置に送信し、これをサーバ装置で動作するアプリケーションへの入力とし、同時に、サーバ装置で動作するアプリケーションが出力した画面情報をシンクライアント装置に送信し、これをシンクライアント装置に接続した出力装置に出力することで実現される。

特開２００９−９３３０では、複数のＯＳを実行することが可能な情報処理装置（サーバ）が表示画面の画像信号を生成し、表示画面の画像信号をシンクライアントとして動作する端末装置へ送信することで情報配信するシステムが記載されている。

特開２００９−９３３０

シンクライアントシステムを利用した情報配信システムでは、画面情報を作成するためのサーバ装置の負荷が高いという課題があった。そこで、情報配信システムにおけるサーバ装置の、画面情報の作成にかかる負荷を低減することを目的とする。

上記課題は例えば請求項に記載の構成を採用するにより達成することができる。

サーバにかかる負荷を低減することができる。

サーバ装置の構成図の例である 実施例１におけるサーバ装置１００の各処理部の関連の一例を示す図である フレームレート変更部１３５が一定周期で行う処理フローの一例を示す図である フレームレート変更表の一例である 経過時間判断表の一例である フレームレートが固定の場合の、各ユーザのアプリケーションプログラムと画面情報生成と符号化処理によって占有するサーバ装置のＣＰＵ時間の一例である フレームレートが可変の場合の、一人のユーザのアプリケーションプログラムと画面情報生成と符号化処理によって占有するサーバ装置のＣＰＵ時間の一例である フレームレートが可変の場合の、各ユーザのアプリケーションプログラムと画面情報生成と符号化処理によって占有するサーバ装置のＣＰＵ時間の一例である フレームレートが可変の場合の、各ユーザのアプリケーションプログラムと画面情報生成と符号化処理によって占有するサーバ装置のＣＰＵ時間が処理能力を超えない事例である 実施例２におけるサーバ装置１００の各処理部の関連を示す図の例である 経過時間判断表の一例である 実施例３におけるサーバ装置１００の各処理部の関連を示す図の例である 実施例４におけるサーバ装置１００の各処理部の関連を示す図の例である 複数ユーザが同一のサーバ装置に接続する場合のサーバ装置１００の構成図の例である シンクライアント装置の構成図の例である シンクライアント装置をテレビジョン装置で構成した場合の図の例である システム構成の一例を示す図のである 出力装置の構成の一例を示す図である サーバの構成及びサーバと出力装置との接続の一例を示す図である 操作手順情報３６００の一例を示す図である サーバと出力装置の構成の一例を示す図である サーバと出力装置との接続の一例を示す図である フレームレートを下げた時のサーバと出力装置の接続の一例を示す図である サーバと出力装置の構成の一例を示す図である フレームレート変更部１３５が一定周期で行う処理フローの一例を示す図である フレームレート変更表の一例を示す図である

通常のシンクライアント端末では、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）により、ターミナルサーバ装置（以下サーバ装置と呼ぶこともある）で処理した静止画像を、シンクライアント端末に送信する。
一方、本実施例では、サーバ装置がシンクライアント装置に出力する画面情報の情報量を削減するために、サーバ装置が画面情報を静止画像ではなく動画像として符号化して出力し、シンクライアント装置が当該動画像を復号して、復号した画面情報を出力装置に出力することができる。

このような方法では、サーバ装置が画面情報を動画像として符号化する場合に、動画像符号化処理の計算量が大きいため、サーバ装置の処理負荷が大きくなってしまう場合がある。これによって、複数のシンクライアント装置がサーバ装置に接続すると、サーバ装置が単位時間あたりに処理可能な符号化処理の計算量を超えてしまい、例えば、シンクライアント装置の画面情報出力が遅れたり、サーバ装置で実行しているアプリケーションの処理が遅れたりする、という問題が発生する場合がある。

以下、図面を参照しながら実施例について説明する。図１はサーバ装置の構成図の例である。サーバ装置１００はプロセッサ１１０とメモリ１２０を有し、通信インターフェイス１４０を介してＬＡＮ、ＷＡＮなどのネットワーク１４１に接続する。

メモリ１２０に格納されたアプリケーションプログラム１３１、操作情報処理プログラム１３２、画面情報生成プログラム１３３、符号化処理プログラム１３４、フレームレート変更プログラム１３５など各種プログラム１３０をプロセッサ１１０が実行することで、アプリケーション、操作情報処理、画面情報生成、符号化処理の各処理を行う。

これらは、アプリケーション部１３１、操作情報処理部１３２、画面情報生成部１３３、符号化処理部１３４、フレームレート変更部１３５など、各処理を行う処理部として集積回路化するなどして、一部または全部をハードウェアで実現することもできる。
以下説明を簡略化するため、各種プログラム１３０をプロセッサ１１０が実行することで実現される各処理部を各処理の主体として説明する。なお各処理部をハードウェアで実現した場合にはその各処理部が主体となって各処理を行う。

図１５は、シンクライアント装置の構成図の例である。シンクライアント装置１４２はプロセッサ２１０とメモリ２２０を有し、通信インターフェイス２４０を介してＬＡＮ、ＷＡＮなどのネットワーク１４１に接続する。
メモリ２２０に格納されたアプリケーションプログラム２３１、操作情報処理プログラム２３２、画面情報処理プログラム２３３、復号処理プログラム２３４、など各種プログラム２３０をプロセッサ２１０が実行することで、アプリケーション、操作情報処理、画面情報生成、復号処理の各処理を行う。

これらは、アプリケーション部２３１、操作情報処理部２３２、画面情報処理部２３３、復号処理部２３４など、各処理を行う処理部として集積回路化するなどして、一部または全部をハードウェアで実現することもできる。
表示部２５０は、サーバ装置から送信された動画像を表示する表示部である。図１４ではシンクライアント装置が表示部２５０を備える構成となっているが、表示部２５０はシンクライアント装置の外にある外付けの表示部であってもよい。
入力部２６０は、ユーザからの入力を受け付ける。例えば、マウス操作や、キーボード入力、リモコン操作などの操作情報を受信する。

シンクライアントシステムの動作の概要を説明する。シンクライアント装置１４２の入力部２６０は、ユーザからの操作を受け付ける。ユーザによるマウス操作やキーボード入力により、マウスをクリックした座標情報や、キーボード入力情報を、操作情報処理部２３２が処理し、処理された操作情報を通信インターフェイス２４０を介してサーバ装置１００に送信する。

図２は図１のサーバ装置１００において、操作情報処理部１３２が主体となってフレームレート変更部１３５を制御する場合の、サーバ装置１００の各処理部の関連を示す図である。各処理部を接続する矢印は処理の流れを示している。
サーバ装置１００は、通信インターフェイス１４０を介して、シンクライアント装置１４２から操作情報を受信する。受信した操作情報は操作情報処理部１３２に送信され、操作情報処理部１３２は当該操作情報をサーバ装置への操作情報として、アプリケーション部１３１に入力する。

アプリケーション部１３１は操作情報処理部１３２からの操作情報の入力や時間的変化などによってアプリケーションの画面情報が変更すると、画面情報生成部１３３に描画情報を送信する。描画情報とは、例えば、画面に文字を書く、四角形を書く、といった情報のことである。画面情報生成部１３３は受信した描画情報を一定周期で画面情報を生成する。符号化処理部１３４は一定周期で画面情報生成部１３３から画面情報を取得して、当該画面情報を符号化して、通信インターフェイス１４０を介してシンクライアント装置１４２に送信する。

シンクライアント装置１４０は、符号化された画面情報を受信し、復号処理部２３４に入力する。復号処理部２３４は、画面情報を復号し、表示部２５０に表示する。

本実施例では、画面情報の処理を、サーバ装置１００の符号化処理部１３４、シンクライアント装置１４２の復号処理部２３４により行う。このように動画処理の方法を用いることで、シンクライアント装置１４２として、テレビジョン装置の復号処理部を使用することができる。

図１６はシンクライアント装置１４２をテレビジョン装置で構成した図の例である。

シンクライアント装置１４２は、チューナ１０１、デスクランブラ１０２、デマルチプレクサ１０３、デコーダ２３４、表示部／スピーカ２５０、入力部１０６、メモリ２２０、アプリケーション部２３１、操作情報処理部２３２、画面情報処理部２３３、記録部１１５、暗号／復号処理部１１２、通信処理部１０４、通信インターフェイス２４０、制御部２１０から構成される。

チューナ１０１は、放送局からアンテナ１０を介して受信した複数のチャンネルから所望のチャンネルを選局し、デジタル変調された番組を復調する。

デスクランブラ１０２は、サービス事業者と契約したチャンネルのみを受信可能とするためにかけられている番組のスクランブルを解除する。

デマルチプレクサ１０３は、放送番組から音声データ、映像データを抽出する。

デコーダ２３４は、放送番組や通信インターフェイス２４０から受信した圧縮符合化された音声データや映像データを復号して、元の音声信号、映像信号に伸長する。

表示部／スピーカ２５０は、デコーダ２３４からの出力信号を再生する。内蔵ではなく、外付けでも良い。

入力部１０６は、ユーザからのマウス操作、リモコン操作、タッチパネルからの入力、キーボード入力などの操作情報を入力する。

アプリケーション部２３１、操作情報処理部２３２、画面情報処理部２３３の処理は以前説明したものと同じである。

記録部１１５は、放送番組を記録する内蔵メモリである。その他に着脱可能なＨＤＤ（ハードディスクドライブ）や光ディスク、メモリカード、そしてこれらを組み合わせたハイブリッド形態などでもよい。

暗号／復号処理部１１２は、放送番組やネットワーク経由でデジタル入出力端子１１４を介して受信したコンテンツを、サーバ装置１００と共有した鍵を使用して暗号化あるいは復号する。

通信処理部１０４は、通信インターフェイス２４０を介してネットワークで接続した他のサーバ装置との間で動画像情報や制御コマンドを送受信する。コンテンツを送受信する場合には、送受信するコンテンツにその取り扱い方を示す「Ｃｏｐｙ ｆｒｅｅ」「Ｃｏｐｙ ｏｎｅ ｇｅｎｅｒａｔｉｏｎ」「Ｎｏ ｍｏｒｅ ｃｏｐｉｅｓ」「Ｃｏｐｙ ｎｅｖｅｒ」などの識別コードなどが付加される。

制御部２１０は、シンクライアント装置１４２における各部の動作を統括的に制御する。

フレームレートの変換について説明する。操作情報処理部１３２は操作情報をフレームレート変更部１３５に送信する。フレームレート変更部１３５は受信した操作情報を元にフレームレートを下げる、または、維持する、または、上げる判断する。フレームレートを上げる、または、下げる、と判断した場合、フレームレート変更部１３５は符号化処理部１３４に新しいフレームレートを通知する。

符号化処理部１３４はフレームレート変更部１３５からフレームレートを通知されると、画面情報生成部１３３から画面情報を取得して、当該画面情報を符号化する周期をフレームレート変更部１３５から通知されたフレームレートに変更する。

例えば、符号化形式がＭＰＥＧ２形式の場合、一つのフレームを一つのピクチャとして扱い、複数のピクチャをＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）という単位で扱うが、ＧＯＰ構成がＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢの１５枚のピクチャであり、一つのＧＯＰが０．５秒である場合、フレームレートを１０ｆｐｓに変更した場合、ＧＯＰの構成をＩＰＰＰＰの５枚のピクチャで構成して符号化する。これによって、０．５秒を５枚のピクチャで表現することになるため、１０ｆｐｓを実現していることになる。しかしＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢのようなＧＯＰ構成では、フレームレートを下げる場合、実現可能なフレームレートに制限がある。

そこで、ＧＯＰ構成を、例えばＩＰＰＰＰＰＰＰＰＰ・・・とＰが１５枚以上続くような構成にすれば、任意のＰを抜いてＧＯＰを構成できるため、任意のフレームレートを設定できる。フレームレートの変更方法は前記した方法以外でも良い。

次に、フレームレート変更部１３５が時間経過と共にフレームレートを段階的に下げる処理について説明する。図３にフレームレート変更部１３５が周期的に行う処理フローを示す。フレームレート変更部１３５は基準フレームレートを現在フレームレートとして保存する（Ｓ３０１）。本実施例では基準フレームレートを３０ｆｐｓとしている。

フレームレート変更部１３５はプロセッサ１１０が内蔵するタイマカウンタ値を読み取り、これを基準時刻として保存する（Ｓ３０２）。このタイマカウンタ値はプロセッサ１１０の代わりに、別のハードウェアで実現しても良い。また読み取ったタイマカウンタ値をプロセッサ固有の時間単位から秒単位に変換しても良い。本実施例ではタイマカウンタ値を求めるときに全て秒単位に変換して扱うものとする。

フレームレート変更部１３５は周期的にタイマカウンタ値を読み取り、前回保存した基準時刻との経過時間を求める（Ｓ３０３）。フレームレート変更部１３５は図４に示すフレームレート変更表６００を内蔵している。フレームレート変更表６００はプログラムに内蔵されていても良いし、フラッシュロムなど別のハードウェアに格納されていても良い。フレームレート変更部１３５はフレームレート変更表６００を元に、経過時間に該当するフレームレートを求め（Ｓ３０４）、新フレームレートとする。

求めた新フレームレートと現在フレームレートとを比較し（Ｓ３０５）、求めた新フレームレートが現在フレームレートと異なる場合、新フレームレートを新たにフレームレート変更部１３５が現在フレームレートとして保持し（Ｓ３０６）、当該フレームレートを符号化処理部１３４に通知する（Ｓ３０７）。例えば、経過時間が１００の場合、新フレームレートは１５ｆｐｓである。その後、またＳ３０３の処理に戻る。

次に、フレームレート変更部１３５が即座にフレームレートを上げる処理について説明する。フレームレート変更部１３５が操作情報処理部１３２から操作情報を受信すると、フレームレート変更部１３５はタイマカウンタ値を読み取り、基準時刻として保存する。その後、前記周期的処理により、新フレームレートを算出すると、経過時間は、基準時刻と、基準時刻を保存してから次の周期で読み取ったタイマカウンタ値との経過時間となるため、フレームレート変更表６００の０〜９９秒の列に該当することになる。したがって、新フレームレートは基準フレームレートになる。これによって、何らかの操作情報を受信したときに、即座に基準フレームレートに戻すことができる。

一方、別の方法として、次に示す方法を用いて、フレームレート変更部１３５が段階的にフレームレートを上げることもできる。フレームレート変更部１３５が操作情報処理部１３２から操作情報を受信すると、フレームレート変更部１３５が保持しているフレームレートを元に、図５に示す経過時間判断表６０１から新経過時間を求める。さらに、タイマカウンタ値を読み取り、タイマカウンタ値と新経過時間の和を基準時刻として保存する。経過時間判断表６０１の新経過時間とフレームレートの対応は、フレームレート変更部１３５が保持しているフレームレートを元に新経過時間を選択する際、フレームレート変更表６００から得られる当該新経過時間に対応するフレームレートがフレームレート変更部１３５で保持しているフレームレートより大きくなるような新経過時間となるように、経過時間判断表６０１の新経過時間を設定しておく。

その後、前記周期的処理により、新フレームレートを算出すると、経過時間は、基準時刻と、基準時刻を保存してから次の周期で読み取ったタイマカウンタ値との経過時間となるため、フレームレート変更表６００から得られるフレームレートは、フレームレート変更部１３５が保持しているフレームレートより大きくなる。

例えば、フレームレート変更部１３５が保存しているが１０ｆｐｓの場合、経過時間判断表６０１から得られる新経過時間は１００であるため、これとタイマカウンタ値との和を基準時刻として保存すると、前記周期的処理の処理によってフレームレート変更表６００から得られる新フレームレートは、１５ｆｐｓになる。

この方法によれば、何らかの操作情報を受信したときに、段階的にフレームレートを上げていくことができる。

本実施例によれば、シンクライアント装置が操作情報を送信していない時間が一定時間続くと、サーバ装置１００は段階的にフレームレートを下げることができる。また、シンクライアント装置が何らかの操作情報を送信すると、サーバ装置１００はフレームレートを即座に、あるいは段階的に基準フレームレートに戻すことができる。ユーザの操作情報をもとに、操作情報があればフレームレートを上げ、操作情報がない場合はフレームレートをさげるため、アプリケーションの操作性や利便性が損なわれることがない。

次に、一つのサーバ装置に複数ユーザがシンクライアント端末を用いて同時に接続した場合に、本実施例によって得られる効果について説明する。
複数ユーザがシンクライアント装置を用いて同一サーバ装置１００に同時に接続する場合の、サーバ装置１００の構成の例を図１４に示す。サーバ装置１００では同時にプログラム１３０をプロセッサ１１０が処理する。

複数ユーザがシンクライアント装置を用いて同一サーバ装置１００に同時に接続し、当該サーバ装置１００上でアプリケーションプログラムを動作する場合、当該サーバ装置１００のＣＰＵ占有時間は、各ユーザが実行しているアプリケーションプログラムと画面情報生成と符号化処理によって占有するＣＰＵ時間の合計になる。

従来のサーバ装置の場合は、例えば図６に示すように、各ユーザのアプリケーションプログラムと画面情報生成と符号化処理によって占有するＣＰＵ時間が３０％であって、接続するユーザがユーザＡとユーザＢとユーザＣの三者であった場合、ＣＰＵ占有率の合計は常に９０％になる。このとき、別のユーザＤが同一サーバ装置１００に接続し、アプリケーションプログラムを動作させようとすると、ＣＰＵ占有率が１００％に達してしまい、サーバ装置１００の処理能力を超えてしまう。これによって、例えば、アプリケーションプログラムの動作が遅くなるといった問題が発生しうる。

そこで、本実施例によるサーバ装置１００であれば、各ユーザが実行しているアプリケーションプログラムについて、フレームレートを下げることが可能であるため、画面情報生成及び符号化処理の低減が可能である。そのため、各ユーザのアプリケーションプログラムと画面情報生成と符号化処理のＣＰＵ占有率は時間経過によって変動するため、サーバ装置１００全体のＣＰＵ占有率はフレームレートが固定であった場合よりも低くなる。

例えば、図７では、本実施例によってフレームレートを下げることによって、符号化処理を低減し、ＣＰＵ占有率を下げていることを示している。同様のことはユーザＢとユーザＣにも言える。図８に示すように、ユーザＡとユーザＢとユーザＣのＣＰＵ占有率が時間経過によって変動しているため、それらの合計は図７に示すサーバ装置１００のＣＰＵ占有率よりも低い。したがって、ユーザＤが同一サーバ装置１００に接続して、アプリケーションプログラムを動作させていても、図９に示すように、ＣＰＵ占有率が１００％を超えることがない。

本実施例によるサーバ装置１００では、フレームレートを下げる要因がユーザからの操作情報に依存するが、同一サーバ装置１００に接続するユーザ数が多くなれば、各ユーザが操作情報を入力するタイミングが統計的に平滑化されるため、サーバ装置１００のＣＰＵ占有率を常に低い状態に保つことができる。

サーバ装置１００のＣＰＵ占有率を常に低い状態に保つことで、複数ユーザが同時に同一のサーバ装置１００に接続した場合であっても、アプリケーションプログラムの動作が遅くなりにくくなる。さらに、ＣＰＵ占有率が常に低い状態であるため、サーバ装置１００の消費電力を低減することが可能である。ＣＰＵ占有率が低くなるため、サーバ装置１００のプロセッサ１１０の性能を低くできるため、サーバ装置１００のハードウェアコストを低減できる。

また、本実施例によるサーバ装置１００であれば、各ユーザが実行しているアプリケーションプログラムについて、フレームレートを下げることが可能であるため、符号化処理部１３４が出力する符号量の削減が可能である。

そのため、各ユーザの画面情報の符号量は時間経過によって変動するため、サーバ装置１００が出力する符号量の合計は、フレームレートが固定であった場合よりも低くなる。ＣＰＵ占有率と同様に、本実施例によるサーバ装置１００では、フレームレートを下げる要因がユーザからの操作情報に依存するが、同一サーバ装置１００に接続するユーザ数が多くなれば、各ユーザが操作情報を入力するタイミングが統計的に平滑化され、サーバ装置１００が出力する符号量の合計を常に低い状態に保つことができる。

サーバ装置１００が出力する符号量の合計を常に低い状態に保つことで、ネットワーク上で送受信するデータ量を削減できるため、ネットワーク上での輻輳が発生しにくくなる。また、ネットワーク上で送受信するデータ量を削減できるため、データ量に応じて課金するネットワークシステムの場合、課金料を削減することが可能である。

以下、図面を参照しながら実施例について説明する。なお、実施例１と同一の部分については説明を省略し、異なる部分について詳細に説明する。
図１０は図１のサーバ装置１００において、アプリケーション部１３１が主体となってフレームレート変更部１３５を制御する場合の、サーバ装置１００の各処理部の関連を示す図である。各処理部を接続する矢印は処理の流れを示している。

操作情報処理部１３２と画面情報生成部１３３と符号化処理部１３４の処理は、実施例１で説明した処理と同様であるため、説明を省略する。フレームレート変更部１３５が周期的処理は、実施例１で説明した処理と同様であるため、説明を省略する。フレームレート変更部１３５が操作情報処理部１３２から操作情報を受信したときの処理は、実施例１で説明した処理と同様であるため、説明を省略する。

次に、アプリケーション部１３１がフレームレート変更部１３５にフレームレートの変更を要求する処理を説明する。アプリケーション部１３１は現在実行しているアプリケーションプラグラムについて、フレームレートを明示的に下げたい、あるいはフレームレート明示的に上げたいといった場合に、フレームレート変更部１３５にフレームレートを上げる、あるいは、フレームレートを下げる要求を送信することができる。

例えば、静止画を表示し続ける場合は、フレームレートを下げ、動画を表示し続ける場合は、フレームレートを上げるといった制御がある。フレームレートを上げる、あるいは、フレームレートを下げる判断は、アプリケーションプログラムが自由に設定できる。

次に、フレームレート変更部１３５が時間経過と共にフレームレートを段階的に下げる処理について説明する。フレームレート変更部１３５がアプリケーション部１３１からフレームレートを上げる要求を受信すると、フレームレート変更部１３５はタイマカウンタ値を読み取り、基準時刻として保存する。その後、前記周期的処理により、新フレームレートを算出すると、経過時間は、基準時刻と、基準時刻を保存してから次の周期で読み取ったタイマカウンタ値との差分となるため、フレームレート変更表６００の０〜９９秒の列に該当することになる。したがって、新フレームレートは基準フレームレートになる。これによって、フレームレートを上げる要求を受信したときに、即座に基準フレームレートに戻すことができる。

次に、フレームレート変更部１３５がフレームレートを即座に下げる処理について説明する。フレームレート変更部１３５がアプリケーション部１３１からフレームレートを下げる要求を受信すると、フレームレート変更部１３５は図４に示すフレームレート変更表６００の中で一番低い新フレームレートに対応する経過時間よりも大きな値を基準時刻として保存する。

その後、前記周期的処理により、新フレームレートを算出すると、経過時間は、基準時刻と、基準時刻を保存してから次の周期で読み取ったタイマカウンタ値との差分となるため、フレームレート変更表６００の４００〜４９９秒の列に該当することになる。したがって、新フレームレートはフレームレート変更表６００の中で一番低いフレームレートになる。これによって、フレームレートを下げる要求を受信したときに、即座にフレームレート変更表６００の中で一番低いフレームレートに設定することができる。

一方、別の方法として、次に示す方法を用いて、フレームレート変更部１３５が段階的にフレームレートを上げる、あるいは下げることもできる。フレームレート変更部１３５がアプリケーション部１３１からフレームレートを上げる、または、フレームレートを下げる要求を受信すると、フレームレート変更部１３５が保持しているフレームレートを元に、図１１に示す経過時間判断表６０２及び経過時間判断表６０３から基準時刻を求め、基準時刻を基準時刻として保存する。

その後、前記周期的処理により、新フレームレートを算出すると、経過時間は、基準時刻と、基準時刻を保存してから次の周期で読み取ったタイマカウンタ値との差分となるため、フレームレート変更表６００から得られるフレームレートは、フレームレート変更部１３５が保持しているフレームレートより大きく、あるいは小さくなる。

例えば、フレームレート変更部１３５が保存しているが１０ｆｐｓの場合、経過時間判断表６０１から得られる基準時刻は１００であるため、これを基準時刻として保存すると、前記周期的の処理によってフレームレート変更表６００から得られる新フレームレートは、１５ｆｐｓになる。

この方法によれば、フレームレートを下げる要求を受信したときに、段階的にフレームレートを下げていくことができる。
本実施例によれば、アプリケーションプログラムが明示的にフレームレートを下げる、あるいはフレームレートを上げる、といった要求を送信した場合、サーバ装置１００は段階的あるいは即座にフレームレートを下げる、あるいは下げることができる。

アプリケーション部が主体となってフレームレートを上げる、あるいは下げることによって得られる効果について説明する。
アプリケーション部において動作しているアプリケーションプログラムが、操作性や利便性に対して、俊敏な応答や高速な画面切り替えなどのリアルタイム性を要求されるような状況になったときに、フレームレートを上げる要求を送信することで、リアルタイム性を要求するような状況でフレームレートが高くなり、操作性や利便性が損なわれることがない。例えば、動画像再生を行うアプリケーションプログラムにおいて、再生を開始するときにフレームレートを上げておくことで、動画像が滑らかに再生される。

逆に、アプリケーション部において動作しているアプリケーションプログラムが、リアルタイム性を要求しないような状況になったときに、フレームレートを下げる要求を送信することで、リアルタイム性を要求しないような状況でフレームレートが低くなり、符号化処理部の負荷を低減できる。例えば、動画像再生を行うアプリケーションプログラムにおいて、再生を停止したときにフレームレートを下げておくことで、動画像を再生していないときはフレームレートを低くして、符号化処理部の負荷を低減できる。

以下、図面を参照しながら実施例について説明する。なお、実施例１と同一の部分については説明を省略し、異なる部分について詳細に説明する。
図１２は図１のサーバ装置１００において、画面情報生成部１３３が主体となってフレームレート変更部１３５を制御する場合の、サーバ装置１００の各処理部の関連を示す図である。各処理部を接続する矢印は処理の流れを示している。

操作情報処理部１３２とアプリケーション部１３３と符号化処理部１３４の処理は、実施例１で説明した処理と同様であるため、説明を省略する。フレームレート変更部１３５が周期的処理は、実施例１で説明した処理と同様であるため、説明を省略する。フレームレート変更部１３５が操作情報処理部１３２から操作情報を受信したときの処理は、実施例１で説明した処理と同様であるため、説明を省略する。

次に、画面情報生成部１３３がフレームレート変更部１３５にフレームレートの変更を要求する処理を説明する。画面情報生成部１３３はフレームレートを上げる、あるいは下げる判断を行い、フレームレートを上げる、あるいは下げる要求をフレームレート変更部１３５に送信する。
画面情報生成部１３３がフレームレートを上げる、あるいは下げる判断としては次のような手法がある。画面情報生成部１３３は今回生成した画面情報と前回に生成した画面情報とを比較し、画面情報に変化が小さい場合は、フレームレートを下げる要求を送信する。逆に、画面情報生成部１３３は今回生成した画面情報と前回に生成した画面情報とを比較し、画面情報に変化が大きい場合は、フレームレートを下げる要求を送信する。

また、別の手法として、一定時間内のアプリケーション部１３１からの描画情報が閾値未満の場合は、フレームレートを下げる要求を送信し、閾値以上の場合は、フレームレートを上げる要求を送信する、という手法がある。画面情報生成部１３３がフレームレートを上げる、あるいは下げる判断を行う手法は前記に上げた手法によらなくてもよい。

フレームレート変更部１３５が画面情報生成部１３３からフレームレートを上げる要求を受信したときの処理は、実施例２のフレームレート変更部１３５が画面情報生成部１３３からフレームレートを上げる要求を受信したときの処理における、アプリケーション部１３１を画面情報生成部１３３に置き換えた場合と同様であるため、説明を省略する。
本実施例によれば、画面情報生成部１３３がフレームレートを下げる、あるいはフレームレートを上げる、といった要求を送信した場合、サーバ装置１００は段階的あるいは即座にフレームレートを下げる、あるいは下げることができる。

画面情報生成部が主体となってフレームレートを上げる、あるいは下げることによって得られる効果について説明する。
実施例１による方法では、シンクライアント端末からの操作情報の入力がない場合は、フレームレートを下げていたが、操作情報がない場合でもフレームレートを上げたいという状況に対応できない。例えば、ユーザからの入力待ち状態の画面で、アニメーションを用いたグラフィカルな画面の場合、アニメーションが滑らかに動くためにフレームレートを上げておきたい場合がある。実施例３による方法によれば、このように、操作情報の入力がない場合でも、画面情報の変化の大小から、フレームレートを上げる、あるいは下げることができる。これによって操作性や利便性の更なる向上が可能になる。

以下、図面を参照しながら実施例について説明する。なお、実施例１と同一の部分については説明を省略し、異なる部分について詳細に説明する。
図１３は図１のサーバ装置１００において、符号化処理部１３４が主体となってフレームレート変更部１３５を制御する場合の、サーバ装置１００の各処理部の関連を示す図である。各処理部を接続する矢印は処理の流れを示している。

操作情報処理部１３２とアプリケーション部１３３と画面情報生成部１３３の処理は、実施例１で説明した処理と同様であるため、説明を省略する。フレームレート変更部１３５が周期的処理は、実施例１で説明した処理と同様であるため、説明を省略する。フレームレート変更部１３５が操作情報処理部１３２から操作情報を受信したときの処理は、実施例１で説明した処理と同様であるため、説明を省略する。

次に、符号化処理部１３４がフレームレート変更部１３５にフレームレートの変更を要求する処理を説明する。符号化処理部１３４はフレームレートを上げる、あるいは下げる判断を行い、フレームレートを上げる、あるいは下げる要求をフレームレート変更部１３５に送信する。

符号化処理部１３４がフレームレートを上げる、あるいは下げる判断としては次のような手法がある。符号化処理部１３４は今回画面情報生成部１３３から取得した画面情報と前回画面情報生成部１３３から取得した画面情報とを比較し、画面情報に変化が小さい場合は、フレームレートを下げる要求を送信する。
逆に、画面情報生成部１３３は画面情報生成部１３３から取得した画面情報と画面情報生成部１３３から取得した画面情報とを比較し、画面情報に変化が大きい場合は、フレームレートを下げる要求を送信する。

また、別の手法として、例えば、符号化処理部１３４がＭＰＥＧ２方式の符号化方式である場合、符号化処理の過程で現在のフレームと前後のフレームとの間の動き補償の残差を離散コサイン変換してＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を算出する。算出したＤＣＴ係数の残差が小さい場合、画面情報の変化が小さいとみなして、フレームレートを下げる要求を送信し、逆に残差が大きい場合、画面情報の変化が大きいとみなして、フレームレートを上げる要求を送信する。符号化の過程でＤＣＴ係数の残差を算出する符号化形式であれば、ＭＰＥＧ２方式でなくてもよい。また残差を算出する過程で、ＤＣＴによらない計算方法を用いても良い。

また、さらに別の手法として、例えば、符号化処理部１３４がＭＰＥＧ２方式の符号化方式である場合、画面内のイントラマクロブロック数が画面内の総イントラマクロブロックにしめる割合、すなわちイントラ率が低い場合、画面情報の変化が小さいとみなして、フレームレートを下げる要求を送信し、イントラ率が高い場合、画面情報の変化が大きいとみなして、フレームレートを上げる要求を送信する。符号化の過程でマクロブロックをイントラ、非イントラとして区別して符号化する符号化形式であれば、ＭＰＥＧ２方式でなくてもよい。

フレームレート変更部１３５が符号化処理部１３４からフレームレートを上げる要求を受信したときの処理は、実施例２のフレームレート変更部１３５が符号化処理部１３４からフレームレートを上げる要求を受信したときの処理における、アプリケーション部１３１を符号化処理部１３４に置き換えた場合と同様であるため、説明を省略する。
本実施例によれば、符号化処理部１３４がフレームレートを下げる、あるいはフレームレートを上げる、といった要求を送信した場合、サーバ装置１００は段階的あるいは即座にフレームレートを下げる、あるいは下げることができる。

符号化処理部が主体となってフレームレートを上げる、あるいは下げることによって得られる効果について説明する。
実施例４による方法では実施例３の効果と同様に、操作情報の入力がない場合でもＤＣＴ係数の残差およびイントラ率から画面変化の大小を判別し、フレームレートを上げる、あるいは下げることができる。これによって操作性や利便性の更なる向上が可能になる。

図１７はシステム構成の一例を示す図である。出力装置３２００ａ、３２００ｂ、・・・、３２００ｎはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）３００３に接続され、ルータ３００２を介して広域ネットワーク３００１に接続される。また、サーバ３３００ａ、サーバ３３００ｂ、・・・サーバ３３００ｎは広域ネットワーク３００１に接続される。外部機器３４００ａ、３４００ｂ、・・・、３４００ｎはそれぞれ出力装置３２００ａ、３２００ｂ、・・・、３２００ｎに接続され、外部機器３４０１ａ、３４０１ｂ、・・・、３４０１ｎはＬＡＮ３００３に直接接続される。なお、以下の説明において、個々にサーバまたは出力装置または外部機器を特定する必要がない場合は、出力装置３２００ａ、３２００ｂ、・・・、３２００ｎを出力装置３２００で代表する。同様に、サーバ３３００ａ、３３００ｂ、・・・、３３００ｎをサーバ３３００で、外部機器３４００ａ、３４００ｂ、・・・、３４００ｎおよび３４０１ａ、３４０１ｂ、・・・、３４０１ｎを外部機器３４００で代表する。ここで、出力装置３２００、サーバ３３００、外部機器３４００の台数に制限はなく、１台でも複数台でもよい。また、外部機器３４００は１つの出力装置３２００に複数接続されていても構わない。

出力装置３２００は、モニタやテレビジョンなどの映像及び音声を出力する装置である。出力装置３２００はサーバ３３００から送信される出力情報を受信して出力し、外部機器３４００からの入力をサーバ３３００に送信する。

サーバ３３００は、出力装置３２００が出力する映像及び音声を作成し、出力情報として広域ネットワーク３００１を介して送信する。またサーバ３３００は、出力装置３２００から送信された外部機器３４００からの入力情報を受信し、受信した入力情報を処理する。サーバ３３００は処理の結果として作成した映像及び音声を出力情報として出力装置３２００に送信し、出力装置３２００は受信した出力情報を映像及び音声として出力する。

外部機器３４００は、キーボード、マウス、タッチパネル、近距離通信装置(Ｆｅｌｉｃａ（登録商標）等)、赤外線受信装置、などの入力・出力・入出力装置である。なお、広域ネットワーク３００１には、他のルータを介してＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）３００４やネットワークプリンタ３００５など、他の機器が接続されており、ルータ３００２にも出力装置３２００や外部機器３４００以外のほかの機器が接続されていてもよい。

本システムは、シンクライアントシステムを用いて構築することが可能である。シンクライアントシステムとは、クライアントサーバ型の情報システムにおいて、ユーザが使用するクライアント端末に最低限の機能しか持たせず、サーバ側でアプリケーションソフトやファイルなどの資源を管理するシステムのことである。シンクライアントシステムにおいて、サーバは映像や音声の出力情報を生成し、生成した出力情報をネットワーク経由でクライアント端末に送信する。クライアント端末は、ＪＰＥＧなどの静止画の連続と音声情報、もしくはＭＰＥＧなどの動画形式でサーバから送信された出力情報を映像出力部および音声出力部に出力する。また、クライアント端末は、クライアント端末に接続された例えば、タッチパネル、キーボード、マウス、カメラ、近距離無線通信手段、赤外線受光部、などの外部機器から取得した入力情報をネットワーク経由でサーバに送信する仕組みを持つ。

入力情報を受信したサーバはその入力情報に基づいてアプリケーションの実行などの操作を行い、その結果を映像や音声などの出力情報として作成し、出力情報をクライアント端末に送信する。クライアント端末はサーバから受信した出力情報を出力する。以上のようにシステムを構成することで、受信した出力情報を出力し、受け付けた入力をサーバへ送信するという、最低限の機能しか持たないクライアント端末を、あたかも複数のアプリケーションやファイルを記憶し、該アプリケーションやファイルを用いた複雑な操作をクライアント端末単体で行えるかのようにして使用することができる。また、これによって、端末コストの減縮や端末の集中管理、端末の記憶部にデータを保存させないことによるセキュリティの向上などを図ることができる。

さらに、本システムはシンクライアントシステムの一種であるビデオシンクライアント（ＶＴＣ：Ｖｉｄｅｏ Ｔｈｉｎ Ｃｌｉｅｎｔ）システムを用いて構築することも可能である。ＶＴＣシステムとは、クライアント端末としてコンピュータではなく、テレビジョン装置を用いてシンクライアントシステムを実現させる方法のことである。

ＶＴＣを用いた場合も上記のシンクライアントシステムと同様の動作を行う。ただし、サーバが作成する映像や音声などの出力情報をＭＰＥＧなどの動画形式にエンコーダが変換して、テレビジョン装置に送信する。テレビジョン装置は、ネットワーク接続部から取得した動画形式にエンコードされた出力情報を、テレビジョン装置のデコーダでデコードし、映像出力部および音声出力部から出力情報を出力する。テレビジョン装置はシンクライアントシステムで説明したように、外部機器からの入力情報を受け付けてサーバに送信する。サーバは受信した入力情報に基づいてアプリケーションなどの操作を行い、その結果を映像や音声などの出力情報として作成する。サーバは生成した出力情報をテレビジョン装置に送信し、テレビジョン装置は受信した出力情報を出力する。

以上の構成を有するテレビジョン装置と、ＶＴＣシステムと、を用いることで、パーソナルコンピュータと比較すると処理能力が劣るテレビジョン受信機を、あたかも複数のアプリケーションやファイルを記憶し、該アプリケーションやファイルを用いた複雑な操作をクライアント端末単体で行えるかのようにして使用することができる。また、これによって端末コストの減縮や端末の集中管理、端末の記憶部にデータを保存させないことによるセキュリティの向上などを図ることができる。なお、ＶＴＣシステムではクライアント端末をテレビジョン装置として説明したが、サーバから送信される出力情報をデコード可能なデコーダを備えていれば、テレビジョン装置でなくともよい。

以下では、ＶＴＣシステムを用いて、サーバ３３００が送信した動画形式で出力した出力情報を、テレビジョン装置である出力装置３２００が受信して再生する例を説明する。

図１８は出力装置３２００の構成の一例を示す図である。
出力装置３２００は、放送信号入力端子３２０１、チューナ３２０２、復調部３２０３、デスクランブラ３２０４、暗号化／復号処理部３２０５、ストリーム処理部３２０６、映像デコーダ３２０７、音声デコーダ３２０８、時計部３２０９、映像処理部３２１０、音声処理部３２１１、映像出力部３２１２、音声出力部３２１３、映像音声入出力端子３２１４、ネットワーク接続部３２１５、ネットワーク接続端子３２１６、外部機器制御部３２１７、制御部３２１８、記録部３２１９、メモリ３２２０、カメラ制御部３２２１、タッチパネル３２２２、カメラ３２２３から構成される。ただし、本実施例を実現することができれば、出力装置３２００は図１８に含まれる全ての構成を有する必要は無く、また、図１８に含まれない他の構成が含まれることを除外するものでもない。

放送信号入力端子３２０１は、アンテナ、ケーブル等が受信した放送信号データの入力を受け付ける。放送信号入力端子３２０１が受け付ける放送信号は、地上波デジタル信号、地上波アナログ信号やＢＳ、ＣＳなどのデジタルまたはアナログ放送信号である。放送信号入力端子３２０１がデジタル信号の入力を受け付ける場合、チューナ３２０２は、放送信号入力端子３２０１が受け付けた放送信号データから特定のチャンネルを抽出する。復調部３２０３は、チューナ３２０２が抽出したチャンネルからテレビ番組用の符号化された映像音声データおよび各種データが多重化されたストリームを復調する。

デスクランブラ３２０４は、サービス事業者との契約者のみに視聴させる場合やデジタル放送を視聴する場合など、復調部３２０３が生成したストリームにスクランブルがかかっている場合に、図示しない、サービス事業者から発行された情報、またはＢ−ＣＡＳカード（登録商標）から取得した情報および放送波に多重されている鍵情報を使うなどして、スクランブルを解除する。

スクランブルを解除されたストリームを記録部３２１９などに記憶させる場合について説明する。ストリームのコピー制限情報が世代コピー可の制限をもつ場合、デスクランブラ３２０４から送信されたストリームをストリーム処理部３２０６はストリームを暗号化／復号処理部３２０５に送信する。暗号化／復号処理部３２０５は、受信したストリームを暗号化し、暗号化したストリームを記録部３２１９に記憶させる。暗号化の際の鍵は、例えば、出力装置３２００の持つ固有情報、記録部３２１９の持つ固有情報、そのほか乱数などから生成される。記録部３２１９に記憶されるストリームは、制御部３２１８によってストリームリストとして管理される。

放送信号入力端子３２０１およびネットワーク接続端子３２１６から入力されたストリームを視聴する場合、ストリームはストリーム処理部３２０６に入力される。また、記憶部３２１９から再生されるストリームは、暗号化／復号処理部３２０５によって復号された後にストリーム処理部３２０６に入力される。

放送信号入力端子３２０１およびネットワーク接続端子３２１５から受信したストリーム、記録部３２１９で記憶したストリームがＭＰＥＧ２のトランスポートストリーム（ＴＳ：Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）である場合は、映像データと音声データを同期して出力できるように、出力装置３２００が参照する時刻基準情報値であるプログラムクロックリファレンス（ＰＣＲ）がストリームに多重されている。ストリーム処理部３２０６は、入力されるトランスポートストリームからＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）／ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）を取得し、パケット識別子（ＰＩＤ）を判別する。ストリーム処理部３２０６は、判別したＰＩＤを持つＴＳパケットに多重分離（Ｄｅｍｕｌｔｉｐｌｅｘ）する。ストリーム処理部３２０６は、圧縮符号化映像データと、圧縮符号化音声データと、ＰＣＲと、をＰＩＤに応じてそれぞれ映像デコーダ３２０７、音声デコーダ３２０８、時計部３２０９に出力する。

圧縮符号化映像データは、映像デコーダ３２０７で伸張が施された後、映像処理部３２１０にて付属情報が重畳されて映像信号とされ、映像出力部３２１２によって出力される。ここで、映像処理部３２１０は、映像信号に文字情報などを重畳することができる。また、圧縮符号化音声データは音声デコーダ３２０８で慎重が施された後、音声処理部３２１１にて左右の音声のバランス調整などの処理を施されて音声信号とされ、音声出力部３２１３によって出力される。さらに、映像信号および音声信号は映像音声入出力端子３２１４からそれぞれ外部の機器に出力することができ、必要であれば映像処理部３２１０および音声処理部３２１１はそれぞれ映像信号および音声信号をデジタル形式からアナログ形式へ変換して映像音声入出力端子３２１４に出力する。なお、映像音声入出力端子３２１４は、ＨＤＭＩ（登録商標）などの端子のように、映像および音声を同時に出力することができる端子として１つにまとめることもできる。さらに、映像音声入出力端子３２１４は、外部の機器から映像信号および音声信号の入力を受け付けることができ、映像音声入出力端子３２１４から入力された映像信号および音声信号は、それぞれ映像出力部３２１２および音声出力部３２１３から出力される。なお、映像音声入出力端子３２１４は、映像入出力端子と音声入出力端子とに分かれていてもよい。

時計部２０９は、ストリーム処理部２０６から出力されたＰＣＲをシステムタイムクロック（ＳＴＣ）カウンタの計数値の初期値として設定する。時計部３２０９はカウンタの計数値を増加させ、各映像データに付随している復号時刻情報（ＤＴＳ）がこの計数値に一致した時刻にデコード（復号）を行うように映像デコーダ３２０７および音声デコーダ３２０８に指示を行う。出力装置３２００は映像または音声データに付随する再生出力時刻情報（ＰＴＳ）が一致した時刻に映像または音声データの出力を行う。

受信したストリームがＭＰＥＧ２のＰＥＳパケットの場合には、ＰＥＳに含まれるＰＴＳ、ＤＴＳの値と時計部３２０９のカウンタ値とに基づき、デコード開始及び出力開始タイミングが制御される。

ネットワーク接続端子３２１６は、図１７の広域ネットワーク３００１に接続される。ネットワーク接続部３２１５は、ネットワーク接続端子３２１６を介してサーバ３３００と他の出力装置との各種情報の送受信を行う。また、ネットワーク接続部３２１５は、例えば、データの到達が保証されず信頼性はないがリアルタイム性のある伝送モード（以降、リアルタイム伝送モードと呼ぶこともある）と、データの到達が保証され信頼性はあるがリアルタイム性のない伝送モード（以降、信頼性のある伝送モードと呼ぶこともある）に動作を切り換え可能である。

ここで、リアルタイム伝送モードには、例えば、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）、およびＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）が用いられる。この方式では、送信したデータが相手に届いたかどうかを確認しないので、伝送パケットが失われて相手に届かない場合があり、映像や音声が途切れることがあるが、反面、データの送信は継続するので遅延が少なく、リアルタイム性が維持できる。

例えば、ＲＴＰでは、ネットワークを経由して転送されると、パケットの喪失や、配送の遅れが起こる。しかし、映像や音声のデータは、データの一部が欠けていても再生が可能である。データの受信側では、喪失や、配送の遅れたパケットは無視し、受信側が期待する時間に到着したパケットだけを利用してデータの再生を行う。受信側は、受信したパケットについて、受信確認応答（ＡＣＫｎｏｗｌｅｄｇｅｍｅｎｔ）を逐一送ることはしない。

また、信頼性のある伝送モードには、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）、およびＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）またはＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）が用いられる。この方式では、送信したデータが相手に届いたかどうかを確認し、伝送パケットが失われて相手に届かなかった場合は、再度送信処理を行うので、その間、映像や音声が停止してしまうことあるが、データの信頼性は確保される。

ネットワーク接続部３２１５は、ＬＡＮ３００３に接続されたネットワーク接続端子３２１６を介して、サーバ装置３３００からストリームを受信する。外部機器制御部３２１７は、外部機器接続端子２１８を介して図１の外部機器３４００、例えばタッチパネル３２２２と接続されており、外部機器からの入力情報を受信し、外部機器を制御するための制御情報を外部機器３４００に送信する。

カメラ制御部３２２１は、出力装置３２００の正面を撮影するカメラ３２２３の動作を制御する。カメラ制御部３２２１は、カメラ３２２３が撮影した映像を監視し、出力装置３２００の正面に視聴者が存在すると、ネットワーク接続部３２１５を介してサーバ３３００へ撮影データを送信する。視聴者の有無の判断は、公知の技術を用いればよく、また、例えば所定時間前に撮影された映像と現在撮影された映像との差分が一定以上の領域を占めた場合に視聴者がいる、と判断するなど、人間の存在を感知するものでなくともよい。なお、カメラ制御部３２２１が人物の有無を判断せずに、撮影された映像データを断続的にサーバ３２００に送信し、サーバ３２００で人物の有無を判断することも可能であり、出力装置３２００の構成を簡易化することも可能であるが、ネットワークの負荷が高くなる。

上記の各処理部、制御部は、ハードウェアとして出力装置３２００に実装されることを想定しているが、その一部はソフトウェアとして実装することも可能である。この場合は各処理部、制御部の機能を実現するためのプログラムを予め記憶部３２１９に記憶させ、制御部３２１８が、記憶部３２１９に記憶されたプログラムをメモリ３２２０に展開して実行することで各種プログラムに応じた機能を実現することができる。

図１９は、本実施例におけるサーバ３３００の構成及び及びサーバと出力装置との接続の図一例を示す図である。
サーバ３３００は、プロセッサ３３０１、メモリ３３０２、記憶部３３０３、ネットワーク接続部３３０４、ネットワーク接続端子３３０５、外部機器制御部３３０６、外部機器接続端子３３０７、画像抽出部３３０８、送信映像選択部３３０９、操作情報処理部１３２、画面情報生成部１３３、フレームレート変更部１３５、符号化処理部１３４から構成される。各処理部を接続する矢印は、後述する処理の流れを示している。

プロセッサ３３０１は、記憶部３３０３に記憶されたプログラムをメモリ３３０２に展開し、展開したプログラムを実行することで、サーバ３３００の起動、情報処理、情報の送受信など、サーバとしての機能を実現する。記憶部３３０３は、ＨＤＤやＳＳＤ、ＤＶＤ、ＢＤ、ＩＣカードなどの記憶装置であり、識別情報毎の操作手順情報３６００、出力装置３２００に出力するコンテンツ、プロセッサ３３０１がメモリ３３０２に展開するプログラム、テーブルなどを記憶することができる。

ネットワーク接続端子３３０５は、図１７の広域ネットワーク３００１に接続される。ネットワーク接続部３３０４は、ネットワーク接続端子３３０５を介して他のサーバや出力装置３２００と各種情報の送受信を行う。外部機器制御部３３０６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）デバイスなどの外部機器を接続するための外部機器接続端子３３０７に接続された外部機器からの入力を受付け、外部機器の動作を制御する。

画像抽出部３３０８は、出力装置３２００から送信された映像データから、映像データに映った人物の映像を抽出する。また、画像抽出部３３０８は、画像処理を用いて抽出した人物の識別情報を作成する。送信映像選択部３３０９は、出力装置３２００に表示させるコンテンツを選択する。また、送信映像選択部３３０９は、フレームレート変更部１３５にフレームレートの変更を通知する。画面情報生成部１３３は送信映像選択部３３０９が選択したコンテンツを作成する。符号化処理部１３４は、画面情報生成部が生成した画面情報を符号化する。

次に本実施例の詳細な説明をする。本実施例では、出力装置３２００は例えばタッチパネルの正面をカメラで撮影し、撮影した映像をサーバ３３００へ送信する。サーバ３３００は受信した映像から、人物を抽出し、性別、年代、時間などの識別情報を取得し、該識別情報毎に蓄積した操作手順情報３６００より、視聴者が次にどの操作を行なうかを推定し、推定した操作に該当する映像を所定のフレームレートで符号化する。

この間に、視聴者がタッチパネルの操作を行ない、タッチパネルの操作情報を受信したサーバ３３００は、推定した操作情報と視聴者が実際にタッチパネルを操作した操作情報を比較する。操作情報が一致するときはそのままフレームレートを上げた映像の送信を継続し、一致しないときは、上記映像の送信を中止し、視聴者がタッチパネルを操作した操作情報に該当する映像を選択してフレームレートを下げて出力装置３２００へ向けて送信することで、視聴者がタッチパネルを操作して映像が表示されるまでの遅延時間を短縮するものである。なお、フレームレートを変更する方式は前述しているため説明を省略する。

例えば、図１８に示す出力装置３２００の前に視聴者が存在する時、出力装置３２００のカメラ制御部３２２１はサーバ３３００へ出力装置３２００の正面の撮影データを送信する。サーバ３３００は広域ネットワーク３００１を介して出力装置３２００から映像データをネットワーク接続端子３３０５で受信する。ネットワーク接続端子３３０５から映像データを取得したネットワーク接続部３３０４は取得したデータに付加されているＩＰヘッダを取り除いて画像抽出部３３０８に転送する。画像抽出部３３０８は、受信したデータより撮影された視聴者を抽出し、識別情報を作成する。ここで、識別情報とは上記したように性別や年代、視聴した時間などを示す。画像抽出部３３０８は上記取得した識別情報を送信映像選択部３３０９へ転送する。送信映像選択部３３０９は上記画像抽出部３３０８から受信した識別情報と、記憶部３３０３に蓄積している識別情報毎の操作手順情報３６００を取得して、識別情報と操作手順情報３６００を照合することにより視聴者が次にタッチパネルで何を操作するのかを推定し、本推定結果より出力装置３２００へ送信する映像を決定する。送信映像選択部３３０９は上記決定を画面情報生成部１３３へ転送する。画面情報生成部１３３は、上記決定に該当する映像を、記憶部３３０３に記憶されているコンテンツやネットワーク接続端子３３０５から取得した他のサーバ３３００ｂ等から取得した情報を基に生成し、符号化処理部１３４へ転送する。符号化処理部１３４は、フレームレート変更部１３５が設定したフレームレートで上記映像を符号化する。

上記、処理の過程において、視聴者がタッチパネルを操作した場合、出力装置３２００はサーバ３３００へ向けて操作データを送信する。サーバ３３００は上記操作データをネットワーク接続端子３３０５で受信する。ネットワーク接続端子３３０５はＩＰヘッダを取り除く処理を行ない、操作データを画像抽出部３３０８へ転送する。操作情報処理部１３２は、受信したデータの解析を行なう。

今回の受信データは、視聴者がタッチパネルを操作した操作データであるので、操作情報処理部１３２はタッチパネルの操作内容を送信映像選択部３３０９へ転送する。送信映像選択部３３０９は、先に推定したタッチパネル操作と、操作情報処理部１３２から受信した視聴者が操作したタッチパネル操作データとを比較し、比較結果をフレームレート変更部１３５に通知する。比較結果が一致している場合、フレームレート変更部１３５は、先に符号化処理部１３４が符号化した映像をネットワーク接続端子３３０５へ転送するように符号化処理部１３４に命令し、一致していない場合は、符号化処理部１３４に前記設定したフレームレートよりも低いフレームレートで画面情報を符号化するように符号化処理部１３４に通知する。また、比較結果が一致していない場合は、通信映像選択部３３０９は、記憶部３３０３に蓄積している識別情報毎の操作手順情報３６００と識別情報を照合して、出力装置３２００へ送信する映像を決定する。送信映像選択部３３０９は上記決定を画面情報生成部１３３へ転送する。画面情報生成部１３３は、上記決定に該当する映像を、記憶部３３０３に記憶されているコンテンツやネットワーク接続端子３３０５を介して他のサーバ３３００ｂ等から取得した情報を基に生成し、符号化処理部１３４へ転送する。符号化処理部１３４は、フレームレート変更部１３５が前記設定したフレームレートよりも低いフレームレートで上記映像を符号化する。

ネットワーク接続端子３３０５は、符号化処理部１３４から受信した映像を出力装置３２００へ向けて送信する。

次に、記憶部３３０３が蓄積している操作手順情報３６００について詳しく説明する。

図２０は、記憶部３３０３が蓄積している操作手順情報３６００の一例を示す。本タッチパネル操作手順情報３６００は、性別あるいは年代別、図示していないが視聴した時間別に操作手順と視聴人数が登録されている。例えば、操作手順のＡ→Ａ１→Ａ１２は、タッチパネルの初期画面で「Ａ」を選択して出力された「Ａ」の映像の中から「Ａ１」を選択して「Ａ１」の映像を出力し、更に「Ａ１」の映像の中から「Ａ１２」を選択して「Ａ１２」を出力したものである。

例えば、出力装置３２００のタッチパネルの前に立った人物を撮影し、これを受信したサーバ３３００の画像抽出部３３０８が映像の解析を行ない、性別が男、年代が２０才代と判断した場合、送信映像選択部３３０９は記憶部３３０３から同図に示すタッチパネル操作手順情報３６００を取得する。送信映像選択部３３０９は、取得した操作手順情報３６００より、視聴者がタッチパネルで操作する内容を予測する。

同図の場合は、「Ａ」を選択する確率が高いので送信映像選択部３３０９は「Ａ」の映像を選択する。視聴者がタッチパネルで「Ａ」を選択した場合、送信映像選択部３３０９は、視聴者が次にタッチパネルで操作を行なう確率が高い「Ａ１」の映像を選択する。ここで、視聴者がタッチパネルで「Ｂ」を選択した場合、符号化処理部１３４は符号化している「Ａ」の映像の符号化処理を中止し、送信映像選択部３３０９で「Ｂ」の映像を選択した後に、フレームレートを下げて出力装置３２００へ向けて映像を送信する。

視聴者がＡ→Ａ１を選択した場合、送信映像選択部３３０９は、視聴者が次にタッチパネルで操作を行なう確率が高い「Ａ１２」の映像を選択する。ここで視聴者が「Ａ１３」を選択した場合は、符号化処理部１３４は、上記したように「Ａ１２」の映像の符号化処理を中止し、「Ａ１３」の映像を低いフレームレートで符号化する。以上のように視聴者の操作が終了した時点で、送信映像選択部３３０９は記憶部３３０３に蓄積された操作手順情報３６００に合致した視聴人数をカウントし、常に操作手順情報３６００を更新する。

以上、説明したように本実施例では、視聴者がタッチパネルを操作してから画面に表示されるまでの遅延時間を短縮することができる。

なお、本実施例ではカメラで視聴者を撮影して識別情報を取得したが、例えば出力装置３２００の映像出力部３２１２に複数のコンテンツを分割表示している場合などに、画像抽出部３３０８が映像データから視聴者の視線を解析して、ある一定時間以上視線が静止しているコンテンツについて、本実施例のように符号化処理部１３４が高いフレームレートで符号化を開始する処理を実行することで、視聴者がタッチパネルで操作してから映像が表示されるまでの遅延時間を短縮しても良い。また、視聴者の識別にカメラを用いて説明を行なったが、カメラに限定するものではなく、センサーや視聴者がタッチパネルに触れたタイミングで、本実施例を実行しても構わない。

図２１は、本実施例におけるサーバ３３００の構成及びサーバ３３００と出力装置３２００との接続の一例を示す図である。本実施例におけるサーバ３３００の構成は実施例５におけるサーバ３３００の構成と同様であるため、説明を省略する。また、本実施例におけるシステム全体の構成は図１７と同様であり、本実施例における出力装置３２００の構成も図１８と同様である。

本実施例では、サーバ３３００がネットワーク接続端子３３０５を介して、複数の出力装置３２００と接続され、それぞれの出力装置にコンテンツを送信する際、プロセッサ３３０１にかかる負荷を、送信するコンテンツのフレームレートを下げることによって、低減することができる。なお、送信するコンテンツのフレームレートを下げる方式については、前述しているため説明を省略する。図２１の例では、サーバ３３００には４台の出力装置３２００ａ、３２００ｂ、３２００ｃ、３２００ｄがＩＰネットワークを介して接続されている。

例えばサーバ３３００が４台の出力装置３２００ａ〜３２００ｄに向けてコンテンツを送信しているときのプロセッサ３３０１の負荷を１００％とする。出力装置３２００ａ〜３２００ｄには、それぞれ２５％のプロセッサ３３０１の負荷がかかるようになる。そこで各出力装置３２００ａ〜３２００ｄに送信するコンテンツのフレームレートを下げることで、各出力装置３２００ａ〜３２００ｄにコンテンツを送信する処理にかかるプロセッサ３３０１の負荷を５％ずつ下げて２０％にすると、サーバ３３００が出力装置３２００ａ〜３２００ｄに向けてコンテンツを送信する時のプロセッサ３３０１の負荷は８０％に低減することができる。

また、ここで上記低減したプロセッサ３３０１の負荷２０％を利用して、図２１の破線で示すように出力装置３２００ｅを新たにサーバ３３００へ接続することが可能である。

図２２は、サーバと出力装置との接続の一例を示す図である。サーバ３３００ａには、出力装置３２００ｆ、３２００ｇ、３２００ｈ、３２００ｉが接続されている。サーバ３３００ｂには、出力装置３２００ｊ、３２００ｋ、３２００ｌ、３２００ｍが接続されている。サーバ３３００ｃには、出力装置３２００ｎ、３２００ｏが接続されている。例えばサーバ３３００ａが、出力装置３２００ｆに対してコンテンツを送信する際、プロセッサ３３０１の負荷が２５％かかっていると仮定する。すなわちサーバ３３００ａは、出力装置３２００ｆ〜３２００ｉにコンテンツを送信する際、１００％のプロセッサ３３０１の負荷がかかっていることになる。

サーバ３３００ｂも上記同様に出力装置３２００ｊ〜３２００ｍにコンテンツを送信する際、１００％のプロセッサ３３０１の負荷がかかっている。サーバ３３００ｃは出力装置３２００ｎ、３２００ｏの２台が接続されているので、プロセッサ３３０１の負荷は５０％である。ここでサーバ３３００は上記したようにフレームレートを下げてコンテンツを送信することでプロセッサ３３０１の負荷を低減することができる。例えばサーバ３３００ａがフレームレートを下げてコンテンツを送信する際、１台の出力装置３２００ｆに対してプロセッサ３３０１の負荷を２５％から２０％に低減した時、サーバ３３００ａのコンテンツ送信時のプロセッサの負荷は８０％となる。サーバ３３００ｂも同様にプロセッサの負荷が８０％となる。

図２３は、フレームレートを下げてコンテンツを送信したときのサーバ３３００と出力装置３２００の接続の一例を示す図である。上記したようにサーバ３３００ａ、３３００ｂのプロセッサ３３０１の負荷は８０％であるので、サーバ３３００ｃに接続されていた出力装置３２００ｎ、３２００ｏをサーバ３３００ａ、３３００ｂに接続することが可能になる。これによりサーバ３３００ｃは停止することができ、省エネルギーを実現することができる。

以上、説明したようにサーバに接続している複数の出力装置に対して、フレームレートを下げたコンテンツを送信することでプロセッサの負荷を低減することができる。また、上記低減したプロセッサの負荷を利用して、他のサーバに接続されている出力装置を自サーバに接続することで、省エネルギーを実現することができる。

本実施例では、表示装置３２００の前方に存在する人物の数に応じて、表示装置３２００が表示する画面情報のフレームレートを変更する例を説明する。

本実施例におけるシステム全体の構成は図１７と、本実施例における出力装置３２００の構成は図１８と同様であるため、詳細な説明は省略する。ただし、出力装置３２００はタッチパネル３２２２などの外部機器を備える必要はない。

図２４は、本実施例におけるサーバ３３００の構成図である。各処理部の説明は、図１９のものと同様であるため、詳細な説明は省略する。

以後、実施例５の記載と相違する部分について説明する。
本実施例において、出力装置３２００のカメラ制御部３２２１は、カメラ３２２３が撮影した映像データをサーバ３３００に送信する。送信する映像データは、カメラ３２２３により所定時間ごとに撮影された静止画を送信しても、所定時間前に撮影された映像データと現在撮影された映像データが異なる場合に送信しても、撮影された映像データを断続的に送信してもよい。

ネットワーク接続端子３３０５で広域ネットワークを介して出力装置から映像データを受信したネットワーク接続部３３０４は、受信した映像データを画像抽出部３３０８に送信する。画像抽出部３３０８は、前述の画像処理などを用いて、受信した映像データに映る人物の数を抽出し、抽出した映像データに映る人物の人数をフレームレート変更部１３５に送信する。

図２５は、フレームレート変更部１３５が一定周期で行う処理フローを示す図の例である。フレームレート変更部１３５は基準フレームレートを現在フレームレートとして保存する（Ｓ３０１）。本実施例では基準フレームレートを３０ｆｐｓとしている。

フレームレート変更部１３５は画像抽出部３３０８から人数情報を受信した場合に（Ｓ３３０３）、フレームレート変更表６０４を基に、人数情報に該当するフレームレートを求め（Ｓ３３０４）、新フレームレートとする。フレームレート変更表６０４はフレームレート変更部１３５に内蔵されていても良いし、フラッシュロムなど別のハードウェアに格納されていても良い。フレームレート変更部１３５は求めた新フレームレートと現在フレームレートとを比較し（Ｓ３０５）、求めた新フレームレートが現在フレームレートと異なる場合、新フレームレートを新たにフレームレート変更部１３５が現在フレームレートとして保持し（Ｓ３０６）、当該フレームレートを符号化処理部１３４に通知する（Ｓ３０７）。例えば、人数情報が６人の場合、新フレームレートは７．５ｆｐｓである。その後、またＳ３３０３の処理に戻る。

符号化処理部１３４は、画面情報生成部１３３が生成した画面情報を、システムの稼動時に基準フレームレートである３０ｆｐｓで符号化し、フレームレート変更部１３５から新フレームレートが通知された場合は、通知されたフレームレートで符号化する。

また、画面情報生成部１３３は、予め設定されたスケジュールに従い、記憶部３３０３や他のサーバ等に記憶されたコンテンツ等に基づき、出力装置３２００に出力させる画面情報を生成する。設定されたスケジュールは画面情報生成部１３３に内蔵されていても良いし、フラッシュロムなど別のハードウェアに格納されていても良い。
上記以外の処理は、実施例５と同様である。

以上の構成により、本実施例では、出力装置３２００の視聴者が少ない場合は低いフレームレートで画面情報を作成することでサーバ３３００の符号化処理の軽減およびサーバ３３００の省電力を図ることができ、視聴者が多い場合は高いフレームレートで画面情報を作成することで広告効果を向上させることができる。

本実施例では、映像データに映る人物の人数の増減に応じてフレームレート変更部１３５が、フレームレート変更表を参照してフレームレートを選択し、人数が増加した場合はフレームレートを増加させたが、所定時間前に受信した映像データと受信した最新の映像データが異なる場合に、所定時間前に受信した映像データと受信した最新の映像データとの差異が映像データの１乃至複数のフレームにおいて何％あるか、を用いてフレームレートを変更することも可能である。この場合、フレームレート変更表６０４は、人数に応じたフレームレートを示すのではなく、前述の差異の割合に応じたフレームレートを示し、フレームレート変更部１３５は、この前述の割合に応じたフレームレートを示すフレームレート変更表を用いて図２５のＳ３３０４における新フレームレートを求める。

同様に、前述の差異の割合にかえて、前述の差異の一定時間内の変化量や、出力装置３２００から出力装置３２００に最も近い被写体までの距離に応じてフレームレートを変更することも可能である。この場合、前述の変化量が大きいほど、被写体までの距離が近いほどフレームレートを増加させる。

このように、画像データから人数を求め、フレームレートを求める方法だけではなく、映像データから得られるその他の情報を基に広告効果を維持しつつサーバの処理量を減少させるようにフレームレートを増減させる構成にすることによって、本発明の目的を達成することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ サーバ装置
１１０ プロセッサ
１２０ メモリ
１３０ プログラム
１３１ アプリケーション部
１３２ 操作情報処理部
１３３ 画面情報生成部
１３４ 符号化処理部
１３５ フレームレート変更部
１４０ ネットワーク接続端子
１４１ ネットワーク
１４２ シンクライアント装置
６００、６０２、６０３，６０４ フレームレート変更表
６０１ 経過時間判断表
３００１ 広域ネットワーク
３００２ ルータ
３００３ ＬＡＮ
３２０１ 放送信号入力端子
３２１４ 映像音声入出力端子
３２１６ ネットワーク接続端子
３３０５ ネットワーク接続端子
３３０７ 外部機器接続端子
３６００ 操作手順情報

Claims (9)

1. サーバ装置と、出力装置と、を有する映像出力システムであって、
   前記出力装置は、
   前記サーバ装置から受信した画面情報を表示する表示部と、
   映像を撮像する撮像部と、
   前記撮像部が撮像した映像を前記サーバ装置に送信する通信部と、を有し、
   前記サーバ装置は、
   前記出力装置に出力する画面情報を作成する画面情報作成部と、
   前記映像を受信する映像受信部と、
   前記映像受信部が受信した前記映像に映る人物の人数の増減によって変化するフレームレートで前記画面情報作成部が作成した前記画面情報を符号化する符号化処理部と、
   前記符号化処理部により符号化された前記画面情報を前記出力装置に送信する送信部と、を有する
   ことを特徴とする映像出力システム。
2. 請求項１に記載の映像出力システムであって、
   前記フレームレートは、前記映像に映る人物の人数が増加した場合は、増加することを特徴とする映像出力システム。
3. 請求項１に記載の映像出力システムであって、
   前記フレームレートは、前記映像に映る人物の人数が減少した場合は、減少することを特徴とする映像出力システム。
4. サーバ装置と、出力装置と、で映像を出力する映像出力方法であって、
   前記出力装置は、
   前記サーバ装置から受信した画面情報を表示し
   映像を撮像し、
   撮像した前記映像を前記サーバ装置に送信し、
   前記サーバ装置は、
   前記出力装置に出力する画面情報を作成し、
   前記映像を受信し、
   受信した前記映像に映る人物の人数の増減によって変化するフレームレートで、作成した前記画面情報を符号化し、
   符号化された前記画面情報を前記出力装置に送信し、
   前記出力装置は、
   前記サーバから受信した画面情報を表示する、
   ことを特徴とする映像出力方法。
5. 請求項４に記載の映像出力方法であって、
   前記フレームレートは、前記映像に映る人物の人数が増加した場合は、増加することを特徴とする映像出力方法。
6. 請求項４に記載の映像出力方法であって、
   前記フレームレートは、前記映像に映る人物の人数が減少した場合は、減少することを特徴とする映像出力方法。
7. 出力装置にネットワークを介して接続されたサーバ装置であって、
   前記出力装置に出力する画面情報を作成する画面情報作成部と、
   前記出力装置が有するカメラが撮像した映像を受信する映像受信部と、
   前記映像受信部が受信した前記映像に映っている人物の数に応じたフレームレートで、前記画面情報作成部が作成した前記画面情報を符号化する符号化処理部と、
   符号化された前記画面情報を前記出力装置に送信する送信部と、
   を有することを特徴とするサーバ装置。
8. 請求項７に記載のサーバ装置であって、
   前記フレームレートは、前記映像に映る人物の人数が増加した場合は、増加することを特徴とするサーバ装置。
9. 請求項７に記載のサーバ装置であって、
   前記フレームレートは、前記映像に映る人物の人数が減少した場合は、減少することを特徴とするサーバ装置。

Images