JP2010224178A - 映像表示装置、画面送信装置および画面転送システム - Google Patents

Abstract

【課題】複数の画面送信装置から映像表示装置へ各画面を送信するといった場合に画面送信装置からの転送量を制御する技術を提供する。
【解決手段】複数の外部の画面送信装置から転送されている画面を同時に表示する映像表示装置であって、前記各画面へのユーザの注目度に基づいて画面更新仕様として前記各画面送信装置の転送データ量の上限を決定する画面更新仕様決定部と、前記画面更新仕様決定部により決定された前記転送データ量の上限を前記各画面送信装置へ向けて通知する通信部とを備えたことを特徴とする映像表示装置。
【選択図】 図３

Description

本発明は、映像表示装置、画面送信装置および画面転送システムに関する。

コンピュータ等の画面の画像データをネットワークを介して画面表示用端末に転送する画面転送システムなるものが用いられている。例えば特許文献１にあるものの目的は、画面転送時に通信帯域に負荷をかけているアプリケーションプログラムを特定し、画面転送時のデータ量をアプリケーションプログラム単位で抑制することができるようにすることにあると記載されている。

ネットワーク上に配置されたサーバ上でアプリケーションプログラムを動作させ、画面描画転送システムを用いて、ネットワークを通じて離れた場所にある端末装置からアプリケーションプログラムを利用する、シンクライアントシステムといった用途に適用できるとある。アプリケーション毎に描画要求をキューイングし、優先度に応じて描画要求を処理することによりアプリケーション毎の描画に要する通信負荷を制御するものである。

しかしながら、複数の画面送信機器から1台に送信され表示している画面のうちどの画面への注目度が高いかによって各画面送信機器からの転送量を制御するといった技術は開示されていない。

特開２００８−２８９０３０号公報

本発明は、複数の画面送信装置から映像表示装置へ各画面を送信するといった場合に画面送信装置からの転送量を制御する技術を提供することを目的とする。

上記課題を解決するために、本発明の映像表示装置は、複数の外部の画面送信装置から転送されている画面を同時に表示する映像表示装置であって、前記各画面へのユーザの注目度に基づいて画面更新仕様として前記各画面送信装置の転送データ量の上限を決定する画面更新仕様決定部と、前記画面更新仕様決定部により決定された前記転送データ量の上限を前記各画面送信装置へ向けて通知する通信部とを備えたことを特徴とする。

本発明によれば、複数の画面送信装置から映像表示装置へ各画面を送信するといった場合に画面送信装置からの転送量を制御する技術が得られる。複数表示されている画面のうちユーザが注目している画面の転送を優先し、他の画面の転送量を抑える。これによりあまり注目していない画面の更新により、ユーザが注目している画面の更新が滞ることを回避できる。

この発明の一実施形態であるPC画面転送システム構成例を示す図。 同実施形態の映像表示装置４のハードウェア構成図。 同実施形態の映像表示装置４の概略機能ブロック図。 同実施形態の画面送信装置のハードウェア構成図。 同実施形態の画面送信装置の概略機能ブロック図。 同他の形態の表示映像６を示す図。

以下、本発明の実施形態を説明する。
（実施形態１）
本発明による実施形態１を図１乃至図５を参照して説明する。
図１は、本発明のPC画面転送システムの構成例である。画面送信装置１、画面送信装置２、画面送信装置３は映像表示装置４に対しネットワークを介して画面データを送信する画面転送装置である。映像表示装置４は画面送信装置１/２/３から受信した画面データを投影表示する。図１では、３台の画面送信装置からの画面データを同時に表示映像５として表示している様子を示している。３つの画面の表示の状態は任意に変えられるものとする。表示の状態とは例えば、部分的に重ねたり、ある画面は拡大して表示し、別の画面は縮小して表示したりなどが実施できる。画面送信装置１/２/３は、自装置で表示されている内容と同じものをキャプチャし、映像表示装置４に送信する。画面が頻繁に更新される場合には、更新に合わせて高頻度で更新画像を転送することにより、自装置での画面表示と同様の表示が映像表示装置４側で再現できることとなる。

一般に複数の画面送信装置が映像表示装置４に対し、自装置の画面更新情報を頻繁に送信した場合装置で共有しているネットワークリソース（特に無線LANなどの場合）や映像表示装置４の画面データ受信表示処理リソースで競合が発生し、映像表示装置４で表示しているいずれの画面も滑らかな画面更新がされないという問題が発生する状況がある。そこで、映像表示装置４で表示している状態に応じて各画面送信装置からの画面更新データの転送量を以下に説明する方法によって制御し、重要度の高い（ユーザが注目している可能性の高い）画面に関しては高頻度での画面更新を許容し、そうでない画面に関しては画面更新頻度を抑えるようにする。これにより、ユーザが注目している画面の画面更新が邪魔されることなくスムーズに行われる。

図２は、この発明の一実施形態のブロック構成図を示している。映像表示装置４の例としてプロジェクターのハードウェアのシステム構成図である。
映像入力部１１に入力された映像信号は、デジタルの映像信号データに変換されてシステム制御部１２に入力される。映像信号データは、調整や加工が施されて光学エンジン駆動部１３へと出力され、ランプ１５を光源として、光学エンジン駆動部１３に駆動された光学エンジン１６より映像として投射される。システム制御部１２は、電源ユニット１９とランプ駆動部１４を制御することにより光源となるランプ１５の点灯制御を行う。

ランプ１５の点灯や光学エンジン１６の駆動には多くの電力が必要で発熱量が多いためシステムの温度を規定温度以内に保つために、システム制御部１２では温度センサー１７から得られる装置の温度状況に応じてファン２１の回転数を決定し、ファン駆動部２０を制御してファン２１を回転させて装置を空冷する。

システム制御部１２では投射画面において、装置の設定状態や動作モード、警告、エラーなどを画面に表示させることにより使用者に装置の状態を示す。また、使用者が画面表示を見ながら操作部２３で入力したキーの情報を判別し、装置の設定や動作モードの切り替えを行う。

音声入力部２４に入力された音声信号は、音声処理部２５での音声処理を経た後、スピーカ２６から出力される。システム制御部１２は、設定されている出力音声ボリュームを音声処理部２５へ通知することで出力ボリュームを変える。

システム制御部１２では、電源ON/OFFの状態やランプ切れ、温度異常などのエラーが発生したときにその内容を画面に表示したり、音声処理部２５を制御して操作音やエラー音を発生させる。

ネットワークIF部２７は、IP（Internet Protocol）網などのネットワークを介してPC（パーソナルコンピュータ）とのデータの送受信を行う。受信したデータはシステム制御部１２に渡される。

システム制御部１２は、PCから受信したPC画面のデータを再構成する。PC画面のデータは通常圧縮処理が施されているため、メモリ２８等を用いて適宜デコード処理を施す。再構成したPC画面は投射すべく光学エンジン駆動部１３へ出力する。

図３は、本発明の映像表示装置４の概略機能ブロック図である。通信部３１は画面送信装置とのデータの送受信を行う部分であり、主にネットワークIF部２７が受け持っている。画面送信装置からの更新画像データを受け取ると画像情報受信部３２へ渡す。また、画面更新仕様決定部３３からの画面更新仕様情報を画面送信装置に転送する。画面情報受信部３２は通信部３１より渡された更新画面データを受け取り、表示できるフォーマットに変換する。通常更新画面データは圧縮されて送信されるため、伸張して表示画像生成部３４に渡す。圧縮方法としては、JPEGやロスレスな可逆圧縮方式、例えばLZ77などを用いる。各方法を併用してもよい。画面情報受信部３２、画面更新仕様決定部３３および表示画像生成部３４は、主にシステム制御部１２とメモリ２８とが受け持っている。

表示状態操作部３５は、画面送信装置からの各画像の表示位置や大きさ、重なり具合の設定をユーザが行えるようにする部分であり、主に操作部２３が受け持っている。例えば、映像表示装置４にマウスのようなポインティングデバイスを付けて操作できるようにしても良いし、画面送信装置などネットワークを介した他の機器から操作できるようにしても良い。表示状態操作部３５は、ユーザの操作情報を表示画像生成部３４へ渡す。表示画像生成部３４は、画面送信装置からの各画面を保持し、表示状態操作部３５からの操作情報に基づき各画面の表示を反映した最終的な表示画面を生成する。

画面更新仕様決定部３３は、表示画像生成部３４から現状の各画面の表示状態を取得し、取得した情報から各画面の更新仕様を決定する。決定した各画面の更新仕様は各画面の送信元である画面送信装置に伝えるため、通信部３１に渡す。画面更新仕様に含まれる情報としては、以下のもの等の単独あるいは組み合わせが考えられる。

（１）表示中の領域情報(場所、大きさ)
（２）最大更新頻度(フレーム/秒)
（３）最大データ量(ビット/秒)
表示中の領域情報に関しては、各画面の内最上位にあって実際に表示されている部分がどこであるかがわかる情報や、実際に表示されている領域が送信された画像データより拡大して表示しているのか、縮小して表示しているのか、あるいは拡大も縮小もしていないのかなどの情報である。最大更新頻度や最大データ量は、通知先の画面送信装置が更新画面情報を送信するときの頻度をそれぞれフレーム/秒やビット/秒の単位で制限する。最大更新頻度や最大データ量の決め方は、例えば段階的に決める方法が考えられる。最大更新頻度であれば、例えば30フレーム/秒、20フレーム/秒、10フレーム/秒と3段階設け、ユーザの注目度に応じてどの段階にするかを決める。注目度の決め方としては例えば表示画面の上下関係から判断する方法が採用できうる。例えば図１の矢印で示すような一番上にある画面が最も注目度が高く、下になるほど注目度は低いと判断する。あるいは、映像表示装置のポインタ位置にある画面が最も注目度が高いと考える方法もある。またあるいは、受信した画面を拡大して表示しているほど注目度が高く、縮小して表示しているほど注目度が低いと考える方法もある。

次に、図４および図５を参照して、本実施形態に係る情報処理装置の構成について説明する。この情報処理装置は画面送信装置であり、例えば、ノートブック型パーソナルコンピュータ１０として実現されている。

まず図４を参照して、本コンピュータ１０のシステム構成について説明する。
本コンピュータ１ ０ は、図４に示されているように、Ｃ Ｐ Ｕ １ １１ 、ノースブリッジ１１２ 、主メモリ１１ ３、グラフィクスコントローラ１ １ ４ 、サウスブリッジ１ １９ 、ＢＩＯ Ｓ− ＲＯ Ｍ１ ２０ 、ハードディスクドライブ（ＨＤ Ｄ） １２ １、光ディスクドライブ（Ｏ Ｄ Ｄ ） １２ ２、Ｔ Ｖチューナ１ ２３ 、エンベデッドコントローラ／キーボードコントローラＩＣ （ Ｅ Ｃ ／Ｋ ＢＣ ）１ ２４ 、およびネットワークコントローラ１２ ５等を備えている。

Ｃ Ｐ Ｕ１ １１ は本コンピュータ１０ の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（Ｈ ＤＤ ）１ ２１ から主メモリ１１ ３にロードされる、主オペレーティングシステム（ 主Ｏ Ｓ） ／副オペレーティングシステム（ 副Ｏ Ｓ ） 、および各種アプリケーションプログラムを実行する。

また、Ｃ Ｐ Ｕ１ １１ は、ＢＩ ＯＳ −Ｒ ＯＭ １２ ０に格納されたシステムＢ Ｉ Ｏ Ｓ （ Basic Input Output System）も実行する。システムＢＩ Ｏ Ｓ はハードウェア制御のためのプログラムである。

ノースブリッジ１ １ ２はＣ ＰＵ １１ １のローカルバスとサウスブリッジ１ １ ９との間を接続するブリッジデバイスである。ノースブリッジ１ １ ２には、主メモリ１ １ ３ をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１１ ２ は、ＡＧ Ｐ（ Accelerated Graphics Port） バスなどを介してグラフィクスコントローラ１ １ ４との通信を実行する機能も有している。

グラフィクスコントローラ１ １ ４は本コンピュータ１ ０ のディスプレイモニタとして使用されるＬ Ｃ Ｄ１ ７を制御する表示コントローラである。このグラフィクスコントローラ１ １ ４はビデオメモリ（ Ｖ Ｒ Ａ Ｍ） １１ ４Ａ を有しており、ＯＳ ／アプリケーションプログラムによってビデオメモリに書き込まれた表示データから、ＬＣＤ １７ に表示すべき表示イメージを形成する映像信号を生成する。

サウスブリッジ１ １ ９は、Ｌ ＰＣ （ Low Pin Count） バス上の各デバイス、およびＰ Ｃ Ｉ （ Peripheral Component Interconnect） バス上の各デバイスを制御する。また、サウスブリッジ１１ ９ は、ＨＤ Ｄ１ ２１ 、ＯＤ Ｄ１ ２２ を制御するためのＩＤ Ｅ（ Integrated Drive Electronics） コントローラを内蔵している。さらに、サウスブリッジ１ １ ９は、Ｔ Ｖチューナ１ ２３ を制御する機能、およびＢＩ ＯＳ −Ｒ ＯＭ １２ ０をアクセス制御するための機能も有している。

Ｈ Ｄ Ｄ１ ２１ は、各種ソフトウェア及びデータを格納する記憶装置である。このＨＤ Ｄ１ ２１ はＡＴ Ａコマンドに従って動作するように構成されており、ＡＴ Ａ −５ コマンドセットをサポートする。ＨＤ Ｄ１ ２１ は、主ＯＳ 領域１２ １Ａ と副ＯＳ 領域１２ １Ｂ とを有している。主ＯＳ 領域１２ １Ａ には、上述の主ＯＳ およびその主ＯＳ 上で動作するアプリケーションプログラム群がインストールされている。主ＯＳ領域１ ２１ Ａは、主Ｏ Ｓによって管理されている。副Ｏ Ｓ 領域１ ２ １Ｂ には、上述の副ＯＳ 、ＴＶ アプリケーションプログラム、およびビデオ再生アプリケーションプログラムがインストールされている。副ＯＳ領域１ ２１ Ｂは副Ｏ Ｓによって管理されている。副Ｏ Ｓ 領域１ ２ １Ｂ は副ＯＳ によって管理されることによって、主ＯＳ からは隠蔽されている。この隠蔽領域は、例えばＳＥＴＭ ＡＸ コマンド等を用いて作成されている。ＨＤ Ｄ１ ２１ は、外付けタイプの形態のものでも差し支えない。

光ディスクドライブ（ Ｏ ＤＤ ）１ ２３ は、ビデオコンテンツが格納されたＤＶ Ｄ、Ｃ Ｄなどの記憶メディアを駆動するためのドライブユニットである。ＴＶ チューナ１２ ３は、Ｔ Ｖ放送番組のような放送番組データを外部から受信するための受信装置である。

エンベデッドコントローラ／ キーボードコントローラＩＣ （Ｅ Ｃ／ ＫＢ Ｃ） １２ ４は、電力管理のためのエンベデッドコントローラと、キーボード（ Ｋ Ｂ） １３ およびタッチパッド１６ を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ （Ｅ Ｃ／Ｋ ＢＣ ）１ ２４ は、ユーザによるパワーボタン１４ の操作に応じて本コンピュータ１０をパワーオン／ パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ （Ｅ Ｃ／ ＫＢ Ｃ） １２ ４は、ユーザによるＴ Ｖ 起動ボタン１ ５Ａ 、ＤＶ Ｄ／ ＣＤ 起動ボタン１５ Ｂの操作に応じて、本コンピュータ１０ をパワーオンすることもできる。

ネットワークコントローラ１ ２ ５は、例えばインターネットなどの外部ネットワークとの通信を実行する通信装置である。
図５は、本実施形態の画面送信装置の概略機能ブロック図である。画面データ生成部５１は、いわゆるコンピュータ画面を生成する部分であり、主にＣＰＵ１１１とノースブリッジ１１２とが受け持っている。通常は、表示する最新の画面を蓄えておくために画面の解像度に応じたサイズのフレームバッファを用意する。送信画面データ取得部５２は、画面において更新される位置や描画データを取得する部分であり、主にＣＰＵ１１１とノースブリッジ１１２とが受け持っている。送信画面データ取得部５２は、更新のあった画面データは更新画面データとして通信部５３に渡す。通信部５３は映像表示装置４とのデータの送受信を行う部分であり、主にＣＰＵ１１１とネットワークコントローラ１２５が受け持っている。通信部５３は映像表示装置４に更新画像データを送信する。また、通信部５３は映像表示装置４から受信した画面更新仕様データを送信画面データ取得部５２に渡す。送信画面データ取得部５２は、受信した画面更新仕様に応じて送信する更新画面データを制御する。

（実施形態２）
本発明による実施形態２を図２乃至図６を参照して説明する。実施形態１と共通する部分は説明を省略する。
ユーザの注目度が高いと映像表示装置４で認識している画面がどれであるかを、例えば枠などを画面に重畳して表示することにより、ユーザへのフィードバックを可能にする。図６では、表示映像６は図１の表示映像５と同等であるが、表示映像５と比べて枠７を手前の画面に関して表示している。システムが認識しているユーザ注目度を画面上に表示する一例である。

また、ユーザがどの画面の優先度を高くするかを設定できるようにするのも好適である。
上記の実施形態のように、複数の装置からの画面を同時にネットワークを介して受信し表示している場合に、あまり注目していない装置の画面更新情報が次々に送られてくることが原因で、注目している画面送信装置からの画面更新が滞るといった状況を回避することができる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

１１…映像入力部、１２…システム制御部、１３…光学エンジン駆動部、１４…ランプ駆動部、１５…ランプ、１６…光学エンジン、１７…温度センサー、１９…電源ユニット、２０…ファン駆動部、２１…ファン、２３…操作部、２４…音声入力部、２５…音声処理部、２６…スピーカ、２７…ネットワークIF部、２８…メモリ、１ １ １… ＣＰ Ｕ、１ ２１ …Ｈ ＤＤ 、１２ １Ａ …主Ｏ Ｓ領域、１ ２１ Ｂ… 副ＯＳ 領域、１２ ３… ＴＶ チューナ。

Claims (6)

1. 複数の外部の画面送信装置から転送されている画面を同時に表示する映像表示装置であって、
   前記各画面へのユーザの注目度に基づいて画面更新仕様として前記各画面送信装置の転送データ量の上限を決定する画面更新仕様決定部と、
   前記画面更新仕様決定部により決定された前記転送データ量の上限を前記各画面送信装置へ向けて通知する通信部とを
   備えたことを特徴とする映像表示装置。
2. 前記注目度を画面の表示位置、順序、大きさの１つ、あるいは組合せに基づいて前記画面更新仕様決定部は判定することを特徴とする請求項１に記載の映像表示装置。
3. 前記転送データ量の上限を、前記注目度に加え、前記各画面送信装置の接続台数と画面圧縮方法とネットワークリソースの状況とのいずれかを参照して前記画面更新仕様決定部は決定することを特徴とする請求項１に記載の映像表示装置。
4. 前記画面更新仕様決定部によって判定された前記注目度を表示することを特徴とする請求項１に記載の映像表示装置。
5. 外部の映像表示装置へ向け表示画面を転送する画面送信装置であって、
   前記映像表示装置からの画面更新仕様に基づいて転送データを制御する送信画面データ取得部と、
   前記送信画面データ取得部により決定された前記転送データを前記映像表示装置へ向けて転送する通信部とを
   備えたことを特徴とする画面送信装置。
6. 請求項１に記載の映像表示装置と請求項５に記載の画面送信装置とから成り、この画面送信装置により生成され送信された画面の画像データをネットワークを通じて前記映像表示装置は受信し表示することを特徴とする画面転送システム。

Images