JP2011158915A - 画像表示システム、画像表示装置、画像表示装置の制御方法、及び画像表示システムによる画像表示方法 - Google Patents

Abstract

【課題】画像データ出力装置に過大な負担をかけることなく、伝送路中を流れる画像データ量を削減して高品質な動画像を表示することのできる画像表示装置を提供すること。
【解決手段】非圧縮画像データ及びラスタライズ処理前の圧縮画像データが多重化されたデータが伝送路を介して入力される画像表示装置は、多重化されたデータを個別のデータに分離するデータ逆多重化手段６６１と、圧縮画像データのラスタライズ処理を行う圧縮画像ラスタライズ手段６５２と、非圧縮画像データのラスタライズ処理を行う非圧縮画像ラスタライズ手段６６２とを備え、圧縮画像データ及び非圧縮画像データのラスタライズがそれぞれ独立して実行され、ラスタデータ合成手段６８によって表示画像として合成された後、画像形成手段５３上に形成される。
【選択図】図５

Description

本発明は、画像表示システム、画像表示装置、画像データ出力装置、画像処理プログラム、及びこの画像処理プログラムを記録した記録媒体に関する。

近年、コンピュータの画像処理の高機能化に伴い、従来画像表示装置で行っていた画像処理をコンピュータで処理させ、処理後の画像処理データをデジタル形式で画像表示装置側に伝送し、プロジェクタ等の画像表示装置により画像を表示させるシステムが提案されている（例えば、特許文献１参照。）。
このような画像表示装置では、接続されているコンピュータ等の画像データ出力装置のビデオ出力部のフレームメモリよりキャプチャされたラスタデータが、装置間の所定の伝送形式に符号化された上で、ＵＳＢ等の伝送路を介して画像表示装置側に伝送、入力され、これを復号した上で画像表示を実現している。
ここで、キャプチャされた画面のラスタデータが非圧縮のまま伝送される場合、伝送路中には、表示解像度、色深度、フレームレートに比例する大量なデータが流れることとなり、伝送路やその駆動回路の負荷が非常に大きくなるという問題がある。
また、コンピュータ側のメインプロセッサも画面全体のデータのキャプチャと伝送処理を行わなければならず、同様に負荷が大きくなるという問題がある。

このような問題を解決するために、全体の画面のうち時間的に前のフレームに対して更新があった部分、すなわち差分データのみを伝送するという方法により伝送路での必要帯域を削減するという技術が考えられる。この技術によれば、伝送路中には画面更新の差分しか伝送されないので、コンピュータによるグラフィック画面として通常表示される、動きが少なく更新の頻度または範囲が少ない画面データの伝送には極めて有効である。

特開２００４−６９９９６号公報

しかしながら、コンピュータ等の画像データ出力装置でＭＰＥＧ（Moving Picture Experts Group）等で規定される形式のいわゆる動画像を再生し、伝送路を介して接続される画像表示装置上で表示させようとする場合、通常、その動画像表示の領域は、画面全体の中において比較的大きい面積を占め、またフレームの更新もその動画像のフレームレートにしたがってなされねば、動画像が持つフレームレートによる表示が達成されない。このような場合、表示される動画像には、コマ落ちやがたつきが観察者に視認されてしまうため、表示画像の品質を確保できない。このため、動画像を表示する場合には、結局膨大なデータのキャプチャと伝送が必要となる。
さらに、その動画像がＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）等の圧縮動画像データである場合、動画像自体の復号、色変換、スケーリング、表示処理等のラスタライズ処理が画像データ出力装置側で行われる必要があり、この点でも、画像データ出力装置及び伝送路にかかる負担がますます大きくなってしまうという問題がある。

本発明の目的は、画像データ出力装置に過大な負担をかけることなく、伝送路中を流れる画像データ量を削減して高品質な動画像を画像表示装置上に表示することのできる画像表示システム、画像表示装置、画像データ出力装置、画像処理プログラム、及びこの画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。

本発明に係る画像表示システムは、ラスタデータ、及び圧縮動画像データを多重させて出力する画像データ出力装置と、この画像データ出力装置と伝送路を介して接続され、前記画像データ出力装置から出力された画像データに基づいて、画像を表示する画像表示装置とを備えた画像表示システムであって、
前記画像データ出力装置は、
前記ラスタデータを取得するラスタデータ取得手段と、
前記圧縮動画像データを取得する圧縮動画像データ取得手段と、
前記ラスタデータ内における前記圧縮動画像データによる動画像の表示領域を表す動画像表示領域データを生成する動画像表示領域データ生成手段と、
前記ラスタデータ取得手段で取得されたラスタデータ、前記圧縮動画像データ取得手段で取得された圧縮動画像データ、及び前記動画像表示領域データ生成手段により生成された動画像表示領域データを多重化するデータ多重化手段と、
多重化されたデータを、前記伝送路を介して送信するデータ送信手段とを備え、
前記画像表示装置は、
前記画像データ出力装置から送信されたデータを、前記伝送路を介して受信するデータ受信手段と、
前記データ受信手段で受信したデータを個別のデータに分離するデータ逆多重化手段と、
分離された圧縮動画像データのラスタライズ処理を行って、動画像ラスタデータを生成する動画像ラスタライズ手段と、
前記動画像ラスタライズ手段で生成された動画像ラスタデータ、及び、前記ラスタデータを合成し、表示ラスタデータを生成する表示ラスタデータ合成手段と、
生成された表示ラスタデータに基づいて画像形成を行う画像形成手段とを備えていることを特徴とする。

ここで、ラスタデータとは、コンピュータ等で生成されるグラフィックデータに基づく画像データ（画素ごとの情報としてビデオメモリ上に展開されているデータ。ビデオオーバレイによって通常表示されるような動画像データではない）をいい、圧縮動画像データとは、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ等の所定の形式に従って圧縮処理が施された画像データをいい、とりわけＭＰＥＧ２、ＭＰＥＧ４等の動画像フォーマットに本発明を採用するのが好ましい。
また、画像表示装置を構成する動画像ラスタライズ手段は、動画像圧縮データを復号し、画像形成手段で表示させる各画素の輝度、色等の変換、スケーリング等の処理を行う。

この発明によれば、画像表示システムがこれらの各機能的手段を備えていることにより、予め圧縮動画像データは、画像データ出力装置側で復号されることなく、伝送路を介して画像表示装置側で復号され、ラスタライズされて表示されることとなる。従って、画像データ出力装置で圧縮画像データの復号を行う必要がなく、画像データ出力装置における処理の軽減が図られ、過大な負担がかかることがない。また、圧縮動画像データは圧縮されたままで伝送路中を流れるので、画像データの送受信量が削減され、画像表示装置上で復号されてラスタライズされるので、高品質の動画像も確保することができる。

本発明では、前記画像データ出力装置は、画面更新前後の差分データを生成する差分データ生成手段を備え、前記ラスタデータ取得手段は、前記差分データ生成手段で生成された差分データをラスタデータとして取得し、前記画像表示装置は、分離されたラスタデータと、画面更新前の表示ラスタデータとに基づいて、ラスタデータを再構成するラスタデータ再構成手段を備えているのが好ましい。
この発明によれば、ラスタデータ表示領域で画面更新が生じた場合は、その差分データのみが伝送路を介して画像表示装置側に送信されることとなるので、伝送路中のデータを削減して伝送路への負担を一層軽くすることができる。

本発明では、前記画像表示装置は、前記圧縮動画像データに含まれるフレームレート情報、前記画像データ出力装置から出力されるリフレッシュレート情報、及び前記差分データ生成部によるデータ生成周期となる更新周期情報のいずれかに基づいて、前記データ合成手段で生成される表示ラスタデータの画面更新を行うための画像同期信号を生成する同期信号生成手段と、生成された画像同期信号に基づいて、前記画像形成手段において走査を行う走査手段とを備えているのが好ましい。
ここで、画像表示装置における走査手段による画面更新を行うための同期信号は、動画像が表示されている場合には、圧縮動画像データ中に画像属性情報として含まれるフレームレート情報に基づいて生成されるのが好ましい。
この発明によれば、画像表示装置上で表示される画像のタイプに応じて最適な同期信号により画像を形成することができるため、高品質な画像を画像表示装置で表示させることができる。また、動画像が表示されている場合には、圧縮動画像データ中に画像属性情報として含まれるフレームレート情報に基づいて同期信号を生成することにより、動画像のフレームレートに応じた画面更新が行われるので、動画像にコマ落ちやがたつき等が生じることを防止でき、高い品質の動画像を表示させることができる。

本発明では、前記画像表示装置は、前記動画像ラスタライズ手段による動画像ラスタデータの生成に際して、前記圧縮動画像データに含まれる音声データを分離する画像音声分離手段と、この画像音声分離手段により分離された前記音声データを復号する音声データ復号手段と、この音声データ復号手段により復号された音声を出力する音声出力手段と、この音声出力手段による音声出力のタイミングを、前記動画像ラスタライズ手段による動画像ラスタデータの生成時間と同期させる音声出力同期調整手段とを備えているのが好ましい。
この発明によれば、音声出力同期調整手段により、圧縮動画像データのラスタライズ処理に時間がかかる場合、この動画像ラスタデータの生成時間に応じて同期して音声出力手段から音声を出力させることができる。従って、画像出力及び音声出力のタイミング、すなわちリップシンクがずれることがなく、視聴者に違和感を与えることはない。

本発明の画像表示システムを構成するサブコンビネーション発明としては、画像表示装置、及び画像データ出力装置があり、具体的には、以下の構成を具備する。
本発明のサブコンビネーション発明としての画像表示装置は、
ラスタデータ、及び圧縮動画像データを多重させて出力する画像データ出力装置と伝送路を介して接続され、前記画像データ出力装置から出力された画像データに基づいて、画像を表示する画像表示装置であって、
前記画像データ出力装置は、前記ラスタデータ、前記圧縮動画像データ、及び前記ラスタデータ内における前記圧縮動画像データによる動画像の表示領域を表す動画像表示領域データを多重して出力するように構成され、
前記画像データ出力装置から送信されたデータを、前記伝送路を介して受信するデータ受信手段と、
前記データ受信手段で受信したデータを個別のデータに分離するデータ逆多重化手段と、
分離された圧縮動画像データのラスタライズ処理を行って、動画像ラスタデータを生成する動画像ラスタライズ手段と、
前記圧縮動画像ラスタライズ手段で生成された動画像ラスタデータ、及び、前記ラスタデータを合成し、表示ラスタデータを生成する表示ラスタデータ合成手段と、
生成された表示ラスタデータに基づいて画像形成を行う画像形成手段とを備えていることを特徴とする。

また、サブコンビネーション発明としての前記画像表示装置は、前記動画像ラスタライズ手段による動画像ラスタデータの生成に際して、前記圧縮動画像データに含まれる音声データを分離する画像音声分離手段と、この画像音声分離手段により分離された前記音声データを復号する音声データ復号手段と、この音声データ復号手段により復号された音声を出力する音声出力手段と、この音声出力手段による音声出力のタイミングを、前記動画像ラスタライズ手段による動画像ラスタデータの生成時間と同期させる音声出力同期調整手段とを備えているのが好ましい。

さらに、本発明のサブコンビネーション発明としての画像データ出力装置は、
ラスタデータ、及び圧縮動画像データを多重させて出力し、伝送路を介して接続される画像表示装置に画像を表示させる画像データ出力装置であって、
前記ラスタデータを取得するラスタデータ取得手段と、
前記圧縮動画像データを取得する圧縮動画像データ取得手段と、
前記ラスタデータ内における前記圧縮動画像データによる動画像の表示領域を表す動画像表示領域データを生成する動画像表示領域データ生成手段と、
前記ラスタデータ取得手段で取得されたラスタデータ、前記圧縮動画像データ取得手段で取得された圧縮動画像データ、及び前記動画像表示領域データ生成手段により生成された動画像表示領域データを多重化するデータ多重化手段と、
多重化されたデータを、前記伝送路を介して送信するデータ送信手段とを備えていることを特徴とする。

また、サブコンビネーション発明としては、コンピュータ等の画像データ出力装置に、前記各機能的手段として機能させる画像処理プログラムとすることも可能であり、この画像処理プログラムを記録した記録媒体としても構成することができる。

本発明の第１実施形態に係る画像表示システムの構成を表す概要斜視図。 本実施形態における画像データ出力装置の構成を表す模式図。 本実施形態における画像データ出力装置の機能ブロック図。 本実施形態における画像表示装置の構成を表す模式図。 本実施形態における画像表示装置の機能ブロック図。 本実施形態における画像表示システムの作用を説明するフローチャート。 本実施形態における画像表示システムの作用を説明するフローチャート。 本発明の第２実施形態に係る画像表示システムの構成を表す概要斜視図。 本実施形態における画像表示装置の機能ブロック図。 本実施形態における画像表示システムの作用を説明するフローチャート。

以下、本発明の実施の一形態を図面に基づいて説明する。
■１．第１実施形態
図１には、本発明の第１実施形態に係る画像表示システム１が示されており、この画像表示システム１は、画像データ出力装置としてのコンピュータ２、画像表示装置としてのプロジェクタ３、及びこれらを接続する伝送路としてのＵＳＢケーブル４を備えて構成され、コンピュータ２から出力される画像データは、ＵＳＢケーブル４を介してプロジェクタ３に入力され、コンピュータ２のローカルディスプレイ上の画像をスクリーン上に投射画像として表示できるシステムである。ＵＳＢケーブル４は、ＵＳＢ1.1、ＵＳＢ2.0等の規格に準拠したケーブルであり、接続機器及び被接続機器間で双方向通信が行うことができる。

（１）コンピュータ２の構造
画像データ出力装置としてのコンピュータ２は、図２に示されるように、マザーボード上に設けられたチップセット２１と、バスラインを介して接続されるＣＰＵ２２、メインメモリ２３、ビデオカード２４、光ディスク装置２５、ハードディスク装置２６、及びＵＳＢポート２７とを備えて構成される。
ＣＰＵ２２は、メインメモリ２３を作業領域として種々のプログラムを実行する演算処理装置として機能する部分であり、図２では図示を略したが、オペレーティングシステム等を実行することにより生成されるグラフィックデータ等もこのＣＰＵ２２において生成される。

ビデオカード２４は、コンピュータ２に入力された画像データの画像処理を行って、コンピュータ２に付帯するローカルディスプレイに画像表示を行う部分であり、このビデオカード２４は、図示を略したが、ローカルディスプレイへの出力用の画像処理を行うプロセッサと、処理すべき画像データを記憶するビデオメモリ等を備えている。尚、本実施形態では、このようなローカルディスプレイを備えた構成としているが、コンピュータ２は必ずしもローカルディスプレイを備えている必要はない。また、このビデオカード２４は、必ずしも別体のデバイスである必要はなく、チップセットに内蔵のグラフィック機能であってもよい。
光ディスク装置２５は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクメディアを再生する装置であり、圧縮された動画像データを記憶した光ディスクを挿入すると、光ディスク装置２５は、光ディスクに記憶された動画像データを再生し、チップセット２１を介して演算処理装置２２に付帯するメインメモリ２３に動画像データを出力する。

ハードディスク装置２６は、ＣＰＵ２２で実行されるプログラムやコンピュータ２を操作することにより生成したデータを記憶する記憶装置であり、このハードディスク装置２６にも画像データを記憶可能であり、ＣＰＵ２２上で動作するプログラムの要求に応じて記憶された画像データを出力することができる。
ＵＳＢポート２７は、前述したＵＳＢケーブル４が接続されるコンピュータ２側の端子であり、このＵＳＢポート２７の入出力制御は、前述したチップセット２１が行い、これらが本発明にいうデータ送信手段として機能する。

前述したＣＰＵ２２により入力されるグラフィック画像データ、及びストリーム出力される動画像データの画像処理を行う場合、図３に示されるような機能的手段を備えた画像処理プログラムがＣＰＵ２２上で実行される。具体的には、ＣＰＵ２２は、グラフィック画像データ取得手段２２１、動画像表示領域生成手段２２２、動画像データ取得手段２２３、動画像データ解析手段２２４、及びデータ多重化手段２２５を備えて構成される。

ラスタデータ取得手段としてのグラフィック画像データ取得手段２２１は、オペレーティングシステム上で動作するグラフィックデータ生成手段２２０によって生成されるグラフィックデータを取得する部分であり、差分データ生成部２２１Ａ及びグラフィックデータ取得部２２１Ｂを備えて構成される。
差分データ生成部２２１Ａは、例えば、コンピュータ２のリフレッシュレートの周期で更新されるグラフィック画像の差分データを生成する部分であり、例えば、更新前後の画像をそれぞれキャプチャしておき、両者を比較して変更された部分を差分データとして生成する。
グラフィックデータ取得部２２１Ｂは、差分データ生成部２２１Ａで生成された差分データのみをグラフィックデータとして取得し、取得されたグラフィックデータを、後述するデータ多重化手段２２５に出力する部分である。

動画像表示領域データ生成手段としての動画像表示領域生成手段２２２は、グラフィックデータに基づくグラフィック画面上のどの部分に動画像データを表示させるかを、入力されるグラフィックデータから取得する部分であり、例えば、グラフィック画像におけるどの位置にどの程度の大きさ及び解像度で動画像データを表示させるかの動画像表示領域データを生成する。
圧縮動画像データ取得手段としての動画像データ取得手段２２３は、光ディスク装置２５やハードディスク装置２６からビットストリームとして順次入力される動画像データＭＰＧを復号することなく、圧縮されたままの状態で動画像データとして取得する部分であり、動画像データの圧縮形式としては、ＭＰＥＧ２、ＭＰＥＧ４、ＭｏｔｉｏｎＪＰＥＧ等が挙げられる。

動画像データ解析手段２２４は、入力された動画像データに含まれるフレームレート、ビットレート、アスペクト比、解像度等の画像属性情報を取得する部分であり、取得された画像属性情報は、後段での画像データの多重化処理または伝送処理の動作制御用パラメータとして活用することができる。尚、例えば、動画像データの圧縮形式がＭＰＥＧ２の場合には、これらの画像属性情報は、ＭＰＥＧ２ビットストリームのシーケンスヘッダ（ＳＨ）等に記録されており、動画像データ解析手段２２４は、このヘッダ部分に記録された情報を取得することにより、動画像の画像属性情報を取得することができる。
データ多重化手段（Multiplexer）２２６は、グラフィック画像データ取得手段２２１で取得されたグラフィックデータ、動画像表示領域生成手段２２２で生成された動画像表示領域データ、及び動画像データ取得手段２２３で取得された動画像データを多重化する部分である。多重化の方法としては、ＩＳＯ／ＩＥＣ−１３８１８−１で規定されている、ＭＰＥＧ−ＴＳ（Transport Stream）やＭＰＥＧ−ＰＳ（Program Stream）などの方法をとることができる。この際、データ多重化手段２２６は、コンピュータ２上で設定された色味、γ値等の画像補正データも同様に多重化することも可能である。
そして、このデータ多重化手段２２６で多重化されたデータは、チップセット２１を介して、シリアルデータとしてＵＳＢポート２７から送信出力される。

（２）プロジェクタ３の構造
画像表示装置としてのプロジェクタ３は、図４に示されるように、光学像を形成する光学エンジン５と、コンピュータ２から送信出力された画像データの画像処理を行う画像処理手段６とを備えて構成される。
光学エンジン５は、光源装置５１、インテグレータ照明光学系５２、画像形成手段としての液晶パネル５３、色合成光学系５４、及び投射レンズ５５を備えて構成される。

光源装置５１から射出された光束は、インテグレータ照明光学系５２で均一な照明光となるように複数の部分光束に分割され、液晶パネル５３によって入力される画像データに応じて光変調が行われ、色合成光学系５４及び投射レンズ５５を介してスクリーン上に投射される。尚、図４では図示を略したが、本実施形態に係るプロジェクタ３は、Ｒ、Ｇ、Ｂの色光毎に液晶パネル５３によって光変調が行われるようになっていて、色合成光学系５４は、色光毎に光変調が施されたＲ、Ｇ、Ｂの各光束を合成してカラー画像を合成するために設けられている。

画像処理手段６は、コンピュータ２から入力された画像データに基づいて、所定の画像処理を行い、光学エンジン５を構成する液晶パネル５の駆動制御を行うことにより、光学像を形成する部分であり、プロジェクタ３内に設けられる回路基板上に実装される種々の回路素子を備えて構成される。
具体的には、この画像処理手段６は、ＵＳＢポート６１、ＵＳＢコントローラ６２、ＣＰＵ６３、メインメモリ６４、ビデオラスタライザ６５、デマルチプレクサ６６、ビデオフレームメモリ６７、イメージプロセッサ６８、及びパネルコントローラ６９を備えて構成される。

ＵＳＢポート６１は、ＵＳＢケーブル４が接続され、コンピュータ２からの画像データが入力される端子であり、ＵＳＢコントローラ６２は、このＵＳＢポート６１の入出力を制御する回路素子である。そして、このＵＳＢポート６１及びＵＳＢコントローラ６２が本発明にいうデータ受信手段を構成している。
ＣＰＵ６３は、メインメモリ６４を作業領域として種々のプログラムを実行することにより、画像処理手段６の全体の制御を行う部分である。
動画像ラスタライズ手段としてのビデオラスタライザ６５は、ＭＰＥＧ２等の形式の動画像データを復号し、動画像ラスタデータを生成する部分であり、このビデオラスタライザ６５で復号された動画像ラスタデータは、後述するビデオフレームメモリ６７に描き込まれる。

データ逆多重化手段としてのデマルチプレクサ６６は、前述したコンピュータ２のデータ多重化手段２２５で多重化された各種データを分離する部分であり、詳しくは後述するが、分離された各種データは、他の回路素子で処理される。また、本実施形態におけるデマルチプレクサ６６は、やはり詳しくは後述するが、差分画像レンダラーとしても機能している。
ビデオフレームメモリ６７は、各種回路素子で形成された画像ラスタデータを蓄積し、最終的に液晶パネル５３で表示させる表示ラスタデータを格納する部分であり、パネルコントローラ６９による液晶パネル５３のデータ書き込み周期に応じて、表示ラスタデータが描き替えられる。

ラスタデータ合成手段としてのイメージプロセッサ６８は、デマルチプレクサ６６で分離されたデータを最終的に合成して表示ラスタデータを生成する部分であり、液晶パネル５３の色再現性を確保するために、グラフィックデータ及び動画像データの合成の他、液晶パネル５３に固有のＶ−Ｔγ補正、輝度ムラ、色ムラ補正等の補正処理を行う。
走査手段としてのパネルコントローラ６９は、液晶パネル５３の駆動制御を行う回路素子であり、このパネルコントローラ６９により液晶パネル５３の画像表示領域中の各画素の駆動制御が行われる。尚、本実施形態の場合、前述したように三板式のプロジェクタ３であるため、図示を略したが、Ｒ、Ｇ、Ｂの色光毎の液晶パネル５３に対してパネルコントローラ６９はそれぞれ設けられている。
以上において、本実施形態では、画像処理手段６は複数の回路素子を組み合わせて構成しているが、画像処理手段のハードウエア構成は必ずしもこれに限らず、極めて高性能な演算処理装置であれば、１チップマイクロプロセッサによりすべての処理を行うことも可能である。

図５には、前述した画像処理手段６の機能ブロック構成が示されている。
前述した画像処理手段６の各回路素子のうち、デマルチプレクサ６６は、データ逆多重化手段６６１及びデコーダ６６２を機能的手段として備え、ビデオラスタライザ６５は、ディクリプタ６５１、ビデオデコーダ６５２、スケーラ６５３、及びＹＵＶ−ＲＧＢコンバータ６５４を機能的手段として備えている。また、ＣＰＵ６３は、画面更新の同期を取るために、同期信号生成手段６３１を機能的手段として備えている。

データ逆多重化手段６６１は、ＵＳＢポート６１を介して入力される多重化されたデータを、個別のデータに分離する部分であり、具体的には、グラフィックデータ、動画像データ、動画像表示領域データ、及び画像補正データに分離する。
そして、このデータ逆多重化手段６６１は、分離したグラフィックデータをデコーダ６６２に、動画像データをディクリプタ６５１に、動画像表示領域データをデコーダ６６２及びスケーラ６５３に、後述のビデオデコーダ６５２での動画像復号処理時に得られる画像属性情報に含まれるフレームレート、コンピュータ２で設定されたリフレッシュレート、及び差分データとして入力されるグラフィックデータの画面更新周期等の情報を同期信号生成手段６３１に出力する。

デコーダ６６２は、前述した差分画像レンダラーとして機能し、データ逆多重化手段６６１から出力されたグラフィックデータが一画面を構成するグラフィック画像となるように変換を行う部分である。本実施形態では、前述したようにグラフィックデータとして差分データが送信されてくるので、デコーダ６６２は、更新前のグラフィックデータをメインメモリ６４に保持しておき、新たな差分データとしてのグラフィックデータが入力されたら、差分データの部分だけデータの書き替えを行って新たなグラフィックデータを生成する。このようなデコーダ６６２で変換されたグラフィックデータは、ＲＧＢデータとしてイメージプロセッサ６８に出力される。つまり、本実施形態では、デコーダ６６２は、本発明にいうラスタデータ再構成手段として機能する。
また、このデコーダ６６２は、データ逆多重化手段６６１から出力された動画像表示領域データに基づいて、動画像を表示させるべき領域をグラフィック画像中に設定し、動画像が表示される部分以外の領域のグラフィックデータを生成する。

ディクリプタ６５１は、入力された動画像データを復号するに先立ち、著作権等の関係からコピー防止のために暗号化されている部分を復元して、後段のビデオデコーダ６５２で復号できるような処理を行う。尚、このディクリプタ６５１は、必ずしも必要ではなく、このようなコピープロテクトがあるような動画像データの場合に必要となる。
ビデオデコーダ６５２は、圧縮された状態で送信された動画像データの復号を行う部分であり、例えば、圧縮形式がＭＰＥＧ２のような場合、圧縮状態の動画像データに、逆ＤＣＴをかけて、ＧＯＰ単位でラスタデータ形式の動画像データに復号する。

スケーラ６５３は、復号された動画像データの伸縮調整を行う部分であり、解像度、アスペクト比等の表示デバイスの能力に応じて調整を行う。このスケーラ６５３は、データ逆多重化手段６６１から出力された動画像表示領域データ、動画像データに含まれる解像度情報、及び液晶パネル５３のスペック等に基づいて、動画像データを表示すべき領域及びその領域内での解像度設定を行う。
ＹＵＶ−ＲＧＢコンバータ６５４は、動画像データのＹＵＶ形式のデータをコンピュータ用のＲＧＢ形式に変換する部分であり、変換は一定の関係式に基づいて行われる。

イメージプロセッサ６８は、前述したように、デコーダ６６２で復号されたグラフィックデータと、ビデオデコーダ６５２で復号された動画像データを合成して表示ラスタデータを生成する。さらに、このイメージプロセッサ６８は、データ多重化手段６６１から出力されるコンピュータ２側で設定された画像補正データ、及び、液晶パネル５３固有に設定された画像補正データに基づく補正処理を行い、補正後の表示ラスタデータをビデオフレームメモリ６７に描き込む。
同期信号生成手段６３１は、データ逆多重化手段６６１から出力される画面更新に関する情報に基づいて、パネルコントローラ６９の画面更新用の同期信号を生成する部分であり、本実施形態では、動画像データのシリアルヘッダから得られるフレームレートに基づいて、同期信号が生成される。また、この同期信号生成手段６３１で生成された同期信号は、イメージプロセッサ６８にも出力され、イメージプロセッサ６８は、この同期信号に基づいて、ビデオフレームメモリ６７への表示ラスタデータの描き込みのタイミングを設定している。

（３）画像表示システム１の作用
次に、前述した構成の画像表示システム１の作用を図６及び図７に示されるフローチャートに基づいて説明する。
(3-1)コンピュータ２側の処理
まず、グラフィック画像データ取得手段２２１は、現在表示中のグラフィック画像をキャプチャし、これをグラフィックデータとして取得する（処理Ｓ１）。
次に、グラフィック画像データ取得手段２２１の差分データ生成部２２１Ａは、前回キャプチャされたグラフィック画像と、今回キャプチャされたグラフィック画像とに基づいて、更新された部分となる差分データの生成を行う（処理Ｓ２）。これと並行して、動画像表示領域生成手段２２２は、キャプチャされたグラフィック画像に基づいて、動画像表示領域を画面上のＸ−Ｙ位置、大きさ、解像度等の動画像表示領域データを生成する（処理Ｓ３）。

一方、上記グラフィックデータの取得と並行して、動画像データ取得手段２２３は、光ディスク装置２５等から入力される動画像データをラスタライズ処理することなく取得する（処理Ｓ４）。次に、動画像データ解析手段２２４は、取得された動画像データのシーケンスヘッダ（ＭＰＥＧ２の場合）の部分から、動画像データのフレームレート、ビットレート、アスペクト比、解像度等の諸情報を画像属性情報として取得する（処理Ｓ５）。
上記の各種情報が得られたら、データ多重化手段２２５は、これらのデータを前述したＭＰＥＧ−ＴＳやＭＰＥＧ−ＰＳなどの形式で多重化する（処理Ｓ６）。多重化されたデータは、チップセット２１が有するＵＳＢコントローラとしての機能により符号化され、ＵＳＢポート２７からＵＳＢケーブル４を介してプロジェクタ３に送信出力される（処理Ｓ７）。

(3-2)プロジェクタ３側の処理
コンピュータ２からの多重化されたデータは、ＵＳＢポート６１及びＵＳＢコントローラ６２で受信され（処理Ｓ８）、さらにＵＳＢコントローラ６２により画像処理手段６で処理可能な形式に復号され、データ逆多重化手段６６１に出力される。
データ逆多重化手段６６１は、多重化されたデータを個別のグラフィックデータ、動画像表示領域データ、及び動画像データに分離する（処理Ｓ９）。
デコーダ６６２は、分離されたグラフィックデータを差分データとして取得し（処理Ｓ１０）、更新前のグラフィック画像に基づいて、差分データの部分のみを描き替えたグラフィックデータを更新する（処理Ｓ１１）。

これと並行して、ビデオラスタライザ６５は、動画像データ及び動画像表示領域データを取得し（処理Ｓ１２、Ｓ１３）、これらのデータと動画像データに含まれる画像属性情報等に基づいて、動画像のラスタライズ処理を行う（処理Ｓ１４）。
デコーダ６６２によるグラフィックデータのラスタライズ、ビデオラスタライザ６５によるラスタライズが終了したら、イメージプロセッサ６８は、各々のラスタライズされたデータを合成して、表示ラスタデータを生成する（処理Ｓ１５）。さらに、イメージプロセッサ６８は、液晶パネル５３に固有の画像補正処理を行って、パネルコントローラ６９による走査によって液晶パネル５３上に光学像を形成し、投射レンズ５５を介してスクリーン上に投射画像を表示させる（処理Ｓ１６）。

このような本実施形態では、ラスタデータとしてのグラフィックデータにおける画面更新等の処理は専らコンピュータ２側で行われ、圧縮動画像データとしての動画像データは、コンピュータ２で復号処理されることなく、直接プロジェクタ３に送信され、プロジェクタ３のビデオラスタライザ６５によってラスタライズ処理されるように構成されている。従って、コンピュータ２側での画像処理負担が軽減されるという利点がある上、動画像データが圧縮された状態で伝送路となるＵＳＢケーブル４中に出力されるので、伝送路の通信負担を軽減することができる。特にプロジェクタ３側で動画像データのラスタライズ処理を行うことにより、伝送路の通信速度が律速となって表示される動画像にコマ落ちやがたつき等が生じることを防止できるという利点がある。

■２．第２実施形態
次に、本発明の第２実施形態について説明する。尚、以下の説明では、既に説明した部分と同一の部分については、同一符号を付してその説明を省略する。
前述した第１実施形態では、画像表示装置としてのプロジェクタ３は、コンピュータ２から出力された圧縮動画像データに基づいて、専ら画像表示だけを行っていた。
これに対して、第２実施形態に係る画像表示システムは、図８に示されるように、プロジェクタ７にスピーカ７３が設けられていて、圧縮動画像データを復号された際に画像データと同期して記録された音声データを、スピーカ７３から出力するようになっている点が相違する。

（１）画像音声処理手段８の構成
具体的に第２実施形態に係るプロジェクタ７は、図８に示されるように、音声出力用の回路素子が実装され、このプロジェクタ７の画像音声処理手段８は、第１実施形態と同様のＵＳＢポート６１、ＵＳＢコントローラ６２、ＣＰＵ６３、メインメモリ６４、デマルチプレクサ６６、イメージプロセッサ６８、及びパネルコントローラ６９の他に、ビデオラスタライザ／オーディオデコーダ７１及び音声出力部７２を備えている。
ビデオラスタライザ／オーディオデコーダ７１は、圧縮動画像データのラスタライズ機能に加えて、圧縮動画像データに含まれる動画像データ及び音声データを分離し、さらに復号する音声デコーダとして機能する。このビデオラスタライザ／オーディオデコーダ７１で復号された音声データは、メインメモリ６４に格納される。
音声出力部７２は、メインメモリ６４に格納された復号済みの音声データを順次アナログ変換し、増幅してスピーカ７３に出力する部分である。

図９には、前述した画像音声処理手段８の機能ブロック構成が示されている。
前述した画像音声処理手段８のビデオラスタライザ／オーディオデコーダ７１は、ディクリプタ６５１、ビデオデコーダ６５２、スケーラ６５３、及びＹＵＶ−ＲＧＢコンバータ６５４という機能的手段の他、画像音声分離手段７１１と、オーディオデコーダ７１２、及び音声出力同期調整手段７１３を機能的手段として備えている。
画像音声分離手段７１１は、データ逆多重化手段６６１で分離され、ディクリプタ６５１により処理された動画像データを画像データと音声データに分離する部分であり、分離された画像データは、ビデオデコーダ６５２に出力され、音声データは、オーディオデコーダ７１２に出力される。尚、本実施形態では、説明の便宜のため、画像音声分離手段７１１は、前述したデータ逆多重化手段６６１と別の手段として記載しているが、これらは分離するという点では同じなので、同一のデマルチプレクサによる処理が可能であり、同一の機能的手段として構成してもよい。

オーディオデコーダ７１２は、画像音声分離手段７１１により分離された音声データを復号する部分であり、復号された音声データは、前述したメインメモリ６４に書き込まれる。
音声出力同期調整手段７１３は、動画像と音声との多重化ストリーム中に符号化されている動画像及び音声の出力タイムスタンプに応じて、音声出力のタイミングを調整して動画像と音声との適切な同期化を実現する部分である。
具体的には、この音声出力同期調整手段７１３は、ＭＰＥＧ−ＴＳやＭＰＥＧ−ＰＳでの多重化時に符号化された動画像及び音声の出力タイムスタンプ（Presentation Time Stamp：ＰＴＳ）に基づくそれぞれの出力タイミングが一致するように、メインメモリ６４に書き込まれた音声データのＤ／Ａコンバータ７２１への音声データ出力のタイミングを調整する。

図８の音声出力部７２は、図９に示されるように、Ｄ／Ａコンバータ７２１及びアンプ７２２を備えて構成され、アンプ７２２には、スピーカ７３が接続されている。
Ｄ／Ａコンバータ７２１は、メインメモリ６４に格納されたデジタル形式の音声データをアナログ形式の音声信号に変換して出力する部分である。
アンプ７２２は、Ｄ／Ａコンバータ７２１によりアナログ変換された音声信号を増幅し、スピーカ７３に出力する部分であり、これにより動画像データに含まれる音声データが音声としてスピーカから出力されるようになる。

（２）作用
次に、前述した構成の画像音声処理手段８の作用について、図１０に示されるフローチャートに基づいて説明する。尚、画像データの処理に関しては、第１実施形態と同様なので、同一符号を付してその説明を省略し、音声データの処理を中心に説明する。
コンピュータから入力された動画像データは、ＵＳＢポート６１及びＵＳＢコントローラで受信され（処理Ｓ８）、画像音声処理手段８で処理可能な形式に復号され、データ逆多重化手段６６１に出力される。

データ逆多重化手段６６１は、多重化されたデータを個別のデータに分離し、動画像データを画像音声分離手段７１２に出力する（処理Ｓ９）。
画像音声分離手段７１２は、データ逆多重化手段６６１で分離された動画像データ中の画像データ及び音声データを分離するとともに、動画像及び音声の出力時刻情報を音声出力同期調整手段７１３に出力する（処理Ｓ２１）。
オーディオデコーダ７１２は、圧縮された音声データを復元し、メインメモリ６４に復元されたデータの書き込みを行う（処理Ｓ２２）。

オーディオデコーダ７１２による復元処理に際し、音声出力同期調整手段７１３は、画像音声分離手段７１２から入力された出力時刻情報を取得し、この出力時刻情報に基づいて、音声出力の遅延時間を設定し、音声出力の動画像出力に対する同期調整を行う（処理Ｓ２３）。
オーディオデコーダ７１２で復元されたデータは、音声出力同期調整手段７１３による遅延時間に基づいて、Ｄ／Ａコンバータ７２１に出力され、Ｄ／Ａコンバータ７２１によってデジタル−アナログ変換がされた後、アンプ７２２によって音声信号が増幅され、スピーカ７３を介して音声出力がなされる（処理Ｓ２４）。

■３．実施形態の変形
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、前記実施形態では、画像データ出力装置としてコンピュータ２を採用していたが、本発明はこれに限られない。すなわち、画像データ出力装置として、ＤＶＤ再生装置やゲーム機器等の装置を採用してもよい。
また、前記実施形態では、画像表示装置として液晶プロジェクタ３を採用していたが、本発明はこれに限られず、ＤＬＰ等の液晶以外の光変調装置を備えたプロジェクタや、バックライト形式の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等の固定画素型のディスプレイに本発明を採用してもよい。

さらに、前記実施形態では、コンピュータ２とプロジェクタ３を接続する伝送路としてＵＳＢケーブル４を採用していたが、本発明はこれに限られない。すなわち、ＴＣＰ／ＩＰ等のＬＡＮを用いた伝送路や、ＩＥＥＥ１３９４等の画像転送可能な伝送路で画像データ出力装置と画像表示装置とを接続したシステムであっても本発明を採用することができる。
その他、本発明の実施の際の具体的な構造及び形状等は、本発明の目的を達成できる範囲で他の構造等としてもよい。

１…画像表示システム、２…コンピュータ（画像データ出力装置）、３…プロジェクタ（画像表示装置）、４…ＵＳＢケーブル（伝送路）、５３…液晶パネル（画像形成手段）、６８…イメージプロセッサ（ラスタデータ合成手段）、６９…パネルコントローラ（走査手段）、２２１…グラフィックデータ取得手段、２２１Ａ…差分データ生成部、２２１Ｂ…グラフィックデータ取得部、２２２…動画像表示領域生成手段（画像領域データ生成手段）２２３…動画像データ取得手段（圧縮画像データ取得手段）、２２４…動画像データ解析手段、２２５…データ多重化手段、６３１…同期信号生成手段、６５２…ビデオデコーダ（圧縮画像ラスタライズ手段）、６６１…データ逆多重化手段、６６２…デコーダ（非圧縮画像ラスタライズ手段）、７１１…画像音声分離手段、７１２…オーディオデコーダ（音声データ復号手段）、７１３…音声出力同期調整手段、７２２…アンプ（音声出力手段）。

Claims (9)

1. ラスタデータ、及び圧縮動画像データを多重させて出力する画像データ出力装置と、この画像データ出力装置と伝送路を介して接続され、前記画像データ出力装置から出力された画像データに基づいて、画像を表示する画像表示装置とを備えた画像表示システムであって、
   前記画像データ出力装置は、
   前記ラスタデータを取得するラスタデータ取得手段と、
   前記圧縮動画像データを取得する圧縮動画像データ取得手段と、
   前記ラスタデータ内における前記圧縮動画像データによる動画像の表示領域を表す動画像表示領域データを生成する動画像表示領域データ生成手段と、
   前記ラスタデータ取得手段で取得されたラスタデータ、前記圧縮動画像データ取得手段で取得された圧縮動画像データ、及び前記動画像表示領域データ生成手段により生成された動画像表示領域データを多重化するデータ多重化手段と、
   多重化されたデータを、前記伝送路を介して送信するデータ送信手段とを備え、
   前記画像表示装置は、
   前記画像データ出力装置から送信されたデータを、前記伝送路を介して受信するデータ受信手段と、
   前記データ受信手段で受信したデータを個別のデータに分離するデータ逆多重化手段と、
   分離された圧縮動画像データのラスタライズ処理を行って、動画像ラスタデータを生成する動画像ラスタライズ手段と、
   前記動画像ラスタライズ手段で生成された動画像ラスタデータ、及び、前記ラスタデータを合成し、表示ラスタデータを生成する表示ラスタデータ合成手段と、
   生成された表示ラスタデータに基づいて画像形成を行う画像形成手段とを備えていることを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   前記画像データ出力装置は、
   画面更新前後の差分データを生成する差分データ生成手段を備え、
   前記ラスタデータ取得手段は、前記差分データ生成手段で生成された差分データをラスタデータとして取得し、
   前記画像表示装置は、
   分離されたラスタデータと、画面更新前の表示ラスタデータとに基づいて、ラスタデータを再構成するラスタデータ再構成手段を備えることを特徴とする画像表示システム。
3. 請求項２に記載の画像表示システムにおいて、
   前記画像表示装置は、
   前記圧縮動画像データに含まれるフレームレート情報、前記画像データ出力装置から出力されるリフレッシュレート情報、及び前記差分データ生成部によるデータ生成周期となる更新周期情報のいずれかに基づいて、前記データ合成手段で生成される表示ラスタデータの画面更新を行うための画像同期信号を生成する同期信号生成手段と、
   生成された画像同期信号に基づいて、前記画像形成手段において走査を行う走査手段とを備えていることを特徴とする画像表示システム。
4. 請求項１〜請求項３のいずれかに記載の画像表示システムにおいて、
   前記画像表示装置は、
   前記動画像ラスタライズ手段による動画像ラスタデータの生成に際して、前記圧縮動画像データに含まれる音声データを分離する画像音声分離手段と、
   この画像音声分離手段により分離された前記音声データを復号する音声データ復号手段と、
   この音声データ復号手段により復号された音声を出力する音声出力手段と、
   この音声出力手段による音声出力のタイミングを、前記動画像ラスタライズ手段による動画像ラスタデータの生成時間と同期させる音声出力同期調整手段とを備えていることを特徴とする画像表示システム。
5. ラスタデータ、及び圧縮動画像データを多重させて出力する画像データ出力装置と伝送路を介して接続され、前記画像データ出力装置から出力された画像データに基づいて、画像を表示する画像表示装置であって、
   前記画像データ出力装置は、前記ラスタデータ、前記圧縮動画像データ、及び前記ラスタデータ内における前記圧縮動画像データによる動画像の表示領域を表す動画像表示領域データを多重して出力するように構成され、
   前記画像データ出力装置から送信されたデータを、前記伝送路を介して受信するデータ受信手段と、
   前記データ受信手段で受信したデータを個別のデータに分離するデータ逆多重化手段と、
   分離された圧縮動画像データのラスタライズ処理を行って、動画像ラスタデータを生成する動画像ラスタライズ手段と、
   前記圧縮動画像ラスタライズ手段で生成された動画像ラスタデータ、及び、前記ラスタデータを合成し、表示ラスタデータを生成する表示ラスタデータ合成手段と、
   生成された表示ラスタデータに基づいて画像形成を行う画像形成手段とを備えていることを特徴とする画像表示装置。
6. 請求項５に記載の画像表示装置において、
   前記動画像ラスタライズ手段による動画像ラスタデータの生成に際して、前記圧縮動画像データに含まれる音声データを分離する画像音声分離手段と、
   この画像音声分離手段により分離された前記音声データを復号する音声データ復号手段と、
   この音声データ復号手段により復号された音声を出力する音声出力手段と、
   この音声出力手段による音声出力のタイミングを、前記動画像ラスタライズ手段による動画像ラスタデータの生成時間と同期させる音声出力同期調整手段とを備えていることを特徴とする画像表示装置。
7. ラスタデータ、及び圧縮動画像データを多重させて出力し、伝送路を介して接続される画像表示装置に画像を表示させる画像データ出力装置であって、
   前記ラスタデータを取得するラスタデータ取得手段と、
   前記圧縮動画像データを取得する圧縮動画像データ取得手段と、
   前記ラスタデータ内における前記圧縮動画像データによる動画像の表示領域を表す動画像表示領域データを生成する動画像表示領域データ生成手段と、
   前記ラスタデータ取得手段で取得されたラスタデータ、前記圧縮動画像データ取得手段で取得された圧縮動画像データ、及び前記動画像表示領域データ生成手段により生成された動画像表示領域データを多重化するデータ多重化手段と、
   多重化されたデータを、前記伝送路を介して送信するデータ送信手段とを備えていることを特徴とする画像データ出力装置。
8. ラスタデータ、及び圧縮動画像データを多重させて出力し、伝送路を介して接続される画像表示装置に画像を表示させる画像データ出力装置の画像処理を行う画像処理手段上で実行される画像処理プログラムであって、
   前記画像処理手段を、
   前記ラスタデータを取得するラスタデータ取得手段と、
   前記圧縮動画像データを取得する圧縮動画像データ取得手段と、
   前記ラスタデータ内における前記圧縮動画像データによる動画像の表示領域を表す動画像表示領域データを生成する動画像表示領域データ生成手段と、
   前記ラスタデータ取得手段で取得されたラスタデータ、前記圧縮動画像データ取得手段で取得された圧縮動画像データ、及び前記動画像表示領域データ生成手段により生成された動画像表示領域データを多重化するデータ多重化手段と、
   多重化されたデータを、前記伝送路を介して送信するデータ送信手段として機能させることを特徴とする画像処理プログラム。
9. 請求項８に記載の画像処理プログラムが記録されたことを特徴とするコンピュータ読み取り可能な記録媒体。

Images