JP2007082155A - 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体 - Google Patents
画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP2007082155A JP2007082155A JP2005271035A JP2005271035A JP2007082155A JP 2007082155 A JP2007082155 A JP 2007082155A JP 2005271035 A JP2005271035 A JP 2005271035A JP 2005271035 A JP2005271035 A JP 2005271035A JP 2007082155 A JP2007082155 A JP 2007082155A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- audio
- image data
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
- H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
- H04N7/56—Synchronising systems therefor
Abstract
【課題】 画像音声データ出力装置に接続される音声出力装置に特別なデバイス等を実装することなく、画像出力及び音声出力のタイミングを確保することのできる画像音声出力システムを提供すること。
【解決手段】画像音声出力システムを構成する画像音声データ出力装置は、画像音声データに含まれる画像データ及び音声データを分離する手段２２６と、分離された画像データを、伝送路を介して画像表示装置に送信する手段２１、２７と、画像表示装置側で再生させようとする画像データを解析する手段２２４と、解析結果に基づいて、画像データを再生する時間に応じた音声出力調整時間を生成する手段２２７と、生成された音声出力調整時間に基づいて、画像再生のタイミングに同期して音声出力を調整する手段２２８とを備えている。
【選択図】図３
Description
本発明は、画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体に関する。
近年、コンピュータの画像処理の高機能化に伴い、従来画像表示装置で行っていた画像処理をコンピュータで処理させ、処理後の画像処理データをデジタル形式で画像表示装置側に伝送し、プロジェクタ等の画像表示装置により画像を表示させるシステムが提案されている（例えば、特許文献１参照）。
このようなシステムでは、伝送路としてＵＳＢやＩＥＥＥ１３９４等のシリアル伝送のインターフェースが用いられ、これらのインターフェース接続用のケーブルは、従来の一般的なＲＧＢビデオケーブル等と比較すると、細くて取り回しが楽であることから、今後このようなインターフェースで接続される形態が増加することが予想される。
このようなシステムでは、伝送路としてＵＳＢやＩＥＥＥ１３９４等のシリアル伝送のインターフェースが用いられ、これらのインターフェース接続用のケーブルは、従来の一般的なＲＧＢビデオケーブル等と比較すると、細くて取り回しが楽であることから、今後このようなインターフェースで接続される形態が増加することが予想される。
ところで、プロジェクタ等の画像表示装置は、近年、ホームシアター等の用途で用いられることが多くなり、上述したコンピュータで画像処理を行った画像データを、画像表示装置に出力して表示させることがあり、画像表示装置上でビデオ画像やゲーム画像等の動画像を表示し、これらの動画像に伴う音声をコンピュータ等のデータ出力装置側で再生出力することが考えられる。
この場合、動画像データは、画像表示装置とデータ出力装置との間のシリアル伝送路を介して送受信されるが、このとき動画像データは伝送のために適当な形式に符号化されて伝送されることとなる。
この場合、動画像データは、画像表示装置とデータ出力装置との間のシリアル伝送路を介して送受信されるが、このとき動画像データは伝送のために適当な形式に符号化されて伝送されることとなる。
符号化されるということは、表示装置側ではそれをもとの動画像に復元するための復号処理が必要であるということであり、伝送においては符号化データを適切に伝送するためのバッファ処理が、画像表示装置及びデータ出力装置のどちらにおいても必要であるということである。
このバッファ処理と復号処理、さらには画像の走査・形成には、必ず画像表示装置固有の処理時間が必要となるので、データ出力装置が動画像データを画像表示装置側に伝送すると同時に、その動画像に付随する音声を再生出力すると、音声データの再生出力が動画像の再生出力よりも早くなされてしまい、動画像出力と音声出力のタイミング、いわゆるリップシンクが一致せず、観察者に違和感を与えることとなる。
このバッファ処理と復号処理、さらには画像の走査・形成には、必ず画像表示装置固有の処理時間が必要となるので、データ出力装置が動画像データを画像表示装置側に伝送すると同時に、その動画像に付随する音声を再生出力すると、音声データの再生出力が動画像の再生出力よりも早くなされてしまい、動画像出力と音声出力のタイミング、いわゆるリップシンクが一致せず、観察者に違和感を与えることとなる。
このような課題に対して、映像表示装置に固有の遅延要素に基づく遅延時間情報、すなわち、映像のデータが受信されてから表示されるに至るまでに要する時間の情報を、映像音声出力装置又はアンプ等の音声調整装置に送出し、この遅延時間情報に基づいて各部の遅延バッファを適切に動作させることで対応することが考えられる（例えば、特許文献２参照）。
しかしながら、前記特許文献２に記載された技術では、遅延時間情報をやりとりするために機器間で所定の通信処理を行うことが必要であり、この通信処理を行う仕組みとなる通信処理プログラムを各機器に実装しなければならず、各機器の開発コスト、製造コストが増加してしまうという問題がある。
本発明の目的は、画像音声データ出力装置に接続される画像表示装置に特別な通信処理プログラム等を実装することなく、画像出力及び音声出力のタイミングを確保することのできる画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及びこの音声処理プログラムを記録した記録媒体を提供することにある。
本発明は、画像音声データを出力可能な画像音声データ出力装置と、この画像音声データ出力装置と伝送路を介して接続され、前記画像音声データ出力装置から出力された画像データに基づいて、画像を表示する画像表示装置とを備えた画像音声出力システムであって、
前記画像音声データ出力装置は、
前記画像音声データに含まれる画像データ及び音声データを分離する画像音声データ分離手段と、
分離された前記画像データを、前記伝送路を介して前記画像表示装置に送信する画像データ送信手段と、
分離された前記音声データを出力する音声データ出力手段と、
前記画像データ送信手段により前記画像表示装置に送信し、該画像表示装置で再生させようとする画像データを解析し、前記解析の結果を取得する画像データ解析手段と、
この画像データ解析手段の解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成する音声出力調整時間生成手段と、
この音声出力調整時間生成手段により生成された音声出力調整時間に基づいて、前記画像表示装置で表示される画像再生のタイミングに同期して、分離された前記音声データによる音声出力を調整する音声出力同期調整手段とを備え、
前記画像表示装置は、
前記画像音声データ出力装置から送信された画像データを受信する画像データ受信手段と、
この画像データ受信手段で受信された画像データの再生処理を行う画像処理手段と、
この画像処理手段により処理された画像データに基づいて、画像を形成する画像形成手段とを備えていることを特徴とする画像音声出力システム。
前記画像音声データ出力装置は、
前記画像音声データに含まれる画像データ及び音声データを分離する画像音声データ分離手段と、
分離された前記画像データを、前記伝送路を介して前記画像表示装置に送信する画像データ送信手段と、
分離された前記音声データを出力する音声データ出力手段と、
前記画像データ送信手段により前記画像表示装置に送信し、該画像表示装置で再生させようとする画像データを解析し、前記解析の結果を取得する画像データ解析手段と、
この画像データ解析手段の解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成する音声出力調整時間生成手段と、
この音声出力調整時間生成手段により生成された音声出力調整時間に基づいて、前記画像表示装置で表示される画像再生のタイミングに同期して、分離された前記音声データによる音声出力を調整する音声出力同期調整手段とを備え、
前記画像表示装置は、
前記画像音声データ出力装置から送信された画像データを受信する画像データ受信手段と、
この画像データ受信手段で受信された画像データの再生処理を行う画像処理手段と、
この画像処理手段により処理された画像データに基づいて、画像を形成する画像形成手段とを備えていることを特徴とする画像音声出力システム。
ここで、画像データとしては、動画像圧縮データが考えられ、例えば、ＭＰＥＧ２、ＭＰＥＧ４、ＭｏｔｉｏｎＪＰＥＧ等の圧縮形式で圧縮された動画像データが考えられる。
また、再生時間算出手段による再生時間の算出は、例えば、上記動画像データ形式に応じた一定の関数が設定され、これに基づいて算出してもよく、詳しくは後述するが圧縮形式に応じた再生時間が記録されたルックアップテーブルのようなものを参照して算出しても良い。
また、再生時間算出手段による再生時間の算出は、例えば、上記動画像データ形式に応じた一定の関数が設定され、これに基づいて算出してもよく、詳しくは後述するが圧縮形式に応じた再生時間が記録されたルックアップテーブルのようなものを参照して算出しても良い。
この発明によれば、音声出力同期調整手段により、画像音声データ出力装置側の内部処理で画像出力及び音声出力の同期が取られるので、例えば、サウンドボード及びこれに接続されるスピーカ等の音声データ出力装置で遅延時間情報を処理することなく、画像出力と音声出力のタイミングを一致させることができる。従って、画像表示装置等の各機器に遅延時間情報を処理するためのプログラム等の仕組みを実装する必要がなく、各機器の開発コスト、製造コストの低減を図ることができる。
また、画像データ解析手段により、画像データの圧縮形式に応じて音声出力調整時間が生成されるため、画像データの圧縮形式に応じて最適なタイミングで音声出力させることができる。
また、画像データ解析手段により、画像データの圧縮形式に応じて音声出力調整時間が生成されるため、画像データの圧縮形式に応じて最適なタイミングで音声出力させることができる。
本発明では、
前記画像データ出力装置は、
前記画像データの解像度とビットレートのいずれか、又はその両者の組合せに応じた再生時間を記録したルックアップテーブルを有する再生時間記録手段を備え、
前記音声出力調整時間生成手段は、前記再生時間記録手段に記録されたルックアップテーブルを参照して音声出力調整時間を生成するのが好ましい。
この発明によれば、画像表示装置での再生時間に大きく影響される動画像の解像度及びビットレート等に応じた再生時間がルックアップテーブル上に記録されているため、音声出力調整時間生成手段は、画像データ解析手段で取得された画像データの形式に基づいて、ルックアップテーブルを参照して簡単に音声出力調整時間を生成することができる。
前記画像データ出力装置は、
前記画像データの解像度とビットレートのいずれか、又はその両者の組合せに応じた再生時間を記録したルックアップテーブルを有する再生時間記録手段を備え、
前記音声出力調整時間生成手段は、前記再生時間記録手段に記録されたルックアップテーブルを参照して音声出力調整時間を生成するのが好ましい。
この発明によれば、画像表示装置での再生時間に大きく影響される動画像の解像度及びビットレート等に応じた再生時間がルックアップテーブル上に記録されているため、音声出力調整時間生成手段は、画像データ解析手段で取得された画像データの形式に基づいて、ルックアップテーブルを参照して簡単に音声出力調整時間を生成することができる。
本発明では、
前記伝送路は、双方向通信可能であり、
前記画像表示装置は、
前記画像形成手段により形成される画像の表示状態を設定する表示状態設定手段と、
この表示状態設定手段により設定された設定情報を、前記画像音声データ出力装置に前記伝送路を介して送信する設定情報送信手段とを備え、
前記画像処理手段は、前記表示状態設定手段により設定された設定情報に基づいて、画像データの再生処理を行い、
前記画像音声データ出力装置は、
前記画像表示装置から送信された設定情報を受信する設定情報受信手段と、
この設定情報受信手段で受信された設定情報に基づいて、前記画像表示装置の画像処理手段による画像処理時間を算出する処理時間算出手段とを備え、
前記音声出力調整時間生成手段は、この処理時間算出手段で算出された画像処理時間を加味して音声出力調整時間を生成するのが好ましい。
前記伝送路は、双方向通信可能であり、
前記画像表示装置は、
前記画像形成手段により形成される画像の表示状態を設定する表示状態設定手段と、
この表示状態設定手段により設定された設定情報を、前記画像音声データ出力装置に前記伝送路を介して送信する設定情報送信手段とを備え、
前記画像処理手段は、前記表示状態設定手段により設定された設定情報に基づいて、画像データの再生処理を行い、
前記画像音声データ出力装置は、
前記画像表示装置から送信された設定情報を受信する設定情報受信手段と、
この設定情報受信手段で受信された設定情報に基づいて、前記画像表示装置の画像処理手段による画像処理時間を算出する処理時間算出手段とを備え、
前記音声出力調整時間生成手段は、この処理時間算出手段で算出された画像処理時間を加味して音声出力調整時間を生成するのが好ましい。
ここで、画像表示装置側での表示状態設定手段による表示状態の設定としては、例えば、ＩＰ（Interlace to Progressive）変換、スケーリング、γ補正等が考えられる。
この発明によれば、画像表示装置が設定情報送信手段を備え、画像音声データ処理装置が設定情報受信手段、処理時間算出手段を備えていることにより、画像表示装置側で表示状態の設定を変更した際に、音声出力調整時間生成手段は、この画像処理の時間をも加味して音声出力調整時間を生成することができるので、より画像出力のタイミングに近い状態で音声出力させることができる。
この発明によれば、画像表示装置が設定情報送信手段を備え、画像音声データ処理装置が設定情報受信手段、処理時間算出手段を備えていることにより、画像表示装置側で表示状態の設定を変更した際に、音声出力調整時間生成手段は、この画像処理の時間をも加味して音声出力調整時間を生成することができるので、より画像出力のタイミングに近い状態で音声出力させることができる。
本発明の画像音声出力システムを構成するサブコンビネーション発明としては、画像データ出力装置があり、具体的には、以下の構成を具備する。
本発明の画像音声データ出力装置は、
画像音声データが出力可能とされ、双方向通信可能な伝送路を介して接続された画像表示装置に前記画像データを出力して画像を表示させる画像音声データ出力装置であって、
前記画像音声データに含まれる画像データ及び音声データを分離する画像音声データ分離手段と、
分離された前記画像データを、前記伝送路を介して前記画像表示装置に送信する画像データ送信手段と、
分離された前記音声データを出力する音声データ出力手段と、
前記画像データ送信手段により前記画像表示装置に送信し、該画像表示装置で再生させようとする画像データを解析し、前記解析の結果を取得する画像データ解析手段と、
この画像データ解析手段の解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成する音声出力調整時間生成手段と、
この音声出力調整時間生成手段により生成された音声出力調整時間に基づいて、前記画像表示装置で表示される画像再生のタイミングに同期して、分離された前記音声データ出力手段による音声出力を調整する音声出力同期調整手段とを備えていることを特徴とする。
本発明の画像音声データ出力装置は、
画像音声データが出力可能とされ、双方向通信可能な伝送路を介して接続された画像表示装置に前記画像データを出力して画像を表示させる画像音声データ出力装置であって、
前記画像音声データに含まれる画像データ及び音声データを分離する画像音声データ分離手段と、
分離された前記画像データを、前記伝送路を介して前記画像表示装置に送信する画像データ送信手段と、
分離された前記音声データを出力する音声データ出力手段と、
前記画像データ送信手段により前記画像表示装置に送信し、該画像表示装置で再生させようとする画像データを解析し、前記解析の結果を取得する画像データ解析手段と、
この画像データ解析手段の解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成する音声出力調整時間生成手段と、
この音声出力調整時間生成手段により生成された音声出力調整時間に基づいて、前記画像表示装置で表示される画像再生のタイミングに同期して、分離された前記音声データ出力手段による音声出力を調整する音声出力同期調整手段とを備えていることを特徴とする。
また、本発明のサブコンビネーション発明としてのコンピュータ読み取り可能な記録媒体は、
画像データ及び音声データが出力可能とされ、伝送路を介して接続された画像表示装置に前記画像データを出力して画像を表示させるために、
前記画像音声データに含まれる画像データ及び音声データを分離する画像音声データ分離手段と、
分離された前記画像データを、前記伝送路を介して前記画像表示装置に送信する画像データ送信手段と、
分離された前記音声データを出力する音声データ出力手段と、
前記画像データ送信手段により前記画像表示装置に送信し、該画像表示装置で再生させようとする画像データを解析し、前記解析の結果を取得する画像データ解析手段と、
この画像データ解析手段の解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成する音声出力調整時間生成手段と、
この音声出力調整時間生成手段により生成された音声出力調整時間に基づいて、前記画像表示装置で表示される画像再生のタイミングに同期して、分離された前記音声データ出力手段による音声出力を調整する音声出力同期調整手段とを備えた画像音声データ出力装置に用いられ、前記音声出力調整時間生成手段による音声出力調整時間生成用のデータが記録されたコンピュータ読み取り可能な記録媒体であって、
前記画像データの解像度とビットレートのいずれか、又はその両者の組合せに応じた再生時間を記録したルックアップテーブルとして記録したことを特徴とする。
画像データ及び音声データが出力可能とされ、伝送路を介して接続された画像表示装置に前記画像データを出力して画像を表示させるために、
前記画像音声データに含まれる画像データ及び音声データを分離する画像音声データ分離手段と、
分離された前記画像データを、前記伝送路を介して前記画像表示装置に送信する画像データ送信手段と、
分離された前記音声データを出力する音声データ出力手段と、
前記画像データ送信手段により前記画像表示装置に送信し、該画像表示装置で再生させようとする画像データを解析し、前記解析の結果を取得する画像データ解析手段と、
この画像データ解析手段の解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成する音声出力調整時間生成手段と、
この音声出力調整時間生成手段により生成された音声出力調整時間に基づいて、前記画像表示装置で表示される画像再生のタイミングに同期して、分離された前記音声データ出力手段による音声出力を調整する音声出力同期調整手段とを備えた画像音声データ出力装置に用いられ、前記音声出力調整時間生成手段による音声出力調整時間生成用のデータが記録されたコンピュータ読み取り可能な記録媒体であって、
前記画像データの解像度とビットレートのいずれか、又はその両者の組合せに応じた再生時間を記録したルックアップテーブルとして記録したことを特徴とする。
さらに、サブコンビネーション発明としては、コンピュータ等の画像音声データ出力装置に、前記各機能的手段として機能させる音声処理プログラムとすることも可能であり、この音声処理プログラムを記録した記録媒体としても構成することができる。
また、音声処理プログラム中に前記画像データの解像度とビットレートのいずれか、又はその両者の組合せに応じた再生時間データが担持されたものとしても構成することができる。
また、音声処理プログラム中に前記画像データの解像度とビットレートのいずれか、又はその両者の組合せに応じた再生時間データが担持されたものとしても構成することができる。
以下、本発明の実施の一形態を図面に基づいて説明する。
■１．第１実施形態
図１には、本発明の第１実施形態に係る画像音声出力システム１が示されており、この画像音声出力システム１は、画像データ出力装置としてのコンピュータ２、画像表示装置としてのプロジェクタ３、及びこれらを接続する伝送路としてのＵＳＢケーブル４を備えて構成され、コンピュータ２から出力される画像データは、ＵＳＢケーブル４を介してプロジェクタ３に入力され、コンピュータ２のローカルディスプレイ上の画像をスクリーン上に投射画像として表示できるシステムである。また、コンピュータ２には、内蔵されるサウンドカードに接続されるスピーカ９が設けられ、このスピーカ９は、プロジェクタ３からの投射画像中の動画像に応じて音声出力を行う。
ＵＳＢケーブル４は、ＵＳＢ1.1、ＵＳＢ2.0等の規格に準拠したケーブルであり、接続機器及び被接続機器間で双方向通信が行うことができる。
■１．第１実施形態
図１には、本発明の第１実施形態に係る画像音声出力システム１が示されており、この画像音声出力システム１は、画像データ出力装置としてのコンピュータ２、画像表示装置としてのプロジェクタ３、及びこれらを接続する伝送路としてのＵＳＢケーブル４を備えて構成され、コンピュータ２から出力される画像データは、ＵＳＢケーブル４を介してプロジェクタ３に入力され、コンピュータ２のローカルディスプレイ上の画像をスクリーン上に投射画像として表示できるシステムである。また、コンピュータ２には、内蔵されるサウンドカードに接続されるスピーカ９が設けられ、このスピーカ９は、プロジェクタ３からの投射画像中の動画像に応じて音声出力を行う。
ＵＳＢケーブル４は、ＵＳＢ1.1、ＵＳＢ2.0等の規格に準拠したケーブルであり、接続機器及び被接続機器間で双方向通信が行うことができる。
（１）コンピュータ２の構造
画像データ出力装置としてのコンピュータ２は、図２に示されるように、マザーボード上に設けられたチップセット２１と、バスラインを介して接続されるＣＰＵ２２、メインメモリ２３、ビデオカード２４、光ディスク装置２５、ハードディスク装置２６、及びＵＳＢポート２７、及びサウンドカード２８とを備えて構成される。
ＣＰＵ２２は、メインメモリ２３を作業領域として種々のプログラムを実行する演算処理装置として機能する部分であり、図２では図示を略したが、オペレーティングシステム等を実行することにより生成されるグラフィックデータ等もこのＣＰＵ２２において生成される。
画像データ出力装置としてのコンピュータ２は、図２に示されるように、マザーボード上に設けられたチップセット２１と、バスラインを介して接続されるＣＰＵ２２、メインメモリ２３、ビデオカード２４、光ディスク装置２５、ハードディスク装置２６、及びＵＳＢポート２７、及びサウンドカード２８とを備えて構成される。
ＣＰＵ２２は、メインメモリ２３を作業領域として種々のプログラムを実行する演算処理装置として機能する部分であり、図２では図示を略したが、オペレーティングシステム等を実行することにより生成されるグラフィックデータ等もこのＣＰＵ２２において生成される。
ビデオカード２４は、コンピュータ２に入力された画像データの画像処理を行って、コンピュータ２に付帯するローカルディスプレイに画像表示を行う部分であり、このビデオカード２４は、図示を略したが、ローカルディスプレイへの出力用の画像処理を行うプロセッサと、処理すべき画像データを記憶するビデオメモリ等を備えている。尚、本実施形態では、このようなローカルディスプレイを備えた構成としているが、コンピュータ２は必ずしもローカルディスプレイを備えている必要はない。また、このビデオカード２４は、必ずしも別体のデバイスである必要はなく、チップセット２１に内蔵のグラフィック機能であってもよい。
光ディスク装置２５は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクメディアを再生する装置であり、圧縮された動画像データを記憶した光ディスクを挿入すると、光ディスク装置２５は、光ディスクに記憶された動画像データを再生し、チップセット２１を介して演算処理装置２２に付帯するメインメモリ２３に動画像データを出力する。
光ディスク装置２５は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクメディアを再生する装置であり、圧縮された動画像データを記憶した光ディスクを挿入すると、光ディスク装置２５は、光ディスクに記憶された動画像データを再生し、チップセット２１を介して演算処理装置２２に付帯するメインメモリ２３に動画像データを出力する。
ハードディスク装置２６は、ＣＰＵ２２で実行されるプログラムやコンピュータ２を操作することにより生成したデータを記憶する記憶装置であり、このハードディスク装置２６にも画像データを記憶可能であり、ＣＰＵ２２上で動作するプログラムの要求に応じて記憶された画像データを出力することができる。
ＵＳＢポート２７は、前述したＵＳＢケーブル４が接続されるコンピュータ２側の端子であり、このＵＳＢポート２７の入出力制御は、前述したチップセット２１が行い、これらが本発明にいうデータ送信手段として機能する。
サウンドカード２８は、詳しくは後述するが、ＣＰＵ２２で復号されたデジタル形式の音声データをアナログ形式の音声信号に変換し、増幅してスピーカ９から音声出力させる部分である。このサウンドカード２８もまた、必ずしも別体のデバイスである必要はなく、チップセット２１に内蔵のサウンド処理機能であってもよい。
ＵＳＢポート２７は、前述したＵＳＢケーブル４が接続されるコンピュータ２側の端子であり、このＵＳＢポート２７の入出力制御は、前述したチップセット２１が行い、これらが本発明にいうデータ送信手段として機能する。
サウンドカード２８は、詳しくは後述するが、ＣＰＵ２２で復号されたデジタル形式の音声データをアナログ形式の音声信号に変換し、増幅してスピーカ９から音声出力させる部分である。このサウンドカード２８もまた、必ずしも別体のデバイスである必要はなく、チップセット２１に内蔵のサウンド処理機能であってもよい。
前述したＣＰＵ２２により入力されるグラフィック画像データ、及びストリーム出力される画像音声データの画像音声処理を行う場合、図３に示されるような機能的手段を備えた画像音声処理プログラムがＣＰＵ２２上で実行される。具体的には、前述したＣＰＵ２２は、グラフィック画像データ取得手段２２１、動画像表示領域生成手段２２２、動画像データ取得手段２２３、動画像データ解析手段２２４、データ多重化手段２２５、画像音声分離手段２２６、音声出力調整時間生成手段２２７、音声出力同期調整手段２２８、ＬＵＴ（Look Up Table）２２９、及びオーディオデコーダ２３０を備えて構成される。
グラフィック画像データ取得手段２２１は、オペレーティングシステム上で動作するグラフィックデータ生成手段２２０によって生成されるグラフィックデータを取得する部分であり、差分データ生成部２２１Ａ及びグラフィックデータ取得部２２１Ｂを備えて構成される。
差分データ生成部２２１Ａは、例えば、コンピュータ２のリフレッシュレートの周期で更新されるグラフィック画像の差分データを生成する部分であり、例えば、更新前後の画像をそれぞれキャプチャしておき、両者を比較して変更された部分を差分データとして生成する。
グラフィックデータ取得部２２１Ｂは、差分データ生成部２２１Ａで生成された差分データをグラフィックデータとして取得し、取得されたグラフィックデータを、後述するデータ多重化手段２２５に出力する部分である。
差分データ生成部２２１Ａは、例えば、コンピュータ２のリフレッシュレートの周期で更新されるグラフィック画像の差分データを生成する部分であり、例えば、更新前後の画像をそれぞれキャプチャしておき、両者を比較して変更された部分を差分データとして生成する。
グラフィックデータ取得部２２１Ｂは、差分データ生成部２２１Ａで生成された差分データをグラフィックデータとして取得し、取得されたグラフィックデータを、後述するデータ多重化手段２２５に出力する部分である。
動画像表示領域生成手段２２２は、グラフィックデータに基づくグラフィック画面上のどの部分に動画像データを表示させるかを、入力されるグラフィックデータから取得する部分であり、例えば、グラフィック画像におけるどの位置にどの程度の大きさ及び解像度で動画像データを表示させるかの動画像表示領域データを生成する。
動画像データ取得手段２２３は、光ディスク装置２５やハードディスク装置２６からビットストリームとして順次入力される動画像データＭＰＧを復号することなく、圧縮されたままの状態で動画像データとして取得する部分であり、動画像データの圧縮形式としては、ＭＰＥＧ２、ＭＰＥＧ４、ＭｏｔｉｏｎＪＰＥＧ等が挙げられる。
動画像データ取得手段２２３は、光ディスク装置２５やハードディスク装置２６からビットストリームとして順次入力される動画像データＭＰＧを復号することなく、圧縮されたままの状態で動画像データとして取得する部分であり、動画像データの圧縮形式としては、ＭＰＥＧ２、ＭＰＥＧ４、ＭｏｔｉｏｎＪＰＥＧ等が挙げられる。
動画像データ解析手段２２４は、入力された動画像データに含まれるフレームレート、ビットレート、アスペクト比、解像度等の画像表示用の画像属性情報を取得する部分であり、取得された画像属性情報は、例えば、画像データ伝送処理時のタイミング制御等に用いることができる。尚、例えば、動画像データの圧縮形式がＭＰＥＧ２の場合には、これらの画像属性情報は、ＭＰＥＧ２ビットストリームのシーケンスヘッダやシーケンスエクステンション等に記録されており、動画像データ解析手段２２４は、このヘッダ部分に記録された情報を取得することにより、動画像の画像属性情報を取得することができる。
また、この動画像データ解析手段２２４は、上述した解析結果を後述する音声出力調整時間生成手段２２７に出力する。
また、この動画像データ解析手段２２４は、上述した解析結果を後述する音声出力調整時間生成手段２２７に出力する。
データ多重化手段（Multiplexer）２２５は、グラフィック画像データ取得手段２２１で取得されたグラフィックデータ、動画像表示領域生成手段２２２で生成された動画像表示領域データ、及び動画像データ取得手段２２３で取得された動画像データを多重化する部分である。多重化の方法としては、ＩＳＯ／ＩＥＣ−１３８１８−１で規定されている、ＭＰＥＧ−ＴＳ（Transport Stream）やＭＰＥＧ−ＰＳ（Program Stream）などの方法をとることができる。この際、データ多重化手段２２５は、コンピュータ２上で設定された色味、γ値等の画像補正データも同様に多重化することも可能である。
そして、このデータ多重化手段２２５で多重化されたデータは、チップセット２１を介して、シリアルデータとしてＵＳＢポート２７から送信出力される。
そして、このデータ多重化手段２２５で多重化されたデータは、チップセット２１を介して、シリアルデータとしてＵＳＢポート２７から送信出力される。
画像音声データ分離手段としての画像音声分離手段２２６は、入力された画像音声データに含まれる音声データを分離するデマルチプレクサとして機能する部分であり、本実施形態では、コンピュータ２で分離された画像データは復号されないが、音声データは復号されるようになっている。
音声出力調整時間生成手段２２７は、動画像データ解析手段２２４による動画像データの解析結果に基づいて、プロジェクタ３において動画像データが再生・表示されるまでの時間を算出し、音声出力を遅延させる音声出力調整時間を生成する部分であり、動画像データ解析手段２２４から入力された動画像データのビットレート、解像度等の画像属性情報に基づいて、ＬＵＴ２２９を探索する。
音声出力調整時間生成手段２２７は、動画像データ解析手段２２４による動画像データの解析結果に基づいて、プロジェクタ３において動画像データが再生・表示されるまでの時間を算出し、音声出力を遅延させる音声出力調整時間を生成する部分であり、動画像データ解析手段２２４から入力された動画像データのビットレート、解像度等の画像属性情報に基づいて、ＬＵＴ２２９を探索する。
再生時間記録手段としてのＬＵＴ２２９には、図４に示されるように、動画像データの圧縮形式に応じたＬＵＴ１、ＬＵＴ２、ＬＵＴ３…が格納されている。例えば、ＭＰＥＧ２に対応するＬＵＴ１の場合、行側に同規格におけるレベル、列側にプロファイルが格納され、各セルには、レベル及びプロファイルに応じた再生時間が格納されている。再生時間は、プロジェクタ３で行う動画像データの復号から表示ラスタデータの生成、さらには投射画像形成までの時間として格納されており、プロジェクタ３に応じて設定され、ＬＵＴ２２９は、図３に示されるように、光ディスクやインターネットダウンロードによりドライバプログラムとして提供されるものである。
尚、このドライバプログラムは、要するにデータ参照できるような形であればよく、実行ファイルは初めからコンピュータ２が保有しており、この実行ファイルで参照可能なテーブル構造のデータであってもよく、また、内部にＬＵＴ２２９に関するデータを担持させた実行可能なプログラムであってもよい。
尚、このドライバプログラムは、要するにデータ参照できるような形であればよく、実行ファイルは初めからコンピュータ２が保有しており、この実行ファイルで参照可能なテーブル構造のデータであってもよく、また、内部にＬＵＴ２２９に関するデータを担持させた実行可能なプログラムであってもよい。
そして、音声出力調整時間生成手段２２７は、動画像データ解析手段２２４からの解析結果から、入力された動画像データのプロファイルやレベル、あるいはビットレートや解像度等の情報に基づいて、ＬＵＴ２２９内を探索し、入力された動画像データに応じた再生時間を取得する。
再生時間が取得されたら、音声出力調整時間生成手段２２７は、取得された再生時間に基づいて、音声出力を遅延させる音声出力調整時間を生成する。生成された音声出力調整時間は、音声出力同期調整手段２２８に出力される。
再生時間が取得されたら、音声出力調整時間生成手段２２７は、取得された再生時間に基づいて、音声出力を遅延させる音声出力調整時間を生成する。生成された音声出力調整時間は、音声出力同期調整手段２２８に出力される。
音声出力同期調整手段２２８は、生成された音声出力調整時間に基づいて、プロジェクタ３による動画像形成のタイミングに応じて音声出力のタイミングを調整する部分であり、本実施形態では、後述するサウンドカード２８を調整制御する。
オーディオデコーダ２３０は、画像音声分離手段２２６で分離された音声データを復号する部分であり、復号された音声データは、サウンドカード２８に出力される。
オーディオデコーダ２３０は、画像音声分離手段２２６で分離された音声データを復号する部分であり、復号された音声データは、サウンドカード２８に出力される。
音声出力手段としてのサウンドカード２８は、前述したように、オーディオデコーダ２３０で復号されたデジタル形式の音声データをアナログ形式の音声信号に変換し、増幅してスピーカ９から音声出力させる部分であり、遅延バッファ２８１、Ｄ／Ａコンバータ２８２、及びアンプ２８３を備えて構成される。
遅延バッファ２８１は、オーディオデコーダ２３０で復号された音声データを記憶し、音声出力同期調整手段２２８からの調整制御指令に基づいて、記憶された音声データを順次Ｄ／Ａコンバータ２８２に出力する。
Ｄ／Ａコンバータ２８２は、遅延バッファ２８１に格納されたデジタル形式の音声データをアナログ形式の音声信号に変換して出力する部分である。
アンプ２８３は、Ｄ／Ａコンバータ２８２によりアナログ変換された音声信号を増幅し、スピーカ９に出力する部分であり、これにより復号された音声データが音声としてスピーカ９から出力されるようになる。
遅延バッファ２８１は、オーディオデコーダ２３０で復号された音声データを記憶し、音声出力同期調整手段２２８からの調整制御指令に基づいて、記憶された音声データを順次Ｄ／Ａコンバータ２８２に出力する。
Ｄ／Ａコンバータ２８２は、遅延バッファ２８１に格納されたデジタル形式の音声データをアナログ形式の音声信号に変換して出力する部分である。
アンプ２８３は、Ｄ／Ａコンバータ２８２によりアナログ変換された音声信号を増幅し、スピーカ９に出力する部分であり、これにより復号された音声データが音声としてスピーカ９から出力されるようになる。
（２）プロジェクタ３の構造
画像表示装置としてのプロジェクタ３は、図５に示されるように、光学像を形成する光学エンジン５と、コンピュータ２から送信出力された画像データの画像処理を行う画像処理手段６とを備えて構成される。
光学エンジン５は、光源装置５１、インテグレータ照明光学系５２、画像形成手段としての液晶パネル５３、色合成光学系５４、及び投射レンズ５５を備えて構成される。
画像表示装置としてのプロジェクタ３は、図５に示されるように、光学像を形成する光学エンジン５と、コンピュータ２から送信出力された画像データの画像処理を行う画像処理手段６とを備えて構成される。
光学エンジン５は、光源装置５１、インテグレータ照明光学系５２、画像形成手段としての液晶パネル５３、色合成光学系５４、及び投射レンズ５５を備えて構成される。
光源装置５１から射出された光束は、インテグレータ照明光学系５２で均一な照明光となるように複数の部分光束に分割され、液晶パネル５３によって入力される画像データに応じて光変調が行われ、色合成光学系５４及び投射レンズ５５を介してスクリーン上に投射される。尚、図４では図示を略したが、本実施形態に係るプロジェクタ３は、Ｒ、Ｇ、Ｂの色光毎に液晶パネル５３によって光変調が行われるようになっていて、色合成光学系５４は、色光毎に光変調が施されたＲ、Ｇ、Ｂの各光束を合成してカラー画像を合成するために設けられている。
画像処理手段６は、コンピュータ２から入力された画像データに基づいて、所定の画像処理を行い、光学エンジン５を構成する液晶パネル５の駆動制御を行うことにより、光学像を形成する部分であり、プロジェクタ３内に設けられる回路基板上に実装される種々の回路素子を備えて構成される。
具体的には、この画像処理手段６は、ＵＳＢポート６１、ＵＳＢコントローラ６２、ＣＰＵ６３、メインメモリ６４、ビデオラスタライザ６５、デマルチプレクサ６６、ビデオフレームメモリ６７、イメージプロセッサ６８、及びパネルコントローラ６９を備えて構成される。
具体的には、この画像処理手段６は、ＵＳＢポート６１、ＵＳＢコントローラ６２、ＣＰＵ６３、メインメモリ６４、ビデオラスタライザ６５、デマルチプレクサ６６、ビデオフレームメモリ６７、イメージプロセッサ６８、及びパネルコントローラ６９を備えて構成される。
ＵＳＢポート６１は、ＵＳＢケーブル４が接続され、コンピュータ２からの画像データが入力される端子であり、ＵＳＢコントローラ６２は、このＵＳＢポート６１の入出力を制御する回路素子である。そして、このＵＳＢポート６１及びＵＳＢコントローラ６２が本発明にいうデータ受信手段を構成している。
ＣＰＵ６３は、メインメモリ６４を作業領域として種々のプログラムを実行することにより、画像処理手段６の全体の制御を行う部分である。
ビデオラスタライザ６５は、ＭＰＥＧ２等の形式の動画像データを復号し、動画像ラスタデータを生成する部分であり、このビデオラスタライザ６５で復号された動画像ラスタデータは、後述するビデオフレームメモリ６７に描き込まれる。
ＣＰＵ６３は、メインメモリ６４を作業領域として種々のプログラムを実行することにより、画像処理手段６の全体の制御を行う部分である。
ビデオラスタライザ６５は、ＭＰＥＧ２等の形式の動画像データを復号し、動画像ラスタデータを生成する部分であり、このビデオラスタライザ６５で復号された動画像ラスタデータは、後述するビデオフレームメモリ６７に描き込まれる。
データ逆多重化手段としてのデマルチプレクサ６６は、前述したコンピュータ２のデータ多重化手段２２５で多重化された各種データを分離する部分であり、詳しくは後述するが、分離された各種データは、他の回路素子で処理される。また、本実施形態におけるデマルチプレクサ６６は、やはり詳しくは後述するが、差分画像レンダラーとしても機能している。
ビデオフレームメモリ６７は、各種回路素子で形成された画像ラスタデータを蓄積し、最終的に液晶パネル５３で表示させる表示ラスタデータを格納する部分であり、パネルコントローラ６９による液晶パネル５３のデータ書き込み周期に応じて、表示ラスタデータが描き替えられる。
ビデオフレームメモリ６７は、各種回路素子で形成された画像ラスタデータを蓄積し、最終的に液晶パネル５３で表示させる表示ラスタデータを格納する部分であり、パネルコントローラ６９による液晶パネル５３のデータ書き込み周期に応じて、表示ラスタデータが描き替えられる。
ラスタデータ合成手段としてのイメージプロセッサ６８は、デマルチプレクサ６６で分離されたデータを最終的に合成して表示ラスタデータを生成する部分であり、液晶パネル５３の色再現性を確保するために、グラフィックデータ及び動画像データの合成の他、液晶パネル５３に固有のＶ−Ｔγ補正、輝度ムラ、色ムラ補正等の補正処理を行う。
走査手段としてのパネルコントローラ６９は、液晶パネル５３の駆動制御を行う回路素子であり、このパネルコントローラ６９により液晶パネル５３の画像表示領域中の各画素の駆動制御が行われる。尚、本実施形態の場合、前述したように三板式のプロジェクタ３であるため、図示を略したが、Ｒ、Ｇ、Ｂの色光毎の液晶パネル５３に対してパネルコントローラ６９はそれぞれ設けられている。
以上において、本実施形態では、画像処理手段６は複数の回路素子を組み合わせて構成しているが、画像処理手段のハードウエア構成は必ずしもこれに限らず、極めて高性能な演算処理装置であれば、１チップマイクロプロセッサによりすべての処理を行うことも可能である。
走査手段としてのパネルコントローラ６９は、液晶パネル５３の駆動制御を行う回路素子であり、このパネルコントローラ６９により液晶パネル５３の画像表示領域中の各画素の駆動制御が行われる。尚、本実施形態の場合、前述したように三板式のプロジェクタ３であるため、図示を略したが、Ｒ、Ｇ、Ｂの色光毎の液晶パネル５３に対してパネルコントローラ６９はそれぞれ設けられている。
以上において、本実施形態では、画像処理手段６は複数の回路素子を組み合わせて構成しているが、画像処理手段のハードウエア構成は必ずしもこれに限らず、極めて高性能な演算処理装置であれば、１チップマイクロプロセッサによりすべての処理を行うことも可能である。
図６には、前述した画像処理手段６の機能ブロック構成が示されている。
前述した画像処理手段６の各回路素子のうち、デマルチプレクサ６６は、データ逆多重化手段６６１及びデコーダ６６２を機能的手段として備え、ビデオラスタライザ６５は、ディクリプタ６５１、ビデオデコーダ６５２、スケーラ６５３、及びＹＵＶ−ＲＧＢコンバータ６５４を機能的手段として備えている。また、ＣＰＵ６３は、画面更新の同期を取るために、同期信号生成手段６３１を機能的手段として備えている。
前述した画像処理手段６の各回路素子のうち、デマルチプレクサ６６は、データ逆多重化手段６６１及びデコーダ６６２を機能的手段として備え、ビデオラスタライザ６５は、ディクリプタ６５１、ビデオデコーダ６５２、スケーラ６５３、及びＹＵＶ−ＲＧＢコンバータ６５４を機能的手段として備えている。また、ＣＰＵ６３は、画面更新の同期を取るために、同期信号生成手段６３１を機能的手段として備えている。
データ逆多重化手段６６１は、ＵＳＢポート６１を介して入力される多重化されたデータを、個別のデータに分離する部分であり、具体的には、グラフィックデータ、動画像データ、動画像表示領域データ、画像補正データ、及び画像属性情報に分離する。
そして、このデータ逆多重化手段６６１は、分離したグラフィックデータをデコーダ６６２に、動画像データをディクリプタ６５１に、動画像表示領域データをデコーダ６６２及びスケーラ６５３に、画像属性情報に含まれるフレームレート、コンピュータ２で設定されたリフレッシュレート、及び差分データとして入力されるグラフィックデータの画面更新周期等の情報を同期信号生成手段６３１に出力する。
そして、このデータ逆多重化手段６６１は、分離したグラフィックデータをデコーダ６６２に、動画像データをディクリプタ６５１に、動画像表示領域データをデコーダ６６２及びスケーラ６５３に、画像属性情報に含まれるフレームレート、コンピュータ２で設定されたリフレッシュレート、及び差分データとして入力されるグラフィックデータの画面更新周期等の情報を同期信号生成手段６３１に出力する。
デコーダ６６２は、前述した差分画像レンダラーとして機能し、データ逆多重化手段６６１から出力されたグラフィックデータが一画面を構成するグラフィック画像となるように変換を行う部分である。本実施形態では、前述したようにグラフィックデータとして差分データが送信されてくるので、デコーダ６６２は、更新前のグラフィックデータをメインメモリ６４に保持しておき、新たな差分データとしてのグラフィックデータが入力されたら、差分データの部分だけデータの書き替えを行って新たなグラフィックデータを生成する。このようなデコーダ６６２で変換されたグラフィックデータは、ＲＧＢデータとしてイメージプロセッサ６８に出力される。
また、このデコーダ６６２は、データ逆多重化手段６６１から出力された動画像表示領域データに基づいて、動画像を表示させるべき領域をグラフィック画像中に設定し、イメージプロセッサが動画像をオーバレイにより合成するためのカラーキーとして利用可能な色でその領域を塗りつぶす。そして、動画像が表示される部分以外の領域のグラフィックデータを生成する。
また、このデコーダ６６２は、データ逆多重化手段６６１から出力された動画像表示領域データに基づいて、動画像を表示させるべき領域をグラフィック画像中に設定し、イメージプロセッサが動画像をオーバレイにより合成するためのカラーキーとして利用可能な色でその領域を塗りつぶす。そして、動画像が表示される部分以外の領域のグラフィックデータを生成する。
ディクリプタ６５１は、入力された動画像データを復号するに先立ち、著作権等の関係からコピー防止のために暗号化されている部分を復元して、後段のビデオデコーダ６５２で復号できるような処理を行う。尚、このディクリプタ６５１は、必ずしも必要ではなく、このようなコピープロテクトがあるような動画像データの場合に必要となる。
ビデオデコーダ６５２は、圧縮された状態で送信された動画像データの復号を行う部分であり、例えば、圧縮形式がＭＰＥＧ２のような場合、圧縮状態の動画像データを、可変長符号の復号、逆走査、逆量子化、逆ＤＣＴ、動き補償等の各ステップを経てラスタデータ形式の動画像データに復号する。
ビデオデコーダ６５２は、圧縮された状態で送信された動画像データの復号を行う部分であり、例えば、圧縮形式がＭＰＥＧ２のような場合、圧縮状態の動画像データを、可変長符号の復号、逆走査、逆量子化、逆ＤＣＴ、動き補償等の各ステップを経てラスタデータ形式の動画像データに復号する。
スケーラ６５３は、復号された動画像データの伸縮調整を行う部分であり、データ逆多重化手段６６１から出力された動画像表示領域データ、動画像データに含まれる解像度情報、及び液晶パネル５３のスペック等に基づいて、動画像データを表示すべき領域及びその領域内での解像度設定を行う。
ＹＵＶ−ＲＧＢコンバータ６５４は、動画像データのＹＵＶ形式のデータを画像表示装置で処理可能なＲＧＢ形式に変換する部分であり、変換は一定の関係式に基づいて行われる。
ＹＵＶ−ＲＧＢコンバータ６５４は、動画像データのＹＵＶ形式のデータを画像表示装置で処理可能なＲＧＢ形式に変換する部分であり、変換は一定の関係式に基づいて行われる。
イメージプロセッサ６８は、前述したように、デコーダ６６２で復号されたグラフィックデータと、ビデオデコーダ６５２で復号された動画像データを合成して表示ラスタデータを生成する。さらに、このイメージプロセッサ６８は、データ逆多重化手段６６１から出力されるコンピュータ２側で設定された画像補正データ、及び、液晶パネル５３固有に設定された画像補正データに基づく補正処理を行い、補正後の表示ラスタデータをビデオフレームメモリ６７に描き込む。
同期信号生成手段６３１は、データ逆多重化手段６６１から出力される画面更新に関する情報に基づいて、パネルコントローラ６９の画面更新用の同期信号を生成する部分であり、本実施形態では、動画像データのシリアルヘッダから得られるフレームレートに基づいて、同期信号が生成される。また、この同期信号生成手段６３１で生成された同期信号は、イメージプロセッサ６８にも出力され、イメージプロセッサ６８は、この同期信号に基づいて、ビデオフレームメモリ６７への表示ラスタデータの描き込みのタイミングを設定している。
同期信号生成手段６３１は、データ逆多重化手段６６１から出力される画面更新に関する情報に基づいて、パネルコントローラ６９の画面更新用の同期信号を生成する部分であり、本実施形態では、動画像データのシリアルヘッダから得られるフレームレートに基づいて、同期信号が生成される。また、この同期信号生成手段６３１で生成された同期信号は、イメージプロセッサ６８にも出力され、イメージプロセッサ６８は、この同期信号に基づいて、ビデオフレームメモリ６７への表示ラスタデータの描き込みのタイミングを設定している。
（３）画像音声出力システム１の作用
次に、前述した構成の画像音声出力システム１の作用を図７及び図８に示されるフローチャートに基づいて説明する。
(3-1)コンピュータ２側の処理
まず、グラフィック画像データ取得手段２２１は、現在表示中のグラフィック画像をキャプチャし、これをグラフィックデータとして取得する（処理Ｓ１）。
次に、グラフィック画像データ取得手段２２１の差分データ生成部２２１Ａは、前回キャプチャされたグラフィック画像と、今回キャプチャされたグラフィック画像とに基づいて、更新された部分となる差分データの生成を行う（処理Ｓ２）。これと並行して、動画像表示領域生成手段２２２は、キャプチャされたグラフィック画像に基づいて、動画像表示領域の画面上のＸ−Ｙ位置、大きさ、解像度等の動画像表示領域データを生成する（処理Ｓ３）。
次に、前述した構成の画像音声出力システム１の作用を図７及び図８に示されるフローチャートに基づいて説明する。
(3-1)コンピュータ２側の処理
まず、グラフィック画像データ取得手段２２１は、現在表示中のグラフィック画像をキャプチャし、これをグラフィックデータとして取得する（処理Ｓ１）。
次に、グラフィック画像データ取得手段２２１の差分データ生成部２２１Ａは、前回キャプチャされたグラフィック画像と、今回キャプチャされたグラフィック画像とに基づいて、更新された部分となる差分データの生成を行う（処理Ｓ２）。これと並行して、動画像表示領域生成手段２２２は、キャプチャされたグラフィック画像に基づいて、動画像表示領域の画面上のＸ−Ｙ位置、大きさ、解像度等の動画像表示領域データを生成する（処理Ｓ３）。
一方、上記グラフィックデータの取得と並行して、画像音声分離手段２２６は、光ディスク装置２５等から入力される画像音声データを、動画像データと音声データに分離する（処理Ｓ４）。
動画像データ取得手段２２３は、分離された動画像データをラスタライズ処理することなく取得する（処理Ｓ５）。次に、動画像データ解析手段２２４は、取得された動画像データのシーケンスヘッダ及びシーケンスエクステンション（ＭＰＥＧ２の場合）等の部分から、動画像データのフレームレート、ビットレート、アスペクト比、解像度等の諸情報を画像属性情報として取得する（処理Ｓ６）。
上記の各種情報が得られたら、データ多重化手段２２５は、これらのデータを前述したＭＰＥＧ−ＴＳやＭＰＥＧ−ＰＳなどの形式で多重化する（処理Ｓ７）。多重化されたデータは、チップセット２１が有するＵＳＢコントローラとしての機能により符号化され、ＵＳＢポート２７からＵＳＢケーブル４を介してプロジェクタ３に送信出力される（処理Ｓ８）。
動画像データ取得手段２２３は、分離された動画像データをラスタライズ処理することなく取得する（処理Ｓ５）。次に、動画像データ解析手段２２４は、取得された動画像データのシーケンスヘッダ及びシーケンスエクステンション（ＭＰＥＧ２の場合）等の部分から、動画像データのフレームレート、ビットレート、アスペクト比、解像度等の諸情報を画像属性情報として取得する（処理Ｓ６）。
上記の各種情報が得られたら、データ多重化手段２２５は、これらのデータを前述したＭＰＥＧ−ＴＳやＭＰＥＧ−ＰＳなどの形式で多重化する（処理Ｓ７）。多重化されたデータは、チップセット２１が有するＵＳＢコントローラとしての機能により符号化され、ＵＳＢポート２７からＵＳＢケーブル４を介してプロジェクタ３に送信出力される（処理Ｓ８）。
処理Ｓ４において、分離された音声データは、オーディオデコーダ２３０で取得され（処理Ｓ９）、オーディオデコーダ２３０により復号され（処理Ｓ１０）、復号された音声データは順次遅延バッファ２８１に記憶される。
これと並行して処理Ｓ６において、動画像データ解析手段２２４は、ビットレート、解像度等の解析結果を出力し、この解析結果は、音声出力調整時間生成手段２２７で取得される（処理Ｓ１１）。
音声出力調整時間生成手段２２７は、取得された解析結果に基づいて、ＬＵＴ２２９内を探索し（処理Ｓ１２）、解析結果に適合するレベル及びプロファイル、あるいはビットレート及び解像度に応じた再生時間を抽出する。次に、音声出力調整時間生成手段２２７は、取得された再生時間に基づいて、音声出力調整時間を生成し、生成した音声出力調整時間を音声出力同期調整手段２２８に出力する（処理Ｓ１３）。
これと並行して処理Ｓ６において、動画像データ解析手段２２４は、ビットレート、解像度等の解析結果を出力し、この解析結果は、音声出力調整時間生成手段２２７で取得される（処理Ｓ１１）。
音声出力調整時間生成手段２２７は、取得された解析結果に基づいて、ＬＵＴ２２９内を探索し（処理Ｓ１２）、解析結果に適合するレベル及びプロファイル、あるいはビットレート及び解像度に応じた再生時間を抽出する。次に、音声出力調整時間生成手段２２７は、取得された再生時間に基づいて、音声出力調整時間を生成し、生成した音声出力調整時間を音声出力同期調整手段２２８に出力する（処理Ｓ１３）。
音声出力同期調整手段２２８は、生成された音声出力調整時間に基づいて、遅延バッファ２８１からＤ／Ａコンバータ２８２に出力する音声データのタイミングを調整して、動画像表示のタイミングとの同期を図る（処理Ｓ１４）。
Ｄ／Ａコンバータ２８２は、遅延バッファ２８１から入力された音声データを順次アナログ変換し、アンプ２８３によって増幅し、スピーカ９から音声を出力させる（処理Ｓ１５）。
Ｄ／Ａコンバータ２８２は、遅延バッファ２８１から入力された音声データを順次アナログ変換し、アンプ２８３によって増幅し、スピーカ９から音声を出力させる（処理Ｓ１５）。
(3-2)プロジェクタ３側の処理
コンピュータ２からの多重化されたデータは、ＵＳＢポート６１及びＵＳＢコントローラ６２で受信され（処理Ｓ１６）、さらにＵＳＢコントローラ６２により画像処理手段６で処理可能な形式に復号され、データ逆多重化手段６６１に出力される。
データ逆多重化手段６６１は、多重化されたデータを個別のグラフィックデータ、動画像表示領域データ、動画像データ、及び画像属性情報に分離する（処理Ｓ１７）。
デコーダ６６２は、分離されたグラフィックデータを差分データとして取得し（処理Ｓ１８）、更新前のグラフィック画像に基づいて、差分データの部分のみを描き替えたグラフィックデータを更新する（処理Ｓ１９）。
コンピュータ２からの多重化されたデータは、ＵＳＢポート６１及びＵＳＢコントローラ６２で受信され（処理Ｓ１６）、さらにＵＳＢコントローラ６２により画像処理手段６で処理可能な形式に復号され、データ逆多重化手段６６１に出力される。
データ逆多重化手段６６１は、多重化されたデータを個別のグラフィックデータ、動画像表示領域データ、動画像データ、及び画像属性情報に分離する（処理Ｓ１７）。
デコーダ６６２は、分離されたグラフィックデータを差分データとして取得し（処理Ｓ１８）、更新前のグラフィック画像に基づいて、差分データの部分のみを描き替えたグラフィックデータを更新する（処理Ｓ１９）。
これと並行して、ビデオラスタライザ６５は、動画像データ及び動画像表示領域データを取得し（処理Ｓ２０、Ｓ２１）、これらのデータと動画像データに含まれる画像属性情報等に基づいて、動画像のラスタライズ処理を行う（処理Ｓ２２）。
デコーダ６６２によるグラフィックデータのラスタライズ、ビデオラスタライザ６５によるラスタライズが終了したら、イメージプロセッサ６８は、各々のラスタライズされたデータを合成して、表示ラスタデータを生成する（処理Ｓ２３）。さらに、イメージプロセッサ６８は、液晶パネル５３に固有の画像補正処理を行って、パネルコントローラ６９による走査によって液晶パネル５３上に光学像を形成し、投射レンズ５５を介してスクリーン上に投射画像を表示させる（処理Ｓ２４）。
デコーダ６６２によるグラフィックデータのラスタライズ、ビデオラスタライザ６５によるラスタライズが終了したら、イメージプロセッサ６８は、各々のラスタライズされたデータを合成して、表示ラスタデータを生成する（処理Ｓ２３）。さらに、イメージプロセッサ６８は、液晶パネル５３に固有の画像補正処理を行って、パネルコントローラ６９による走査によって液晶パネル５３上に光学像を形成し、投射レンズ５５を介してスクリーン上に投射画像を表示させる（処理Ｓ２４）。
このように本実施形態によれば、音声出力同期調整手段２２８により、コンピュータ２側の内部処理で動画像出力及び音声出力の同期が取られるので、サウンドカード２８の遅延バッファ２８１を利用して画像出力と音声出力のタイミングを一致させることができる。従って、別途サウンドカード２８に遅延時間情報を処理するための通信処理プログラム等を実装する必要がなく、製造コストの低減を図ることができる。
また、動画像データ解析手段２２４により、画像データの圧縮形式に応じて音声出力調整時間が生成されるため、画像データの圧縮形式に応じて最適なタイミングで音声出力させることができる。
さらに、音声出力調整時間生成手段２２７が動画像データ解析手段２２４による解析結果に基づいて、ＬＵＴ２２９内を探索して、音声出力調整時間を生成しているので、簡単な処理で音声出力調整時間を生成することができる。
さらに、音声出力調整時間生成手段２２７が動画像データ解析手段２２４による解析結果に基づいて、ＬＵＴ２２９内を探索して、音声出力調整時間を生成しているので、簡単な処理で音声出力調整時間を生成することができる。
■２．第２実施形態
次に、本発明の第２実施形態について説明する。尚、以下の説明では、既に説明した部分と同一の部分については、同一符号を付してその説明を省略する。
前述の第１実施形態では、図３に示されるように、音声出力同期調整手段２２８は、音声出力調整時間による音声データ出力のタイミングを、サウンドカード２８を構成する遅延バッファ２８１に記憶された音声データの出力を遅延させることにより調整していた。
次に、本発明の第２実施形態について説明する。尚、以下の説明では、既に説明した部分と同一の部分については、同一符号を付してその説明を省略する。
前述の第１実施形態では、図３に示されるように、音声出力同期調整手段２２８は、音声出力調整時間による音声データ出力のタイミングを、サウンドカード２８を構成する遅延バッファ２８１に記憶された音声データの出力を遅延させることにより調整していた。
これに対して、第２実施形態に係る画像出力データ装置では、図９に示されるように、
オーディオデコーダ２３０で復号された音声データを出力する際、サウンドカード２８への出力のタイミングを、音声出力調整時間に基づいて調整している点が相違する。
すなわち、第２実施形態に係る音声出力同期調整手段４２８は、図９に示されるように、オーディオデコーダ２３０で復号された音声データを、ＣＰＵ２２に付帯するメインメモリ２３に格納した段階で、音声出力調整時間生成手段２２７で生成された音声出力調整時間に応じて遅延させてサウンドカード２８に出力するように構成されている。
このような本実施形態によっても、前述した第１実施形態で述べた作用及び効果と同様の作用及び効果を享受することができる。
オーディオデコーダ２３０で復号された音声データを出力する際、サウンドカード２８への出力のタイミングを、音声出力調整時間に基づいて調整している点が相違する。
すなわち、第２実施形態に係る音声出力同期調整手段４２８は、図９に示されるように、オーディオデコーダ２３０で復号された音声データを、ＣＰＵ２２に付帯するメインメモリ２３に格納した段階で、音声出力調整時間生成手段２２７で生成された音声出力調整時間に応じて遅延させてサウンドカード２８に出力するように構成されている。
このような本実施形態によっても、前述した第１実施形態で述べた作用及び効果と同様の作用及び効果を享受することができる。
■３．第３実施形態
次に、本発明の第３実施形態について説明する。
前述の第１実施形態では、音声出力調整時間生成手段２２７による音声出力調整時間の生成は、専ら動画像データ解析手段２２４で解析された解析結果に基づいたものであった。
これに対して、第３実施形態に係る画像音声出力システムは、図１０及び図１１に示されるように、プロジェクタの画像処理手段７側で表示設定を変更した際に、プロジェクタの画像処理手段７からその設定情報がコンピュータ８側に出力され、コンピュータ８側ではこの変更された設定情報による画像処理に要する時間を加味して音声出力調整時間を生成している点が相違する。
次に、本発明の第３実施形態について説明する。
前述の第１実施形態では、音声出力調整時間生成手段２２７による音声出力調整時間の生成は、専ら動画像データ解析手段２２４で解析された解析結果に基づいたものであった。
これに対して、第３実施形態に係る画像音声出力システムは、図１０及び図１１に示されるように、プロジェクタの画像処理手段７側で表示設定を変更した際に、プロジェクタの画像処理手段７からその設定情報がコンピュータ８側に出力され、コンピュータ８側ではこの変更された設定情報による画像処理に要する時間を加味して音声出力調整時間を生成している点が相違する。
具体的には、図１０に示されるように、プロジェクタの画像処理手段７は、第１実施形態に係る画像処理手段６に加えて、操作パネル７１、表示状態設定手段７２、及び設定情報送信手段７３を備えて構成される。
操作パネル７１は、プロジェクタの外装ケースに設けられた複数のスイッチ群を備えて構成され、視聴者はこの操作パネル７１を操作したり、ＵＳＢケーブルを介して接続されるコンピュータを操作することにより、プロジェクタの投射画像を好みの色調に変化させたり、入力された動画像データの走査形式、例えば、インターレース形式を所望の方式でプログレッシブ形式に変換したり、スクリーン上に投射された台形状の投射画像を長方形状の適切な投射画像に変更したりすることが可能となる。
操作パネル７１は、プロジェクタの外装ケースに設けられた複数のスイッチ群を備えて構成され、視聴者はこの操作パネル７１を操作したり、ＵＳＢケーブルを介して接続されるコンピュータを操作することにより、プロジェクタの投射画像を好みの色調に変化させたり、入力された動画像データの走査形式、例えば、インターレース形式を所望の方式でプログレッシブ形式に変換したり、スクリーン上に投射された台形状の投射画像を長方形状の適切な投射画像に変更したりすることが可能となる。
表示状態設定手段７２は、操作パネル７１の操作によって出力される操作信号に基づいて、画像処理手段７上の各機能的手段における設定値を変更する部分であり、例えば、スケーラ６５３の設定値や、イメージプロセッサ６８における設定値を変更することができるようになっている。
設定情報送信手段７３は、表示状態設定手段７２で設定された設定情報を取得し、ＵＳＢコントローラ６２及びＵＳＢポート６１を介してコンピュータ８に送信出力する部分である。
設定情報送信手段７３は、表示状態設定手段７２で設定された設定情報を取得し、ＵＳＢコントローラ６２及びＵＳＢポート６１を介してコンピュータ８に送信出力する部分である。
コンピュータ８は、図１１に示されるように、プロジェクタ側から送信された設定情報をチップセット２１のＵＳＢコントロール機能を利用して受信し、受信された設定情報は、処理時間算出手段８１及び音声出力調整時間生成手段８２で処理される。
処理時間算出手段８１は、受信された設定情報に基づいて、各処理に応じた処理時間を算出する部分であり、本実施形態では図示を略したが、ＬＵＴ２２９内に格納された設定処理に応じた処理時間が記憶されたＬＵＴを参照することにより、各処理により必要な処理時間を算出する。
音声出力調整時間生成手段８２は、第１実施形態と同様に、動画像データ解析手段２２４の解析結果、及び処理時間算出手段８１で算出された処理時間に基づいて、音声出力調整時間を生成する。
以下、この音声出力調整時間生成手段８２による音声出力調整時間の生成手順について、図１２に示される模式図について説明する。
処理時間算出手段８１は、受信された設定情報に基づいて、各処理に応じた処理時間を算出する部分であり、本実施形態では図示を略したが、ＬＵＴ２２９内に格納された設定処理に応じた処理時間が記憶されたＬＵＴを参照することにより、各処理により必要な処理時間を算出する。
音声出力調整時間生成手段８２は、第１実施形態と同様に、動画像データ解析手段２２４の解析結果、及び処理時間算出手段８１で算出された処理時間に基づいて、音声出力調整時間を生成する。
以下、この音声出力調整時間生成手段８２による音声出力調整時間の生成手順について、図１２に示される模式図について説明する。
まず、動画像データ解析手段２２４の解析結果に基づいて、音声出力調整時間生成手段８２は、あるフレームが復元される時刻ＤＴＳ（Decoding Time Stamp）、あるフレームが表示される時刻ＰＴＳｖ（Video Presentation Time Stamp）、及びあるフレームに応じた音声出力がされる時刻ＰＴＳａ（Audio Presentation Time Stamp）を取得し、動画像データの基本的な復号及び再生処理時間を取得する（処理Ｓ２５）。
一方、処理時間算出手段８１は、プロジェクタ側から送信された設定情報に基づいて、どのような処理が行われたかを区分し、各設定のステージに応じた処理時間を算出する（処理Ｓ２６〜処理Ｓ２８）。例えば、本実施形態では３段階の設定処理が行われているが、Stage１の処理としてＩＰ変換、Stage２の処理としてはスケーリング、Stage３の処理としてはγ補正等が考えられる。
一方、処理時間算出手段８１は、プロジェクタ側から送信された設定情報に基づいて、どのような処理が行われたかを区分し、各設定のステージに応じた処理時間を算出する（処理Ｓ２６〜処理Ｓ２８）。例えば、本実施形態では３段階の設定処理が行われているが、Stage１の処理としてＩＰ変換、Stage２の処理としてはスケーリング、Stage３の処理としてはγ補正等が考えられる。
処理時間算出手段８１による処理時間ΔＴ１〜ΔＴ３が算出されたら、音声出力調整時間生成手段８２は、各時間を積算した積算見積処理時間ΔＴを算出する（処理Ｓ２９）。
音声出力調整時間生成手段８２は、処理Ｓ２５で取得されたＰＴＳｖにこの積算見積積算時間ΔＴを加えて、設定処理を加味した際のあるフレームの出力時刻ＰＴＳｖ’を算出する（処理Ｓ３０）。
音声出力調整時間生成手段８２は、処理Ｓ２５で取得されたＰＴＳｖにこの積算見積積算時間ΔＴを加えて、設定処理を加味した際のあるフレームの出力時刻ＰＴＳｖ’を算出する（処理Ｓ３０）。
最後に、音声出力調整時間生成手段８２は、ＰＴＳｖ’に基づいて、取得されたＰＴＳａから上記フレームの出力時刻に応じた音声出力の時刻ＰＴＳａ’を算出する（処理Ｓ３１）。尚、本実施形態では、算出の際、取得されたＰＴＳａに対して、単純に積算見積時間ΔＴを加えただけでなく、マージン時間αを加えてＰＴＳａ’を算出している。これは、動画像の変化よりも音声が先に出力されると、違和感が生じるのに対して、動画像の変化よりも音声出力が多少遅れても、あまり違和感が生じないという視聴者の特性を考慮したものである。
また、本実施形態では、設定処理は処理Ｓ２６〜処理Ｓ２８という３段階で説明していたが、これに限らず、より多くの処理も各処理の処理時間を加算することによって、増加させることも可能である。
また、本実施形態では、設定処理は処理Ｓ２６〜処理Ｓ２８という３段階で説明していたが、これに限らず、より多くの処理も各処理の処理時間を加算することによって、増加させることも可能である。
このような本実施形態によれば、プロジェクタが設定情報送信手段７３を備え、画像音声データ処理装置が設定情報受信手段２１、２７、処理時間算出手段８１を備えていることにより、プロジェクタ側で表示状態の設定を変更した際に、音声出力調整時間生成手段８２は、この画像処理の時間をも加味して音声出力調整時間を生成することができるので、より画像出力のタイミングに近い状態で音声出力させることができる。
■４．実施形態の変形
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、前記実施形態では、画像音声データ出力装置としてコンピュータ２、８を採用していたが、本発明はこれに限られない。すなわち、画像音声データ出力装置として、ＤＶＤ再生装置やゲーム機器等の装置を採用してもよい。
また、前記実施形態では、画像表示装置として液晶プロジェクタ３を採用していたが、本発明はこれに限られず、ＤＬＰ等の液晶以外の光変調装置を備えたプロジェクタや、バックライト形式の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等のディスプレイに本発明を採用してもよい。
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、前記実施形態では、画像音声データ出力装置としてコンピュータ２、８を採用していたが、本発明はこれに限られない。すなわち、画像音声データ出力装置として、ＤＶＤ再生装置やゲーム機器等の装置を採用してもよい。
また、前記実施形態では、画像表示装置として液晶プロジェクタ３を採用していたが、本発明はこれに限られず、ＤＬＰ等の液晶以外の光変調装置を備えたプロジェクタや、バックライト形式の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等のディスプレイに本発明を採用してもよい。
さらに、前記実施形態では、コンピュータ２とプロジェクタ３を接続する伝送路としてＵＳＢケーブル４を採用していたが、本発明はこれに限られない。すなわち、ＬＡＮ等の画像転送可能な伝送路で画像データ出力装置と画像表示装置とを接続したシステムであっても本発明を採用することができる。
その他、本発明の実施の際の具体的な構造及び形状等は、本発明の目的を達成できる範囲で他の構造等としてもよい。
その他、本発明の実施の際の具体的な構造及び形状等は、本発明の目的を達成できる範囲で他の構造等としてもよい。
２、８…コンピュータ（画像音声データ出力装置）、３…プロジェクタ（画像表示装置）、４…ＵＳＢケーブル（伝送路）、６、７…画像処理手段、２１…チップセット（画像データ送信手段）、２７…（画像データ送信手段）、２８…サウンドカード（音声データ出力手段）、５３…液晶パネル（画像形成手段）、７２…表示状態設定手段、７３…設定情報送信手段、８２、２２７…音声出力調整時間生成手段、２２３…動画像データ解析手段（画像データ解析手段）、２２６…画像音声分離手段、２２８…音声出力同期調整手段、２２９…ＬＵＴ（再生時間記録手段）
Claims (8)
- 画像音声データを出力可能な画像音声データ出力装置と、この画像音声データ出力装置と伝送路を介して接続され、前記画像音声データ出力装置から出力された画像データに基づいて、画像を表示する画像表示装置とを備えた画像音声出力システムであって、
前記画像音声データ出力装置は、
前記画像音声データに含まれる画像データ及び音声データを分離する画像音声データ分離手段と、
分離された前記画像データを、前記伝送路を介して前記画像表示装置に送信する画像データ送信手段と、
分離された前記音声データを出力する音声データ出力手段と、
前記画像データ送信手段により前記画像表示装置に送信し、該画像表示装置で再生させようとする画像データを解析し、前記解析の結果を取得する画像データ解析手段と、
この画像データ解析手段の解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成する音声出力調整時間生成手段と、
この音声出力調整時間生成手段により生成された音声出力調整時間に基づいて、前記画像表示装置で表示される画像再生のタイミングに同期して、分離された前記音声データによる音声出力を調整する音声出力同期調整手段とを備え、
前記画像表示装置は、
前記画像音声データ出力装置から送信された画像データを受信する画像データ受信手段と、
この画像データ受信手段で受信された画像データの再生処理を行う画像処理手段と、
この画像処理手段により処理された画像データに基づいて、画像を形成する画像形成手段とを備えていることを特徴とする画像音声出力システム。 - 請求項１に記載の画像音声出力システムにおいて、
前記画像データ出力装置は、
前記画像データの解像度とビットレートのいずれか、又はその両者の組合せに応じた再生時間を記録したルックアップテーブルを有する再生時間記録手段を備え、
前記音声出力調整時間生成手段は、前記再生時間記録手段に記録されたルックアップテーブルを参照して音声出力調整時間を生成することを特徴とする画像音声出力システム。 - 請求項１又は請求項２に記載の画像音声出力システムにおいて、
前記伝送路は、双方向通信可能であり、
前記画像表示装置は、
前記画像形成手段により形成される画像の表示状態を設定する表示状態設定手段と、
この表示状態設定手段により設定された設定情報を、前記画像音声データ出力装置に前記伝送路を介して送信する設定情報送信手段とを備え、
前記画像処理手段は、前記表示状態設定手段により設定された設定情報に基づいて、画像データの再生処理を行い、
前記画像音声データ出力装置は、
前記画像表示装置から送信された設定情報を受信する設定情報受信手段と、
この設定情報受信手段で受信された設定情報に基づいて、前記画像表示装置の画像処理手段による画像処理時間を算出する処理時間算出手段とを備え、
前記音声出力調整時間生成手段は、この処理時間算出手段で算出された画像処理時間を加味して音声出力調整時間を生成することを特徴とする画像音声出力システム。 - 画像音声データが出力可能とされ、双方向通信可能な伝送路を介して接続された画像表示装置に画像データを出力して画像を表示させる画像音声データ出力装置であって、
前記画像音声データに含まれる画像データ及び音声データを分離する画像音声データ分離手段と、
分離された前記画像データを、前記伝送路を介して前記画像表示装置に送信する画像データ送信手段と、
分離された前記音声データを出力する音声データ出力手段と、
前記画像データ送信手段により前記画像表示装置に送信し、該画像表示装置で再生させようとする画像データを解析し、前記解析の結果を取得する画像データ解析手段と、
この画像データ解析手段の解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成する音声出力調整時間生成手段と、
この音声出力調整時間生成手段により生成された音声出力調整時間に基づいて、前記画像表示装置で表示される画像再生のタイミングに同期して、分離された前記音声データ出力手段による音声出力を調整する音声出力同期調整手段とを備えていることを特徴とする画像音声データ出力装置。 - 画像データ及び音声データが出力可能とされ、伝送路を介して接続された画像表示装置に前記画像データを出力して画像を表示させるために、
前記画像音声データに含まれる画像データ及び音声データを分離する画像音声データ分離手段と、
分離された前記画像データを、前記伝送路を介して前記画像表示装置に送信する画像データ送信手段と、
分離された前記音声データを出力する音声データ出力手段と、
前記画像データ送信手段により前記画像表示装置に送信し、該画像表示装置で再生させようとする画像データを解析し、前記解析の結果を取得する画像データ解析手段と、
この画像データ解析手段の解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成する音声出力調整時間生成手段と、
この音声出力調整時間生成手段により生成された音声出力調整時間に基づいて、前記画像表示装置で表示される画像再生のタイミングに同期して、分離された前記音声データによる音声出力を調整する音声出力同期調整手段とを備えた画像音声データ出力装置に用いられ、前記音声出力調整時間生成手段による音声出力調整時間生成用のデータが記録されたコンピュータ読み取り可能な記録媒体であって、
前記画像データの解像度とビットレートのいずれか、又はその両者の組合せに応じた再生時間を記録したルックアップテーブルとして記録したことを特徴とする記録媒体。 - 画像音声データが出力可能とされ、伝送路を介して接続された画像表示装置に前記画像データを出力して画像を表示させる画像音声データ出力装置上で実行される音声処理プログラムであって、
前記画像音声データを画像データ及び音声データに分離するステップと、
前記画像表示装置で再生させようとする画像データを解析するステップと、
解析結果に基づいて、前記画像表示装置上で前記画像データを再生する時間に応じた音声出力調整時間を生成するステップと、
生成された音声出力調整時間に基づいて、前記音声データによる音声出力を調整するステップとを前記画像データ出力装置に実行させることを特徴とする音声処理プログラム。 - 請求項６に記載の音声処理プログラムにおいて、
前記画像表示装置による再生時間の算出に際して用いられ、前記画像データの解像度とビットレートのいずれか、又はその両者の組合せに応じた再生時間データが担持されていることを特徴とする音声処理プログラム。 - 請求項６又は請求項７に記載の音声処理プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005271035A JP4375313B2 (ja) | 2005-09-16 | 2005-09-16 | 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体 |
| US11/531,482 US7729593B2 (en) | 2005-09-16 | 2006-09-13 | Image and sound output system, image and sound data output device, and recording medium |
| CNB2006101541895A CN100505889C (zh) | 2005-09-16 | 2006-09-18 | 图像声音输出系统、装置、声音处理程序和记录介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005271035A JP4375313B2 (ja) | 2005-09-16 | 2005-09-16 | 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007082155A true JP2007082155A (ja) | 2007-03-29 |
| JP4375313B2 JP4375313B2 (ja) | 2009-12-02 |
Family
ID=37879182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005271035A Expired - Fee Related JP4375313B2 (ja) | 2005-09-16 | 2005-09-16 | 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7729593B2 (ja) |
| JP (1) | JP4375313B2 (ja) |
| CN (1) | CN100505889C (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009157078A1 (ja) * | 2008-06-26 | 2009-12-30 | 富士通マイクロエレクトロニクス株式会社 | 映像音声データ出力装置および映像音声データ出力方法 |
| JP2010541354A (ja) | 2007-09-28 | 2010-12-24 | トムソン ライセンシング | 他の装置に送信された受信ストリームを同期可能な通信技術 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4991129B2 (ja) * | 2005-07-19 | 2012-08-01 | Ｎｅｃディスプレイソリューションズ株式会社 | 映像音声再生装置および映像音声再生方法 |
| JP2011022727A (ja) * | 2009-07-14 | 2011-02-03 | Sony Corp | 画像処理装置および画像処理方法 |
| JP5688255B2 (ja) * | 2010-09-15 | 2015-03-25 | 日立マクセル株式会社 | 映像処理装置、表示装置及び映像処理方法 |
| TWI411233B (zh) * | 2010-12-24 | 2013-10-01 | Univ Nat Chiao Tung | 數位類比轉換裝置 |
| CN105224500B (zh) * | 2015-10-09 | 2017-12-08 | 四川特伦特科技股份有限公司 | 一种利用多核处理器的vpx背板 |
| US10027994B2 (en) * | 2016-03-23 | 2018-07-17 | Dts, Inc. | Interactive audio metadata handling |
| KR20180068069A (ko) * | 2016-12-13 | 2018-06-21 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| CN110545411B (zh) * | 2018-05-29 | 2021-06-15 | 中强光电股份有限公司 | 投影机、投影系统以及其传输延迟的侦测方法 |
| CN109600564B (zh) * | 2018-08-01 | 2020-06-02 | 北京微播视界科技有限公司 | 用于确定时间戳的方法和装置 |
| US20220150566A1 (en) * | 2020-11-06 | 2022-05-12 | Telstar USA LLC | Video Display System |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3500667B2 (ja) | 1993-08-18 | 2004-02-23 | ソニー株式会社 | テレビ会議システムおよび同期方法 |
| US6587641B1 (en) * | 1998-07-21 | 2003-07-01 | Matsushita Electric Industrial Co., Ltd. | Apparatus for simultaneously writing and outputting data stream |
| GB0000874D0 (en) * | 2000-01-14 | 2000-03-08 | Koninkl Philips Electronics Nv | Latency handling for interconnected devices |
| JP2002290932A (ja) | 2001-03-27 | 2002-10-04 | Toshiba Corp | デジタル放送受信装置とその制御方法 |
| JP2002344898A (ja) * | 2001-05-17 | 2002-11-29 | Pioneer Electronic Corp | 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法 |
| JP4048870B2 (ja) | 2002-08-06 | 2008-02-20 | セイコーエプソン株式会社 | プロジェクタシステム |
| JP4256710B2 (ja) | 2003-04-16 | 2009-04-22 | パナソニック株式会社 | Ａｖ伝送方法及びａｖ伝送装置、並びにａｖ送信装置及びａｖ受信装置 |
-
2005
- 2005-09-16 JP JP2005271035A patent/JP4375313B2/ja not_active Expired - Fee Related
-
2006
- 2006-09-13 US US11/531,482 patent/US7729593B2/en not_active Expired - Fee Related
- 2006-09-18 CN CNB2006101541895A patent/CN100505889C/zh not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010541354A (ja) | 2007-09-28 | 2010-12-24 | トムソン ライセンシング | 他の装置に送信された受信ストリームを同期可能な通信技術 |
| WO2009157078A1 (ja) * | 2008-06-26 | 2009-12-30 | 富士通マイクロエレクトロニクス株式会社 | 映像音声データ出力装置および映像音声データ出力方法 |
| JP5212473B2 (ja) * | 2008-06-26 | 2013-06-19 | 富士通セミコンダクター株式会社 | 映像音声データ出力装置および映像音声データ出力方法 |
| US8842218B2 (en) | 2008-06-26 | 2014-09-23 | Fujitsu Semiconductor Limited | Video/audio data output device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4375313B2 (ja) | 2009-12-02 |
| CN100505889C (zh) | 2009-06-24 |
| US7729593B2 (en) | 2010-06-01 |
| CN1933604A (zh) | 2007-03-21 |
| US20070065112A1 (en) | 2007-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4375313B2 (ja) | 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体 | |
| US8063894B2 (en) | Image display system, image display device, and image data output device | |
| JP6671022B2 (ja) | 表示装置、表示方法及びコンピュータプログラム | |
| JP6558599B2 (ja) | 再生装置、再生方法、及び、コンピュータプログラム | |
| JP6355521B2 (ja) | デジタル放送受信装置及び方法 | |
| US7453522B2 (en) | Video data processing apparatus | |
| US8810563B2 (en) | Transmitting apparatus, stereoscopic image data transmitting method, receiving apparatus, and stereoscopic image data receiving method | |
| WO2019069482A1 (ja) | 映像表示システム及び映像表示方法 | |
| JP2007258872A (ja) | 再生装置および再生装置の再生方法 | |
| JP3791904B2 (ja) | マルチディスプレイ装置 | |
| WO2018235338A1 (ja) | 映像表示装置及び映像表示方法 | |
| JP2010263382A (ja) | 送信装置、立体画像データの送信方法、受信装置、立体画像データの受信方法、中継装置および立体画像データの中継方法 | |
| WO2019008819A1 (ja) | 映像表示装置及び映像表示方法 | |
| US8593575B2 (en) | Video display apparatus for shortened-delay processing of a video signal and video processing method | |
| JP2009296081A (ja) | 映像再生装置 | |
| JP2020501387A (ja) | ディスプレイ装置及びその制御方法 | |
| JP2020092444A (ja) | 表示装置、表示方法及びコンピュータプログラム | |
| JP2011158915A (ja) | 画像表示システム、画像表示装置、画像表示装置の制御方法、及び画像表示システムによる画像表示方法 | |
| JP6868797B2 (ja) | 変換方法及び変換装置 | |
| JP2002185849A (ja) | 出力装置、及びテレシネ表示方法 | |
| JP5538604B2 (ja) | 立体画像データ送信方法および立体画像データ送信装置 | |
| JP5583297B2 (ja) | 立体画像データ受信方法および立体画像データ受信装置 | |
| JP5577477B1 (ja) | 立体画像データ受信方法および立体画像データ受信装置 | |
| JP2006180091A (ja) | コンテンツ合成装置及び方法 | |
| JP5577476B1 (ja) | 立体画像データ送信方法および立体画像データ送信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070704 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070813 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071012 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090831 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4375313 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |