JP2013172309A - 映像出力装置、映像送信装置および映像通信システム - Google Patents

Abstract

【課題】映像とこれに付随するデータを同一通信路を用いて伝送することを可能とする。
【解決手段】通信路３００を介して映像出力装置と通信する映像送信装置は、通信路３００の通信プロトコルを取得するプロトコル取得部と、映像データと、映像データに付随する付随データとを、取得した通信プロトコルの種類に対応したフォーマットに従って、映像データと、映像データに付随する付随データとを個別に含む合成データを生成する合成部と、を備え、生成された合成データを通信路３００に出力する。
【選択図】図１

Description

本発明は映像出力装置、映像送信装置および映像通信システムに関し、特に、映像と、これに付随する情報とを処理する映像出力装置、映像送信装置および映像通信システムに関する。

ＤＶＤ（Digital Versatile Disk）プレイヤまたはＢＤ（Blue-Ray Disk）プイレヤなどのＡＶ（Audio Visual）機器は、ディスクから再生した映像を、ＡＶ機器に接続される別の電気機器であるテレビなどの表示装置に送信し、表示装置は受信される映像を表示する。表示の際には、ＯＳＤ(On Screen Display)機能により映像に重畳して異なる各種情報も表示することができる。

たとえば、特許文献１（特開２００９−１８８６２６号公報）では、ＤＶＤプレイヤなどの映像出力装置は、ケーブルを介して接続する表示装置に映像信号を出力し表示する。このとき、映像出力装置は、映像信号に合成されるべき機器操作のための付加情報を映像信号に合成した後に、ケーブルを介し表示装置に伝送する。

特開２００９−１８８６２６号公報

特許文献１では、合成されるべき映像信号と付加情報は同一ケーブル上の異なる転送チャンネル（転送経路）で伝送されるというパラレル伝送方式を採用している。

しかしながら、パラレル伝送方式は、シリアル伝送方式に比較し、配線数が多く、チャンネル制御にかかるロジック回路が特別に必要になるなどのデメリットがある。したがって、映像信号とＯＳＤのための情報とを同一の転送経路を介して伝送したいとの要望がある。しかしながら、特許文献１では、映像信号と付加情報とを同一転送経路を用いて伝送する方式は何ら記載されていない。

それゆえに、映像とこれに付随するデータとを同一通信路を用いて伝送することを可能とする映像出力装置、映像送信装置および映像通信システムの提供が望まれる。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本発明の一実施形態では、通信路を介して映像出力装置と通信する映像送信装置は、通信路の通信プロトコルを取得するプロトコル取得部と、映像データと、映像データに付随する付随データとを、取得した通信プロトコルの種類に対応したフォーマットに従って個別に含むような合成データを生成する合成部と、を備え、生成された合成データを通信路に出力する。

本発明の一実施形態の映像送信装置によれば、映像とこれに付随する付随データとを同一通信路を用いて個別に伝送することができる。

各実施の形態に係る映像処理システムの概略構成図である。 各実施の形態に適用する合成画像データの伝送時フォーマットを模式的に示す図である。 各実施の形態に適用するパケットＰＡを説明する図である。 本実施の形態に係るＤＶＤ再生装置のハードウェア構成図である。 本実施の形態に係る映像表示装置のハードウェア構成図である。 各実施の形態に適用される処理手順を示す図である。 第１の実施の形態に係る前処理部および後処理部の一部の構成図である。 第１の実施の形態に適用する合成画像データの伝送時のフォーマットを示す図である。 第２の実施の形態に係る前処理部および後処理部の一部の構成図である。 第２の実施の形態に適用する合成画像データの伝送時のフォーマットを示す図である。 第３の実施の形態に係る前処理部および後処理部の一部の構成図である。 第３の実施の形態に適用する合成画像データの伝送時のフォーマットを示す図である。 実施の形態による効果を説明するための図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

本実施の形態では、データの合成とは、異なるデータを、データを変更することなく個別に連なるように１個のまとまったデータに生成する操作を示す。

（基本的構成）
後述する各実施の形態に適用される基本的な構成について説明する。

図１は各実施の形態に係る映像処理システムの概略構成図である。図１を参照して、映像処理システム１は、ＤＶＤ再生装置１００、通信路３００、および通信路３００を介してＤＶＤ再生装置１００に接続される映像表示装置２００を備える。通信路３００は、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）プロトコルに従って信号を伝送する。ＤＶＤ再生装置１００は、通信路３００を介し映像および音声ならびに情報などを送信するための映像送信装置を含む。映像表示装置２００は、通信路３００を介して映像および音声ならびに情報を受信し、受信した映像および音声ならびに情報から表示および音声出力するための信号を生成する映像出力装置を含む。映像処理システム１は、通信路３００を介した映像通信システムを含む。ここでは、説明を簡単にするために音声に係る処理は割愛し映像に係る処理のみを説明する。

ＨＤＭＩの通信路３００は、音声、映像、情報および制御に係る信号、およびこれらの信号を組み合わせたものを転送することができるシリアル伝送路であって、無線および有線（ケーブル）のいずれも適用することができる。本実施の形態では、通信路３００はケーブルを用いた伝送路であると想定する。

ＤＶＤ再生装置１００は、映像データをパルス信号に変換し、変換後のパルス信号を通信路３００に送信する前処理部１４０を備える。ＤＶＤ再生装置１００には、ＤＶＤ再生装置１００に映像データを与えるＤＶＤ再生部１２０を接続する。ＤＶＤ再生部１２０は、ＤＶＤ１３０が着脱自在に装着されて、装着されたＤＶＤ１３０から読出した映像データをＤＶＤ再生装置１００に出力する。

なお、前処理部１４０は、ＤＶＤ再生部１２０から映像データが供給されるとしているが、供給元はＤＶＤ再生部１２０に限定されない。たとえば、外部のコンピュータなどの情報処理装置、またはインターネットなどのネットワークから映像データが供給されるとしてもよい。

映像表示装置２００は、図示しないディスプレイを有する表示部２５０を接続する後処理部２４０を有する。後処理部２４０は、通信路３００を介してＤＶＤ再生装置１００から映像データを受信し、受信した映像データから表示データを生成し、表示部２５０に出力する。

ＤＶＤ再生装置１００の前処理部１４０は、ＤＶＤ再生部１２０からの映像データを輝度成分およびコントラストなどを調整し、その後、映像データから複数枚の画像データを生成し出力する画像処理部１４１を含む。さらに、画像処理部１４１が出力する画像データとＯＳＤデータ１４２とが、決定されたフォーマットに従って個別に含まれるような合成画像データ３０１を生成し出力する合成部１４３を含む。そして、合成部１４３が出力する合成画像データ３０１から、合成画像信号３０２を生成し、ＨＤＭＩプロトコルに従って通信路３００に送信する転送部１４４を含む。

画像処理部１４１は、表示部２５０のディスプレイサイズ（たとえばフレームサイズ）および解像度に基づき、映像データからビットマップデータである複数枚の画像データを生成する。

合成画像信号３０２は、合成画像データ３０１の画素毎のデータをパルス信号に変換し、これを画面の走査方向に従って時系列に連続するパルス信号列を含む。

前処理部１４０は、さらに、通信路３００の通信プロトコルを指定するためのプロトコル指定部１４５、フォーマット決定部１４６、および後述するパケットＰＡを生成するためのパケット生成部１４７を含む。フォーマット決定部１４６は、指定される通信プロトコルから画像データとＯＳＤデータとを合成するためのフォーマットを決定する。

フォーマット決定部１４６が決定したフォーマットは合成部１４３とパケット生成部１４７に与えられる。合成部１４３は、決定したフォーマットに従って画像データとＯＳＤデータ１４２とから合成画像データ３０１を生成する。パケット生成部１４７は、決定したフォーマットを示すフォーマット情報５００（後述する）を格納したパケットＰＡを生成する。パケットＰＡは、通信路３００に送信される。ここでは、フォーマット情報５００を参照することで、映像表示装置２００では、合成画像データ３０１から画像データとＯＳＤデータとを個別に分離し抽出することができる。

一方、映像表示装置２００の後処理部２４０は、受信部２４１、受信部２４１からのデータを処理する処理部２４６、重畳処理部２４５、およびパケット解析部２４９を含む。受信部２４１は、通信路３００を介してＨＤＭＩの通信プロトコルに従って受信し、受信信号を復調しデータ変換し出力する。重畳処理部２４５は、画像データの画像にＯＳＤデータの画像を重畳することにより表示データを生成し表示部２５０に出力する。

パケット解析部２４９は、受信部２４１が受信しパケットＰＡの情報を解析する。解析により得られた後述のフォーマット情報５００を、処理部２４６に出力する。

（伝送データの説明）
図２は、各実施の形態に適用する合成画像データの伝送時フォーマットを模式的に示す図である。図３は、各実施の形態に適用するパケットＰＡを説明する図である。

図２の（Ａ）を参照して、合成画像データ３０１は、画像処理部１４１が出力する１フレーム毎の画像データを表す画像データ２０Ｄと、各フレームに対応したＯＳＤデータ１０Ｄが交互に配置される。合成画像データ３０１は、時間ｔの経過に従って順に送信される。したがって、各フレームに対応したＯＳＤデータ１０Ｄは、対応フレームの画像データ２０Ｄの直後（または直前）に送信される。ここでは、フレームの画像データと、これに対応したＯＳＤデータ１０Ｄが交互に配置するように合成することで、映像表示装置２００側では、画像データと対応のＯＳＤデータの分離・抽出が容易となるが、関連付ける方法はこれに限定されない。たとえば、画像データと、当該画像に重畳した表示されるべきＯＳＤデータとを、識別子を付与して対応付けるようにすれば、交互に配置（送信）する方法に限定されない。

ＯＳＤデータ１０Ｄは、ＯＳＤデータ１４２を表す。ＯＳＤデータ１４２は、再生される映像に付随するデータであって、映像に重畳されて同時に表示されるべき情報を示す。たとえば映像の再生操作（早送り、停止など）のガイダンス情報、映像の解説などの文字情報、これら情報が表示される領域の位置および大きさを示す領域サイズ情報、および文字のサイズ情報などを含む。これにより、映像データと同一画面で表示されるべきＯＳＤデータとを同時に伝送することができる。

なお、本実施の形態では、説明を簡単にするために、各画像データ２０Ｄに対応付けされるＯＳＤデータ１０Ｄは同じＯＳＤデータ１４２を表すと想定するが、各画像データ２０Ｄに対応付けされるＯＳＤデータ１０Ｄは異なっていてもよい。

図２の（Ｂ）には、図２の（Ａ）の合成画像データ３０１から生成される合成画像信号３０２が模式的に示される。図２の（Ｂ）を参照して、合成画像信号３０２は、パルス信号列であって、合成画像データ３０１の送信開始を示すスタートビット、サイズ情報ビット３０３、合成画像データビット３０４および送信終了を示すストップビットのパルスを含む。これらビットは、この順番に従ってシリアル送信される。

サイズ情報ビット３０３は、サイズ情報ビット３０３は、合成画像データ３０１から画像データとＯＳＤデータとを個別に分離し抽出するために参照される情報である。より特定的には、以降に続くデータビット３０４に含まれる画像データ２０Ｄのデータサイズ（ビット数）と、ＯＳＤデータ１０Ｄのデータサイズ（ビット数）とを示す。換言すると、サイズ情報ビット３０３に基づきデータビット３０４を区切りながらデータを抽出できる。したがって、サイズ情報ビット３０３は、画像データ２０ＤとＯＳＤデータ１０Ｄのデータビット３０４における時系列上の位置を示すといえる。ここでは、合成画像データ３０１を構成する各画像データ２０Ｄは同じデータサイズを有し、また各ＯＳＤデータ１０Ｄも同じデータサイズを有すると想定する。

なお、合成画像データ３０１は、通信路３００のＴＭＤＳチャンネルを介して送信される。

図３のパケットＰＡは、ＨＤＭＩプロトコルに従う通信用パケットであって、パケット生成部１４７により生成されて、転送部１４４から映像表示装置２００に送信される。図３を参照して、パケットＰＡは、複数のブロックからなる。複数のブロックは、ヘッダ部に相当するブロックＨＢ０、ＨＢ１、およびＨＢ２と、ペイロード部に相当するブロックＰＢ０、ＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４、ＰＢ５、ＰＢ６、…ＰＢ（ＮＶ）（ただし、変数ＮＶは予め定めた値を示す）を含む。

各ブロックは、８ビットのデータを表す。ブロックＨＢ０には、当該パケットＰＡの種別情報を示すタイプが格納され、ブロックＨＢ１には、当該パケットＰＡのバージョンを示す情報が格納され、ブロックＨＢ２には、ペイロード部を構成するブロック数（変数ＮＶの値）が格納される。

ブロックＰＢ０は、受信部２４１がパケットＰＡの誤り訂正をするために用いるチェックサムが格納され、ブロックＰＢ１〜ＰＢ３には、パケットＰＡの送信元の識別子が格納される。

ブロックＰＢ６の一部は、空き領域（ＲＳＶＤ：Reserved）である。本実施の形態では、ブロックＰＢ６の空き領域の上位２ビット（０ビットおよび１ビット）を利用して、合成画像データ３０１のフォーマットを示すフォーマット情報５００が示される。

ここでは、パケットＰＡは、合成画像データ３０１と同じＴＭＤＳチャンネルを介して伝送される。

なお、本実施の形態では、フォーマット情報５００を伝送するために、パケットＰＡを利用しているが、パケットＰＡによる伝送に限定されない。たとえば、図２の（Ｂ）のパルス信号列の所定位置に、フォーマット情報５００のパルス信号を挿入するようにして、合成画像データ３０１と同時に伝送するとしてもよい。

（分離処理と画像処理）
図１に戻り、処理部２４６は、分離部２４７および画像処理部２４８を含む。処理部２４６は、受信部２４１からの受信データから、合成画像データ３０１とサイズ情報ビット３０３とを抽出し分離部２４７に出力する。分離部２４７は、サイズ情報ビット３０３とパケット解析部２４９からのフォーマット情報５００とに基づき、合成画像データ３０１から、画像データ２０ＤとＯＳＤデータ１０Ｄをフレーム単位で分離し抽出する。そして、分離抽出した画像データ２０Ｄを画像処理部２４８に出力するとともに、当該画像データ２０Ｄに対応するＯＳＤデータ１０ＤをＯＳＤ回路２４４に出力する。

画像処理部２４８は、フォーマット情報５００に従って画像データをフレーム単位で画像処理する。たとえば、明るさ、色の濃さ、シャープネスなどの画像処理を行う。

（ＯＳＤデータの重畳処理）
重畳処理部２４５は、画像データを用いて表示部２５０に表示するための表示データを生成する。表示データの生成について説明する。

表示部２５０は、ドットマトリックス型のＦＰＤ（フラットパネルディプレイ）であって、ここでは、ＬＣＤ（Liquid Crystal Display）を有すると想定する。

ＯＳＤ回路２４４は、ＬＣＤ画面のサイズおよび解像度に従って、ＯＳＤデータ１０Ｄに基づきＯＳＤ画像データを生成し、重畳処理部２４５に出力する。ＯＳＤ画像データは、ピクセル単位のビットマップデータである。

重畳処理部２４５は、画像処理部２４８が出力する画像データ２０Ｄから、表示部２５０のＬＣＤ画面のサイズおよび解像度に従って、ピクセル単位のビットマップデータである画像データを生成する。そして、ビットマップデータの画像データに、ビットマップデータのＯＳＤデータを重畳処理することで、表示データを生成する。

ここで、重畳処理部２４５とＯＳＤ回路２４４には、ＬＣＤの画素数に応じた周波数のドットクロックが与えられている。ＯＳＤ回路２４４は、ドットクロックの周波数に従ってＯＳＤデータ１０Ｄから１フレーム分のＯＳＤ画像データを生成し重畳処理部２４５に出力する。重畳処理部２４５は、画像処理部２４８からの画像データに、ドットクロック周波数に同期して、ＯＳＤ回路２４４からのＯＳＤ画像データを重畳させるように処理する。

表示部２５０は、ピクセル単位の画像データである表示データに従って、ＬＣＤの画素に対応した電極に電気信号を印加する。これにより、ＯＳＤデータによる文字などが重畳した映像を表示することができる。

（ハードウェア構成）
図４は、本実施の形態に係るＤＶＤ再生装置１００のハードウェア構成図である。図５は、本実施の形態に係る映像表示装置２００のハードウェア構成図である。

図４を参照して、ＤＶＤ再生装置１００は、マイコン（マイクロコンピュータの略）１１０を備え、マイコン１１０には記憶部１８０、操作部１９０、ＤＶＤドライバ３２０および送信部１３０が接続される。

記憶部１８０はＲＡＭ（ｒａｎｄｏｍ−ａｃｃｅｓｓ ｍｅｍｏｒｙ）１８３、ハードディスク１８２、およびＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）１８１を含む。

送信部１３０は、トランスミッタ１４９、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）回路１５０、およびＤＤＣ（Ｄｉｓｐｌａｙ Ｄａｔａ Ｃｈａｎｎｅｌ）回路１６０を含む。送信部１３０は、ＨＤＭＩ端子１７０を接続する。

マイコン１１０には、ＤＶＤ１３０のデータを読み書きするためのＤＶＤ再生部１２０のＤＶＤドライバ３２０が接続される。

マイコン１１０は、操作部１９０が受け付けるユーザ操作に基づく信号に応じて、ＤＶＤドライバ３２０など各部を制御する。

ＲＡＭ１８３は、マイコン１１０の処理にともない、一時的にデータを記憶する。記憶されるデータには、映像表示装置２００から受信したＥＤＩＤ（Extended display identification data）データ１４が含まれる。ハードディスク１８２は、画像データおよび音声データなどをする。ＲＯＭ１８１は、マイコン１１０の動作に必要なファームウェアや、ＤＶＤ再生装置１００自身を特定するための情報などを格納する。ＲＯＭ１８１には、ＨＤＭＩの通信プロトコルの種類のそれぞれに対応して、合成画像データ３０１のフォーマットの種類を登録した対応付けテーブル１４６１が予め格納される。

送信部１３０は、転送部１４４に対応する。トランスミッタ１４９は、マイコン１１０からの信号に従って、画像データを信号に変換し、ＨＤＭＩ端子１７０に送出する。ＣＥＣ回路１５０は、映像表示装置２００との間でＣＥＣ信号の送受信を行なう。ここで、ＣＥＣ信号とは、ＣＥＣ規格に準拠した相互制御信号のことをいう。ＤＤＣ回路１６０は、マイコン１１０からの信号に従って、ＨＤＭＩ端子１７０を介して映像表示装置２００から、後述のＥＤＩＤを取得する。

ＨＤＭＩ端子１７０には、通信路３００が接続される。ＤＶＤ再生装置１００は、ＨＤＭＩ端子１７０の接続先の機器（ここでは、映像表示装置２００）との信号あるいはデータの送受信を、通信路３００を介して行なう。

前処理部１４０の各部の処理機能はプログラムとしてＲＯＭ１８１に格納されており、マイコン１１０のＣＰＵ（Central Processing Unit）はＲＯＭ１８１からプログラムを読み出し、プログラムを実行することにより、各部の機能が実現される。

図５を参照して、映像表示装置２００はマイコン２１０を備える。マイコン２１０は、記憶部、レシーバ２５１、ＣＥＣ回路２５２、ＤＤＣ回路２６０、操作部２９０、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）トランスミッタ２２、およびアンプ２６を接続する。記憶部は、ＲＡＭ２２０およびＲＯＭ２３０を含む。ＤＤＣ回路２６０は、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）２８０を接続する。

マイコン２１０は、操作部１９０が受け付けるユーザ操作に基づく信号に応じて、映像表示装置２００内の各部の動作を制御する。

ＲＡＭ２２０は、マイコン２１０の処理にともない、一時的にデータを記憶する。ＲＯＭ２３０は、マイコン２１０の動作に必要なファームウェアや、映像表示装置２００を特定するための情報などを格納する。ＰＲＯＭ２８０は、映像表示装置２００のＥＤＩＤを格納する。なお、ＰＲＯＭ２８０は、ＥＤＩＤを格納するための記憶媒体の一例であり、他の記憶媒体を用いる構成であっても構わない。

ＥＤＩＤは、ディスプレイ２０の機種名や設定値（解像度を表す画面のピクセル数、画面の大きさ、画面の表示更新周期など）を表す情報である。

レシーバ２５１は、ＨＤＭＩ端子２７０を介し通信路３００から信号を受信する。ＣＥＣ回路２５２は、ＨＤＭＩ端子２７０を介し通信路３００を経由してＣＥＣ信号の送受信を行なう。ＤＤＣ回路２６０は、ＨＤＭＩ端子２７０を介し、ＤＶＤ再生装置１００からのＥＤＩＤ取得に関する信号を送受信する。

ＨＤＭＩ端子２７０は、通信路３００を接続し、通信路３００を介して、ＤＶＤ再生装置１００との間で通信を行なう。

ＬＶＤＳトランスミッタ２２はＬＣＤなどのディスプレイ２０を接続する。ＬＶＤＳトランスミッタ２２とディスプレイ２０は表示部２５０に相当する。ＬＶＤＳトランスミッタ２２は、与えられる表示データに従ってＬＣＤの各電極に電気信号を印加し、画像を表示させる。

アンプ２６は、マイコン２１０から与えられる音声信号を増幅し、スピーカ２４に出力する。図５では、レシーバ２５１、ＣＥＣ回路２５２およびＤＤＣ回路２６０は受信部２４１に対応する。

後処理部２４０の各部の処理機能はプログラムとしてＲＯＭ２３０に格納されており、マイコン２１０のＣＰＵはＲＯＭ２３０からプログラムを読み出し、プログラムを実行することにより、各部の機能が実現される。

（処理フローチャート）
図６は、各実施の形態に適用される処理手順を示す図である。図６では、ＤＶＤ再生装置１００と映像表示装置２００との間の通信シーケンスを利用して処理手順が示される。ここでは、ＤＶＤ再生装置１００と映像表示装置２００はＨＤＭＩプロトコルに従って認証処理することにより、当該実施の形態に係る機能を有している装置であることを相互に確認していると想定する。

図６を参照して、まず合成画像データ３０１のフォーマットを決定するために、マイコン１１０は、映像表示装置２００からのＥＤＩＤの読出しを、ＤＤＣ回路１６０に指示する。指示に従ってＤＤＣ回路１６０は、ＥＤＩＤ要求を送信する（ステップＳ５）。

映像表示装置２００では、ＥＤＩＤ要求が受信されると、マイコン２１０はＤＤＣ回路２６０にＥＤＩＤの応答を指示する。指示に従って、ＤＤＣ回路２６０は、ＰＲＯＭ２８０からＥＤＩＤを読出し、応答として、ＤＶＤ再生装置１００に送信する（ステップＳ９）。

ＤＶＤ再生装置１００のマイコン１１０は、ＤＤＣ回路１６０を介して映像表示装置２００からＥＤＩＤを受信すると、ＲＡＭ１８３に受信ＥＤＩＤ１４として格納する（ステップＳ１１）。

プロトコル指定部１４５は、ＨＤＭＩの通信プロトコルを指定する（ステップＳ１３）。具体的には、プロトコル指定部１４５は、操作部１９０からのユーザ指示、またはＤＶＤ１３０から読出した映像データに関連した情報に基づき、用いるべきＨＤＭＩ通信プロトコルの種類を指定（決定）する。指定されたプロトコルの種類は、映像表示装置２００に通知される。これにより、映像表示装置２００側の受信部２４１は、当該通知を受信して、通信プロトコルを判別することができる。

次に、フォーマット決定部１４６は、指定された通信プロトコルの種類に基づき、合成画像データ３０１を生成するためのフォーマットの種類を決定する（ステップＳ１５）。具体的には、フォーマット決定部１４６は、指定された通信プロトコルの種類に基づき、ＲＯＭ１８１の対応付けテーブル１４６１を検索する。検索により、指定された通信プロトコルの種類に対応のフォーマットの種類を読み出す。これにより、フォーマットの種類が決定される。

ＤＶＤ１３０から読出された映像データは、ＤＶＤ再生部１２０から画像処理部１４１に出力される。画像処理部１４１は、映像データから、フレーム単位で複数枚の画像データを生成し、合成部１４３に出力する。

合成部１４３は、画像処理部１４１から入力する画像データと、ＲＯＭ１８１から読出すＯＳＤデータ１４２とを、フォーマット決定部１４６が決定したフォーマットの種類に従って合成する。これにより合成画像データ３０１が取得される（ステップＳ１９）。

また、パケット生成部１４７は、フォーマット決定部１４６が決定したフォーマット種類に基づき、当該フォーマット種類を示すフォーマット情報５００を格納したパケットＰＡを生成する（ステップＳ２１）。

転送部１４４は、合成画像データ３０１と、パケットＰＡを入力し、ＨＤＭＩの通信プロトコルに従って通信路３００を介して送信する（ステップＳ２３、ステップＳ２７）。

一方、映像表示装置２００では、受信部２４１は通信路３００を介して合成画像データ３０１を受信するとともに、パケットＰＡを受信する（（ステップＳ２５、ステップＳ２９）。

パケット解析部２４９は、受信されたパケットＰＡを解析し、解析によりフォーマット情報５００を取得し、処理部２４６に出力する（ステップＳ３１）。また、処理部２４６は、受信した合成画像データ３０１を入力し、フォーマット情報５００に基づき合成画像データ３０１から画像データ２０ＤおよびＯＳＤデータ１０Ｄを分離して抽出する。このとき、受信したサイズ情報ビット３０３が指示するサイズに基づき、合成画像データ３０１から画像データ２０ＤおよびＯＳＤデータ１０Ｄを分離することができる。抽出した画像データは画像処理部２４８に出力され、ＯＳＤデータはＯＳＤ回路２４４に出力される。

画像処理部２４８は、抽出された画像データ２０Ｄについて、表示部２５０に表示するための画像処理を施し、重畳処理部２４５に出力し、また、ＯＳＤ回路２４４は抽出されたＯＳＤデータ１０Ｄに基づきＯＳＤ画像データを生成し、重畳処理部２４５に出力する（ステップＳ３３）。

重畳処理部２４５は、フレーム単位の画像データの画像に、対応するＯＳＤ画像データの画像を重畳処理し、表示データを生成する（ステップＳ３５）。表示データは、表示部２５０に出力される。

ここでは、合成画像データ３０１から画像データとＯＳＤデータを分離し抽出するために参照される情報としてサイズ情報ビット３０３を用いたが、サイズ情報に限定されない。たとえば、各画像データと各ＯＳＤデータの合成画像信号３０２のスタートビットからの開始位置を示すビット情報であってもよく、またサイズ情報と開始位置情報の組み合わせであってもよい。

なお、本実施の形態では、通信路３００の通信プロトコルとしてＨＤＭＩを採用したが、適用されるプロトコルはＨＤＭＩに限定されない。

（各実施の形態の概要）
上述した基本的構成を利用した各実施の形態の概要を説明する。各実施の形態では、既存のＨＤＭＩの通信プロトコルを利用して本実施の形態に係る合成画像データ３０１を伝送することができる。つまり、既存のＨＤＭＩの通信プロトコルによる送信データのフォーマットであれば、画像データが送信されるべきタイミングでＯＳＤデータを送信することで、同一の通信路を介して画像データとＯＳＤデータを個別に送信する。

合成画像データ３０１を伝送するために、ＨＤＭＩプロトコルとしては、以下の３種類のプロトコルを利用する。つまり、（１）プログレッシブ（Progressive）の映像をインターレース（Interlace）の映像として送信するためのプロトコル。そして、（２）３Ｄ（Three-Dimensional）映像を送信するためのプロトコル。そして（３）映像を予め定めたフレームレートよりも高いフレームレートで送信するためのプロトコルである。

プロトコルの種類により決まるフォーマット種類を示すフォーマット情報５００は、“００”を示すとき通常フォーマットを示す。“０１”を示すとき上記の（１）のプロトコルに従いProgressiveの映像をInterlaceのフォーマットで送信することを示す。“１０”を示すとき上記（２）のプロトコルに従い３Ｄフォーマットの形式で送信することを示す。“１１”を示すとき上記（３）のプロトコルに従い送信フレームレートを予め定めたフレームレートのよりも高い（ここでは、２倍とする）で送信することを示す。

以下の第１〜第３の実施の形態において、上記の通信プロトコル（１）〜（３）を用いた処理を説明する。

（第１の実施の形態）
本実施の形態では、プログレッシブ方式の映像をインターレース方式の映像で送信するためのプロトコル（以下、第１プロトコルと称する）を利用する場合を説明する。図７は、第１の実施の形態に係る前処理部および後処理部の一部の構成図である。図８は、第１の実施の形態に適用する合成画像データの伝送時のフォーマットを示す図である。

まず、プログレッシブの映像をインターレースの映像として伝送する場合を簡単に説明する。デジタル映像を画面に表示するには、スキャン方式としてインターレースとプログレッシブがある。インターレースでは、奇数（ｏｄｄ）フィールドと偶数（ｅｖｅｎ）フィールドが映像のフレームごとに交互に更新されることにより、完全な１個のフレームが構成される。これに対し、プログレッシブでは、フレームごとにすべてのラインの表示を更新する。したがって、プログレッシブは、インターレースに比較して映像を高画質で表示できるが、プログレッシブの映像を伝送する場合には、インターレースの映像に比較して２倍の帯域幅が必要となる。本実施の形態では、表示部２５０はプログレッシブスキャン方式を採用していると想定する。

そこで、本実施の形態では、プロトコル指定部１４５は、通信路３００の通信プロトコルに、プログレッシブの映像をインターレースの映像のフォーマットを利用して送信するための第１プロトコルを指定する。

インタレースの映像データを、ＨＤＭＩプロトコルを利用して送信する場合は、通常は、図８の（Ａ）に示すように、１個の画面を構成する奇数（ｏｄｄ）用の画像データと偶数（even）用の画像データとが対応づけて送信される。

本実施の形態では、第１プロトコルに従って画像データとＯＳＤデータとを送信するために、図８の（Ｂ）のように、奇数（ｏｄｄ）用の画像データを画像データ１０Ｄに置換え、且つ偶数（even）用の画像データをＯＳＤデータに置換える。これにより、画像データとＯＳＤデータを個別に含む合成画像データ３０１を同一の通信路で送信することができる。

本実施の形態では、ＤＶＤ再生装置１００では、フォーマット決定部１４６は、指定された第１プロトコルに基づきフォーマットの種類を決定し、合成部１４３とパケット生成部１４７に出力する。画像処理部１４１は、与えられる第１プロトコルに従って、映像データからフレーム毎の画像データを生成し、当該画像データから、奇数（ｏｄｄ）用の画像データと偶数（even）用の画像データを生成し、合成部１４３に出力する。合成部１４３は、フォーマット決定部１４６から与えられるフォーマットの種類に従って、図８の（Ｂ）に示すフォーマットを有する合成画像データ３０１を生成する。

このとき、パケット生成部１４７は、決定したフォーマット種類を示すフォーマット情報５００を格納したパケットＰＡを生成し、転送部１４４に出力する。

転送部１４４は、図８の（Ｂ）の合成画像データ３０１と、パケットＰＡを通信路３００を介して送信する。

図７の（Ａ）を参照して前処理部１４０１は画像処理部１４１１および合成部１４３１を有する。前処理部１４０１の他の部分は、図１に示したものと同じである。図７の（Ｂ）を参照して、後処理部２４０は処理部２４６１を含む。処理部２４６１は、分離部２４７および画像処理部２４８１を含む。画像処理部２４８１は、ＩＰ変換部２６１とスケーラ２６２を含む。後処理部２４０の他の構成は図１に示したものと同じである。

画像処理部１４１１は、プロトコル指定部１４５から与えられるプロトコル種類に基づき、走査線に従う間引き処理により、プログレッシブ方式の映像データから、２枚のインターレース方式の画像データを生成する。

合成部１４３１は、画像処理部１４１１から入力するインターレース方式の画像データとＯＳＤデータ１４２を用いて、フォーマット決定部１４６からのフォーマット種類に従い、図８の（Ｂ）に示す合成画像データ３０１を生成し、転送部１４４へ出力する。

映像表示装置２００は、図８の（Ｂ）の合成画像データを受信すると、画像処理部２４８１の分離部２４７は、この合成画像データから、画像データとＯＳＤデータとを分離し抽出する。ＩＰ変換部２６１は、抽出された画像データ、すなわちインタレースの画像データを、フォーマット情報５００に基づき、走査線に従う補完処理によりプログレッシブの画像データに変換し、スケーラ２６２に出力する。

スケーラ２６２は、入力するフレーム単位のプログレッシブの画像データを、表示部２５０のディスプレイの画面の画素数および表示周波数に基づき表示用の画像データに変換し、重畳処理部２４５に出力する。

重畳処理部２４５は、スケーラ２６２からの画像データにＯＳＤ回路２４４からのＯＳＤ画像データを重畳処理して、表示データを取得し、表示部２５０に出力する。

このように、本実施の形態によれば、プログレッシブの映像をインターレースの映像で送信する第１プロトコルを利用して、画像データとＯＳＤデータを同一通信路を経由して個別に送信することができる。

（第２の実施の形態）
第２の実施の形態では、３Ｄ映像を送信するためのプロトコル（以下、第２プロトコルと称する）を利用する場合を説明する。図９は、第２の実施の形態に係る前処理部および後処理部の一部の構成図である。図１０は、第２の実施の形態に適用する合成画像データの伝送時のフォーマットを示す図である。

図９の（Ａ）を参照して、前処理部１４０２は画像処理部１４１２および合成部１４３２を有する。前処理部１４０２の他の部分は、図１に示したものと同じである。図９の（Ｂ）を参照して、後処理部２４０は処理部２４６２を含む。処理部２４６２は、分離部２４７および画像処理部２４８２を含む。画像処理部２４８２は、入力した画像データから３Ｄ画像データを生成するための３Ｄ画像生成部２６３を含む。後処理部２４０の他の構成は図１に示したものと同じである。

３Ｄの映像データを、ＨＤＭＩ通信プロトコルを利用して送信する場合は、Frame Packing、Top and Bottom、およびSide by Sideのように左眼用の画像と右眼用の画像が分割して送信される（図１０の（Ａ）参照）。

本実施の形態では、３Ｄの映像データを送信するためのＨＤＭＩプロトコルを利用して、図１０の（Ｂ）ように、３Ｄの映像データの左眼用および右眼用の２次元の画像データの組を、左眼用および右眼用のうちの一方の２次元の画像データとＯＳＤデータの組に置き換えたフォーマットの合成画像データを生成し送信する。これにより、映像データとＯＳＤデータを個々に、同一の通信路３００を介してデータ送信することができる。なお、図１０では、Side by Sideの形式を利用した場合を例示している。

図９の（Ａ）を参照して、画像処理部１４１２は、与えられる映像データから、プロトコル指定部１４５からのプロトコル種類に基づき、所定視差を有した左眼用および右眼用の２次元の画像データを生成する。合成部１４３２は、生成された画像データとＯＳＤデータ１４２とから、フォーマット決定部１４６からのフォーマット種類に基づき、合成画像データを生成する（図１０の（Ｂ）参照）。

映像表示装置２００では図１０の（Ｂ）の合成画像データを受信すると、分離部２４７は、受信した合成画像データから、画像データとＯＳＤデータとを分離して抽出する。３Ｄ画像生成部２６３は、抽出された左眼用画像データと右眼用画像データとから、フォーマット情報５００に基づき、立体視のための予め定めた視差に基づく立体視のための３Ｄ画像データを生成し、重畳処理部２４５に出力する。

ここでは、３Ｄ画像生成部２６３は、右眼用画像データと左眼用画像データをそれぞれを格子状に分割し、その分割後の各格子状画像データを左眼用および右眼用と交互に配置することで立体視のための３Ｄ画像データを生成する。

重畳処理部２４５は、３Ｄ画像生成部２６３からの３Ｄ画像データにＯＳＤ回路２４４からのＯＳＤ画像データを重畳処理して、表示データを取得し、表示部２５０に出力する。

なお、３Ｄ画像を表示時には、表示部２５０はディスプレイに関連して、格子状のスリットを表示して、ユーザによる立体視を可能にしている。

このように、本実施の形態によれば、３Ｄ表示のための映像データを送信する第２プロトコルを利用して、画像データとＯＳＤデータを同一通信路を経由して個別に送信することができる。

（第３の実施の形態）
本実施の形態では、予め定めたフレームレートよりも高いフレームレートに従って映像送信するためのプロトコル（以下、第３プロトコルと称する）を利用する場合を説明する。図１１は、第３の実施の形態に係る前処理部および後処理部の一部の構成図である。図１２は、第３の実施の形態に適用する合成画像データの伝送時のフォーマットを示す図である。

ＤＶＤ再生装置１００から映像を映像表示装置２００に送信する場合には、送信時の映像データのフレームレート（単位時間当たりに送信されるフレーム数）は、通常は、予め定めたレート、すなわち表示部２５０の表示画面のフレーム更新周期に依存する。

しかし、通信路３００のＨＤＭＩ通信プロトコルによっては、予め定めたフレームレートよりも高い値が設定される場合がある。この場合、フレームレートが高いことにより、送信されるフレームに実質的に表示に寄与しない冗長フレームが含まれる。冗長フレームでは、次位のフレームの映像データを送信するから、同じフレームの画像データが２個以上伝送されることになる。したがって、受信側の映像表示装置では、このような冗長フレームを抜く等の処理が施される。本実施の形態では、冗長フレームを、ＯＳＤデータの送信に利用する。

図１１の（Ａ）を参照して、前処理部１４０３は画像処理部１４１３および合成部１４３３を有する。前処理部１４０３の他の部分は、図１に示したものと同じである。図１１の（Ｂ）を参照して、後処理部２４０は処理部２４６３を含む。処理部２４６３は、分離部２４７および画像処理部２４８３を含む。画像処理部２４８３は、レート調整部２６４を含む。後処理部２４０の他の構成は図１に示したものと同じである。

まず、通信路３００に関して、通信路３００のフレーム送信速度であるフレームレートが、予め定めたフレームレートの２倍に設定されたＨＤＭＩ通信プロトコルが指定された場合には、通常時は（ＯＳＤデータを送信しない場合）は、送信する全フレームで映像データを送信する。これに対し、本実施の形態では、通信プロトコルの種類により決定したフォーマット、すなわちその半分をＯＳＤデータに置き換えるフォーマットに従う合成画像データを生成し送信する。これにより、合成画像データは、通常画像の映像データとＯＳＤデータが交互に送信されるようなフォーマットを有することとなる。

本実施の形態では、画像処理部１４１３は、プロトコル指定部１４５からのプロトコル種類に基づき、映像データからフレームレートを所望の速度の２倍にした、すなわち単位時間当たりフレーム枚数が通常時の２倍となるように画像データを生成し、合成部１４３３に出力する。

合成部１４３３は、フォーマット決定部１４６からのフォーマット種類に基づき、画像処理部１４１３から入力する画像データを処理する。具体的には、入力する画像データのうち、その半分をＯＳＤデータ１４２に置換して、残りの画像データとＯＳＤデータが交互に配置された合成画像データ（図１２の（Ｂ）参照）を生成する。

映像表示装置２００では図１２の（Ｂ）の合成画像データを受信すると、分離部２４７は、受信した合成画像データから、画像データとＯＳＤデータとを分離して抽出する。レート調整部２６４は、分離抽出された画像データから、フォーマット情報５００に基づき、表示部２５０の表示用レートに一致したフレーム枚数に調整した画像データを生成し、重畳処理部２４５に出力する。

このように、本実施の形態によれば、予め定めたフレームレートよりも高いフレームレートで映像データを送信する第３プロトコルを利用して、画像データとＯＳＤデータを同一通信路を経由して個別に送信することができる。

（実施の形態による効果）
図１３は、実施の形態による効果を説明するための図である。各実施の形態では、前処理部１４０と後処理部２４０間の映像データとＯＳＤデータを同一の通信路３００を介して伝送する場合において、映像データとＯＳＤデータとを個別に、同一の通信ラインで送信することが出来る。これにより、後処理部２４０の画像処理部２４８では、画像処理が必要な画像データのみを対象に画像処理を実施することができる。したがって、ＯＳＤデータに対して、不要な画像処理が施されることを防止できる。

これに対して、図１３のように、画像データにＯＳＤデータを重畳した画像データを、前処理部から後処理部へ伝送するケースでは、後処理部２４０では画像処理を、これを施すことが不要なＯＳＤデータにも実施してしまうことになり、ＯＳＤデータの品質が損なわれる（表示文字がぼやける、図形が歪む、色にじみなど）が、本実施の形態では、通信路３００では画像データとＯＳＤデータは、図１３のように重畳した状態ではなく、個別に独立した状態で送信されるから、後処理部２４０では、画像処理を、画像データのみに実施する（すなわち、ＯＳＤデータに対して実施しない）ことが容易に可能となる。

また、本実施の形態では、既存のＨＤＭＩ通信プロトコルを利用することができ、通信路３００、転送部１４４および受信部２４１の特別な改良は必要とされない。

本実施の形態では、ＤＶＤ再生装置１００は、通信路３００を介して、映像表示装置２００と通信する映像送信装置である。具体的には、通信プロトコルを取得するプロトコル指定部１４５と、合成データを生成する合成部１４３とを備える。生成された合成データは通信路に出力される。合成部１４３は、映像データと映像データに付随する付随データとを、取得した通信プロトコルの種類に対応したフォーマットに従って合成データを生成する。

上記の通信プロトコルは、ＨＤＭＩのプロトコルを示す。
上記の合成データには、取得した通信プロトコルの種類に対応したフォーマットの種類を示す情報を含む。

上記の合成データは、合成データから映像データと付随データとを個別に抽出するための情報を含む。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

１ 映像処理システム、１０Ｄ 画像データ、１００ 再生装置、１４０，１４０１，１４０２，１４０３ 前処理部、１４５ プロトコル指定部、１４６ フォーマット決定部、１４７ パケット生成部、２００ 映像表示装置、２４０ 後処理部、２４５ 重畳処理部、２４７ 分離部、２４９ パケット解析部、２５０ 表示部、２６３ 画像生成部、２６４ レート調整部、３００ 通信路、３０１ 合成画像データ、３０２ 合成画像信号、３０３ サイズ情報ビット、３０４ 合成画像データビット、５００ フォーマット情報、１４６１ 対応付けテーブル、ＰＡ パケット。

Claims (19)

1. 通信路を介して、映像出力装置と通信する映像送信装置であって、
   前記通信路の通信プロトコルを取得するプロトコル取得部と、
   取得した前記通信プロトコルの種類に対応したフォーマットに従って、映像データと、映像データに付随する付随データとを個別に含む合成データを生成する合成部と、を備え、
   生成された前記合成データを前記通信路に出力する、映像送信装置。
2. 取得した前記通信プロトコルの種類に対応した前記フォーマットの種類を決定するフォーマット決定部を、さらに備える、請求項１に記載の映像送信装置。
3. 前記合成データから映像データと付随データとを個別に抽出するための情報を生成し、前記通信路に送信する、請求項１に記載の映像送信装置。
4. 前記抽出するための情報は、前記通信プロトコルの種類に対応したフォーマットの種類を含む、請求項３に記載の映像送信装置。
5. 前記通信路は、時系列にデータを送信するシリアル通信路であって、
   前記抽出するための情報は、前記映像データと前記付随データの前記合成データにおける前記時系列上の位置を示す、請求項３に記載の映像送信装置。
6. 前記付随データは、前記映像データの映像に重畳して表示されるＯＳＤ（On Screen Display）のためのデータを含む、請求項１に記載の映像送信装置。
7. 前記通信プロトコルの種類には、プログレッシブ方式の映像データをインタレース方式の映像データで送信するためのプロトコルを含む、請求項１に記載の映像送信装置。
8. 前記通信プロトコルの種類には、３Ｄ（Three-Dimensional）方式の映像データを送信するためのプロトコルを含む、請求項１に記載の映像送信装置。
9. 前記映像データを、フレーム単位で送信する場合において、
   前記通信プロトコルの種類には、予め定めたフレームレートよりも高いフレームレートで送信するためのプロトコルを含む、請求項１に記載の映像送信装置。
10. 表示部に映像を表示するための信号を出力する映像出力装置であって、
    通信路を介して、映像データと当該映像データに付随する付随データとを含む合成データを受信するための映像受信部と、
    受信した前記合成データから、前記表示部に映像を表示するための信号を生成する信号生成部とを、備え、
    前記合成データは、前記映像データと前記付随データとが、前記通信路の通信プロトコルの種類に対応したフォーマットに従って個別に含まれるデータである、映像出力装置。
11. 前記通信路を介して、前記合成データから映像データと付随データとを個別に抽出するための情報を受信する、請求項１０に記載の映像出力装置。
12. 前記抽出するための情報は、前記通信プロトコルの種類に対応したフォーマットの種類を含む、請求項１１に記載の映像出力装置。
13. 前記通信路は、時系列にデータを送信するシリアル通信路であって、
    前記抽出するための情報は、前記映像データと前記付随データの前記合成データにおける前記時系列上の位置を示す、請求項１１に記載の映像出力装置。
14. 前記抽出するための情報に従って、前記合成データから映像データと付随データとを個別に抽出する分離抽出部と、
    抽出された前記映像データに対し、前記表示部に表示するための処理を施す映像処理部と、を備え、
    前記信号生成部は、
    前記映像処理部による処理後の前記映像データと、前記分離抽出部から入力する前記付随データとから、前記表示部に映像を表示するための信号を生成する、請求項１１に記載の映像出力装置。
15. 前記付随データは、前記映像データの映像に重畳して表示されるＯＳＤ（On Screen Display）のためのデータを含む、請求項１０に記載の映像出力装置。
16. 前記通信プロトコルの種類には、プログレッシブ方式の映像データをインタレース方式の映像データで送信するためのプロトコルを含む、請求項１０に記載の映像出力装置。
17. 前記通信プロトコルの種類には、３Ｄ（Three-Dimensional）方式の映像データを送信するためのプロトコルを含む、請求項１０に記載の映像出力装置。
18. 前記映像データを、フレーム単位で送信する場合において、
    前記通信プロトコルの種類には、予め定めたフレームレートよりも高いフレームレートで送信するためのプロトコルを含む、請求項１０に記載の映像出力装置。
19. 表示部に映像を表示するための信号を出力する映像出力装置と、
    通信路を介して、前記映像出力装置と通信する映像送信装置と、を備える映像通信システムであって、
    前記映像送信装置は、
    前記通信路の通信プロトコルを取得するプロトコル取得部と、
    取得した前記通信プロトコルの種類に対応したフォーマットに従って、映像データと、映像データに付随する付随データとを個別に含む合成データを生成する合成部と、
    生成された前記合成データを前記通信路に出力する送信部と、を含み、
    前記映像出力装置は、
    前記合成データを受信するための映像受信部と、
    受信した前記合成データから、前記表示部に映像を表示するための信号を生成する信号生成部とを、含む、映像通信システム。

Images