JP2018152813A - デジタル信号の伝送装置及びデジタル信号の伝送方法 - Google Patents

Abstract

【課題】画像圧縮技術（映像符号化）を利用した伝送においても、縮小映像データの有効映像領域への適切なマッピング、そして、伝送パケットの所定の領域へのマッピングにより、量子化ビット数が削減された縮小映像データであっても、モニター等に高い映像品質を保った縮小映像データを表示できるデジタル信号の伝送装置及びデジタル信号の伝送方法を提供する。【解決手段】入力される非圧縮映像データをエンコード処理し、それをトランスポートストリーム（ＴＳ）として出力し、さらに、入力される非圧縮映像データから縮小映像データを生成し、これらをビデオインターフェースにおける有効映像領域や、ＴＳパケットの所定の領域に、マッピングしていく。そして、マッピングされた縮小映像データをモニターに視認可能とし、マッピングされたＴＳを取り出す。取り出されたＴＳをデコード処理し、映像データとして出力する。【選択図】図１

Description

本発明は、映像・音声デジタル信号の伝送装置及びその伝送方法、詳しくは、圧縮したデジタル信号を伝送する際に、特別な測定器や、解析装置を必要とせず、一般的な映像表示装置において、その伝送しているデジタル信号の映像の内容を高い映像品質で、容易に視認可能とするデジタル信号の伝送装置及びその伝送方法技術に関するものである。

従来から、ＳＤＴＩ（Serial Data Transport Interface）のように、映像・音声デジタル信号（ＡＶ信号）をエンコーダで圧縮して生成されたビットストリーム（ＡＶストリーム）をＳＤＩ（Serial Digital Interface）等の非圧縮ビデオインターフェースのデータ構造にマッピングして伝送する方式が利用されている。

このような技術を利用すると、非圧縮時には、１．５Ｇｂｐｓ又は、３Ｇｂｐｓもの大容量データのＨＤＴＶ映像（１９２０×１０８０、１０８０ｉ６０Ｈｚ等）を２７０ＭｂｐｓのＳＤＩ信号及びケーブルを使用して伝送が可能となる。

ここで、例えば、特許文献１には、ＨＤＴＶ方式のデジタルテレビジョン信号を非圧縮で伝送可能な伝送回線を利用して、ＨＤＴＶ信号と、ＳＤＴＶ方式のデジタルテレビジョン信号を縮小した縮小ＳＤＴＶ信号とを多重伝送するシステムに関し、ＨＤＴＶ方式の伝送フォーマットにおける映像信号格納領域に圧縮したＨＤＴＶ信号の映像信号をマッピングするといった技術が開示されている。

また、超高精細の４Ｋ（３８４０×２１６０）映像や、８Ｋ（７６８０×４３２０）映像を１．５ＧｂｐｓのＨＤ−ＳＤＩ又は、３Ｇｂｐｓの３Ｇ−ＳＤＩ等の信号及びケーブルを使用して伝送が可能となる。例えば、特許文献２には、超高精細映像信号を圧縮したデータを３Ｇ−ＳＤＩや、ＨＤ−ＳＤＩのシリアルデジタルインターフェースを使用して伝送するといった基本となる技術が開示されている。

このように、データ量を圧縮により削減することで、信号品質補償が難しい超高速伝送が不要になり、広く普及しているビデオインターフェースや、ケーブルを使うことができるため、取り扱いが容易な既存機器をそのまま活用して新しい方式やサービスに対応できるという利点がある。

しかしながら、ＳＤＩ等のビデオインターフェースは、モニター等の映像表示機器に接続できるが、上記のように映像領域のデータに圧縮（エンコード）したビットストリームが割り当てられる場合には、圧縮した方式のデコード処理をしなければノイズのような意味の無い映像が、モニター上に表示されることになり、視聴したい本来の映像は再現されないもので、つまり、伝送される映像の内容が視認できないという問題が生じてしまう。

さらに、圧縮したビットストリームであるが故に、映像が正常に表示されないのか、或いは、故障等の他の原因で映像が正常に表示されないのかの判断が難しく、正しく判断するためには、その方式に対応した測定器や解析装置が必要となり、装置構成や手法が、非常に煩雑なものとなってしまう。

また、上記特許文献１においては、ＨＤＴＶ信号の映像信号の圧縮は、ＨＤＴＶの水平方向の１９２０画素を１／２の９６０画素や、３／４の１４４０画素に減らす（間引く）もので、この場合、画像サイズが小さくなるが、そのまま表示することはできる。しかし、ＭＰＥＧ−２といった画像圧縮（映像符号化）を利用する場合には、復号処理をしなければ、本来の映像をそのまま表示することはできない。

さらに、特許文献１のような映像信号の圧縮は、「間引きによる画像圧縮」であり、処理後の画素データは、処理前の画素データと同様に、１画素あたり、８ｂｉｔ又は、１０ｂｉｔの固定長となるため、マッピングは比較的容易なものであるが、ＭＰＥＧ−２といった画像圧縮（映像符号化）を利用する場合には、そのデータは固定長ではなく、可変長であり、また、通常は、１画素単位ではなく、８×８画素等にまとめて圧縮処理することになるため、マッピングについて、少なくとも、画像圧縮に関する技術を有し、精通している技術者による開発が望まれている。

そこで、近年では、ＭＰＥＧ−２といった画像圧縮技術（映像符号化）を利用した伝送においても、生成する縮小映像データの適切なマッピングにより、特別な装置を必要とせずに、一般的な映像表示機器に縮小映像データを表示し、伝送される映像の内容を容易に確認できるデジタル信号の伝送装置及びデジタル信号の伝送方法が開発されてきている。

例えば、非圧縮映像データに基づいて生成された縮小映像データをビデオインターフェースのフレーム構造における有効映像領域にマッピングし、そのマッピングされたデータをモニタ等により表示させることにより実現するものである。そして、このマッピングは、量子化ビット数を削減することにより行われるため、メモリ容量や、回路規模を削減することが可能となっている。

特開２００４−３１２４８９号公報 特開２０１３−２３６２１１号公報

しかしながら、近年開発されてきている上記のデジタル信号の伝送装置及びデジタル信号の伝送方法では、マッピングされた縮小映像データは、量子化ビット数（ビット深度）が、削減されていることから、階調変化が粗くなり、映像表示機器に表示される縮小映像の映像品質が、あまり良くないとされている。

本発明は、上述の課題を解決するためのもので、ＭＰＥＧ−２といった画像圧縮技術（映像符号化）を利用した伝送においても、縮小映像データの有効映像領域への適切なマッピング、そして、伝送パケットの所定の領域へのマッピング（格納）により、量子化ビット数が削減された縮小映像データであっても、一般的な映像表示機器に高い映像品質を保った縮小映像データを表示できるデジタル信号の伝送装置及びデジタル信号の伝送方法を提供することにある。

上述の課題に対応するため、本発明は、以下の技術的手段を講じている。
即ち、請求項１記載の発明は、入力される非圧縮映像データをエンコード処理し、トランスポートストリームにて出力するエンコード部と、入力される非圧縮映像データに基づいて、当該非圧縮映像データの縮小映像データを生成する縮小映像データ生成部と、前記エンコード部により出力されるトランスポートストリームのＮＵＬＬパケットを検出するＮＵＬＬパケット検出部と、前記エンコード部により出力されたトランスポートストリームをビデオインターフェースにおける有効映像領域にマッピングしていくとともに、前記縮小映像データ生成部により生成された縮小映像データをビデオインターフェースにおける有効映像領域と、前記ＮＵＬＬパケット検出部により検出されたＮＵＬＬパケットの領域に、それぞれマッピングしていくマッピング部と、前記マッピング部によりマッピングされた縮小映像データを画面上に視認可能とするモニターと、前記マッピング部によりマッピングされたトランスポートストリームを取り出すデータ分離部と、前記データ分離部により取り出されたトランスポートストリームをデコード処理し、映像データとして出力するデコード部とを備えることを特徴とするデジタル信号の伝送装置である。

次に、請求項２記載の発明は、入力される非圧縮映像データをエンコード処理し、トランスポートストリームにて出力するエンコード部と、入力される非圧縮映像データに基づいて、当該非圧縮映像データの縮小映像データを生成する縮小映像データ生成部と、前記エンコード部により出力されるトランスポートストリームのＮＵＬＬパケットを検出するＮＵＬＬパケット検出部と、前記エンコード部により出力されるトランスポートストリームのアダプテーション・フィールドを検出するＡＦ検出部と、前記エンコード部により出力されたトランスポートストリームをビデオインターフェースにおける有効映像領域にマッピングしていくとともに、前記縮小映像データ生成部により生成された縮小映像データをビデオインターフェースにおける有効映像領域と、前記ＮＵＬＬパケット検出部により検出されたＮＵＬＬパケットの領域、及び、前記ＡＦ検出部により検出されたアダプテーション・フィールドの領域に、それぞれマッピングしていくマッピング部と、前記マッピング部によりマッピングされた縮小映像データを画面上に視認可能とするモニターと、前記マッピング部によりマッピングされたトランスポートストリームを取り出すデータ分離部と、前記データ分離部により取り出されたトランスポートストリームをデコード処理し、映像データとして出力するデコード部とを備えることを特徴とするデジタル信号の伝送装置である。

また、請求項３記載の発明は、請求項１又は２記載のデジタル信号の伝送装置であって、前記マッピング部は、前記トランスポートストリームと、前記縮小映像データをビデオインターフェースのフレーム構造における有効映像領域のうち、予め定められた領域であって、当該領域における各画素の予め定められたビットに対し、それぞれマッピングしていくものであることを特徴としている。

そして、請求項４記載の発明は、入力される非圧縮映像データをエンコード処理し、トランスポートストリームにて出力するエンコードステップと、入力される非圧縮映像データに基づいて、当該非圧縮映像データの縮小映像データを生成する縮小映像データ生成ステップと、前記エンコードステップにより出力されるトランスポートストリームのＮＵＬＬパケットを検出するＮＵＬＬパケット検出ステップと、前記エンコードステップにより出力されたトランスポートストリームをビデオインターフェースにおける有効映像領域にマッピングするとともに、前記縮小映像データ生成ステップにより生成された縮小映像データをビデオインターフェースにおける有効映像領域と、前記ＮＵＬＬパケット検出ステップにおいて検出されたＮＵＬＬパケットの領域に、それぞれマッピングしていくマッピングステップと、前記マッピングステップによりマッピングされた縮小映像データをモニターの画面上に視認可能に表示するデータ表示ステップと、前記マッピング部によりマッピングされたトランスポートストリームを取り出すデータ分離ステップと、前記データ分離ステップにより取り出されたトランスポートストリームをデコード処理し、映像データとして出力するデコードステップとを含むことを特徴とするデジタル信号の伝送方法である。

さらに、請求項５記載の発明は、入力される非圧縮映像データをエンコード処理し、トランスポートストリームにて出力するエンコードステップと、入力される非圧縮映像データに基づいて、当該非圧縮映像データの縮小映像データを生成する縮小映像データ生成ステップと、前記エンコードステップにより出力されるトランスポートストリームのＮＵＬＬパケットを検出するＮＵＬＬパケット検出ステップと、前記エンコードステップにより出力されるトランスポートストリームのアダプテーション・フィールドを検出するＡＦ検出ステップと、前記エンコードステップにより出力されたトランスポートストリームをビデオインターフェースにおける有効映像領域にマッピングするとともに、前記縮小映像データ生成ステップにより生成された縮小映像データをビデオインターフェースにおける有効映像領域と、前記ＮＵＬＬパケット検出ステップにおいて検出されたＮＵＬＬパケットの領域、及び、前記ＡＦ検出ステップにおいて検出されたアダプテーション・フィールドの領域に、それぞれマッピングしていくマッピングステップと、前記マッピングステップによりマッピングされた縮小映像データをモニターの画面上に視認可能に表示するデータ表示ステップと、前記マッピング部によりマッピングされたトランスポートストリームを取り出すデータ分離ステップと、前記データ分離ステップにより取り出されたトランスポートストリームをデコード処理し、映像データとして出力するデコードステップとを含むことを特徴とするデジタル信号の伝送方法である。

そして、請求項６記載の発明は、請求項４又は５記載のデジタル信号の伝送方法であって、前記マッピングステップは、前記トランスポートストリームと、前記縮小映像データをビデオインターフェースのフレーム構造における有効映像領域のうち、予め定められた領域であって、当該領域における各画素の予め定められたビットに対し、それぞれマッピングしていくものであることを特徴としている。

本発明によれば、入力される非圧縮映像データをエンコードし、それをトランスポートストリームにより出力するとともに、非圧縮映像データの縮小映像データを生成し、両データをビデオインターフェースの有効画像領域に適切にマッピングし、そして、ＮＵＬＬパケットの領域や、アダプテーション・フィールドにも、適切にマッピング（格納）するものであるため、量子化ビット数を部分的に拡張することができることから、特別な測定器や分析装置を必要とせずに、一般的な映像表示機器に高い映像品質の縮小映像データを表示して、伝送される映像データの内容を視覚にて容易に確認することが可能となる。

本発明に係るデジタル信号の伝送装置の第１の実施形態を示したブロック図である。 本発明に係るデジタル信号の伝送方法の第１の実施形態を示したフローである。 本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第１の実施形態における映像レイヤーと、ビットストリームレイヤーの構造（１系統）を示した図である。 本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第１の実施形態における映像レイヤーと、ビットストリームレイヤーの構造（２系統）を示した図である。 本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第１の実施形態におけるトランスポートストリームパケットと、ＮＵＬＬパケットの構成を示したイメージ図で、（ａ）はパターン１、（ｂ）はパターン２、（ｃ）はパターン３である。 本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第１の実施形態におけるＮＵＬＬパケットのトランスポートストリームヘッダーの情報を示したものである。 本発明に係るデジタル信号の伝送装置の第２の実施形態を示したブロック図である。 本発明に係るデジタル信号の伝送方法の第２の実施形態を示したフローである。 本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第２の実施形態におけるトランスポートストリームパケットと、アダプテーション・フィールドの構成を示したイメージ図で、（ａ）はパターン１、（ｂ）はパターン２である。 本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第２の実施形態におけるアダプテーション・フィールドの情報を示したものである。 本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第１又は第２の実施形態におけるフレームと画素の構造を示した概略図である。 本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第１又は第２の実施形態におけるマッピング例を示した図で、（ａ）は第１のマッピングパターン、（ｂ）は第２のマッピングパターンを表している。

本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第１の実施形態について図面を参照しながら説明する。図１は、本発明に係るデジタル信号の伝送装置の第１の実施形態を示したブロック図で、図２は、本発明に係るデジタル信号の伝送方法の第１の実施形態を示したフローである。

なお、符号については、１０がデジタル信号の伝送装置、１２が第１のエンコード部、１４が第２のエンコード部、１６が第１の縮小映像生成部、１８が第２の縮小映像生成部、２０が第１のＮＵＬＬパケット検出部、２２が第２のＮＵＬＬパケット検出部、２４がマッピング部、２６がビデオインターフェース、２８がモニター、３０がデータ分離部、３２が第１のデコード部、３４が第２のデコード部を示している。

まず、本実施形態におけるデジタル信号の伝送装置１０は、図１に示すように、それぞれ入力される非圧縮映像データをエンコード処理し、それをトランスポートストリーム（ＴＳ）により出力する第１のエンコード部１２、第２のエンコード部１４と、それぞれ入力される非圧縮映像データに基づいて、この非圧縮映像データの縮小映像データを生成する第１の縮小映像生成部１６、第２の縮小映像生成部１８を備えている。

なお、本実施形態では、入力される非圧縮映像（ビデオＩ／Ｆ）の画素では、全てのビットを映像に使用するもので、本方式では、画素の一部のビットを映像に割り当て（映像レイヤーとする）、他の一部のビットを圧縮したビットストリームに割り当てる（ビットストリームレイヤー）とするもので、ビットストリームは、ＭＰＥＧ方式のトランスポートストリームを用いることとしている。

さらに、各エンコード部（１２、１４）によりそれぞれ出力されたトランスポートストリームと、各縮小映像生成部（１６、１８）により生成された縮小映像データをビデオインターフェース２６における有効映像領域に、それぞれマッピングしていくマッピング部２４と、第１のエンコード部１２により出力されたトランスポートストリームのＮＵＬＬパケットを検出する第１のＮＵＬＬパケット検出部２０と、第２のエンコード部１４により出力されたトランスポートストリームのＮＵＬＬパケットを検出する第２のＮＵＬＬパケット検出部２２、そして、マッピング部２４によりマッピングされた縮小映像データを画面上に視認可能とするモニター２８とを備えている。

そして、マッピング部２４によりマッピングされた各トランスポートストリームを取り出すデータ分離部３０と、データ分離部３０により取り出された各トランスポートストリームをそれぞれデコード処理し、映像データとして出力する第１のデコード部３２、第２のデコード部３４を備えている。なお、本実施形態では、データの入力・出力を２チャンネルとしているが、これは本発明を限定するものではない。

続いて、図２も参照しながら、本実施形態におけるデジタル信号の伝送装置及びデジタル信号の伝送方法についてより詳細に説明していく。まず、それぞれ入力される非圧縮映像データを第１、第２のエンコード部（１２、１４）が、エンコード処理をし、ビデオインターフェース２６のフレーム構造にマッピングできる定められたデータ量をトランスポートストリームにて出力していく（ステップ１）。トランスポートストリームは、本実施形態では、ＭＰＥＧ方式を採用する。

次に、又は、平行して、第１、第２の縮小映像生成部（１６、１８）が、それぞれ入力される非圧縮映像データの縮小映像（サムネイル映像）データを生成していく（ステップ２）。例えば、非圧縮映像データが、ＨＤＴＶの場合、１フレームの画素数は、水平方向１９２０画素、垂直方向１０８０ラインであり、水平方向と、垂直方向を１／４に縮小すると、水平方向４８０画素、垂直方向２７０ラインからなる１／１６の大きさの縮小映像が生成されることになる。

また、フレームを構成する画素には、階調（深度、深さとも言う）があり、量子化レベルとして、８ビット（２５６階調）又は、１０ビット（１０２４階調）等のビット数で表される。このビット数が大きいほど細かい階調を表現することができ（画質が良くなる）、逆に、ビット数が小さければ、階調は粗くなる（画質が悪くなる）。

非圧縮映像データの縮小方法については、例えば、画素を単純に間引く方法（１／４に縮小する場合は、４画素のうち、１画素を残し、他の３画素を捨てる）や、バイリニア方式等のように、近傍の複数画素を使用して、補間処理を行う方法を採用する。なお、映像の著作権保護等のためにモザイク処理、ぼかし処理、スクランブル処理等を行うことも可能である。

また、４Ｋや８Ｋ等の高精細映像の場合は、縮小映像生成の縮小比率を変えることで対応していく。例えば、３８４０×２１６０の４Ｋ映像の場合には、水平方向と垂直方向を１／８に縮小する。このように、必要とする画質等の用途に応じて、各縮小映像の大きさを任意に変えることが可能である。

ここで、後段に続く処理において、ビデオインターフェース２６のフレーム構造へマッピングを行うために、バッファーとして、縮小映像を格納するフレームメモリが必要とされる。このメモリ容量は、映像の大きさや、マッピング方法によって異なり、また、１フレーム分の容量であれば、ビデオインターフェース２６の次のフレームにマッピングすることが可能となる。

なお、第１、第２の縮小映像生成部（１６、１８）に代わり、非圧縮映像データの識別用データとして、入力映像フォーマット、圧縮方法、チャンネル番号、タイトル名等の文字情報データを生成する文字情報生成部をそれぞれ配置し、生成した文字情報データをビデオインターフェース２６のフレーム構造にマッピングするようにしても良い。また、第１、第２の縮小映像生成部（１６，１８）と文字情報生成部を併設し、縮小映像データとともに、文字情報データもビデオインターフェース２６のフレーム構造における有効映像領域にマッピングするようにしても良い。

続いて、第１のＮＵＬＬパケット検出部２０が、第１のエンコード部１２が、出力するトランスポートストリームのＮＵＬＬパケットを検出し、また、第２のＮＵＬＬパケット検出部２２が、第２のエンコード部１４が、出力するトランスポートストリームのＮＵＬＬパケットを検出し、それぞれ後段に続くマッピング部２４に対して、ＮＵＬＬパケット検出信号を渡す（ステップ３）。

続いて、マッピング部２４が、非圧縮映像データの縮小映像データをビデオインターフェース２６のフレーム構造の有効映像領域において、画素の所定ビットにマッピングしていく（ステップ４）。縮小映像データは、モニター２８に正しく表示できるラスター走査形式でビデオインターフェース２６の有効映像領域に割り当て格納していく。

また、圧縮されたビットストリーム等のデータは、ビデオインターフェース２６で定められた同期コードや、禁止コード等の仕様に従い、使用可能な領域において、画素の所定ビットに割り当て格納していく。なお、第１、第２のエンコード部（１２、１４）による圧縮率を変更することで、使用領域を増減させることができるため、例えば、いくつかの領域を音声データや制御データ等の様々なデータを割り当てることも可能である。

縮小映像データは、ビデオインターフェース２６の映像フォーマットに従って、縮小映像のフレームメモリから読み出して、マッピングをしていく。入力される非圧縮映像データとビデオインターフェース２６のフレーム周波数が異なる場合、同じフレームを何度か繰り返す、又は、削除して出力形式に合わせるようにする。

つまり、入力映像データの形式が、１０８０ｉ６０Ｈｚや、１０８０ｐ２４Ｈｚの場合や、混在する場合、或いは、一般的ではない方式であっても、出力のビデオインターフェース２６は、１０８０ｉ６０Ｈｚ等の多くの映像表示装置が対応している一般的な形式に定め、縮小映像のフレーム周波数は、同じフレームを何度か繰り返して出力したり、削除したりする方法により変換するということである。このように、伝送されている映像データの内容の確認が目的であれば、縮小映像と、トランスポートストリームのフレーム周波数の同期等を厳密に管理しなくても良く、フォーマット変換といった高度な技術を要せずとも、簡易な処理で済むことになる。

また、トランスポートストリームは、ビデオインターフェース２６のフレーム構造に別途定めた形式でマッピングしていく（ステップ４）。なお、トランスポートストリームは、マッピング処理と同時にマッピング部２４へと入力されるとは限らないため、一定期間トランスポートストリームを蓄積するためのバッファメモリが必要となる場合がある。そして、そのメモリ容量は、トランスポートストリームのビットレート変動（データ量の粗密）や、マッピング方法によって異なってくるものである。

ここで、マッピング部２４のビデオインターフェース２６のフレーム構造へのマッピング例について、図１１、１２を参照しながら説明する。まず、（ａ）に示す例では、映像レイヤーの上位４ビット（図１１参照）は、フレームを左右に２等分し、ビットストリームレイヤーの下位４ビット（図１１参照）は、左右に分けずに、２ビットずつ（ビット０とビット１及びビット２とビット３）からなる２つのレイヤー（ビットストリームレイヤー１、ビットストリームレイヤー２）に分けて、映像１と映像２の圧縮したビットストリームをそれぞれ別々のレイヤーに割り当てている。

上記（ａ）に示す例では、映像レイヤーの上位４ビットにおいては、１フレームを左右に２等分し、左側を映像１の領域、右側を映像２の領域としているが、大きさや位置等の分割方法は任意に決めることができる。なお、本例では、左側には、生成した映像１の縮小映像や一部の切り出し映像の画素上位４ビット（減色画像）を左側の映像レイヤーに割り当て、右側には、生成した映像２の縮小映像や一部の切り出し映像の画素上位４ビット（減色画像）を右側の映像レイヤーに割り当てている。

続いて、（ｂ）に示す例では、映像レイヤーの上位４ビットについては、（ａ）に示す例と同じであるが、ビットストリームレイヤーの下位４ビット（図１１参照）については、上位４ビットと同様に、左右に２等分している。つまり、下位４ビットの左側（ビットストリームレイヤー１）には、映像１の圧縮したビットストリームを割り当て、右側（ビットストリームレイヤー２）には、映像２の圧縮したビットストリームを割り当てている。なお、本実施形態では、上位４ビットを映像レイヤー、下位４ビットをビットストリームレイヤーとしているが、本発明はこれに限定されるものではない。

なお、縮小映像の生成方法、大きさ、切り出し位置、有効にするビット数、ビット位置及び映像レイヤー及びビットストリーム（トランスポートストリーム）レイヤーの構成は、表示方法や画質、或いは、ビットレート等に応じて変えることが可能である。また、輝度信号のみの白黒画像であっても良い。

さらに、本実施形態において、映像レイヤーには、図１１に示すように、量子化ビット数を削減してマッピングするため（ビット４〜７）、階調変化が粗くなり、違和感が出てしまう。従って、マッピング部２４において、縮小映像データを第１、第２のＮＵＬＬパケット検出部（２０、２２）により検出された各ＮＵＬＬパケット領域を映像レイヤーとして拡張し、その領域に縮小映像データをマッピングしていく（ステップ５）ことで、高い映像品質を確保することができるようになっている。

詳しくは、まず、本実施形態では、入力される非圧縮映像データをエンコード（圧縮）したビットストリームは、ＭＰＥＧ方式のトランスポートストリームを用いているが、このトランスポートストリームは、映像・音声・その他のデータを１８８バイトのトランスポートストリームパケットに分割し、多重化したビット列で、パケットのヘッダ（４バイト）内のＰＩＤと呼ばれる１３ビットの識別子により種類を識別できるものである。

さらに、所望のビットレートにするためには、ＮＵＬＬパケットと呼ばれる無効パケットを挿入する。そして、このＮＵＬＬパケットは、入力映像や、エンコーダの実装により変化するが、１〜３０％程度を占めるものである。そこで、このＮＵＬＬパケットの領域に縮小映像データを格納することで、映像レイヤーを部分的に拡張し、映像品質をより鮮明に改善しようというものである。

つまり、図３に示すように、ビットストリームレイヤー（ビット１〜４）のうち、ＮＵＬＬパケットの領域を映像レイヤーに拡張し、この領域に縮小映像データを格納することになる（１系統の場合）。また、同様に、図４に示す通り、ビットストリームレイヤー１と、ビットストリームレイヤー２のそれぞれにおけるＮＵＬＬパケットの領域を映像レイヤーに拡張し（上段の図）、この領域に縮小映像データを格納する（下段の図）ことになる（２系統の場合）。

なお、図４に示すように、複数のビットストリームレイヤーがある場合、できるだけ、上位ビットに縮小映像データを格納した方が、映像が鮮明になるため、ＮＵＬＬパケットを検出した場合には、上位ビットのレイヤーのストリームと位置を入れ替えて、縮小映像データを格納することができる。

その場合、図５に示す識別コードにどの系統のビットストリームか、識別できるコードを割り当てる。例えば、0x10はストリーム１のＮＵＬＬパケット、0x20はストリーム２のＮＵＬＬパケットとする。また、位置を入れ替える場合、パケット単位で入れ替えられるように、全てのビットストリームレイヤーのパケットの区切りを一致させる。

続いて、ＮＵＬＬパケットの領域に縮小映像データを格納する方法について説明する。まず、図５（ａ）に示すパターン１では、トランスポートストリームパケット１８８バイトのうち、先頭の４バイトは、トランスポートストリームヘッダーであるパターンで、トランスポートストリームヘッダー内のＰＩＤが、0x1FFF(１６進数)の場合、ＮＵＬＬパケットである。

そして、ＮＵＬＬパケットのトランスポートストリームヘッダー後の１８４バイトは、無効データ（任意の値）で使用されない。従って、ＮＵＬＬパケットの場合には、トランスポートストリームヘッダー後の１８４バイトに縮小映像データを格納する。

そして、図５（ｂ）に示すパターン２では、ＮＵＬＬパケットの場合、図６に示すように、ＰＩＤ以外のトランスポートストリームヘッダーのビットも固定値であるため、トランスポートストリームヘッダー先頭の同期バイトを識別コードとみなし、0x47の代わりに、例えば、0x48に置き換えて識別することができる。

受信側では、同期バイトが、0x48ならば、ＮＵＬＬパケットのトランスポートストリームヘッダーに置き換える。従って、ＮＵＬＬパケットの場合には、２バイト目から１８７バイトに縮小映像データを格納する。

さらに、図５（ｃ）に示すパターン３では、ＮＵＬＬパケットの場合、図６に示すように、ＰＩＤ以外のトランスポートストリームヘッダーのビットも固定値であるため、トランスポートストリームパケットの前に、パケットの種類を示す識別コードを付加する。

受信側では、識別コードが、ＮＵＬＬパケットを示すならば、トランスポートストリームパケットをＮＵＬＬパケットに置き換える。従って、ＮＵＬＬパケットの場合には、トランスポートストリームパケット（１８８バイト）に縮小映像データを格納する。このように、パターン１よりも、パターン２やパターン３の方が、多くの縮小映像データを格納することができ、映像品質が、より鮮明なものとなる。

続いて、マッピング部２４によりマッピングされた縮小映像データは、ビデオインターフェース２６を通じ、縮小映像として、モニター２８の画面上にユーザーが視認できるよう表示される（ステップ６）。このようにモニター２８の画面上に縮小映像が表示されるので、エンコード（圧縮）され伝送されている映像データをデコードしたり、或いは、特別な測定器や分析装置を用いずとも、その内容を視覚により容易に把握することができるようになる。

次に、データ分離部３０が、マッピング部２４によりビデオインターフェース２６のフレーム構造にマッピングされた各トランスポートストリームを取り出し、出力していく（ステップ７）。本実施形態のように、複数系統のビットストリームがマッピングされている場合には、複数の出力を行っていく。

そして、第１、第２のデコード部（３２、３４）が、データ分離部３０によって、それぞれ出力されたトランスポートストリームを受け、第１、第２のエンコード部（１２、１４）と同方式により、それぞれデコード処理を行い、非圧縮映像データとして出力していく（ステップ８）。

続いて、本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法の第２の実施形態について図面を参照しながら説明する。図７は、本発明に係るデジタル信号の伝送装置の第１の実施形態を示したブロック図で、図８は、本発明に係るデジタル信号の伝送方法の第１の実施形態を示したフローである。符号については、３６が第１のＡＦ検出部、３８が第２のＡＦ検出部である以外は、図１と同様である。

まず、本実施形態におけるデジタル信号の伝送装置１０は、図７に示すように、それぞれ入力される非圧縮映像データをエンコード処理し、それをトランスポートストリーム（ＴＳ）により出力する第１のエンコード部１２、第２のエンコード部１４と、それぞれ入力される非圧縮映像データに基づいて、この非圧縮映像データの縮小映像データを生成する第１の縮小映像生成部１６、第２の縮小映像生成部１８を備えている。

さらに、各エンコード部（１２、１４）によりそれぞれ出力されたトランスポートストリームと、各縮小映像生成部（１６、１８）により生成された縮小映像データをビデオインターフェース２６における有効映像領域に、それぞれマッピングしていくマッピング部２４と、第１のエンコード部１２により出力されたトランスポートストリームのＮＵＬＬパケットを検出する第１のＮＵＬＬパケット検出部２０と、第２のエンコード部１４により出力されたトランスポートストリームのＮＵＬＬパケットを検出する第２のＮＵＬＬパケット検出部２２を備えている。

またさらに、第１のエンコード部１２により出力されたトランスポートストリームのアダプテーション・フィールドを検出する第１のＡＦ検出部３６と、第２のエンコード部１４により出力されたトランスポートストリームのアダプテーション・フィールドを検出する第２のＡＦ検出部３８と、マッピング部２４によりマッピングされた縮小映像データを画面上に視認可能とするモニター２８とを備えている。

そして、マッピング部２４によりマッピングされた各トランスポートストリームを取り出すデータ分離部３０と、データ分離部３０により取り出された各トランスポートストリームをそれぞれデコード処理し、映像データとして出力する第１のデコード部３２、第２のデコード部３４を備えている。なお、本実施形態では、データの入力・出力を２チャンネルとしているが、これは本発明を限定するものではない。

続いて、図８も参照しながら、本実施形態におけるデジタル信号の伝送装置及びデジタル信号の伝送方法についてより詳細に説明していく。まず、それぞれ入力される非圧縮映像データを第１、第２のエンコード部（１２、１４）が、エンコード処理をし、ビデオインターフェース２６のフレーム構造にマッピングできる定められたデータ量をトランスポートストリームにより出力していく（ステップ１）。トランスポートストリームは、本実施形態でも、ＭＰＥＧ方式を採用する。

次に、又は、平行して、第１、第２の縮小映像生成部（１６、１８）が、それぞれ入力される非圧縮映像データの縮小映像（サムネイル映像）データを生成していく（ステップ２）。第１の実施形態と同様に、非圧縮映像データが、ＨＤＴＶの場合、１フレームの画素数は、水平方向１９２０画素、垂直方向１０８０ラインであり、水平方向と、垂直方向を１／４に縮小すると、水平方向４８０画素、垂直方向２７０ラインからなる１／１６の大きさの縮小映像が生成されることになる。

ここで、第１の実施形態と同様、後段に続く処理において、ビデオインターフェース２６のフレーム構造へマッピングを行うために、バッファーとして、縮小映像を格納するフレームメモリが必要とされる。このメモリ容量は、映像の大きさや、マッピング方法によって異なり、また、１フレーム分の容量であれば、ビデオインターフェース２６の次のフレームにマッピングすることが可能となる。

続いて、第１のＮＵＬＬパケット検出部２０が、第１のエンコード部１２が、出力するトランスポートストリームのＮＵＬＬパケットを検出し、また、第２のＮＵＬＬパケット検出部２２が、第２のエンコード部１４が、出力するトランスポートストリームのＮＵＬＬパケットを検出し、それぞれ後段に続くマッピング部２４に対して、ＮＵＬＬパケット検出信号を渡す（ステップ３）。

さらに、第１のＡＦ検出部３６が、第１のエンコード部１２が、出力するトランスポートストリームのアダプテーション・フィールドを検出し、また、第２のＡＦ検出部３８が、第２のエンコード部１４が、出力するトランスポートストリームのアダプテーション・フィールドを検出し 、それぞれ後段に続くマッピング部２４に対して、ＡＦ検出信号を渡す（ステップ４）。

続いて、マッピング部２４が、非圧縮映像データの縮小映像データをビデオインターフェース２６のフレーム構造の有効映像領域において、画素の所定ビットにマッピングしていく（ステップ５）。縮小映像データは、モニター２８に正しく表示できるラスター走査形式でビデオインターフェース２６の有効映像領域に割り当て格納していく。

また、圧縮されたビットストリーム等のデータは、ビデオインターフェース２６で定められた同期コードや、禁止コード等の仕様に従い、使用可能な領域において、画素の所定ビットに割り当て格納していく。なお、第１、第２のエンコード部（１２、１４）による圧縮率を変更することで、使用領域を増減させることができるため、例えば、いくつかの領域を音声データや制御データ等の様々なデータを割り当てることも可能である。

縮小映像データは、ビデオインターフェース２６の映像フォーマットに従って、縮小映像のフレームメモリから読み出して、マッピングをしていく。入力される非圧縮映像データとビデオインターフェース２６のフレーム周波数が異なる場合、同じフレームを何度か繰り返す、又は、削除して出力形式に合わせるようにする。

つまり、入力映像データの形式が、１０８０ｉ６０Ｈｚや、１０８０ｐ２４Ｈｚの場合や、混在する場合、或いは、一般的ではない方式であっても、出力のビデオインターフェース２６は、１０８０ｉ６０Ｈｚ等の多くの映像表示装置が対応している一般的な形式に定め、縮小映像のフレーム周波数は、同じフレームを何度か繰り返して出力したり、削除したりする方法により変換するということである。このように、伝送されている映像データの内容の確認が目的であれば、縮小映像と、トランスポートストリームのフレーム周波数の同期等を厳密に管理しなくても良く、フォーマット変換といった高度な技術を要せずとも、簡易な処理で済むことになる。

また、トランスポートストリームは、ビデオインターフェース２６のフレーム構造に別途定めた形式でマッピングしていく（ステップ５）。なお、トランスポートストリームは、マッピング処理と同時にマッピング部２４へと入力されるとは限らないため、一定期間トランスポートストリームを蓄積するためのバッファメモリが必要となる場合がある。そして、そのメモリ容量は、トランスポートストリームのビットレート変動（データ量の粗密）や、マッピング方法によって異なってくるものである。

ここで、マッピング部２４のビデオインターフェース２６のフレーム構造へのマッピング例については、第１の実施形態における説明と同じであり、さらに、同様に、映像レイヤーには、図１１に示すように、量子化ビット数を削減してマッピングするため（ビット４〜７）、階調変化が粗くなり、違和感が出てしまう。

従って、マッピング部２４において、縮小映像データを第１、第２のＮＵＬＬパケット検出部（２０、２２）により検出された各ＮＵＬＬパケット領域を映像レイヤーとして拡張し、その領域に縮小映像データをマッピングしていく（ステップ６）ことで、高い映像品質を確保することができるようになっている。さらに、本実施形態においては、マッピング部２４において、縮小映像データを第１、第２のＡＦ検出部（３６、３８）により検出された各アダプテーション・フィールドの領域についても、映像レイヤーとして拡張し、その領域に縮小映像データをマッピングしていく（ステップ７）ことで、より高い映像品質を確保することができる。

次に、アダプテーション・フィールドの領域に縮小映像データを格納する方法について説明する。なお、ＮＵＬＬパケット領域の拡張や、その領域への縮小映像データの格納方法は、第１の実施形態と同様である。トランスポートストリームパケットには、ＡＦ（adaptation_field)、つまり、アダプテーション・フィールドと呼ぶ領域が決められており、付加情報を格納したり、「stuffing_byte」を挿入して、パケット長を１８８バイトに調整することができる。

この、「stuffing_byte」は、無効データであるため、代わりに縮小映像データを格納し、映像品質をより鮮明にするというものである。まず、図９（ａ）は、「adaptation_field_control」が１０の場合で、アダプテーション・フィールドのみとなっており、図９（ｂ）は、「adaptation_field_control」が１１の場合で、アダプテーション・フィールドの後ろに、ペイロードが続いている。なお、ペイロードは、映像、音声などのデータである。

トランスポートストリームヘッダー内の「adaptation_field_control」が、１０又は１１であり、「adaptation_field_length」が、２以上の場合、「stuffing_byte」に縮小映像データを格納する。なお、「stuffing_byte」は、デコーダーで捨てられる無効データである。

ここで、「adaptation_field_length」が、０の場合、アダプテーション・フィールドは、「adaptation_field_control」のみである。また、「adaptation_field_length」が、１の場合、アダプテーション・フィールドは、合計８ビットの「indicator」と「flag」である（図１０参照）。どちらの場合も、「stuffing_byte」は、存在しない。

本実施形態における第１のＡＦ検出部３６と、第２のＡＦ検出部３８は、「adaptation_field_control」、「adaptation_field_control」、各種「indicator」と「flag」から、縮小映像データを格納可能な「stuffing_byte」の位置を検出し、その検出信号をマッピング部２４に出力する。そして、マッピング部２４では、「stuffing_byte」に縮小映像データを格納していく。

続いて、マッピング部２４によりマッピングされた縮小映像データは、ビデオインターフェース２６を通じ、縮小映像として、モニター２８の画面上にユーザーが視認できるよう表示される（ステップ８）。このようにモニター２８の画面上に縮小映像が表示されるので、エンコード（圧縮）され伝送されている映像データをデコードしたり、或いは、特別な測定器や分析装置を用いずとも、その内容を視覚により容易に把握することができるようになる。

次に、データ分離部３０が、マッピング部２４によりビデオインターフェース２６のフレーム構造にマッピングされた各トランスポートストリームを取り出し、出力していく（ステップ９）。本実施形態のように、複数系統のビットストリームがマッピングされている場合には、複数の出力を行っていく。

そして、第１、第２のデコード部（３２、３４）が、データ分離部３０によって、それぞれ出力されたトランスポートストリームを受け、第１、第２のエンコード部（１２、１４）と同方式により、それぞれデコード処理を行い、非圧縮映像データとして出力していく（ステップ１０）。

本発明に係るデジタル信号の伝送装置及びデジタル信号の伝送方法は、伝送している映像データの内容を高品質な状態で、モニター上にて容易に視認することができるため、特別な測定器や解析装置が準備されていない現場等において、好適に用いることができる。

１０ デジタル信号の伝送装置
１２ 第１のエンコード部
１４ 第２のエンコード部
１６ 第１の縮小映像生成部
１８ 第２の縮小映像生成部
２０ 第１のＮＵＬＬパケット検出部
２２ 第２のＮＵＬＬパケット検出部
２４ マッピング部
２６ ビデオインターフェース
２８ モニター
３０ データ分離部
３２ 第１のデコード部
３４ 第２のデコード部
３６ 第１のＡＦ検出部
３８ 第２のＡＦ検出部

Claims (6)

1. 入力される非圧縮映像データをエンコード処理し、トランスポートストリームにて出力するエンコード部と、
   入力される非圧縮映像データに基づいて、当該非圧縮映像データの縮小映像データを生成する縮小映像データ生成部と、
   前記エンコード部により出力されるトランスポートストリームのＮＵＬＬパケットを検出するＮＵＬＬパケット検出部と、
   前記エンコード部により出力されたトランスポートストリームをビデオインターフェースにおける有効映像領域にマッピングしていくとともに、前記縮小映像データ生成部により生成された縮小映像データをビデオインターフェースにおける有効映像領域と、前記ＮＵＬＬパケット検出部により検出されたＮＵＬＬパケットの領域に、それぞれマッピングしていくマッピング部と、
   前記マッピング部によりマッピングされた縮小映像データを画面上に視認可能とするモニターと、
   前記マッピング部によりマッピングされたトランスポートストリームを取り出すデータ分離部と、
   前記データ分離部により取り出されたトランスポートストリームをデコード処理し、映像データとして出力するデコード部と、
   を備えることを特徴とするデジタル信号の伝送装置。
2. 入力される非圧縮映像データをエンコード処理し、トランスポートストリームにて出力するエンコード部と、
   入力される非圧縮映像データに基づいて、当該非圧縮映像データの縮小映像データを生成する縮小映像データ生成部と、
   前記エンコード部により出力されるトランスポートストリームのＮＵＬＬパケットを検出するＮＵＬＬパケット検出部と、
   前記エンコード部により出力されるトランスポートストリームのアダプテーション・フィールドを検出するＡＦ検出部と、
   前記エンコード部により出力されたトランスポートストリームをビデオインターフェースにおける有効映像領域にマッピングしていくとともに、前記縮小映像データ生成部により生成された縮小映像データをビデオインターフェースにおける有効映像領域と、前記ＮＵＬＬパケット検出部により検出されたＮＵＬＬパケットの領域、及び、前記ＡＦ検出部により検出されたアダプテーション・フィールドの領域に、それぞれマッピングしていくマッピング部と、
   前記マッピング部によりマッピングされた縮小映像データを画面上に視認可能とするモニターと、
   前記マッピング部によりマッピングされたトランスポートストリームを取り出すデータ分離部と、
   前記データ分離部により取り出されたトランスポートストリームをデコード処理し、映像データとして出力するデコード部と、
   を備えることを特徴とするデジタル信号の伝送装置。
3. 前記マッピング部は、前記トランスポートストリームと、前記縮小映像データをビデオインターフェースのフレーム構造における有効映像領域のうち、予め定められた領域であって、当該領域における各画素の予め定められたビットに対し、それぞれマッピングしていくものであることを特徴とする請求項１又は２記載のデジタル信号の伝送装置。
4. 入力される非圧縮映像データをエンコード処理し、トランスポートストリームにて出力するエンコードステップと、
   入力される非圧縮映像データに基づいて、当該非圧縮映像データの縮小映像データを生成する縮小映像データ生成ステップと、
   前記エンコードステップにより出力されるトランスポートストリームのＮＵＬＬパケットを検出するＮＵＬＬパケット検出ステップと、
   前記エンコードステップにより出力されたトランスポートストリームをビデオインターフェースにおける有効映像領域にマッピングするとともに、前記縮小映像データ生成ステップにより生成された縮小映像データをビデオインターフェースにおける有効映像領域と、前記ＮＵＬＬパケット検出ステップにおいて検出されたＮＵＬＬパケットの領域に、それぞれマッピングしていくマッピングステップと、
   前記マッピングステップによりマッピングされた縮小映像データをモニターの画面上に視認可能に表示するデータ表示ステップと、
   前記マッピング部によりマッピングされたトランスポートストリームを取り出すデータ分離ステップと、
   前記データ分離ステップにより取り出されたトランスポートストリームをデコード処理し、映像データとして出力するデコードステップと、
   を含むことを特徴とするデジタル信号の伝送方法。
5. 入力される非圧縮映像データをエンコード処理し、トランスポートストリームにて出力するエンコードステップと、
   入力される非圧縮映像データに基づいて、当該非圧縮映像データの縮小映像データを生成する縮小映像データ生成ステップと、
   前記エンコードステップにより出力されるトランスポートストリームのＮＵＬＬパケットを検出するＮＵＬＬパケット検出ステップと、
   前記エンコードステップにより出力されるトランスポートストリームのアダプテーション・フィールドを検出するＡＦ検出ステップと、
   前記エンコードステップにより出力されたトランスポートストリームをビデオインターフェースにおける有効映像領域にマッピングするとともに、前記縮小映像データ生成ステップにより生成された縮小映像データをビデオインターフェースにおける有効映像領域と、前記ＮＵＬＬパケット検出ステップにおいて検出されたＮＵＬＬパケットの領域、及び、前記ＡＦ検出ステップにおいて検出されたアダプテーション・フィールドの領域に、それぞれマッピングしていくマッピングステップと、
   前記マッピングステップによりマッピングされた縮小映像データをモニターの画面上に視認可能に表示するデータ表示ステップと、
   前記マッピング部によりマッピングされたトランスポートストリームを取り出すデータ分離ステップと、
   前記データ分離ステップにより取り出されたトランスポートストリームをデコード処理し、映像データとして出力するデコードステップと、
   を含むことを特徴とするデジタル信号の伝送方法。
6. 前記マッピングステップは、前記トランスポートストリームと、前記縮小映像データをビデオインターフェースのフレーム構造における有効映像領域のうち、予め定められた領域であって、当該領域における各画素の予め定められたビットに対し、それぞれマッピングしていくものであることを特徴とする請求項４又は５記載のデジタル信号の伝送方法。