JP2014068122A - エンコード装置、デコード装置、およびスイッチ装置 - Google Patents

Abstract

【課題】信号処理用のハードウェア資源の規模縮小を図ることのできるエンコード装置、デコード装置およびスイッチ装置を提供する。
【解決手段】エンコード装置は、画像データを低周波成分の画像と複数の高周波成分の画像に周波数分解する周波数分解部と、前記周波数分解された複数の高周波成分の画像を重畳して１つの重畳高周波成分の画像を生成する重畳処理部と、前記低周波成分の画像と前記重畳高周波成分の画像を圧縮画像データとして伝送する伝送部とを具備する。
【選択図】図９

Description

本技術は、高解像度の画像データの伝送に好適なエンコード装置、デコード装置およびスイッチ装置に関する。

近年、テレビ放送は高解像度化が進み、４Ｋハイビジョンや８Ｋスーパーハイビジョンなどの高解像度の画像が扱われるようになってきている。
４Ｋハイビジョンや８Ｋスーパーハイビジョンの伝送については圧縮ベースである。一方、４Ｋハイビジョンや８Ｋスーパーハイビジョンの画像処理については依然としてベースバンド（非圧縮）での処理が実施されている。

例えば、特許文献１には、ＪＰＥＧ−２０００符号化信号をＥＢＣＯＴ復号した段階で２つの画像を合成して符号化することができる画像合成装置に関する技術が開示されている。この特許文献１の画像合成装置は、ＪＰＥＧ−２０００規格に従って符号化された符号化コードストリームを復号してコードブロック毎の量子化係数を生成する。クロスフェード部において、加算器では量子化係数に対してそれぞれ係数α（ｔ）、（１−α（ｔ））が乗算され、これらが加算器で加算されてクロスフェード量子化係数となる。そしてこのクロスフェード量子化係数が符号化され、最終的な符号化コードストリームが出力される。この特許文献１の画像合成装置によれば、少ないメモリ使用量で容易且つ効果的に２つの符号化コードストリームが合成される、という効果が謳われている。

特開２００４−３２６４４７号公報

４Ｋハイビジョンや８Ｋスーパーハイビジョンなどの高解像度の画像のデータ量は膨大になる。エンコード装置、スイッチ装置、およびデコード装置において、この高解像度の画像に画像処理として一般的な信号処理を行うと、信号処理のためのトータルの演算量も膨大となる。昨今、ＣＰＵなどの演算処理装置の高速化は目覚しいとは言え、より大規模なＬＳＩ（Large Scale Integration）等が必要になり、求められるハードウェア資源の大規模化や消費電力の増加は避けられなかった。

以上のような事情に鑑み、本技術の目的は、信号処理用のハードウェア資源の規模縮小を図ることのできるエンコード装置、デコード装置およびスイッチ装置を提供することにある。

（１）上記目的を達成するため、本技術の一形態に係るエンコード装置は、画像データを低周波成分の画像と複数の高周波成分の画像に周波数分解する周波数分解部と、前記周波数分解された複数の高周波成分の画像を重畳して１つの重畳高周波成分の画像を生成する重畳処理部と、前記低周波成分の画像と前記重畳高周波成分の画像を圧縮画像データとして伝送する伝送部とを具備する。

本技術では、元の画像を周波数分解して得られた複数の高周波成分を１つの重畳高周波成分に重畳してまとめ、データ量の圧縮を行う。重畳による圧縮なので、ハフマン符号化など全く別の符号に置き換える圧縮に比べ、重畳および逆重畳のアルゴリズムが簡単なので、信号処理用のハードウェア資源の規模縮小を図ることができる。

（２）上記目的を達成するため、本技術の一形態に係るエンコード装置では、前記重畳処理部は、前記複数の高周波成分の画像のうち、対応する画素間で最大値を前記重畳高周波成分の画像の画素の値として選択して前記重畳を行う構成でもよい。

本技術では、重畳処理の際、重畳の対象となる複数の画素のうち、最大値を持つ画素を重畳高周波成分の画素の値として選択する。それ故、各高周波成分のうち、最大値、すなわち最も意味のある画素値を重畳処理後に残すことができる。

（３）上記目的を達成するため、本技術の一形態に係るエンコード装置は、前記周波数分解された複数の高周波成分の画像のそれぞれをスクランブル処理するスクランブル処理部をさらに具備する構成でもよい。

元の画像の周波数分解により得られた高周波成分の画像内では、各画像の対応する画素の位置に大きな値が来ることが多い。そこで、本技術では、重畳処理の前に高周波成分の画素の位置をその画像上でスクランブルする、すなわち並び替える処理を行う。こうすることにより、重畳処理の際に、各高周波成分内の大きな値同士がぶつかって最大値以外が捨てられてしまう事態をある程度回避することができる。

（４）上記目的を達成するため、本技術の一形態に係るエンコード装置では、前記スクランブル処理部は、前記スクランブル処理を、前記周波数分解された高周波成分の画像ごとに割り当てられた互いに異なる規則に従って、前記高周波成分の画像内の画素の位置を置き換えることにより行う構成でもよい。

本技術では、スクランブル処理を行う際に、各高周波成分毎に異なる規則を用いるので、元の画像の周波数分解により得られた高周波成分の画像内では、各画像の対応する画素の位置に大きな値が来ていても、別々の位置に大きな値の画素値を散らすことができる。規則としては、例えば、乱数テーブルを用いて、その乱数テーブルに含まれる数字を新たな座標とみなして、画素の位置を置き換えることができる。

（５）上記目的を達成するため、本技術の一形態に係るエンコード装置は、前記重畳処理部は、前記重畳処理を行うとき、前記対応する画素の値のうち、予め定められた閾値以上の値が複数ある場合、最大値を前記重畳高周波成分の画像の画素値として選択した後、残りの閾値以上の値に対して、再度、前記スクランブル処理部に前記スクランブル処理を行わせた後、前記重畳処理を行う構成でもよい。

元の画像の周波数分解により得られた高周波成分の画像内では、各画像の対応する画素の位置に大きな値が来ることが多いので、各成分毎に異なる乱数テーブルを用いて大きな値の位置を散らしてもよい。しかし、１回のスクランブル処理で必ず重畳処理後に残したい値、すなわち予め定めた閾値以上の値同士がぶつからない位置にくるとは限らない。

そこで、本技術では、重畳処理の対象となる画素の画素値が閾値以上である画素が複数あるかどうか判定を行い、それらのうち最大値を重畳高周波成分の画素の値とした後、処理対象画素のうち、残りの画素に対して再度、異なる乱数テーブルを用いてスクランブル処理をかけ、再度、重畳処理を行う。この再度のスクランブル処理および重畳処理を、閾値以上の画素値に対して繰り返す。それ故、閾値以上の大きな画素値同士がぶつかった場合でも、再度スクランブル処理と重畳化処理とを繰り返すことにより、それら大きな値を捨てずに圧縮を行うことができる。また、重畳する各成分の画素値が全て非常に小さいものであった場合、重畳高周波成分の座標位置を、再処理された大きな値のために譲る事により、圧縮効率を上げることができる。

（６）上記目的を達成するため、本技術の一形態に係るデコード装置は、画像データを低周波成分の画像と複数の高周波成分の画像に周波数分解する周波数分解部と、前記周波数分解された複数の高周波成分の画像を重畳して１つの重畳高周波成分の画像を生成する重畳処理部と、前記低周波成分の画像と前記重畳高周波成分の画像を圧縮画像データとして伝送する伝送部とを具備するエンコード装置より伝送された圧縮画像データを入力する入力部と、前記入力された圧縮画像データを低周波成分の画像と重畳高周波成分の画像とに分離する分離処理部と、前記分離された重畳高周波成分の画像を前記複数の高周波成分の画像に逆重畳処理する逆重畳処理部と、前記分離された低周波成分の画像と前記逆重畳処理された複数の高周波成分の画像とを周波数逆分解する周波数逆分解部と、前記周波数逆分解により生成された画像データを出力する出力部とを具備する。

本技術では、エンコード装置において、画像データに周波数分解処理と重畳処理とを行って圧縮画像データを生成しているので、デコード装置においては、圧縮画像データに対して、逆の処理、すなわち、逆重畳処理を行い、画像データを再現している。デコード装置における逆重畳処理は、アルゴリズムが簡単なので、信号処理用のハードウェア資源の規模縮小を図ることができる。

（７）上記目的を達成するため、本技術の一形態に係るスイッチ装置は、画像データを低周波成分の画像と複数の高周波成分の画像に周波数分解する周波数分解部と、前記周波数分解された複数の高周波成分の画像を重畳して１つの重畳高周波成分の画像を生成する重畳処理部と、前記低周波成分の画像と前記重畳高周波成分の画像を圧縮画像データとして伝送する第１の伝送部とをそれぞれ具備する複数のエンコード装置より伝送される複数の圧縮画像データを入力する入力部と、前記入力された複数の圧縮画像データの中から複数の圧縮画像データを選択するセレクト部と、前記選択された複数の圧縮画像データに対して合成の為の処理を行う信号処理部と、前記処理された圧縮画像データを伝送する第２の伝送部とを具備する。

本技術では、信号処理部が、複数のエンコード装置から伝送された圧縮画像データに対して、圧縮状態のまま、画像を合成するための処理を行う。そのため、エンコード装置から受信した圧縮画像データを伸張し、画像処理後、再度圧縮する手間が省ける。そのため、伸張や圧縮に用いるハードウェアが不要になり、信号処理用のハードウェア資源の規模縮小を図ることができる。

（８）上記目的を達成するため、本技術の一形態に係るスイッチ装置では、前記信号処理部は、前記圧縮画像データを、前記低周波成分と、前記重畳高周波成分と、前記複数の圧縮画像データに含まれる画像同士を合成するときにできる境界の成分とに分けて、各成分別に前記合成の為の処理を行う構成でもよい。

本技術では、Ｗｉｐｅ、ＰｉｎＰ、クロマキー、ルミナンスキーなどの画像合成処理を行う際に、合成に用いる２つの画像を含む圧縮画像データを、低周波成分、高周波成分、境界成分に分けて、それぞれに最適な、画質とハードウェア資源のバランスをとった処理方法により画像処理を行う。それ故、信号処理用のハードウェア資源の規模縮小を図ることができる。

（９）上記目的を達成するため、本技術の一形態に係るスイッチ装置では、前記複数のエンコード装置はそれぞれ、前記周波数分解された高周波成分の画像ごとに割り当てられた互いに異なる規則に従って、前記高周波成分の画像内の画素の位置を置き換えるスクランブル処理部をさらに具備し、前記信号処理部は、前記複数の重畳高周波成分の画像に対し、前記規則を用いてスクランブル処理前の前記画素の位置を特定して前記合成の為の処理を行う。

本技術では、重畳高周波成分同士の画像合成処理を行う場合、スクランブル処理されているため、そのままでは、適切な画像合成処理ができない。そこで、スクランブル処理の際に使用した規則（例えば乱数テーブル）を用いて、処理する画素のスクランブル前の元座標を求め、その元座標に従って、画像処理を行う。スクランブル処理では簡単な規則に従って画素の位置を置き換えているので、ハフマン符号化などに比べ、元座標を求める処理は簡単なものである。そのため、信号処理用のハードウェア資源の規模縮小を図ることができる。

（９）上記目的を達成するため、本技術の一形態に係るスイッチ装置では、前記信号処理部は、前記境界成分に対し、周波数逆分解処理を行い、ベースバンドと同じ前記合成の為の処理を行い、再度、前記周波数分解を行い、前記スクランブル処理を行う構成でもよい。

本技術では、画像合成の際、合成する２つの画像の境界となる個所については、より正確に処理を行うために、その境界にある成分に限って、なるべく元画像に近い状態に戻し、ベースバンドでの処理と同じ画像処理を行った後、圧縮画像データの状態に戻すことを行っている。従来は、圧縮画像データの全体に対してこのような処理を行っていた事に比べると、境界成分のみに演算対象を絞ったことにより、演算量を減少させることができ、信号処理用のハードウェア資源の規模縮小を図ることができる。

以上のように、本技術によれば、信号処理用のハードウェアの規模縮小、省電力化を図ることができる。

４Ｋハイビジョンサイズの元画像の写真である。 元画像を左上の低周波成分、左下の水平方向高周波成分、右上の垂直方向高周波成分、右下の対角方向高周波成分に分割した様子を示す図である。 １０個の画素をスクランブル処理する様子と、一度スクランブル処理された画素を逆スクランブルして元に戻す様子を示す図である。 乱数テーブルＲａｎｄおよび逆乱数テーブルＲｅｖ＿Ｒａｎｄを生成するプログラムの例を示す図である。 周波数分割後、各高周波成分にエリアＩＤを割り振ってから、高周波成分の重畳処理を行う様子を示す図である。 エリアＩＤの割り振りの例を示す図である。 エリアＩＤの割り振りの例を示す図である。 エリアＩＤの割り振りの例を示す図である。 エンコード装置の構成を示すブロック図である。 エンコード装置１００におけるエンコード処理の流れを示すフローチャートである。 デコード装置の構成を示すブロック図である。 デコード装置２００におけるデコード処理の流れを示すフローチャートである。 本技術に係るスイッチ装置の構成を示すブロック図である。 従来技術に係るスイッチ装置４００の構成を示すブロック図である。 画像処理としてＷＩＰＥ処理を行う際の、各成分の位置関係を表す図である。 圧縮信号処理部３６における処理の流れを示すフローチャートである。

＜第１の実施形態＞
以下、本技術に係る実施形態を、図面を参照しながら説明する。

［本技術の概要と効果］
４Ｋハイビジョンや８Ｋスーパーハイビジョンなどの高解像度の画像を扱うエンコード装置、スイッチ装置、およびデコード装置間では、従来、画像伝送のためにハフマン符号化により画像データを圧縮していた。そのため、スイッチ装置などにおいて画像合成のための信号処理を行う場合、ハフマン符号化された画像データを一旦復号して信号処理を行う必要があり、符号化のためのハードウェアや符号化のためのハードウェアとして大規模なハードウェア資源が必要であった。

また、ハフマン符号化では、可変長の符号を用いて符号化を行うため、とても複雑な絵柄の画像を符号化するワーストケースの場合には、符号化後のデータ量が符号化前のデータ量を上回り、圧縮が破たんしてしまうこともあった。

破たんを回避するため、ハフマン符号化では、高周波成分を意図的に削っており、複雑な絵柄の画像を圧縮する場合、高周波成分の生存率は７％程度にまで落ち込むことがあった。

これに対し、本技術のスクランブル重畳符号化では、周波数分割により得られた複数の高周波成分同士を重畳して１つの重畳化高周波成分とすることにより、圧縮を行っている。なお、ここでの重畳化は、重畳化の対象となる、各高周波成分の対応する要素同士を比較し、最大値である値を重畳化高周波成分の値として選択することにより行っている。

それ故、符号は固定長となり、複雑な絵柄の画像を圧縮する際も破たんすることはない。さらに、符号が固定長なので、システムの同期も取りやすくなっている。

また、高周波成分の生存率も、上記のハフマン符号化と同じ条件下において１４％の生存率があり、復号後に生き残る高周波成分の情報量がハフマン符号化に比べ２倍となっている。

スイッチ装置において画像合成のための信号処理を行う場合も、画像データを重畳化され圧縮された状態から復号せずに信号処理が行えるので、復号化のためのハードウェアが不要であり、ハードウェアの構成をシンプルにすることができる。

但し、本技術のスクランブル重畳符号化では、重畳化処理の際に、大きな値を持った高周波成分同士がぶつからないように、重畳化の前に、乱数テーブル（同じ数字が重複して出現しないもの）を用いて各高周波成分内の要素の並べ替え（スクランブル）を行っている。

［スクランブル重畳符号化の仕組みについて］
ここでは、スクランブル重畳符号化の基本的な仕組みについて説明する。なお、ここでは、処理を行う対象である画像データに対する最初の処理である周波数分解処理として、ウェーブレット変換処理を例として取り上げる。

（１）最初に、元画像に対してウェーブレット変換を行う。図１は、４Ｋハイビジョンサイズの元画像である。ウェーブレット変換により、元画像は、図２に示すように、左上の低周波成分（ＬＬ）の画像、左下の水平方向高周波成分（以下、ＬＨ成分という）の画像、右上の垂直方向高周波成分（以下、ＨＬ成分という）の画像、右下の対角方向高周波成分（以下、ＨＨ成分という）の画像に分割される。各成分の画像のサイズはＨＤ（high definition）サイズとなる。

（２）次に、各高周波成分内において、それぞれ、スクランブル処理を行う。この際、各高周波成分について、異なった乱数テーブルを用いることがポイントである。３つの高周波成分それぞれにおいて、大きな値が各成分内の同じ位置にあることが多いので、それらの値を散らすためには異なる乱数テーブルがいるからである。

また、乱数テーブル内の数字が重複していないこともポイントである。乱数テーブルの数字は、高周波成分を移動する位置を示すものとして扱われるので、数字が重複していると、同じ位置に、複数の値が移動してくることになり、復元の際に正しい処理が行えないからである。

図３は、１０個の画素をスクランブル処理する様子と、一度スクランブル処理された画素を逆スクランブルして元に戻す様子を示す図である。

この図では、最初、１０個の画素ＡからＪまでは、順番に並んでいる。そして乱数テーブルＲａｎｄ内の互いに重複しない乱数（５，４，８，２，３，６，１０，９，１，７）により並び替えが行われ、スクランブルされる。スクランブルされた画素の並び順は、左からＩ，Ｄ，Ｅ，Ｂ，Ａ，Ｆ，Ｊ，Ｃ，Ｈ，Ｇとなる。

例えば、元々左から１番目にあった画素Ａは、乱数の値「５」により、左から５番目の位置に置き換えが行われている。

次に逆スクランブル処理を行う。逆スクランブル処理には、乱数テーブルＲａｎｄの生成時に一緒に生成した逆乱数テーブルＲｅｖ＿Ｒａｎｄを用いる。この逆乱数テーブルの例では、乱数は（９，４，５，２，１，６，１０，３，８，７）となっている。

例えば、スクランブルされて左から３番目の画素となっている画素Ｅは、この逆乱数テーブルの３番目の数値が「５」なので、左から５番目に戻される。

このようにして、画素ＡからＪまでの並び順が復元される。上記の説明から分かるように、スクランブルされた画素を元に戻すには、逆乱数テーブルが画素ごとに特定されていなければならない。そこで、各画素には、逆スクランブルに用いる逆乱数テーブルを一意に特定する乱数テーブルＩＤが割り振られる。

なお、図４に乱数テーブルＲａｎｄおよび逆乱数テーブルＲｅｖ＿Ｒａｎｄを生成するプログラムの例を示す。この例では、４Ｋハイビジョンの元画像に対し１回ウェーブレット変換を施して得られたＨＤサイズの画像の１ラインに含まれる１９２０個の画素を置き換えるために用いる乱数テーブルおよび逆乱数テーブルを生成している。但しこの例では、数字の重複を回避するアルゴリズムは省略されている。

（３）次に、各高周波成分の対応する位置（各成分内の同じ座標）にある画素値同士を重畳する処理を行う。例えば、ＬＨ成分内の座標（１００，１００）にある画素値をＬＨ（１００，１００）とすると、重畳処理では、ＬＨ（１００，１００）、ＨＬ（１００，１００）、ＨＨ（１００，１００）の３つの画素値の中から最大値を選択し、重畳高周波成分の座標（１００，１００）の画素値とする。

具体的な処理としては、例えば、最初に、ＬＨ成分の画像を重畳高周波成分の画像と見立て、そこに、ＨＬ成分の値を１画素ずつ値の比較をして重畳していく。そして、次に、ＨＨ成分の値を１画素ずつ値の比較をして重畳する。

この処理により、ＨＤサイズ３枚分の画像量があった高周波成分が、ＨＤサイズ１枚分の画像サイズの重畳高周波成分にまとめられる。

なお、まとめた重畳高周波成分は、デコード処理などの際に、正しく３つの高周波成分に分けられなければならない。そのため、重畳処理の際、各画素値には、２ビットから４ビットのＩＤ（以下、エリアＩＤという）が割り振られる。エリアＩＤのビット長は、重畳する高周波成分の数によって決まる。上記の例では、元の高周波成分は３つであったので、エリアＩＤには２ビットが使われる。この場合、３つのエリアＩＤは、例えばＬＨ成分に０１、ＨＬ成分に００、ＨＨ成分に１０を割り振ることができる。

以上が、スクランブル重畳符号化の基本的な仕組みである。上記の説明では、スクランブル処理および重畳化処理を１回ずつ行う構成としているが、これらは複数回行ってもよい。複数回行う構成については、後述する。

上記の例では、４Ｋハイビジョンサイズの元画像を４つの周波数成分に分割し、そのうち、ＨＤサイズの低周波成分（ＬＬ成分）はそのまま圧縮せず、残りの３つの高周波成分を１つのＨＤサイズの重畳高周波成分に圧縮したので、全体としては１／２の圧縮率になっている。図５は、周波数分割後、各高周波成分にエリアＩＤを割り振ってから、高周波成分の重畳処理を行う様子を示す図である。

［エリアＩＤの割り振りと分割の例について］
次に、エリアＩＤを割り振るために、エリアを分割する例と圧縮率の具体例について説明する。上記の例では、１回のウェーブレット変換により生成された３つのＨＤサイズの高周波成分を１つのＨＤサイズの重畳高周波成分に圧縮することにより、全体で１／２の圧縮を行った。以下では、これ以外の具体例を説明する。

図６に、他のエリアＩＤの割り振りの例を示す。この例では、ウェーブレット変換を２回行っている。２回目のウェーブレット変換後に生成された成分（２階層目成分）を、ＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２とすると、低周波成分であるＬＬ２は、元画像の１／１６の大きさになっている。

ＨＬ、ＬＨ、ＨＨの各高周波成分のエリアは４分割され、ＨＬ２、ＬＨ２、ＨＨ２のエリアと合わせて１５個の高周波成分のエリアに分けられている。１５個あるエリアのそれぞれにエリアＩＤを割り振るので、エリアＩＤのビット長は４ビットになる。図中の各エリアに示す４ビットの符号が、エリアＩＤの例である。

この例では、低周波成分（ＬＬ２）は、そのまま圧縮せず、残りの１５エリアの高周波成分を１つの重畳高周波成分に重畳しているので、高周波成分に限れば１／１５の圧縮率、全体としては１／８の圧縮率となっている。

図７は、さらに別のエリアＩＤの割り振りの例である。この例でも、ウェーブレット変換は２回行っている。但し、１回目の処理結果である１階層目高周波成分と２回目の処理結果である２階層目高周波成分とは分けて重畳化が行われている。この例では、１階層目と２階層目とで、重畳高周波成分を分けているので、それぞれ重畳化される高周波成分は３つずつなので、エリアＩＤとしては２ビットの符号を割り振れば済む。

但し、別々の重畳高周波成分が生成されるので、圧縮率は、図６に示す例よりも低い３／８になっている。例えば、元画像が４Ｋハイビジョンサイズの場合、重畳処理後に残る成分は、ＨＤサイズの１階層目重畳高周波成分と、ＨＤの１／４サイズの２階層目重畳高周波成分と、同じくＨＤの１／４サイズの低周波成分となる。

図８は、図７に示す例を変形したものである。この例では、１階層目の高周波成分がそれぞれ半分のエリアに分割されるので、１階層目の高周波成分だけに注目すれば、１／６の圧縮が行われていることである。これは、１階層目の高周波成分の圧縮率を上げても画質に対する影響は限定的だからである。また、１階層目では、重畳させるエリアの数が６個になるため、エリアＩＤは３ビット長となっている。

圧縮率は、図７に示す例より改善して１／４になる。例えば、元画像が４Ｋハイビジョンサイズの場合、重畳処理後に残る成分は、ＨＤの１／２サイズの１階層目重畳高周波成分と、ＨＤの１／４サイズの２階層目重畳高周波成分と、同じくＨＤの１／４サイズの低周波成分となる。

［スクランブルおよび重畳化の再処理について］
次に、スクランブルおよび重畳化の再処理について説明する。

上記のスクランブル重畳符号化の仕組みの説明では、スクランブル処理および重畳化処理を１回だけ行っていた。この場合、スクランブル処理により、例えばＬＨ成分内の座標（１００，１００）に移動して来た画素の画素値と、ＨＨ成分内の座標（１００，１００）に移動して来た画素の画素値とが、両方とも無視できない大きな値であっても、最大値以外は捨てられてしまうので、画質の劣化が起こる可能性があった。また、重畳する各成分の画素値が全て非常に小さいものであっても、その中の最大値が画素値として重畳高周波成分に含まれるので、圧縮効率が悪いことも考えられた。

そこで、本技術では、スクランブル処理および重畳化処理を複数回繰り返す構成としてもよい。

スクランブル処理および重畳化処理を複数回繰り返す構成では、１回目のスクランブル処理は、基本通り行う。１回目の重畳化処理において、上記の例のように、ＬＨ成分内の座標（１００，１００）に移動して来た画素の画素値と、ＨＨ成分内の座標（１００，１００）に移動して来た画素の画素値とが、両方とも無視できない大きな値であった場合、最大値を重畳高周波成分の画像の座標（１００，１００）における画素値とする。

最大値の次に大きな値、例えばＬＨ（１００，１００）の画素の画素値は、捨てることなく、２回目のスクランブル処理にかけられる。

再度スクランブル処理を行う際のポイントは、１回目のスクランブル処理に使用した乱数テーブルとは異なった乱数テーブルを用いることである。そうして、ＬＨ（１００，１００）の画素を、例えばＬＨ（６９，１００）の位置に移動させることができる。

２回目のスクランブル処理の後、２回目の重畳処理が行われる。２回目の重畳処理は、上記の例では、各高周波成分の座標（６９，１００）の位置の画素同士について行われる。

このようにして、無視できない大きな画素値同士がぶつかった場合、再度スクランブル処理と重畳化処理とを繰り返すことにより、それら大きな値を捨てずに圧縮を行うことができる。なお、どの程度の値が無視できない大きな値であるかは、予め定めた閾値以上であるか否かにより判断することができる。

また、重畳する各成分の画素値が全て非常に小さいものであった場合、例えば、重畳高周波成分の座標位置を、再処理された大きな値のために譲る事により、圧縮効率を上げることができる。

なお、再処理を行う際の注意点としては、再処理を行うたびに、対象となる画素に、スクランブル処理を行った際の乱数テーブルＩＤが付加され符号が長くなっていくので、再処理の回数には制限を設けるのがよい。

以上、スクランブルおよび重畳化の再処理について説明した。

［エンコード装置の構成］
次に、エンコード装置の構成について説明する。図９は、エンコード装置の構成を示すブロック図である。

エンコード装置１００は、画像入力部１０、周波数分解部１１、スクランブル処理部１２、重畳処理部１３、送信処理部１４を備える。

画像入力部１０は、図示しない高解像度カメラなどの撮像装置より供給された高解像度の画像データを入力し、周波数分解部１１に供給する。

周波数分解部１１は、画像入力部１０から供給された高解像度の画像データをウェーブレット変換などの周波数分解アルゴリズムにより、低周波成分と高周波成分とに分解する。例えば、ウェーブレット変換では、画像データは、１つの低周波成分（ＬＬ）と、３つの高周波成分（ＬＨ、ＨＬ、ＨＨ）に分解される。なお、周波数分解は、何度か繰り返し行って、階層ごとの周波数成分に分けて生成が行われてもよい。

周波数分解部１１は、高解像度の画像データに対する周波数分解により得られた低周波成分を送信処理部１４に供給する。また、周波数分解部１１は、高解像度の画像データに対する周波数分解により得られた高周波成分をスクランブル処理部１２に供給する。

スクランブル処理部１２は、周波数分解部１１から供給された高周波成分に対し、上述のとおり、乱数テーブルを用いてスクランブル処理を行う。スクランブル処理部１２は、スクランブル処理を行った高周波成分を重畳処理部１３に供給する。

重畳処理部１３は、上述のとおり、スクランブル処理部１２から供給されたスクランブル処理された高周波成分の対応する要素同士に対して重畳処理を行う。なお、上述のとおり、重畳処理の対象となる画素の画素値のうち、閾値を超える値が複数ある場合、重畳処理部１３は、対象となる画素について、再度スクランブル処理部１２に処理を戻して、スクランブル処理と重畳処理を再度行う。重畳処理部１３は、適切に重畳処理が終了した重畳高周波成分を、送信処理部１４に供給する。

送信処理部１４は、周波数分解部１１から供給された低周波成分と、重畳処理部１３から供給された重畳高周波成分とを、まとめて圧縮データとして、スイッチ装置やデコード装置に送信する。

以上、エンコード装置の構成について説明した。

［エンコード装置における処理の流れ］
次に、エンコード装置１００におけるエンコード処理の流れについて説明する。図１０は、エンコード装置１００におけるエンコード処理の流れを示すフローチャートである。

最初に、画像入力部１０が、高解像度カメラなどの撮像装置より供給された高解像度の画像データを入力し、周波数分解部１１に渡す（ステップＳ１０）。

次に、周波数分解部１１が、画像入力部１０から渡された高解像度の画像データをウェーブレット変換などの周波数分解アルゴリズムにより、低周波成分と高周波成分とに分解する（ステップＳ１１）。周波数分解により得られた低周波成分は送信処理部１４に渡され、周波数分解により得られた高周波成分はスクランブル処理部１２に渡される。

次に、スクランブル処理部１２が、周波数分解部１１から渡された高周波成分に対し、スクランブル処理を行う（ステップＳ１２）。スクランブル処理された高周波成分は重畳処理部１３に渡される。

次に、重畳処理部１３がスクランブル処理部１２から渡されたスクランブル処理された高周波成分の対応する要素同士に対して重畳処理を行う（ステップＳ１３）。

重畳処理後、重畳処理部１３は、上述のとおり、再度、スクランブル処理と重畳処理が必要であるか否かを判断する（ステップＳ１４）。

再処理が必要である場合（ステップＳ１４のＹｅｓ）、重畳処理部１３は、処理をスクランブル処理部１２に戻し、スクランブル処理部１２が再度スクランブル処理を行い（ステップＳ１２）、その後、重畳処理部１３が再度、重畳処理を行う（ステップＳ１３）。

再処理が必要ないと判断された場合（ステップＳ１４のＮｏ）、重畳処理部１３は、重畳高周波成分を送信処理部１４に渡し、送信処理部は、周波数分解部１１から渡された低周波成分と、重畳処理部１３から渡された重畳高周波成分とをまとめて圧縮データとして送信を行う（ステップＳ１５）。

上記ステップＳ１０からＳ１５までの処理は、高解像度カメラなどの撮像装置から画像データが供給される間、繰り返し行われる（ステップＳ１６）。

以上、エンコード装置１００におけるエンコード処理の流れについて説明した。

［デコード装置の構成］
次に、デコード装置の構成について説明する。図１１は、デコード装置の構成を示すブロック図である。

デコード装置２００は、受信処理部２０、分離処理部２１、逆スクランブル処理部２２、周波数逆分解部２３、画像出力部２４を備える。

受信処理部２０は、エンコード装置１００やスイッチ装置から送信された圧縮データを受信し、分離処理部２１に供給する。

分離処理部２１は、受信処理部２０から供給された圧縮データを、まず低周波成分と重畳高周波成分とに分離する。分離処理部２１は、分離した低周波成分を周波数逆分解部２３に供給する。

分離処理部２１はまた、分離した重畳高周波成分をさらに個々の高周波成分に分離する。個々の高周波成分への分離は、各画素値に付加されたエリアＩＤに基づいて行われる。分離処理部２１は、分離した個々の高周波成分を逆スクランブル処理部２２に供給する。なお、エンコード装置１００の重畳処理において捨てられた画素値については、予め定めた数値、例えば０を、その画素値として元の位置の値に設定する構成でもよい。

逆スクランブル処理部２２は、分離処理部２１から供給された個々の高周波成分に対して、それぞれ逆スクランブル処理を行う。逆スクランブル処理とは、上述のとおり、逆乱数テーブルに基づいて、置き換えられた画素の位置を元の位置に戻す処理である。逆スクランブル処理部２２は、逆スクランブル処理により、画素の位置を元の位置に戻した各高周波成分を、周波数逆分解部２３に供給する。

周波数逆分解部２３は、分離処理部２１から供給された低周波成分と、逆スクランブル処理部２２から供給された個々の高周波成分とを、ウェーブレット逆変換などの周波数逆分解アルゴリズムにより、周波数逆分解し、画像データを合成する。周波数逆分解部２３は、合成した画像データを画像出力部２４に供給する。

画像出力部２４は、周波数逆分解部２３から供給された画像データを、モニタなどの表示装置に出力する。

以上、デコード装置の構成について説明した。

［デコード装置における処理の流れ］
次に、デコード装置２００におけるデコード処理の流れについて説明する。図１２は、デコード装置２００におけるデコード処理の流れを示すフローチャートである。

最初に、受信処理部２０が、エンコード装置１００やスイッチ装置から送信された圧縮データを受信する（ステップＳ２０）。受信した圧縮データは、分離処理部２１に渡される。

次に、分離処理部２１が、受信処理部２０から渡された圧縮データを、低周波成分と重畳高周波成分とに分離する。分離処理部２１は、分離した低周波成分を周波数逆分解部２３に渡す。分離処理部２１は、分離した重畳高周波成分をさらに個々の高周波成分に分離する（ステップＳ２１）。分離された個々の高周波成分は逆スクランブル処理部２２に渡される。

次に、逆スクランブル処理部２２が、分離処理部２１から渡された個々の高周波成分に対して、それぞれ逆スクランブル処理を行う（ステップＳ２２）。

次に、周波数逆分解部２３が、分離処理部２１から渡された低周波成分と、逆スクランブル処理部２２から渡された個々の高周波成分とを、ウェーブレット逆変換などの周波数逆分解アルゴリズムにより、周波数逆分解し、画像データを合成する（ステップＳ２３）。合成された画像データは画像出力部２４に渡される。

次に、画像出力部２４が、周波数逆分解部２３から渡された画像データを、モニタなどの表示装置に出力する（ステップＳ２４）。

以上、デコード装置２００におけるデコード処理の流れについて説明した。

［スイッチ装置の構成］
次に、スイッチ装置の構成について説明する。図１３は、本技術に係るスイッチ装置の構成を示すブロック図である。

本技術のスイッチ装置３００は、受信処理部３０−１〜３０−４、セレクト部３１、第１の信号処理部３４、第２の信号処理部３５、圧縮信号処理部３６、送信処理部３８を備える。

複数の受信処理部３０−１〜３０−４は、例えば上記のエンコード装置１００が複数存在する場合に、それぞれのエンコード装置１００にて圧縮符号化された複数の圧縮画像データを受信し、セレクト部３１に供給する。

セレクト部３１は、複数の圧縮画像データから後段に伝送する圧縮画像データを選択する。ここでは、４つの圧縮画像データの中から２つの画像（ストリームＡ）、画像（ストリームＢ）を選択する場合を想定する。一方の画像（ストリームＡ）は第１の信号処理部３４に供給され、他方の画像（ストリームＢ）は第２の信号処理部３５に供給される。

第１の信号処理部３４は、セレクト部３１から供給された圧縮画像（ストリームＡ）に対して、信号処理を行う。信号処理の結果は、圧縮信号処理部３６に供給される。なお、ここで行うことが可能な信号処理は、画像に対して一様に施される処理である。具体例としては、ホワイトバランス調整、ブラックバランス調整、フレア調整、サチュレーション調整、マトリクス調整、ガンマ調整、ニー調整、ホワイトクリップ調整などが挙げられる。

第２の信号処理部３５も、第１の信号処理部３４と同様に信号処理を行い、処理結果を圧縮信号処理部３６に供給する。

圧縮信号処理部３６は、第１の信号処理部３４および第２の信号処理部３５よりそれぞれ供給された２つの圧縮画像データを１つの圧縮画像データに合成する信号処理を行う。具体的には、ＭＩＸ処理、ＰｉｎＰ処理、ＷＩＰＥ処理、クロマキー処理、ルミナンスキー処理、ロゴやテロップの挿入処理などである。

圧縮信号処理部３６は、画像合成の信号処理を行うに当たり、供給された圧縮画像データを、低周波成分、重畳高周波成分、境界成分に分けて、スクランブル重畳符号化状態での画像処理（後述）を行う。なお、境界成分とは、画像合成処理において、２つの画像の境界部分にあたる個所であり、局所的に忠実に画像処理を行いたい個所のことである。

圧縮信号処理部３６により信号処理された圧縮画像データは、送信処理部３８に供給される。

送信処理部３８は、圧縮信号処理部３６から供給された圧縮画像データをデコード装置２００に送信する。

以上、スイッチ装置の構成について説明した。

［従来技術とのハードウェア構成の比較］
次に、本技術のスクランブル重畳符号化により、従来に比べハードウェア資源の規模縮小が図られている事を確認するため、本技術に係るスイッチ装置３００と従来技術（ハフマン符号化）によるスイッチ装置とのハードウェア構成の違いを説明する。

図１４は、従来技術に係るスイッチ装置４００の構成を示すブロック図である。図１３に示す本技術に係るスイッチ装置３００との違いは、第１の逆符号化部３２がセレクト部３１と第１の信号処理部３４との間に存在し、同様に第２の逆符号化部３３がセレクト部３１と第２の信号処理部３４との間に存在することである。さらに、圧縮信号処理部３６と送信処理部３８との間に符号化部３７が存在している。

すなわち、従来のハフマン符号化を用いたスイッチ装置４００では必要であった、第１の逆符号化部３２、第２の逆符号化部３３、および符号化部３７の３つのハードウェアブロックが、本技術では不要になっている。

また、本技術のスイッチ装置３００では、各ブロックの間はすべて圧縮されたデータのまま伝送されるので、例えば、全て３Ｇｂｐｓでデータを流すことができる。それに対し、従来技術のスイッチ装置４００では、図の太い矢印により示すように、逆符号化を行ってから信号処理を行い、再度符号化するまでのブロック間は、例えば１２Ｇｂｐｓのデータ流量になってしまう。

すなわち、本技術では、従来のハフマン符号化を用いたスイッチ装置４００では必要であった、帯域幅のより大きい通信路が不要になっている。

以上、本技術に係るスイッチ装置３００と従来技術によるスイッチ装置４００とのハードウェア構成の違いを説明した。

［スクランブル重畳符号化状態での画像処理について］
次に、画像データがスクランブル重畳符号化された状態における、スイッチ装置３００の圧縮信号処理部３６による、画像合成の為の信号処理の詳細について説明する。

圧縮信号処理部３６では、圧縮画像データを低周波成分、重畳高周波成分、境界成分の３つに分けて、それぞれ画像処理を行う。

図１５は、画像処理としてＷＩＰＥ処理を行う際の、各成分の位置関係を表す図である。まず図の上側にあるＨＤ２枚分のサイズの画像がストリームＡの圧縮画像であり、図の下側にある同じくＨＤ２枚分のサイズの画像がストリームＢの圧縮画像である。これらの圧縮画像がＷＩＰＥ処理により合成されて、図の中央にあるＨＤ２枚分のサイズの圧縮画像となる。

図中において、ストリームＡおよびストリームＢの圧縮画像の左側にあるＨＤ１枚分のサイズの画像は低周波成分の画像であり、その内容を目視することができる。（人形や時計などが写っていることが分かる。）

（低周波成分の処理）
低周波成分の画像同士は、通常の非圧縮すなわちベースバンドでのＷＩＰＥ処理と同じ処理を行うことにより、画像が合成される。

（重畳高周波成分の処理）
また、ストリームＡおよびストリームＢの圧縮画像の右側にあるＨＤ１枚分のサイズの画像が重畳高周波成分の画像である。ウェーブレット変換により元画像から分離された高周波成分をスクランブル処理しているので、灰色のノイズのように見える。

重畳高周波成分の画像同士は、画素ごとに、逆乱数テーブルＲｅｖ＿Ｒａｎｄを用いて、画素の元の座標を特定した後、元の座標に画素があるものとして、ベースバンドに対するものと同様のＷＩＰＥ処理を行う。

例えば、図中、ストリームＡの重畳高周波成分に含まれる画素ＰＡと、ストリームＢの重畳高周波成分に含まれる画素ＰＢがある場合に、ＷＩＰＥ処理によりどちらの画素を画像処理後に残すかは、スクランブル前の画素の座標により判断される。
図に示す例では、画素ＰＢの元の座標がＷＩＰＥ処理後に残す画素であったため、画素ＰＢの値が、ＷＩＰＥ処理後の重畳高周波成分内の画素ＰＷにコピーされている。

（境界成分の処理）
図中、中央の圧縮画像の左側、低周波成分の画像においてストリームＡおよびストリームＢの画像が切り替わっている境界部分が、低周波成分に現れている境界成分である。境界成分は重畳高周波成分の側の画像にも含まれているが、スクランブルされているので、図中において場所を図示することはできない。

境界成分のＷＩＰＥ処理を行う為には、一度、境界成分に対してウェーブレット逆変換をかけ、低周波成分と重畳高周波成分とを合成し、なるべく元画像に近い状態に戻してから、ベースバンドに対するものと同様のＷＩＰＥ処理を行う。そして、再度、ウェーブレット変換し、スクランブル処理を行う。

上記の例から分かるように、従来のようにベースバンドでのＷＩＰＥ処理を行えば、ＨＤサイズの画像８枚分の画像情報に対して演算を行わなければならないのに対し、本技術を用いれば、圧縮画像ベースでダイレクトに画像処理することにより演算量をＨＤサイズの画像４枚分に抑えることができる。

以上、画像データがスクランブル重畳符号化された状態における、スイッチ装置３００の圧縮信号処理部３６による、画像合成の為の信号処理の詳細について説明した。

［圧縮信号処理部３６における処理の流れ］
次に、圧縮信号処理部３６における処理の流れを説明する。図１６は、圧縮信号処理部３６における処理の流れを示すフローチャートである。

まず圧縮信号処理部３６は、第１の信号処理部３４および第２の信号処理部３５から供給された圧縮画像データから処理の対象となる画素を取り出す（ステップＳ３１）。エンコード処理を行う際に、Ｈａａｒウェーブレット変換を１回行った場合は、２ｘ２の領域の画素を取り出す。Ｈａａｒウェーブレット変換を２回行った場合は、４ｘ４の領域の画素を取り出す。

次に、圧縮信号処理部３６は、各画素に付加されている乱数テーブルＩＤから、逆スクランブル処理に必要な逆乱数テーブルＲｅｖ＿Ｒａｎｄを特定し、各画素のスクランブル前の元の座標を算出する（ステップＳ３２）。

次に、圧縮信号処理部３６は、算出された元の座標から、画素が境界近傍に位置する画素であるか否かを判断する（ステップＳ３３）。

境界近傍の画素、すなわち境界成分であると判断された場合（Ｓ３３のＹｅｓ）、圧縮信号処理部３６は、対象画素に対してウェーブレット逆変換を行う（ステップＳ３４）。

次に、圧縮信号処理部３６は、ＷＩＰＥ処理などの画像処理を行う（ステップＳ３５）。次に、圧縮信号処理部３６は、画像処理後の画素に対して、ウェーブレット変換を行う（ステップＳ３６）。次に、圧縮信号処理部３６は、ウェーブレット変換後の画素に対し、スクランブル処理を行う。以上、ステップＳ３４からＳ３７までの処理が、境界成分処理である。

ステップＳ３３において、境界近傍の画素、すなわち境界成分ではないと判断された場合（Ｓ３３のＮｏ）、圧縮信号処理部３６は、低周波成分に対してＷＩＰＥ処理などの画像処理を行い（ステップＳ３８）、重畳高周波成分に対して、上述のとおり画像処理を行う（ステップＳ３９）。

次に、圧縮信号処理部３６は、ステップＳ３７にてスクランブル処理された境界成分、ステップＳ３８にて画像処理された低周波成分、およびステップＳ３９にて画像処理された重畳高周波成分を、合成画像となる圧縮画像データとして出力する（ステップＳ４０）。

圧縮信号処理部３６は、全ての画素の処理が終わるまで、上記の処理を繰り返す（ステップＳ４１）。

以上が、圧縮信号処理部３６における処理の流れである。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１０…画像入力部
１１…周波数分解部
１２…スクランブル処理部
１３…重畳処理部
１４…送信処理部
２０…受信処理部
２１…分離処理部
２２…逆スクランブル処理部
２３…周波数逆分解部
２４…画像出力部
３０−１〜３０−４…受信処理部
３１…セレクト部
３４…第１の信号処理部
３５…第２の信号処理部
３６…圧縮信号処理部
３８…送信処理部
１００…エンコード装置
２００…デコード装置
３００…スイッチ装置

Claims (10)

1. 画像データを低周波成分の画像と複数の高周波成分の画像に周波数分解する周波数分解部と、
   前記周波数分解された複数の高周波成分の画像を重畳して１つの重畳高周波成分の画像を生成する重畳処理部と、
   前記低周波成分の画像と前記重畳高周波成分の画像を圧縮画像データとして伝送する伝送部と
   を具備するエンコード装置。
2. 請求項１に記載のエンコード装置であって、
   前記重畳処理部は、
   前記複数の高周波成分の画像のうち、対応する画素間で最大値を前記重畳高周波成分の画像の画素の値として選択して前記重畳を行う
   エンコード装置。
3. 請求項２に記載のエンコード装置であって、
   前記周波数分解された複数の高周波成分の画像のそれぞれをスクランブル処理するスクランブル処理部
   をさらに具備するエンコード装置。
4. 請求項３に記載のエンコード装置であって、
   前記スクランブル処理部は、
   前記スクランブル処理を、前記周波数分解された高周波成分の画像ごとに割り当てられた互いに異なる規則に従って、前記高周波成分の画像内の画素の位置を置き換えることにより行う
   エンコード装置。
5. 請求項４に記載のエンコード装置であって、
   前記重畳処理部は、
   前記重畳処理を行うとき、前記対応する画素の値のうち、予め定められた閾値以上の値が複数ある場合、最大値を前記重畳高周波成分の画像の画素値として選択した後、残りの閾値以上の値に対して、再度、前記スクランブル処理部に前記スクランブル処理を行わせた後、前記重畳処理を行う
   エンコード装置。
6. 画像データを低周波成分の画像と複数の高周波成分の画像に周波数分解する周波数分解部と、
   前記周波数分解された複数の高周波成分の画像を重畳して１つの重畳高周波成分の画像を生成する重畳処理部と、
   前記低周波成分の画像と前記重畳高周波成分の画像を圧縮画像データとして伝送する伝送部と
   を具備するエンコード装置より伝送された圧縮画像データを入力する入力部と、
   前記入力された圧縮画像データを低周波成分の画像と重畳高周波成分の画像とに分離する分離処理部と、
   前記分離された重畳高周波成分の画像を前記複数の高周波成分の画像に逆重畳処理する逆重畳処理部と、
   前記分離された低周波成分の画像と前記逆重畳処理された複数の高周波成分の画像とを周波数逆分解する周波数逆分解部と、
   前記周波数逆分解により生成された画像データを出力する出力部と
   を具備するデコード装置。
7. 画像データを低周波成分の画像と複数の高周波成分の画像に周波数分解する周波数分解部と、
   前記周波数分解された複数の高周波成分の画像を重畳して１つの重畳高周波成分の画像を生成する重畳処理部と、
   前記低周波成分の画像と前記重畳高周波成分の画像を圧縮画像データとして伝送する第１の伝送部と
   をそれぞれ具備する複数のエンコード装置より伝送される複数の圧縮画像データを入力する入力部と、
   前記入力された複数の圧縮画像データの中から複数の圧縮画像データを選択するセレクト部と、
   前記選択された複数の圧縮画像データに対して合成の為の処理を行う信号処理部と、
   前記処理された圧縮画像データを伝送する第２の伝送部と
   を具備するスイッチ装置。
8. 請求項７に記載のスイッチ装置であって、
   前記信号処理部は、
   前記圧縮画像データを、前記低周波成分と、前記重畳高周波成分と、前記複数の圧縮画像データに含まれる画像同士を合成するときにできる境界の成分とに分けて、各成分別に前記合成の為の処理を行う
   スイッチ装置。
9. 請求項８に記載のスイッチ装置であって、
   前記複数のエンコード装置はそれぞれ、
   前記周波数分解された高周波成分の画像ごとに割り当てられた互いに異なる規則に従って、前記高周波成分の画像内の画素の位置を置き換えるスクランブル処理部をさらに具備し、
   前記信号処理部は、
   前記複数の重畳高周波成分の画像に対し、前記規則を用いてスクランブル処理前の前記画素の位置を特定して前記合成の為の処理を行う
   スイッチ装置。
10. 請求項８に記載のスイッチ装置であって、
    前記信号処理部は、
    前記境界成分に対し、周波数逆分解処理を行い、ベースバンドと同じ前記合成の為の処理を行い、再度、前記周波数分解を行い、前記スクランブル処理を行う
    スイッチ装置。