JP2012235383A - エンコーダ、デコーダ、エンコーダシステム、デコーダシステム、伝送アダプタ、エンコード方法、デコード方法、および撮像装置 - Google Patents

Abstract

【課題】次世代ハイビジョン映像のシステム環境の実現に寄与し得るエンコーダなどを提供する。
【解決手段】 このエンコーダは、画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分とその他の第２の成分とに周波数分解によって分解する画像分解部と、前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、前記第２の成分を圧縮符号化する圧縮符号化部と、前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部とを具備する。
【選択図】図１

Description

本技術は、画像を圧縮符号化して伝送するエンコーダ、圧縮符号化された画像を復号するデコーダ、複数のエンコーダで構成されるエンコーダシステム、複数のデコーダで構成されるデコーダシステム、エンコーダに接続されて用いられる伝送アダプタ、エンコード方法、デコード方法、およびエンコーダ内蔵型の撮像装置に関する。

地上デジタル放送への移行に伴いデジタルハイビジョン放送が急速に普及しつつある。さらに、近年では、３Ｄハイビジョン映像の放送も一般的なものとなっている。３Ｄハイビジョン映像の伝送は、例えば、同期した2台のハイビジョンカメラで撮影された左右２本の映像ストリームをデジタルハイビジョン放送の２チャンネルを使って同期伝送することなどによって実現される（特許文献１参照）。

また、現在のハイビジョンデータは１９２０×１０８０画素の画像として規定されているが、さらに高解像度の約４０００×２０００画素からなる４Ｋ画像や約８０００×４０００画素からなる８Ｋ画像などの超高解像度ハイビジョン映像、ウルトラスローモーションに対応するために例えば１２０ｆｐｓ、２４０ｆｐｓといった超高速ハイビジョン映像、複数のＨＤＶカメラで撮影されたハイビジョン映像のスティッチングによる広角映像などの次世代ハイビジョン映像技術が登場してきている。

特開２００４−２６６４９７号公報（段落［００１３］、図１）

現在の放送現場においてはハイビジョン映像を対象としたシステム環境が主流であるのに対し、今後、超高解像度ハイビジョン、超高速ハイビジョン、広角ハイビジョンなどの次世代ハイビジョン映像へのシステム環境への移行が検討されることが必至と思われる。しかしながら、次世代ハイビジョン映像のシステム環境への移行には膨大なコストがかかることが予測され、実現が先送りされる懸念がある。

以上のような事情に鑑み、本技術の目的は、次世代ハイビジョン映像のシステム環境の実現に寄与し得るエンコーダ、デコーダ、エンコーダシステム、デコーダシステム、エンコード方法、デコード方法、伝送アダプタおよび撮像装置を提供することにある。

上記の課題を解決するために、本技術に係るエンコーダは、
画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分とその他の第２の成分とに周波数分解によって分解する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部とを具備する。

このエンコーダは、前記第１の成分にモニタリング用の補助画像を付加する補助画像付加部と、前記補助画像の付加された前記第１の成分を前記モニタリング画像として出力する出力部とをさらに具備するものであってよい。

このエンコーダは、前記圧縮符号化された第２の成分の容量を解析して解析結果を可視情報として出力する圧縮解析部をさらに具備するものであってもよい。

本技術の別の観点に基づくデコーダは、画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分とその他の第２の成分とに周波数分解によって分解する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備するエンコーダと組み合わせて用いることが可能なデコーダであって、
前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
前記取得した第２の成分を伸張復号する伸張復号部と、
前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部と
を具備する。

上記のエンコーダおよびデコーダによれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、例えば４Ｋハイビジョン画像、８Ｋハイビジョン画像といった次世代の超高解像度画像の伝送を行うことができるとともに、カメラのモニターやビューファインダーにモニタリング画像を表示させることが可能になる。

本技術のさらに別の観点に基づくエンコーダは、
画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力された画像からダウンコンバートによって前記モニタリング画像として利用可能なサイズの画像を前記第１の成分として生成するダウンコン部と、前記第１の成分を前記入力された画像のサイズまで画素拡大させた画像と前記入力された画像との差分を前記第２の成分として生成する第１の差分生成部と、を有する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備する。

本技術のさらに別の観点に基づくデコーダは、
画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力された画像からダウンコンバートによって前記モニタリング画像として利用可能なサイズの画像を前記第１の成分として生成するダウンコン部と、前記第１の成分を前記入力された画像のサイズまで画素拡大させた画像と前記入力された画像との差分を前記第２の成分として生成する第１の差分生成部と、を有する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備するエンコーダと組み合わせて用いることが可能なデコーダであって、
前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
前記取得した第２の成分の伸張復号する伸張復号部と、
前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部であって、前記第１の成分を画素拡大により拡大し、この拡大画像と前記伸張復号された第２の成分とを加算することによって前記元の画像を復元する画像復元部と
を具備する。

上記のエンコーダおよびデコーダによれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、例えば４Ｋハイビジョン画像、８Ｋハイビジョン画像といった次世代の超高解像度画像の伝送を良好に行うことができる。また、十分な高周波成分が含まれたモニタリング画像として得られるので、フォーカス調整など、画像の精細度が求められるカメラ調整を良好に行うことができる。

本技術のさらに別の観点に基づくエンコーダは、
モニタリングのフレームレートより高いフレームレートで順次撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像の前記複数のフレームから前記モニタリングのフレームレートでフレームをモニタリングフレームとして分離して前記第１の成分を生成するフレーム分離部と、前記入力画像の各フレームそれぞれを周波数分解によって低周波成分と高周波成分に分解する周波数分解部と、前記分解された各フレームそれぞれの低周波成分について、前記モニタリングフレームと、このモニタリングフレームから次のモニタリングフレームまでの間の１以上のフレームである非モニタリングフレームとのそれぞれの差分を前記第２の成分として生成する差分生成部と、を有する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備する。

本技術のさらに別の観点に基づくデコーダは、
モニタリングのフレームレートより高いフレームレートで順次撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像の前記複数のフレームから前記モニタリングのフレームレートでフレームをモニタリングフレームとして分離して前記第１の成分を生成するフレーム分離部と、前記入力画像の各フレームそれぞれを周波数分解によって低周波成分と高周波成分に分解する周波数分解部と、前記分解された各フレームそれぞれの低周波成分について、前記モニタリングフレームと、このモニタリングフレームから次のモニタリングフレームまでの間の１以上のフレームである非モニタリングフレームとのそれぞれの差分を前記第２の成分として生成する差分生成部と、を有する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備するエンコーダと組み合わせて用いることが可能なデコーダであって、
前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
前記取得した第２の成分の伸張復号する伸張復号部と、
前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部であって、前記取得した第１の成分を周波数分解によって低周波成分と高周波成分に分解する周波数分解部と、前記分解された低周波成分と前記伸張復号された第２の成分とから前記非モニタリングフレームの低周波成分を復元する差分復元部と、前記復元された低周波成分と前記第２の成分に含まれる高周波成分とから周波数逆分解によって前記非モニタリングフレームを復元する周波数逆分解部と、前記第２の画像取得部により取得された前記第１の成分であるモニタリングフレームと前記周波数逆分解部により復元された１以上の非モニタリングフレームとを連結するフレーム連結部と、を有する画像復元部と
を具備する。

上記のエンコーダおよびデコーダによれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、現行のシステムのモニタリングのフレームレートより高いフレームレートを有する超高速ハイビジョン画像を伝送することができる。また、カメラのモニターやビューファインダーにモニタリング画像を表示させることも可能になる。

本技術のさらに別の観点に基づくエンコーダは、
立体画像を構成するために異なる視点で撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像をフレーム毎に分離するフレーム分離部と、前記分離された各フレームをそれぞれ周波数分解により低周波成分と高周波成分に分解して、高周波成分を前記第２の成分として生成する周波数分解部と、前記各フレームについて前記分解された各低周波成分を結合して前記第１の成分を生成する結合部と、を有する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備する。

本技術のさらに別の観点に基づくデコーダは、
立体画像を構成するために異なる視点で撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像をフレーム毎に分離するフレーム分離部と、前記分離された各フレームをそれぞれ周波数分解により低周波成分と高周波成分に分解して、高周波成分を前記第２の成分として生成する周波数分解部と、前記各フレームについて前記分解された各低周波成分を結合して前記第１の成分を生成する結合部と、を有する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備するエンコーダと組み合わせて用いることが可能なデコーダであって、
前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
前記取得した第２の成分を伸張復号する伸張復号部と、
前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部であって、前記取得した第１の成分をフレーム毎に分離するフレーム分離部と、前記フレーム毎に分離された前記第１の成分と、前記伸張復号された第２の成分とを結合する結合部と、前記結合された前記第１の成分と第２の成分から周波数逆分解によって前記立体画像を復元する周波数逆分解部と、を有する画像復元部と
を具備する。

上記のエンコーダおよびデコーダによれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、超立体画像を良好に伝送することができる。また、カメラのモニターやビューファインダーにモニタリング画像を表示させることも可能になる。

本技術のさらに別の観点に基づくエンコーダは、
モニタリング用の画面の縦横比に対して異なる縦横比を有する画像を入力し、この入力された画像を、前記モニタリング用の画面の縦横比となるように分離および／または結合するサイズ調整部と、
前記サイズ調整部より出力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備する。

本技術のさらに別の観点に基づくデコーダは、
モニタリング用の画面の縦横比に対して異なる縦横比を有する画像を入力し、この入力された画像を、前記モニタリング用の画面の縦横比となるように分離および／または結合するサイズ調整部と、
前記サイズ調整部より出力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と、を具備するエンコーダと組み合わせて用いられるデコーダであって、
前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
前記取得した第２の成分の伸張復号する伸張復号部と、
前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部と
を具備する。

上記のエンコーダおよびデコーダによれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、超広角画像や複数のスティッチング画像など、モニタリング用の画面と縦横比が異なる画像を伝送することができる。また、カメラのモニターやビューファインダーにモニタリング画像を表示させることも可能になる。

本技術のさらに別の観点に基づくエンコーダシステムは、
入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部と、前記第２の成分を圧縮符号化する圧縮符号化部とを具備し、前記分解された前記第１の成分を出力するとともに、前記圧縮符号化された第２の成分を出力することが可能な複数のエンコーダであって、それぞれ前記画像分解部による画像分解の方式が互いに異なる複数のエンコーダと；
入力された画像のエンコードに使用する複数の前記エンコーダを選択するエンコーダ選択部と；
前記選択された複数のエンコーダより出力された複数の前記第１の成分を第１のチャンネルの伝送画像の空間を分割する複数のセクションに割り当て、当該割り当てに関する情報を少なくとも含む第１のヘッダ情報を生成して前記第１のチャンネルの伝送画像に付加する第１の伝送画像構成部と；
前記第１のヘッダ情報が付加された前記第１のチャンネルの伝送画像を伝送する第１の伝送部と；
前記選択された複数のエンコーダより出力された複数の前記第２の成分を前記第２のチャンネルの伝送画像の空間内を区分する複数のセクションに割り当て、当該割り当てに関する情報を少なくとも含む第２のヘッダ情報を生成して前記第２のチャンネルの伝送画像に付加する第２の伝送画像構成部と；
前記第２のヘッダ情報が付加された前記第２のチャンネルの伝送画像を伝送する第２の伝送部と；
を具備する。

このエンコーダシステムにおいて、前記第１の伝送画像構成部および前記第２の伝送画像構成部のうち少なくとも一方は、前記第１のチャンネルの伝送画像の個々のセッションに割り当てられた個々の前記第１の成分と、前記第２のチャンネルの伝送画像の個々のセッションに割り当てられた個々の前記第２の成分とを互いに紐付ける紐付け情報を生成して、前記第１のヘッダ情報および前記第２のヘッダ情報の少なくとも一方に付加するものであってよい。

本技術のさらに別の観点に基づくデコーダシステムは、
入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部と、前記第２の成分を圧縮符号化する圧縮符号化部とを具備し、前記分解された前記第１の成分を出力するとともに、前記圧縮符号化された第２の成分を出力することが可能な複数のエンコーダであって、それぞれ前記画像分解部による画像分解の方式が互いに異なる複数のエンコーダと；
入力された画像のエンコードに使用する複数の前記エンコーダを選択するエンコーダ選択部と；
前記選択された複数のエンコーダより出力された複数の前記第１の成分を第１のチャンネルの伝送画像の空間を分割する複数のセクションに割り当て、当該割り当てに関する情報を少なくとも含む第１のヘッダ情報を生成して前記第１のチャンネルの伝送画像に付加する第１の伝送画像構成部と；
前記第１のヘッダ情報が付加された前記第１のチャンネルの伝送画像を伝送する第１の伝送部と；
前記選択された複数のエンコーダより出力された複数の前記第２の成分を前記第２のチャンネルの伝送画像の空間内を区分する複数のセクションに割り当て、当該割り当てに関する情報を少なくとも含む第２のヘッダ情報を生成して前記第２のチャンネルの伝送画像に付加する第２の伝送画像構成部と；
前記第２のヘッダ情報が付加された前記第２のチャンネルの伝送画像を伝送する第２の伝送部と；を具備するエンコーダシステムと組み合わせて用いられるデコードシステムであって、
前記複数のエンコーダにそれぞれ対応する複数のデコーダと；
前記エンコーダシステムより伝送された前記第１のチャンネルの伝送画像および前記第２のチャンネルの伝送画像をそれぞれ取得する画像取得部と、
前記取得された第１のチャンネルの伝送画像に付加された前記第１のヘッダ情報をもとに、前記第１のチャンネルの伝送画像の前記複数のセッションにそれぞれ割り当てられた複数の前記第１の成分を前記複数のデコーダに選択的に供給する第１のヘッダ解析部と、
前記取得された第２のチャンネルの伝送画像に付加された前記第２のヘッダ情報をもとに、前記第２のチャンネルの伝送画像の前記複数のセッションにそれぞれ割り当てられた複数の前記第２の成分を前記複数のデコーダに選択的に供給する第２のヘッダ解析部と、
を具備する

上記のエンコーダシステムおよびデコーダシステムによれば、２チャンネルの伝送画像に複数の種類のエンコーダによって圧縮符号化された複数の画像を混在させて伝送し、デコーダ側でそれぞれの画像のエンコード方法に合せてデコード処理を行うことができる。

本技術のさらに別の観点に基づく伝送アダプタは、
画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分とその他の第２の成分とに周波数分解によって分解する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と、を具備するエンコーダより伝送された前記第１のチャンネルの伝送画像を受信する第１の受信部と、
前記エンコーダより伝送された前記第２のチャンネルの伝送画像を受信する第２の受信部と、
前記第１の受信部により受信された前記第１のチャンネルの伝送画像および前記第２の受信部により受信された前記第２のチャンネルの伝送画像を結合し、伝送形式を変換して送信する送信部と
を具備する。

本技術のさらに別の観点に基づくエンコード方法は、
入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解し、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力し、
前記第２の成分を圧縮符号化し、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する。

本技術のさらに別の観点に基づくデコード方法は、
入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解し、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力し、
前記第２の成分を圧縮符号化し、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力するエンコード方法により前記第１のチャンネルの伝送画像として出力された前記第１の成分および前記第２のチャンネルの伝送画像として出力された前記第２の成分をそれぞれ取得し、
取得した前記第２の成分の伸張復号し、
前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する。

本技術のさらに別の観点に基づく撮像装置は、
画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分とその他の第２の成分とに周波数分解によって分解する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備するエンコーダを内蔵する。

以上のように、本技術によれば、次世代ハイビジョン映像のシステム環境の実現に寄与し得る。

本技術に係る第１の実施形態のエンコーダ１００の構成を示すブロック図である。 第１の実施形態のエンコーダ１００の動作の手順を示すフローチャートである。 第１の実施形態のエンコード処理およびデコード処理の概念図である。 第１の実施形態のデコーダ１５０の構成を示すブロック図である。 第１の実施形態のデコーダ１５０の動作の手順を示すフローチャートである。 本技術に係る第２の実施形態のエンコーダ２００の構成を示すブロック図である。 第２の実施形態のエンコーダ２００の動作の手順を示すフローチャートである。 第２の実施形態のエンコード処理の概念図である。 第２の実施形態のデコーダ２５０の構成を示すブロック図である。 第２の実施形態のデコーダ２５０の動作の手順を示すフローチャートである。 本技術に係る第３の実施形態のエンコーダ３００の構成を示すブロック図である。 第３の実施形態のエンコーダ３００の動作の手順を示すフローチャートである。 第３の実施形態のエンコード処理の概念図である。 第３の実施形態のデコーダ３５０の構成を示すブロック図である。 第３の実施形態のデコーダ３５０の動作の手順を示すフローチャートである。 本技術に係る第４の実施形態のエンコーダ４００の構成を示すブロック図である。 第４の実施形態のエンコーダ４００の動作の手順を示すフローチャートである。 第４の実施形態のエンコード処理の概念図である。 第４の実施形態のデコーダ４５０の構成を示すブロック図である。 第４の実施形態のデコーダ４５０の動作の手順を示すフローチャートである。 本技術に係る第５の実施形態のエンコーダ５００の構成を示すブロック図である。 第５の実施形態のエンコーダ５００の動作の手順を示すフローチャートである。 第５の実施形態のエンコード処理の概念図である。 第５の実施形態のデコーダ５５０の構成を示すブロック図である。 第５の実施形態のデコーダ５５０の動作の手順を示すフローチャートである。 第６の実施形態に係るハイビジョンサイズの３つのスティッチング画像と４Ｋハイビジョンサイズの１つの超高解像度画像をエンコードする場合の概念図である。 第１の伝送画像のデータ構造の例を示す図である。 第２の伝送画像のデータ構造の例を示す図である。 第６の実施形態のハイブリッド方式のエンコーダシステム６００の構成を示すブロック図である。 第６の実施形態のハイブリッド方式のデコーダシステム６５０の構成を示すブロック図である。 本技術に係る実施形態のカメラシステム１０００の構成を示すブロック図である。 本技術に係る変形例１の伝送アダプタを用いたカメラシステム１１００の構成を示すブロック図である。 変形例１の伝送アダプタ１１１０の構成を示すブロック図である。 本技術に係る変形例１のカスケード接続によるマルチカメラシステム１２００の構成を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
本技術は、画像を圧縮符号化するエンコーダおよび圧縮符号化された画像を復号するデコーダに関するものである。
本技術に係る実施形態には以下があり、これらを順に説明する。
１．超高解像度画像に適したエンコーダとデコーダ
２．超高解像度画像およびフォーカス調整に適したエンコーダとデコーダ
３．超高速画像に適したエンコーダとデコーダ
４．超立体画像に適したエンコーダとデコーダ
５．超広角画像に適したエンコーダとデコーダ
６．ハイブリッド方式のエンコーダシステムとデコーダシステム

＜第１の実施形態＞
［１．超高解像度画像に適したエンコーダとデコーダ］
本実施形態は、２チャンネルのデジタル信号伝送路を用いて２つのハイビジョン画像を同時伝送することが可能な例えば現行の３Ｄ画像伝送システムなどをインフラとして用いて、例えば４Ｋハイビジョン画像、８Ｋハイビジョン画像といった次世代超高解像度のハイビジョン画像を伝送することができるエンコーダとデコーダに関するものである。

現行の３Ｄ画像伝送システムはチャンネル毎にハイビジョンサイズの画像が伝送されることを想定しているため、そのままでは４Ｋハイビジョン画像、８Ｋハイビジョン画像といった超高解像度画像の伝送は困難である。また、現行の３Ｄ画像伝送システムでは一方のチャンネルを使って伝送されるハイビジョン画像をカメラのモニターやビューファインダーなどにそのまま表示させて撮影映像のモニタリングを行っている。したがって、４Ｋハイビジョン画像、８Ｋハイビジョン画像などの超高解像度画像をカメラのモニターやビューファインダーなどを通してモニタリングすることもできないことになる。本実施形態は、このような課題を解決することができるものである。

デジタル信号の伝送には、ｉ．Ｌｉｎｋ（登録商標）、光ファイバー伝送、３Ｇ−ＳＤＩ（3G-Single Document Interface）、ストレージ装置などが用いられる。本実施形態では２チャンネルのｉ．Ｌｉｎｋ（登録商標）であるＬｉｎｋ−ＡとＬｉｎｋ−Ｂとを採用した場合を説明する。

［エンコーダ１００の構成］
図１は、本技術に係る第１の実施形態の超高解像度画像に適したエンコーダ１００の構成を示すブロック図である。
同図に示すように、このエンコーダ１００は、周波数分解部１０１（画像分解部）、分岐部１０２、補助画像付加部１０３、第１の伝送部１０５、エントロピー符号化部１０６（圧縮符号化部）、誤り訂正符号化部１０７、第２の伝送部１０８、圧縮解析部１０９および表示処理部１１０（出力部）を備える。

周波数分解部１０１は、入力された超高解像度画像（以下、本実施形態において単に「画像」と呼ぶ。）を周波数分解によって、モニタリング画像として利用可能な低周波成分（第１の成分）とその他の高周波成分（第２の成分）とに分離する。ここで、周波数分離の方法としては、例えばＷａｖｅｌｅｔ変換などを用いることができる。Ｗａｖｅｌｅｔ変換では、画像は低周波成分と、Ｘ方向高周波成分、Ｙ方向高周波成分、ＸＹ方向高周波成分に分離される。入力された画像が４Ｋハイビジョン画像である場合、低周波成分は１回のＷａｖｅｌｅｔ変換によってハイビジョンサイズまで縮小された画像になる。また、入力された画像が８Ｋハイビジョン画像である場合、Ｗａｖｅｌｅｔ変換を２段階に行うことによって低周波成分はハイビジョンサイズまで縮小される。ここでモニタリング画像の解像度は例えばハイビジョンサイズなどとする。

分岐部１０２は、周波数分解部１０１によって得られた画像の低周波成分を補助画像付加部１０３と第１の伝送部１０５に供給する。

補助画像付加部１０３は、分岐部１０２より供給された画像の低周波成分に、例えばマーカー、ゼブラ、文字列など、撮影画像をモニタリングするユーザを補助するための補助画像を付加する。補助画像を付加された画像の低周波成分はモニタリング画像として利用可能であり、表示処理部１１０を通してカメラのモニターやビューファインダーなどに供給されて表示される。

第１の伝送部１０５は、分岐部１０２より供給された画像の低周波成分をｉ．Ｌｉｎｋ（登録商標）のＬｉｎｋ−Ａを用いて伝送する。

エントロピー符号化部１０６は、周波数分解部１０１によって得られた画像の高周波成分をエントロピー符号化により圧縮する。エントロピー符号化の方式としては、ハフマン符号、算術符号などがある。

誤り訂正符号化部１０７は、エントロピー符号化された画像の高周波成分に誤り訂正符号を付加する。

第２の伝送部１０８は、誤り訂正符号化部１０７にて誤り訂正符号の付加された画像の高周波成分をＬｉｎｋ−Ｂを用いて伝送する。

圧縮解析部１０９は、誤り訂正符号が付加された画像の高周波成分の容量を解析してその結果を表示処理部１１０を通じてカメラのモニターやビューファインダーなどに供給する。

［エンコーダ１００の動作］
図２は第１の実施形態のエンコーダ１００の動作の手順を示すフローチャートである。
まず、エンコーダ１００内のレジスタおよびメモリの初期化など、エンコーダ１００の初期化処理が行われる（ステップＳ１０１）。この後、画像がエンコーダ１００に入力される（ステップＳ１０２）。エンコーダ１００に入力された画像は、図３に示すように、周波数分解部１０１にて低周波成分と高周波成分とに分離される（ステップＳ１０３）。

図３は入力画像１２１を４Ｋハイビジョン画像とし、周波数分解の方法としてＷａｖｅｌｅｔ変換を用いた場合のエンコードおよびデコードの概念図である。このように、周波数分解部１０１にて分離された低周波成分は、入力画像が４Ｋハイビジョン画像である場合にはハイビジョンサイズの画像１２２となって分岐部１０２に供給される。

図２に戻って、分岐部１０２によって画像の低周波成分は第１の伝送部１０５と補助画像付加部１０３に供給される。これにより画像の低周波成分が第１の伝送部１０５によってＬｉｎｋ−Ａを使って伝送される（ステップＳ１０６）。また、補助画像付加部１０３により補助画像が付加された低周波成分は、表示処理部１１０を通してカメラのモニターやビューファインダーなどに供給されて表示される。

一方、周波数分解部１０１で分離された画像の高周波成分（図３の符号１２３）はエントロピー符号化部１０６にてエントロピー符号化（図３の符号１２４）された後（ステップＳ１０４）、誤り訂正符号化部１０７にて誤り訂正符号が付加される（ステップＳ１０５）。誤り訂正符号が付加された画像の高周波成分は第２の伝送部１０８によってＬｉｎｋ−Ｂを使って伝送される（ステップＳ１０６）。

さらに、誤り訂正符号の付加された画像の高周波成分は圧縮解析部１０９に供給される。圧縮解析部１０９は、エントロピー符号化された画像の高周波成分の容量を解析し、その結果を表示処理部１１０を通じてカメラのモニターやビューファインダーなどに供給して表示させる。

［デコーダ１５０の構成］
次に、上記のエンコーダ１００により圧縮符号化された画像をデコードするデコーダ１５０の構成を説明する。
図４はデコーダ１５０の構成を示すブロック図である。このデコーダ１５０は、第１の伝送部１５１（画像取得部）、第２の伝送部１５２（画像取得部）、誤り訂正復号部１５３、エントロピー逆符号化部１５４（伸張復号部）、および周波数逆分解部１５５（画像復元部）を備える。

第１の伝送部１５１は、Ｌｉｎｋ−Ａを通じて伝送されてきた画像の低周波成分を受信して周波数逆分解部１５５に供給する。

第２の伝送部１５２は、Ｌｉｎｋ−Ｂを通じて伝送されてきた画像の高周波成分を受信し、誤り訂正復号部１５３に供給する。

誤り訂正復号部１５３は、第２の伝送部１５２より供給された画像の高周波成分の誤り訂正復号を行う。

エントロピー逆符号化部１５４は、誤り訂正復号部１５３にて復号された画像の高周波成分のエントロピー逆符号化を行う。

周波数逆分解部１５５は、エントロピー逆符号化された画像の高周波成分（図３の符号１２５）と、第１の伝送部１５１より供給された画像の低周波成分（図３の符号１２２）とを周波数逆分解により結合して超高解像度画像（図３の符号１２６）を復元する。

［デコーダ１５０の動作］
図５は第１の実施形態のデコーダ１５０の動作の手順を示すフローチャートである。
まず、デコーダ１５０の初期化処理が行われる（ステップＳ２０１）。この後、第１の伝送部１５１と第２の伝送部１５２にて、Ｌｉｎｋ−Ａを通じて伝送されてきた画像の低周波成分（図３の符号１２２）とＬｉｎｋ−Ｂを通じて伝送されてきた画像の高周波成分（図３の符号１２５）を受信する（ステップＳ２０２）。

第１の伝送部１５１にて受信された画像の低周波成分（図３の符号１２２）は周波数逆分解部１５５に供給される。一方、第２の伝送部１５２にて受信された画像の高周波成分（図３の符号１２４）は誤り訂正復号部１５３にて復号された後（ステップＳ２０３）、エントロピー逆符号化部１５４にて逆符号化され（ステップＳ２０４）、周波数逆分解部１５５に供給される。そして、周波数逆分解部１５５にて、画像の低周波成分（図３の符号１２２）とエントロピー逆符号化部１５４にて逆符号化された画像の高周波成分（図３の符号１２５）とが周波数逆分解によって結合される（ステップＳ２０５）。これにより元の超高解像度画像（図３の符号１２６）が復元される。

以上のように、本実施形態のエンコーダ１００およびデコーダ１５０によれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、例えば４Ｋハイビジョン画像、８Ｋハイビジョン画像といった次世代の超高解像度画像の伝送を行うことができるとともに、カメラのモニターやビューファインダーにモニタリング画像を表示させることも可能になる。

＜第２の実施形態＞
［２．超高解像度画像およびフォーカス調整等に適したエンコーダとデコーダ］
第１の実施形態では、周波数分解により得られた画像の低周波成分を表示処理部１１０やカメラのモニターやビューファインダーなどに供給して表示させる。ここで、カメラのビューファインダーなどを通してカメラマンが画像を見ながらフォーカス合わせを行う場合や、その画像をもとにオートフォーカスを行う場合、高い精度でフォーカス調整を行うことは困難である。第２の実施形態は、この課題を解決することができるものである。

［超高解像度画像およびフォーカス調整等に適したエンコーダ２００の構成］
図６は、本技術に係る第２の実施形態の超高解像度画像およびフォーカス調整等に適したエンコーダ２００の構成を示すブロック図である。
同図に示すように、このエンコーダ２００は、ダウンコン部２０１、分岐部２０２、補助画像付加部２０３、第１の伝送部２０５（第１の伝送部）、差分生成部２０４、エントロピー符号化部２０６（圧縮符号化部）、誤り訂正符号化部２０７、第２の伝送部２０８（第２の伝送部）、圧縮解析部２０９、表示処理部２１０および周波数分解部２１１を備える。ここで、ダウンコン部２０１と差分生成部２０４とで画像分割部が構成される。

ダウンコン部２０１は、入力された超高解像度画像をダウンコンバートによってモニタリング画像として利用可能なハイビジョンサイズの画像を生成するダウンコン画像（第１の成分）を生成する。十分な高周波成分を含むダウンコン画像を生成するために、ダウンコンバート方法としては高精細なディテールを残したままでの画像の縮小が可能な例えばバイキュービック法などが採用される。バイキュービック法は、三次関数を用いて、中心の画素値から周辺の画素値を算出する方法である。なお、本技術においてはバイキュービック法を採用することに限定されない。高精細なディテールを残したままでの画像の縮小が可能な方式であれば何でもよい。

分岐部２０２は、ダウンコン部２０１によって生成されたダウンコン画像を補助画像付加部２０３と第１の伝送部２０５に供給する。

第１の伝送部２０５は、分岐部２０２より供給されたダウンコン画像をＬｉｎｋ−Ａを用いて伝送する。

補助画像付加部２０３は、分岐部２０２より供給された画像の低周波成分に、例えばマーカー、ゼブラ、文字列など、撮影画像をモニタリングするユーザを補助するための補助画像を付加する。補助画像を付加された画像の低周波成分はモニタリング画像として利用可能であり、表示処理部２１０を通してカメラのモニターやビューファインダーなどに供給されて表示される。

差分生成部２０４は、ダウンコン画像を入力画像の解像度（例えば４Ｋハイビジョン）まで画素拡大により拡大した画像と入力画像との差分をアップコン用補間画像として生成する。

エントロピー符号化部２０６は、差分生成部２０４により生成されたアップコン用補間画像をエントロピー符号化する。エントロピー符号化の方式としては、ハフマン符号、算術符号などがある。

誤り訂正符号化部２０７は、エントロピー符号化されたアップコン用補間画像に誤り訂正符号を付加する。

第２の伝送部２０８は、誤り訂正符号が付加されたアップコン用補間画像をＬｉｎｋ−Ｂを用いて伝送する。

圧縮解析部２０９は、エントロピー符号化されたアップコン用補間画像の容量を解析して、その結果を表示処理部２１０を通じてカメラのモニターやビューファインダーなどに供給して表示させる。

また、このエンコーダ２００において、差分生成部２０４により生成されたアップコン用補間画像を周波数分解部２１１にて周波数分解してから高周波成分のみをエントロピー符号化部２０６に供給するようにしてもよいし、必要に応じて、周波数分解の実行のオン／オフをユーザが適宜切り替えるようにしてもよい。例えば、圧縮解析部２０９によって得られる、アップコン用補間画像の容量解析結果をユーザがカメラのモニターなどを通して確認し、その容量がある基準値よりも過大な場合には周波数分解をオンにすること、などが考えられる。

図７は第２の実施形態のエンコーダ２００の動作の手順を示すフローチャートである。
まず、エンコーダ２００内のレジスタおよびメモリの初期化など、エンコーダ２００の初期化処理が行われる（ステップＳ３０１）。この後、例えば４Ｋハイビジョンなどの超高解像度の画像がエンコーダ２００に入力される（ステップＳ３０２）。

図８は入力画像２２１を４Ｋハイビジョン画像とし、ダウンコンバートの方法として例えばバイキュービック法などを用いた場合のエンコードおよびデコードの概念図である。
本実施形態のエンコーダ２００によるエンコード動作の概念図である。このようにエンコーダ２００に入力された超高解像度の画像２２１は、ダウンコン部２０１によって高精細なディテールを残したハイビジョンサイズの画像にまでダウンコンバートされることによって、モニタリング画像として利用可能なダウンコン画像２２２となる（ステップＳ３０３）。

ダウンコン画像２２２は分岐部２０２と差分生成部２０４にそれぞれ供給され、さらに分岐部２０２によって第１の伝送部２０５と補助画像付加部２０３に供給される。そしてダウンコン画像は、第１の伝送部２０５によってＬｉｎｋ−Ａを使って伝送される（ステップＳ３０７）。また、補助画像付加部２０３により補助画像が付加された低周波成分はモニタリング画像として利用可能であり、表示処理部２１０を通してカメラのモニターやビューファインダーなどに供給されて表示される。ここで、ダウンコン画像には十分な高周波成分が残されているので、このダウンコン画像を用いてマニュアルフォーカス調整、オートフォーカス調整など、画像の精細度が求められる調整処理を良好に行うことができる。

一方、差分生成部２０４は、分岐部２０２より入力されたダウンコン画像を入力画像の解像度（例えば４Ｋハイビジョンサイズ）まで画素拡大により拡大して、図８に示す拡大画像２２３を生成する。差分生成部２０４は、この拡大画像２２３と入力画像２２１との差分をアップコン用補間画像２２４として生成し（ステップＳ３０４）、エントロピー符号化部２０６に供給する。アップコン用補間画像はエントロピー符号化部２０６にてエントロピー符号化された後（ステップＳ３０５）、誤り訂正符号化部２０７にて誤り訂正符号が付加される（ステップＳ３０６）。この後、誤り訂正符号が付加されたアップコン用補間画像のデータは、第２の伝送部２０８によってＬｉｎｋ−Ｂを使って伝送される（ステップＳ３０７）。

また、エントロピー符号化された高周波成分は圧縮解析部２０９に供給される。圧縮解析部２０９は、エントロピー符号化された高周波成分の容量を解析してその結果を表示処理部２１０を通じてカメラのモニターやビューファインダーなどに供給して表示させる。この際、例えば、エントロピー符号化されたアップコン用補間画像の容量の解決結果の値がある基準値よりも大きい場合など、必要に応じて、差分生成部２０４により生成されたアップコン用補間画像を周波数分解部２１１にて周波数分解して高周波成分のみをエントロピー符号化部２０６に供給するようにする。これにより、エントロピー符号化されたアップコン用補間画像の容量を下げて、伝送帯域との関係からアップコン用補間画像の伝送が間に合わない事態が発生することを可及的に抑制できる。

［デコーダ２５０の構成］
次に、上記のエンコーダ２００により圧縮符号化された画像をデコードするデコーダ２５０の構成を説明する。
図９は、デコーダ２５０の構成を示すブロック図である。デコーダ２５０は、第１の伝送部２５１（画像取得部）、第２の伝送部２５２（画像取得部）、誤り訂正復号部２５３、エントロピー逆符号化部２５４（伸張復号部）、およびアップコン部２５６（画像復元部）を備える。

第１の伝送部２５１は、Ｌｉｎｋ−Ａを通じて伝送されてきたダウンコン画像を受信し、アップコン部２５６に供給する。

第２の伝送部２５２は、Ｌｉｎｋ−Ｂを通じて伝送されてきたアップコン用補間画像を受信し、誤り訂正復号部２５３に供給する。

誤り訂正復号部２５３は、第２の伝送部２５２より供給されたアップコン用補間画像の誤り訂正復号を行う。

エントロピー逆符号化部２５４は、誤り訂正復号部２５３にて誤り訂正復号されたアップコン用補間画像のエントロピー逆符号化を行い、その結果をアップコン部２５６に供給する。

アップコン部２５６は、第１の伝送部２５１より供給されたダウンコン画像を、エントロピー逆符号化部２５４より供給されたアップコン用補間画像を用いてアップコンバートして元の超高解像度画像を復元する。より具体的には、アップコン部２５６は、ダウンコン画像を画素拡大により拡大し、この拡大画像とアップコン用補間画像とを加算する、という手順で元の超高解像度画像を復元することかできる。

［デコーダ２５０の動作］
図１０は第２の実施形態のデコーダ２５０の動作の手順を示すフローチャートである。
まず、デコーダ２５０内のレジスタおよびメモリの初期化など、デコーダ２５０の初期化処理が行われる（ステップＳ４０１）。この後、Ｌｉｎｋ−ＡとＬｉｎｋ−Ｂを通じてそれぞれ伝送されてきたダウンコン画像とアップコン用補間画像がそれぞれ第１の伝送部２５１および第２の伝送部２５２にて受信される（ステップＳ４０２）。

第１の伝送部２５１にて受信されたダウンコン画像はアップコン部２５６に供給される。一方、第２の伝送部２５２にて受信されたアップコン用補間画像は誤り訂正復号部２５３にて復号された後（ステップＳ４０３）、エントロピー逆符号化部２５４にて逆符号化されて（ステップＳ４０４）、アップコン部２５６に供給される。そして、アップコン部２５６にて、ダウンコン画像がエントロピー逆符号化されたアップコン用補間画像を用いてアップコンバートされることにより、元の超高解像度画像が復元される（ステップＳ４０５）。

以上のように、本実施形態のエンコーダ２００およびデコーダ２５０によれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、例えば４Ｋハイビジョン画像、８Ｋハイビジョン画像といった次世代の超高解像度画像の伝送を良好に行うことができる。また、本実施形態のエンコーダ２００では、十分な高周波成分が含まれたダウンコン画像がモニタリング画像として得られるので、フォーカス調整など、画像の精細度が求められるカメラ調整を良好に行うことができる。

＜第３の実施形態＞
［３．超高速画像に適したエンコーダとデコーダ］
本実施形態は、例えば、２チャンネルのデジタル信号伝送路を用いて２つのハイビジョン画像をそれぞれ５９．９４フレーム／秒で同時伝送することが可能な現行の３Ｄ画像伝送システムなどをインフラとして用いて、現行のシステムのモニタリングのフレームレートより高いフレームレートを有する超高速ハイビジョン画像（以下「超高速画像」と呼ぶ。）を伝送することのできるエンコーダとデコーダに関するものである。

［超高速画像に適したエンコーダ３００の構成］
図１１は、本技術に係る第３の実施形態のエンコーダ３００の構成を示すブロック図である。
同図に示すように、このエンコーダ３００は、フレーム分離部３０１、分岐部３０２、補助画像付加部３０３、周波数分解部３１１、第１の伝送部３０５、差分生成部３０４、エントロピー符号化部３０６（圧縮符号化部）、誤り訂正符号化部３０７、第２の伝送部３０８、圧縮解析部３０９、および表示処理部３１０を備える。ここで、フレーム分離部３０１、周波数分解部３１１、差分生成部３０４で画像分解部が構成される。

このエンコーダ３００には、インフラとして用いられる例えば現行の３Ｄ画像伝送システムなどにおける仕様上のチャンネル毎のフレームレート（以下「標準フレームレート」と呼ぶ。）よりも高いフレームレートで順次撮影された複数のフレームで構成される超高速画像が入力される。また、現行の３Ｄ画像伝送システムでは一方のチャンネルを使って伝送されるハイビジョン画像をカメラのモニターやビューファインダーなどにそのまま表示させて撮影映像のモニタリングを行っているので、カメラでのモニタリングのフレームレートは標準フレームレートと同じである。

フレーム分離部３０１は、入力された超高速画像を周波数分解部３１１に供給する一方で、超高速画像から標準フレームレートでフレームを分離して、これを等倍速フレーム（モニタリングフレーム＝第１の成分）として分岐部３０２に供給する。

分岐部３０２は、フレーム分離部３０１によって分離された等倍速フレームを補助画像付加部３０３と第１の伝送部３０５に供給する。

補助画像付加部３０３は、分岐部３０２より供給された等倍速フレームに例えばマーカー、ゼブラ、文字列など、画像をモニタリングするユーザを補助するための補助画像を付加する。補助画像を付加された等倍速フレームは、表示処理部３１０を通してカメラのモニターやビューファインダーなどに供給されてモニタリング画像として表示される。

第１の伝送部３０５は、分岐部３０２より供給された等倍速フレームをＬｉｎｋ−Ａを用いて伝送する。

周波数分解部３１１は、入力された超高速画像を低周波成分と高周波成分とに分離する。周波数分解の方法としては、例えば、上記のＷａｖｅｌｅｔ変換などを用いることができる。

差分生成部３０４は、周波数分解部３１１によって分離された超高速画像の低周波成分について、等倍速フレームとその他のフレーム（非モニタリングフレーム）との差分と非モニタリングフレームの高周波成分とを組み合わせてエントロピー符号化部３０６に供給する。

エントロピー符号化部３０６は、差分生成部３０４より供給されたデータをエントロピー符号化により圧縮する。エントロピー符号化の方式としては、ハフマン符号、算術符号などがある。

誤り訂正符号化部３０７は、エントロピー符号化されたデータに誤り訂正符号を付加して第２の伝送部３０８に供給する。

第２の伝送部３０８は、誤り訂正符号化部３０７にて誤り訂正符号の付加されたデータを「フレーム間補間画像」（第２の成分）としてＬｉｎｋ−Ｂを用いて伝送する。

圧縮解析部３０９は、フレーム間補間画像の容量を解析してその結果を表示処理部３１０を通じてカメラのモニターやビューファインダーなどに可視情報として供給する。

［エンコーダ３００の動作］
図１２はエンコーダ３００の動作の手順を示すフローチャートである。
まず、エンコーダ３００内のレジスタおよびメモリの初期化など、エンコーダ３００の初期化処理が行われる（ステップＳ５０１）。この後、超高速画像がエンコーダ３００に入力される（ステップＳ５０２）。エンコーダ３００に入力された超高速画像は、フレーム分離部３０１に入力される。フレーム分離部３０１は、入力された超高速画像をそのまま周波数分解部３１１に供給する一方で、超高速画像から標準フレームレートでフレームを分離して、これを等倍速フレーム（モニタリングフレーム）として分岐部３０２に供給する。等倍速フレームは、分岐部３０２によって第１の伝送部２０５と補助画像付加部２０３に供給される。そして等倍速フレームは、第１の伝送部３０５によってＬｉｎｋ−Ａを使って伝送される（ステップＳ５０８）。

また、補助画像付加部３０３により補助画像が付加された等倍速フレームは、表示処理部３１０を通してカメラのモニターやビューファインダーなどに供給されてモニタリング画像として表示される。

一方、周波数分解部３１１は、フレーム分離部３０１より供給された超高速画像の各フレームから低周波成分を分離して差分生成部３０４に供給する（ステップＳ５０４）。差分生成部３０４は、周波数分解部３１１より供給された超高速画像の低周波成分について、等倍速フレーム（モニタリングフレーム）と、この等倍速フレームから次の等倍速フレームまでの間の１以上のフレーム（非モニタリングフレーム）との１以上の差分データを求める。差分生成部３０４は、それぞれの非モニタリングフレームについて、差分データと、非モニタリングフレームから周波数分解部３１１によって分離された高周波成分との組み合わせをエントロピー符号化部３０６に出力する（ステップＳ５０５）。

続いて、差分生成部３０４の出力データはエントロピー符号化部３０６にてエントロピー符号化された後（ステップＳ５０６）、誤り訂正符号化部３０７にて誤り訂正符号が付加される（ステップＳ５０７）。誤り訂正符号が付加されたデータは、第２の伝送部３０８によってフレーム間補間画像（第２の成分）としてＬｉｎｋ−Ｂを使って伝送される（ステップＳ５０８）。

図１３は、エンコーダ３００による処理の概念図である。この概念図では、標準フレームレートの１６倍の超高速画像３２０を伝送する場合を示している。連続する１６フレームであるｆｒａｍｅ０−ｆｒａｍｅ１５の中からフレーム分離部３０１によって１つのフレームであるｆｒａｍｅ０が等倍速フレーム３２１として分離されて差分生成部３０４に供給される。一方、周波数分解部３１１は、ｆｒａｍｅ０−ｆｒａｍｅ１５を低周波成分３２１ａ、３２２ａと高周波成分３２１ｂ、３２２ｂとに分離する。ここで、３２１ａは等倍速フレーム３２１の低周波成分、３２２ａは非モニタリングフレーム３２２の低周波成分、３２１ｂは等倍速フレーム３２１の高周波成分、３２２ｂは非モニタリングフレーム３２２の高周波成分である。周波数分解部３１１は、ｆｒａｍｅ０−ｆｒａｍｅ１５の低周波成分３２１ａ、３２２ｂを差分生成部３０４に供給する。ここで、周波数分解の方法としてＷａｖｅｌｅｔ変換を採用した場合、１つのフレームに対してＷａｖｅｌｅｔ変換を２段階行うことによって、画像の低周波成分のサイズ（画素数）は元の１／１６になる。差分生成部３０４は、等倍速フレーム３２１（ｆｒａｍｅ０）の低周波成分３２１ａと非モニタリングフレーム３２２（ｆｒａｍｅ１−ｆｒａｍｅ１５）の低周波成分３２２ａとの計１５個の差分データを求める。差分生成部３０４は、それぞれの差分データと非モニタリングフレーム３２２の高周波成分３２２ｂとを組み合わせ、計１５個の組み合わせ３２５をエントロピー符号化部３０６に供給する。計１５個の組み合わせ３２５は、エントロピー符号化部３０６と誤り訂正符号化部３０７によって圧縮符号化され、第２の伝送部３０８によってフレーム間補間画像（第２の成分）３２６としてＬｉｎｋ−Ｂを使って伝送される。

［デコーダ３５０の構成］
次に、上記のエンコーダ３００により符号化された画像をデコードするデコーダ３５０の構成を説明する。
図１４はデコーダ３５０の構成を示すブロック図である。このデコーダ３５０は、第１の伝送部３５１（画像取得部）、第２の伝送部３５２（画像取得部）、周波数分解部３５８、誤り訂正復号部３５３、エントロピー逆符号化部３５４（伸張復号部）、周波数逆分解部３５５、差分復元部３５６、およびフレーム連結部３５７を備える。ここで、周波数分解部３５８、周波数逆分解部３５５、差分復元部３５６、フレーム連結部３５７で画像復元部が構成されている。

第１の伝送部３５１は、Ｌｉｎｋ−Ａを通じて伝送されてきた等倍速フレームを受信し、周波数分解部３５８およびフレーム連結部３５７に供給する。

周波数分解部３５８は、等倍速フレームから低周波成分を分離して差分復元部３５６に供給する。

第２の伝送部３５２は、Ｌｉｎｋ−Ｂを通じて伝送されてきたフレーム間補間画像を受信し、誤り訂正復号部３５３に供給する。

誤り訂正復号部３５３は、第２の伝送部３５２より供給されたフレーム間補間画像の誤り訂正復号を行う。

エントロピー逆符号化部３５４は、誤り訂正復号部３５３にて復号されたフレーム間補間画像のエントロピー逆符号化を行い、その結果を差分復元部３５６に供給する。

差分復元部３５６は、周波数分解部３５８より供給された等倍速フレーム（モニタリングフレーム）の低周波成分と、エントロピー逆符号化部３５４より供給されたフレーム間補間画像に含まれる差分データとから非モニタリングフレームの低周波成分をそれぞれ復元する。

周波数逆分解部３５５は、差分復元部３５６により復元された非モニタリングフレームの低周波成分とフレーム間補間画像に含まれる当該非モニタリングフレームの高周波成分とから周波数逆分解によって非モニタリングフレームを復元する。

フレーム連結部３５７は、周波数分解部３５８より供給された等倍速フレームと周波数逆分解部３５５によって復元された非モニタリングフレームとを元の高速画像の順序で連結して出力する。

［デコーダ３５０の動作］
図１５はデコーダ３５０の動作の手順を示すフローチャートである。
まず、デコーダ３５０の初期化処理が行われる（ステップＳ６０１）。この後、Ｌｉｎｋ−ＡとＬｉｎｋ−Ｂを通じて伝送されてきた等倍速フレームとフレーム間補間画像をそれぞれ第１の伝送部３５１および第２の伝送部３５２で受信する（ステップＳ６０２）。

第１の伝送部３５１にて受信された等倍速フレームは周波数分解部３５８とフレーム連結部３５７に供給される。周波数分解部３５８は供給された等倍速フレームから低周波成分を分離して差分復元部３５６に供給する（ステップＳ６０３）。

一方、第２の伝送部３５２にて受信されたフレーム間補間画像は、誤り訂正復号部３５３にて復号された後（ステップＳ６０４）、エントロピー逆符号化部３５４にて逆符号化され、その結果が差分復元部３５６に供給される（ステップＳ６０５）。

差分復元部３５６は、周波数分解部３５８からの等倍速フレームの低周波成分とエントロピー逆符号化部３５４からのフレーム間補間画像を入力すると、これらの情報から等倍速フレーム以外の各フレームの低周波成分を復元して周波数逆分解部３５５に供給する（ステップＳ６０６）。

周波数逆分解部３５５では、差分復元部３５６より供給された等倍速フレーム以外の各フレームの低周波成分と非モニタリングフレームの高周波成分とから周波数逆分解によって非モニタリングフレームが復元され、その結果がフレーム連結部３５７に供給される（ステップＳ６０７）。

そしてフレーム連結部３５７において、周波数分解部３５８より供給された等倍速フレームと周波数逆分解部３５５より供給された非モニタリングフレームとが元の高速画像の順序で連結されて出力される（ステップＳ６０８）。

以上のように、本実施形態のエンコーダ３００およびデコーダ３５０によれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、現行のシステムのモニタリングのフレームレートより高いフレームレートを有する超高速ハイビジョン画像を伝送することができる。また、カメラのモニターやビューファインダーにモニタリング画像を表示させることも可能になる。

＜第４の実施形態＞
［４．超立体画像に適したエンコーダとデコーダ］
本実施形態は、例えば２チャンネルのデジタル信号伝送路を用いて２つのハイビジョン画像を同時伝送することが可能な例えば現行の３Ｄ画像伝送システムなどをインフラとして用いて、超立体画像を伝送することが可能なエンコーダとデコーダに関するものである。

図１６は、本技術に係る第４の実施形態のエンコーダ４００の構成を示すブロック図である。
同図に示すように、このエンコーダ４００は、フレーム分離部４０１、周波数分解部４１１、分離結合部４１２、分岐部４０２、変換部４１３、補助画像付加部４０３、第１の伝送部４０５、エントロピー符号化部４０６、誤り訂正符号化部４０７、第２の伝送部４０８、圧縮解析部４０９、および表示処理部４１０を備える。ここで、フレーム分離部４０１、周波数分解部４１１、分離結合部４１２（結合部）は画像分解部を構成する。

このエンコーダ４００には、立体画像を構成するために異なる視点で撮影された複数のフレームで構成される画像が入力される。

フレーム分離部４０１は、入力された画像を視点毎つまりフレーム毎の画像に分離して周波数分解部４１１に供給する。

周波数分解部４１１は、フレーム毎の画像を低周波成分と高周波成分に分離する。ここで、周波数分解は、水平方向のみに視差を有する超立体画像を得る場合には水平方向の周波数についてのみ行い、垂直方向のみに視差を有する超立体画像を得る場合には垂直方向の周波数についてのみ行い、水平方向と垂直方向に視差を有する超立体画像を得る場合には水平方向および垂直方向それぞれの周波数について行えばよい。なお、この実施形態では、例えば１６台のカメラにより撮影された１６個の画像により超立体画像を得ることとしている。この場合、周波数分解部４１１は、１つのフレームに対してＷａｖｅｌｅｔ変換を２段階行うことによってフレーム毎に１／１６のサイズの低周波成分を生成する。

分離結合部４１２は、周波数分解部４１１によって分離された各フレームの低周波成分を結合して立体モニター用のダウンコン画像（第１の成分）を生成して分岐部４０２に供給するとともに、周波数分解部４１１によって分離された各フレームの高周波成分をアップコン用補間画像（第２の成分）としてエントロピー符号化部４０６に供給する。

分岐部４０２は、分離結合部４１２より供給された立体モニター用のダウンコン画像を変換部４１３と第１の伝送部４０５に供給する。

第１の伝送部４０５は、分岐部４０２より供給された立体モニター用のダウンコン画像をＬｉｎｋ−Ａを用いて伝送する。

変換部４１３は、立体モニターのレンチキュラーレンズの仕様に合せて、立体モニター用のダウンコン画像のライン入れ替えを行い、その結果を補助画像付加部４０３に供給する。

補助画像付加部４０３は、変換部４１３より供給された立体モニター用のダウンコン画像に例えばマーカー、ゼブラ、文字列など、画像をモニタリングするユーザを補助するための補助画像を付加する。補助画像を付加された立体モニター用のダウンコン画像は表示処理部４１０を通してカメラのモニターやビューファインダーなどに供給されてモニタリング画像として表示される。

エントロピー符号化部４０６は、分離結合部４１２より供給されたフレーム毎のアップコン用補間画像をエントロピー符号化して誤り訂正符号化部４０７に供給する。エントロピー符号化の方式としては、ハフマン符号、算術符号などがある。

誤り訂正符号化部４０７は、エントロピー符号化部４０６より供給されたフレーム毎のアップコン用補間画像に誤り訂正符号を付加して第２の伝送部４０８および圧縮解析部４０９に供給する。

第２の伝送部４０８は、誤り訂正符号化部４０７より供給されたフレーム毎のアップコン用補間画像をＬｉｎｋ−Ｂを用いて伝送する。

圧縮解析部４０９は、エントロピー符号化されたフレーム毎のアップコン用補間画像の容量を解析して、その結果を表示処理部４１０を通じてカメラのモニターやビューファインダーなどに可視情報として供給して表示させる。

［エンコーダ４００の動作］
図１７はエンコーダ４００の動作の手順を示すフローチャートである。
まず、エンコーダ４００内のレジスタおよびメモリの初期化など、エンコーダ４００の初期化処理が行われる（ステップＳ７０１）。この後、立体画像を構成するために異なる視点で撮影された複数のフレームで構成される画像がエンコーダ４００に入力される（ステップＳ７０２）。

エンコーダ４００に入力された画像は、フレーム分離部４０１にて、視点毎つまりフレーム毎の画像に分離されて周波数分解部４１１に供給される（ステップＳ７０３）。フレーム毎の画像は、周波数分解部４１１にて低周波成分と高周波成分に分離され（ステップＳ７０４）、それぞれ分離結合部４１２に供給される。分離結合部４１２は、各フレームの低周波成分を結合して立体モニター用のダウンコン画像を生成して分岐部４０２に供給する一方で、各フレームの高周波成分をアップコン用補間画像としてエントロピー符号化部４０６に供給する（ステップＳ７０５）。

立体モニター用のダウンコン画像は分岐部４０２を通じて第１の伝送部４０５に供給され、この第１の伝送部４０５によってＬｉｎｋ−Ａを通じて伝送される（ステップＳ）。また、この際、変換部４１３にて、立体モニターのレンチキュラーレンズの仕様に合せて、ダウンコン画像においてカメラ毎の撮影画像が占めるラインを入れ替える必要がある。ラインの不足が発生する場合には、隣り合うライン同士からの画像補間、画像予測によって得たラインで不足分が補われる。この後、立体モニター用のダウンコン画像は補助画像付加部４０３によって補助画像が付加され、表示処理部４１０を通じてカメラの立体モニターなどに供給されて表示される。

一方、分離結合部４１２より分離されたフレーム毎のアップコン用補間画像はエントロピー符号化部４０６にてエントロピー符号化された後（ステップＳ７０６）、誤り訂正符号化部４０７にて誤り訂正符号が付加され（ステップＳ７０７）、第２の伝送部４０８によってＬｉｎｋ−Ｂを使って伝送される（ステップＳ７０８）。

図１８は、エンコーダ４００によるここまでの処理の概念図である。この図では１６台のカメラによる１６視点の超立体画像４２０を伝送する場合を示している。フレーム分離部４０１は、１６視点の超立体画像４２０を視点毎の画像であるフレーム４２１（ｆｒａｍｅ０−ｆｒａｍｅ１５）に分離する。周波数分解部４１１は、分離されたフレーム４２１を低周波成分４２２と高周波成分４２３にさらに分離するが、この例では、水平方向のみに視差を有する超立体画像を得るために、水平方向の周波数についてのみ周波数分解を行った場合を示している。この場合、１６視点の画像の低周波成分をハイビジョンサイズにダウンコンバートするために、周波数分解部４１１は周波数分解を４段階行うことによって元の１／１６のサイズの低周波成分４２２を生成する。生成された１６個の低周波成分４２２は分離結合部４１２にて互いに結合されて立体モニター用のダウンコン画像４２４となる。

図１７に戻って、一方、各フレーム４２１の高周波成分４２３はそれぞれフレーム毎のアップコン用補間画像として、エントロピー符号化部４０６と誤り訂正符号化部４０７によって圧縮符号化された後（ステップＳ７０６、Ｓ７０７）、第２の伝送部４０８によってＬｉｎｋ−Ｂを使って伝送される（ステップＳ７０８）。

［デコーダ４５０の構成］
次に、上記のエンコーダ４００により圧縮符号化された画像をデコードするデコーダ３５０の構成を説明する。
図１９はデコーダ４５０の構成を示すブロック図である。このデコーダ４５０は、第１の伝送部４５１（画像取得部）、分離部４５５（フレーム分離部）、第２の伝送部４５２（画像取得部）、誤り訂正復号部４５３、エントロピー逆符号化部４５４（伸張復号分）、結合部４５６、周波数逆分解部４５７を備える。ここで、分離部４５５、結合部４５６、周波数逆分解部４５７は画像復元部を構成する。

第１の伝送部４５１は、Ｌｉｎｋ−Ａを通じて伝送されてきた立体モニター用のダウンコン画像を受信し、分離部４５５に供給する。

分離部４５５は、第１の伝送部４５１より供給された立体モニター用のダウンコン画像からフレーム毎の低周波成分を分離して結合部４５６に供給する。

第２の伝送部４５２は、Ｌｉｎｋ−Ｂを通じて伝送されてきたフレーム毎のアップコン用補間画像を受信し、誤り訂正復号部４５３に供給する。

誤り訂正復号部４５３は、第２の伝送部４５２より供給されたフレーム毎のアップコン用補間画像の誤り訂正復号を行う。

エントロピー逆符号化部４５４は、誤り訂正復号部４５３にて復号されたフレーム毎のアップコン用補間画像のエントロピー逆符号化を行って、その結果を結合部４５６に供給する。

結合部４５６は、分離部４５５より供給されたフレーム毎の低周波成分とエントロピー逆符号化部４５４より供給されたアップコン用補間画像とを同じ視点のものどうし結合して、その結果を周波数逆分解部４５７に供給する。

周波数逆分解部４５７は、結合部４５６によって互いに結合された画像の低周波成分とアップコン用補間画像とから周波数逆分解によって超立体画像を復元する。

［デコーダ４５０の動作］
図２０はデコーダ４５０の動作の手順を示すフローチャートである。
まず、デコーダ４５０の初期化処理が行われる（ステップＳ８０１）。この後、Ｌｉｎｋ−ＡとＬｉｎｋ−Ｂを通じて伝送されてきた立体モニター用のダウンコン画像とフレーム毎のアップコン用補間画像をそれぞれ第１の伝送部４５１および第２の伝送部４５２で受信する（ステップＳ８０２）。

第１の伝送部４５１にて受信された立体モニター用のダウンコン画像は分離部４５５にてフレーム毎の低周波成分に分離され（ステップＳ８０３）、結合部４５６に供給される。

その一方で、第２の伝送部４５２にて受信されたフレーム毎のアップコン用補間画像は、誤り訂正復号部４５３にて復号された後（ステップＳ８０４）、エントロピー逆符号化部４５４にてエントロピー逆符号化されて（ステップＳ８０５）、その結果は結合部４５６に供給される。

結合部４５６では、分離部４５５から供給されたフレーム毎の低周波成分と、誤り訂正復号部４５３から供給されたフレーム毎のアップコン用補間画像とが結合され（ステップＳ８０６）、その結果が周波数逆分解部４５７に供給される。そして、周波数逆分解部４５７にて、結合部４５６により互いに結合された低周波成分とアップコン用補間画像とから周波数逆分解によって超立体画像が復元される（ステップＳ８０７）。

以上のように、本実施形態のエンコーダ４００およびデコーダ４５０によれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、超立体画像を良好に伝送することができる。また、カメラのモニターやビューファインダーにモニタリング画像を表示させることも可能になる。

＜第５の実施形態＞
［５．超広角画像に適したエンコーダとデコーダ］
本実施形態は、２チャンネルのデジタル信号伝送路を用いて２つのハイビジョン画像を同時伝送することが可能な例えば現行の３Ｄ画像伝送システムなどをインフラとして用いて、超広角画像や複数のスティッチング画像など、モニタリング用の画面と縦横比が異なる画像を伝送することのできるエンコーダとデコーダに関するものである。

［エンコーダ５００の構成］
図２１は、本技術に係る第５の実施形態のエンコーダ５００の構成を示すブロック図である。
同図に示すように、このエンコーダ５００は、サイズ調整部５１１、周波数分解部５０１（画像分解部）、分岐部５０２、補助画像付加部５０３、第１の伝送部５０５、エントロピー符号化部５０６、誤り訂正符号化部５０７、第２の伝送部５０８、圧縮解析部５０９および表示処理部５１０を備える。

このエンコーダ５００には、超広角画像または複数のスティッチング画像など、モニタリング用の画面と縦横比が異なる画像が入力される。

サイズ調整部５１１は、入力された画像をモニタリング用の画面の縦横比となるように分離および／または結合することによってサイズの調整を行う。

周波数分解部５０１は、サイズ調整部５１１によってサイズ調整された画像を低周波成分と高周波成分に分離して分岐部５０２とエントロピー符号化部５０６に供給する。

分岐部５０２、補助画像付加部５０３、第１の伝送部５０５、エントロピー符号化部５０６、誤り訂正符号化部５０７、第２の伝送部５０８、および圧縮解析部５０９は、第１の実施形態のエンコーダ１００と同様であるため、説明を省略する。

［エンコーダ５００の動作］
図２２は第５の実施形態のエンコーダ５００の動作の手順を示すフローチャートである。
まず、エンコーダ５００の初期化処理が行われる（ステップＳ９０１）。この後、超広角画像や複数のスティッチング画像など、モニタリング用の画面と縦横比が異なる画像がエンコーダ５００に入力される（ステップＳ９０２）。エンコーダ５００に入力された画像は、サイズ調整部５１１にて、モニタリング用の画面の縦横比となるように分離および／または結合することによってサイズの調整がされる。

サイズ調整がされた画像は、その後、周波数分解部５０１にて低周波成分と高周波成分とに分離され、低周波成分は分岐部５０２に供給され、高周波成分はエントロピー符号化部５０６に供給される（ステップＳ９０３）。

低周波成分は、分岐部５０２にて第１の伝送部５０５と補助画像付加部５０３にそれぞれ供給される。これにより低周波成分が第１の伝送部５０５によってＬｉｎｋ−Ａを使って伝送される（ステップＳ９０６）。また、補助画像付加部５０３により補助画像が付加された低周波成分は、表示処理部３１０を通してカメラのモニターやビューファインダーなどに供給されてモニタリング画像として表示される。

図２３は入力された超広角画像の横方向の解像度がハイビジョンサイズの８倍、縦方向の解像度がハイビジョンサイズの２倍である場合のエンコーダ５００の処理の概念図である。この場合、サイズ調整部５１１は超広角画像を左右に２等分の位置で分離し、上下に連結することによって、ハイビジョンサイズの１６倍の解像度の画像５２１とする。周波数分解部５０１は、この画像５２１に対して２段階の周波数分離を行うことによってハイビジョンサイズの低周波成分５２２を生成する。

一方、周波数分解部５０１で分離された高周波成分（図２３の符号５２３）はエントロピー符号化部５０６にてエントロピー符号化された後（ステップＳ９０４）、誤り訂正符号化部５０７にて誤り訂正符号が付加される（ステップＳ９０５）。誤り訂正符号が付加された高周波成分は第２の伝送部５０８によってＬｉｎｋ−Ｂを使って伝送される（ステップＳ９０６）。

［デコーダ５５０の構成］
次に、上記のエンコーダ５００により圧縮符号化された画像をデコードするデコーダ５５０の構成を説明する。
図２４はデコーダ５５０の構成を示すブロック図である。このデコーダ５５０は、第１の伝送部５５１（画像取得部）、第２の伝送部５５２（画像取得部）、誤り訂正復号部５５３、エントロピー逆符号化部５５４、周波数逆分解部５５５、および分離結合部５５６を備える。

第１の伝送部５５１は、Ｌｉｎｋ−Ａを通じて伝送されてきた超広角画像の低周波成分を受信し、分離結合部５５６に供給する。

第２の伝送部５５２は、Ｌｉｎｋ−Ｂを通じて伝送されてきた超広角画像の高周波成分を受信し、誤り訂正復号部５５３に供給する。

誤り訂正復号部５５３は、第２の伝送部５５２より供給された超広角画像の高周波成分の誤り訂正復号を行う。

エントロピー逆符号化部５５４は、誤り訂正復号部５５３にて復号された超広角画像の高周波成分のエントロピー逆符号化を行う。

周波数逆分解部５５５は、第１の伝送部５５１より供給される超広角画像の低周波成分とエントロピー逆符号化部５５４より供給される超広角画像の高周波成分とを周波数逆分解により結合して、サイズ調整後の超広角画像（図２３の符号５２１）を復元する。

分離結合部５５６は、周波数逆分解部５５５により復元された超広角画像がモニター画面に収まるように、復元された超広角画像を分離する。
［デコーダ５５０の動作］
図２５はデコーダ５５０の動作の手順を示すフローチャートである。
まず、デコーダ５５０の初期化処理が行われる（ステップＳ１００１）。この後、Ｌｉｎｋ−ＡとＬｉｎｋ−Ｂを通じてそれぞれ伝送されてきた超広角画像や複数のスティッチング画像など、モニタリング用の画面と縦横比が異なる画像の低周波成分と超広角画像の高周波成分をそれぞれ第１の伝送部５５１および第２の伝送部５５２で受信する（ステップＳ１００２）。

第１の伝送部５５１にて受信された画像の低周波成分は周波数逆分解部５５５に供給される。一方、第２の伝送部５５２にて受信された画像の高周波成分は、誤り訂正復号部５５３にて復号された後（ステップＳ１００３）、エントロピー逆符号化部５５４にて逆符号化されて（ステップＳ１００４）、周波数逆分解部５５５に供給される。そして周波数逆分解部５５５にて、第１の伝送部５５１より供給された画像の低周波成分とエントロピー逆符号化部５５４より供給された高周波成分とが周波数逆分解により結合され、サイズ調整前の画像が復元される。

以上のように、本実施形態のエンコーダ５００およびデコーダ５５０によれば、例えば現行の３Ｄ画像伝送システムなどのインフラをそのまま用いて、超広角画像や複数のスティッチング画像など、モニタリング用の画面と縦横比が異なる画像を伝送することができる。また、カメラのモニターやビューファインダーにモニタリング画像を表示させることも可能になる。

＜第６の実施形態＞
［６．ハイブリッド方式のエンコーダシステムとデコーダシステム］
本実施形態は、２チャンネルの伝送画像に複数の種類のエンコーダによって圧縮符号化された複数の画像を混在させて伝送し、デコーダ側でそれぞれの画像のエンコード方法に合せてデコード処理を行うことのできるハイブリッド方式のエンコーダシステムとデコーダシステムに関するものである。

２チャンネルの伝送画像に複数の種類のエンコーダによって圧縮符号化された複数の画像を混在させて伝送するとは、例えは次のようなことである。

図２６は、ハイビジョンサイズの３つのスティッチング画像６２１、６２２、６２３と４Ｋハイビジョンサイズの１つの超高解像度画像６２４を２チャンネルの伝送画像にエンコードする場合の概念図である。
ここで、ハイビジョンサイズの３つのスティッチング画像６２１、６２２、６２３はそれぞれ、低周波成分６２１Ｌ、６２２Ｌ、６２３Ｌと高周波成分のエントロピー符号画像６２１Ｈ、６２２Ｈ、６２３Ｈとに分離されたこととする。一方、４Ｋハイビジョンサイズの超高解像画像６２４はダウンコン画像６２４Ｌと高周波成分のエントロピー符号画像６２４Ｈとに分離されたこととする。

３つのスティッチング画像の低周波成分６２１Ｌ、６２２Ｌ、６２３Ｌとダウンコン画像６２４Ｌはそれぞれ、Ｌｉｎｋ−Ａを伝送される伝送画像（以下「第１のチャンネルの伝送画像」と呼ぶ。）の空間を分割する４つのセクションにそれぞれ割り当てられて伝送される。また、３つのエントロピー符号画像６２１Ｈ、６２２Ｈ、６２３Ｈとエントロピー符号画像６２４Ｈは、Ｌｉｎｋ−Ｂを伝送される画像（以下「第２のチャンネルの伝送画像」と呼ぶ。）の空間内の４つのセクションに割り当てられて伝送される。

また、図２７および図２８に示すように、第１のチャンネルの伝送画像および第２のチャンネルの伝送画像それぞれの空間内のセクションは、これを分割するさらに細かい複数のセクションで構成されてもよい。

ところで、２チャンネルの伝送画像に複数の種類のエンコーダによって圧縮符号化された複数の画像を混在させて伝送する場合には、デコーダ時に少なくとも次のような情報が必要である。
１．第１のチャンネルの伝送画像の各セッションへの画像の割当に関する情報（第１の割当情報）、
２．第２のチャンネルの伝送画像の各セッションへの画像の割当に関する情報（第２の割当情報）、
３．第１のチャンネルの伝送画像におけるセッションと第２のチャンネルの伝送画像におけるセッションとの対応関係を示す紐付け情報。

そこで、これらの情報をヘッダ情報として第１のチャンネルの伝送画像および第２のチャンネルの伝送画像にそれぞれ付加し、デコード時にそのヘッダ情報を解析してその結果をもとにデコードを行う、といった仕組みが必要である。以下、この仕組みを用いたエンコーダシステムおよびデコーダシステムをそれぞれハイブリッド方式のエンコーダシステムおよびデコーダシステムとして説明する。

［ハイブリッド方式のエンコーダシステムの構成］
図２９はハイブリッド方式のエンコーダシステム６００の構成を示すブロック図である。
このエンコーダシステム６００は、エンコーダ選択部６０１、複数の種類のエンコーダ１００ａ，２００ａ，３００ａ，４００ａ，５００ａ、第１の伝送画像構成部６０２、第２の伝送画像構成部６０３、第１の伝送部６０４、および第２の伝送部６０５を有する。

エンコーダ選択部６０１は、入力画像に対して処理を行うエンコーダを選択する。このエンコーダ選択部６０１によってどの入力画像をどのエンコーダで処理するかは、例えばユーザによって設定されてもよい。

複数の種類のエンコーダ１００ａ，２００ａ，３００ａ，４００ａ，５００ａはそれぞれ、例えば、第１の実施形態から第５の実施形態のエンコーダ１００、２００、３００、４００、５００の構成から少なくとも第１の伝送部、第２の伝送部などを除いたものである。

第１の伝送画像構成部６０２は、エンコーダ選択部６０１によって選択された複数のエンコーダによる処理結果のうち、第１のチャンネルの伝送画像に割り当てられる処理結果（例えば超高解像度画像の低周波成分およびダウンコン画像、超高速画像の等倍速フレーム、超立体画像のダウンコン画像、超広角画像およびスティッチング画像の低周波成分など）を第１のチャンネルの伝送画像における複数のセクションに割り当てる。第１の伝送画像構成部６０２は、第１の割当情報と紐付け情報を含む第１のヘッダ情報を生成し、これを第１のチャンネルの伝送画像に付加して第１の伝送部６０４に供給する。

第２の伝送画像構成部６０３は、エンコーダ選択部６０１によって選択された複数のエンコーダによる処理結果のうち、第２のチャンネルの伝送画像に割り当てられる処理結果（例えば超高解像度画像の高周波成分のエントロピー符号画像、超高解像度画像のアップコン用補間画像のエントロピー符号画像、超高速画像のフレーム間補間画像のエントロピー符号画像、超立体画像のアップコン用補間画像のエントロピー符号画像、超広角画像およびスティッチング画像の高周波成分のエントロピー符号画像）を第２のチャンネルの伝送画像における複数のセクションに割り当てる。第２の伝送画像構成部６０３は、第２の割当情報と紐付け情報を含む第２のヘッダ情報を生成して第２のチャンネルの伝送画像に付加して第２の伝送部６０５に供給する。

なお、紐付け情報は、第１のヘッダ情報および第２のヘッダ情報のいずれか一方に含まれていればよい。また、第１のヘッダ情報と第２のヘッダ情報の内容を合わせて１つのヘッダ情報とし、これを第１のチャンネルの伝送画像および第２のチャンネルの伝送画像のいずれか一方に付加するだけでも構わない。すなわち、第１の割当情報、第２の割当情報、紐付け情報が、選択されたデコーダに伝達されれば、どのような仕組みで伝達してもよい。

第１の伝送部６０４は、第１の伝送画像構成部６０２により生成された第１のチャンネルの伝送画像をＬｉｎｋ−Ａを通じて伝送する。

第２の伝送部６０５は、第２の伝送画像構成部６０３により生成された第２のチャンネルの伝送画像をＬｉｎｋ−Ｂを通じて伝送する。

次に、図２６に示したように、ハイビジョンサイズの３つのスティッチング画像６２１、６２２、６２３と４Ｋハイビジョンサイズの１つの超高解像度画像６２４を入力画像とした場合のエンコーダシステム６００の動作を説明する。

まず、エンコーダ選択部６０１は、例えば、予めユーザにより設定された情報をもとに、ハイビジョンサイズの３つのスティッチング画像６２１、６２２、６２３を処理するエンコーダとしてエンコーダ５００ａを選択し、４Ｋハイビジョンサイズの超高解像度画像６２４を処理するエンコーダとしてエンコーダ２００ａを選択する。

エンコーダ５００ａによって、３つのスティッチング画像６２１、６２２、６２３からそれぞれ、低周波成分６２１Ｌ、６２２Ｌ、６２３Ｌと高周波成分のエントロピー符号画像６２１Ｈ、６２２Ｈ、６２３Ｈが生成される。

一方、エンコーダ２００ａによって、４Ｋハイビジョンサイズの超高解像度画像６２４から、ダウンコン画像６２４Ｌと高周波成分のエントロピー符号画像６２４Ｈが生成される。

第１の伝送画像構成部６０２は、エンコーダ５００ａによって生成された３つの低周波成分６２１Ｌ、６２２Ｌ、６２３Ｌと、エンコーダ２００ａによって生成されたダウンコン画像６２４Ｌを第１のチャンネルの伝送画像における４つのセクションに割り当て、第１の割当情報を生成する。

一方、第２の伝送画像構成部６０３は、エンコーダ５００ａによって生成された高周波成分のエントロピー符号画像６２１Ｈ、６２２Ｈ、６２３Ｈとエンコーダ２００ａによって生成された高周波成分のエントロピー符号画像６２４Ｈを第２のチャンネルの伝送画像における４つのセクションに割り当て、第２の割当情報を生成する。

第１の伝送画像構成部６０２および第２の伝送画像構成部６０３は、各自の割当情報を交換し、これらをもとに紐付け情報を生成し、第１のヘッダ情報および第２のヘッダ情報を作成する。

第１の伝送画像構成部６０２は、第１の割当情報と紐付け情報を含む第１のヘッダ情報を第１のチャンネルの伝送画像に付加して第１の伝送部６０４に供給する。この後、第１の伝送部６０４によって、第１のヘッダ情報が付加された第１のチャンネルの伝送画像がＬｉｎｋ−Ａを使って伝送される。

一方、第２の伝送画像構成部６０３も同様に、第２の割当情報と紐付け情報を含む第２のヘッダ情報を第２のチャンネルの伝送画像に付加して第２の伝送部６０５に供給する。この後、第２の伝送部６０５によって、第２のヘッダ情報が付加された第２のチャンネルの伝送画像がＬｉｎｋ−Ｂを使って伝送される。

［ハイブリッド方式のデコーダシステムの構成］
図３０は、ハイブリッド方式のデコーダシステム６５０の構成を示すブロック図である。
このデコーダシステム６５０は、第１の伝送部６５１（画像取得部）、第２の伝送部６５２（画像取得部）、第１のヘッダ解析部６５３、第２のヘッダ解析部６５４、複数の種類のデコーダ１５０ａ，２５０ａ，３５０ａ，４５０ａ，５５０ａを有する。

第１の伝送部６５１は、Ｌｉｎｋ−Ａを通じて伝送されてきた第１のチャンネルの伝送画像を受信し、第１のヘッダ解析部６５３に供給する。

第２の伝送部６５２は、Ｌｉｎｋ−Ｂを通じて伝送されてきた第２のチャンネルの伝送画像を受信し、第２のヘッダ解析部６５４に供給する。

第１のヘッダ解析部６５３は、第１の伝送部６５１より供給された第１のチャンネルの伝送画像に付加された第１のヘッダ情報に含まれる第１の割当情報をもとに、第１のチャンネルの伝送画像におけるセクション毎の画像のデコードに適したそれそれのデコーダを判断して、それらのデコーダにセッション毎の画像を供給する。

第２のヘッダ解析部６５４は、第２の伝送部６５２より供給された第２のチャンネルの伝送画像に付加された第２のヘッダ情報に含まれる第２の割当情報をもとに、第２のチャンネルの伝送画像におけるセクション毎の画像のデコードに適したそれそれのデコーダを判断して、それらのデコーダにセッション毎の画像を供給する。

また、第１のヘッダ解析部６５３および第２のヘッダ解析部６５４は、第１のヘッダ情報および第２のヘッダ情報にそれぞれ含まれる紐付け情報をもとに、第１のチャンネルの伝送画像における各セッションの画像と第２のチャンネルの伝送画像における各セクションの画像において互いに同期して共通のデコーダに供給すべき画像を判断する。これにより、それぞれのデコーダにおいて、組み合せて処理すべき２つの画像が正しく取得される。

複数の種類のデコーダ１５０ａ，２５０ａ，３５０ａ，４５０ａ，５５０ａは、例えば、第１の実施形態から第５の実施形態のデコーダ１５０、２５０、３５０、４５０、５５０の構成から少なくとも第１の伝送部、第２の伝送部などを除いたものである。

次に、図２６に示した第１のチャンネルの伝送画像と第２のチャンネルの伝送画像を受信した場合のデコーダシステム６５０の動作を説明する。

第１のヘッダ解析部６５３は、第１のチャンネルの伝送画像に付加された第１のヘッダ情報に含まれる第１の割当情報から、第１のチャンネルの伝送画像における各セクションには、３つのスティッチング画像６２１、６２２、６２３それぞれの低周波成分６２１Ｌ、６２２Ｌ、６２３Ｌと、超高解像画像６２４のダウンコン画像６２４Ｌが割り当てられていることを判定する。

一方、第２のヘッダ解析部６５４は、第２のチャンネルの伝送画像に付加された第２のヘッダ情報に含まれる第２の割当情報から、第２のチャンネルの伝送画像における各セクションには、３つのスティッチング画像６２１、６２２、６２３それぞれの高周波成分のエントロピー符号画像６２１Ｈ、６２２Ｈ、６２３Ｈと、超高解像画像６２４の高周波成分のエントロピー符号画像６２４Ｈが割り当てられていることを判定する。

さらに、第１のヘッダ解析部６５３および第２のヘッダ解析部６５４は第１のヘッダ情報および第２のヘッダ情報にそれぞれ含まれる紐付け情報をもとに、第１のチャンネルの伝送画像における各セッションの画像と第２のチャンネルの伝送画像における各セクションの画像において互いに同期して共通のデコーダに供給すべき画像を判断する。

第１のヘッダ解析部６５３および第２のヘッダ解析部６５４は、以上の判定結果をもとに、次のように第１のチャンネルの伝送画像および第２のチャンネルの伝送画像の各セクションの画像を各デコーダ１５０ａ，２５０ａ，３５０ａ，４５０ａ，５５０ａに選択的に供給する。

１．第１のヘッダ解析部６５３からデコーダ５５０ａに、スティッチング画像６２１の低周波成分６２１Ｌが供給されるとともに、第２のヘッダ解析部６５４からデコーダ５５０ａにスティッチング画像６２１の高周波成分のエントロピー符号画像６２１Ｈが供給される。これによりデコーダ５５０ａにおいてスティッチング画像６２１のデコードが行われる。
２．次に、第１のヘッダ解析部６５３からデコーダ５５０ａに、スティッチング画像６２２の低周波成分６２２Ｌが供給されるとともに、第２のヘッダ解析部６５４からデコーダ５５０ａにスティッチング画像６２２の高周波成分のエントロピー符号画像６２２Ｈが供給される。これによりデコーダ５５０ａにおいてスティッチング画像６２２のデコードが行われる。
３．次に、第１のヘッダ解析部６５３からデコーダ５５０ａに、スティッチング画像６２３の低周波成分６２３Ｌが供給されるとともに、第２のヘッダ解析部６５４からデコーダ５５０ａにスティッチング画像６２３の高周波成分のエントロピー符号画像６２３Ｈが供給される。これによりデコーダ５５０ａにおいてスティッチング画像６２３のデコードが行われる。
４．第１のヘッダ解析部６５３からデコーダ２５０ａに、超高解像画像６２４のダウンコン画像６２４Ｌが供給されるとともに、第２のヘッダ解析部６５４からデコーダ２５０ａに、超高解像画像６２４の高周波成分のエントロピー符号画像６２４Ｈが供給される。これによりデコーダ２５０ａにおいて超高解像画像６２４のデコードが実行される。

以上のように、本実施形態によれば、２チャンネルの伝送画像に複数の種類のエンコーダによって圧縮符号化された複数の画像を混在させて伝送し、デコーダ側でそれぞれの画像のエンコード方法に合せてデコード処理を行うことができる。

なお、伝送画像の空間を複数の矩形領域に分割した場合は最大１フレーム程度の遅延が発生する可能性がある。これを低減するために、ピクセル単位で順番に各セクションの画像情報を並べていくなどの対策がある。ただし、ピクセルを交互にならべた場合は、このままモニターを見ても複数画像が混ざった画像になるため、モニター表示の際に、ピクセルの並び変え処理が必要となる。

［カメラシステム］
図３１は上記の各実施形態のエンコーダおよびデコーダを用いたカメラシステム１０００の構成を示すブロック図である。
カメラシステム１０００は、カメラ１００１、ＣＣＵ（Camera Control Unit）１００２、デコーダＢＯＸ１００３などで構成される。カメラ１００１とＣＣＵ１００２とは、現行の３Ｄ画像伝送システムにおいて採用されてきた２チャンネルの伝送路を通じて互いに双方向に通信可能なように接続される。ＣＣＵ１００２とデコーダＢＯＸ１００３も同様に２チャンネルの伝送路を通じて互いに接続される。

カメラ１００１はエンコーダを内蔵する。カメラ１００１は例えば超高解像度カメラ、超高速カメラ、超立体画像を得るために視点毎の複数のカメラ、超広角カメラなどとすることができる。

ＣＣＵ１００２には、ユーザからの操作入力を受け付けることのできるコントロールパネル１００４が接続されている。ＣＣＵ１００２は、コントロールパネル１００４に対するユーザからの指示入力を受け付けて、この指示に対応するコマンドを生成し、カメラ１００１に送信することによってカメラ１００１を制御することが可能である。

デコーダＢＯＸ１００３はデコーダを内蔵する機器である。
２チャンネルの伝送路としては、例えば、ｉ．Ｌｉｎｋ（登録商標）、光ファイバー伝送、３Ｇ−ＳＤＩ（3G-Single Document Interface）などが用いられるが、これらに限定されない。また、２チャンネルの伝送路はストレージのような非同期の伝送手段であってもよい。

＜変形例１＞
［伝送アダプタ］
以上、本技術に係る実施形態として、エンコーダおよびデコーダを説明したが、本技術は、エンコーダより出力された画像を取り込み、他の伝送形式のデータに変換して他の機器に出力する伝送アダプタに応用することが可能である。

図３２は、伝送アダプタを用いたカメラシステム１１００の構成を示すブロック図である。
このカメラシステム１１００は、カメラ１１０１、伝送アダプタ１１１０、ＣＣＵ（Camera Control Unit）１１０２、デコーダＢＯＸ１１０３などで構成される。カメラ１１０１と伝送アダプタ１１１０とはＬｉｎｋ−ＡおよびＬｉｎｋ−Ｂで互いに接続されている。伝送アダプタ１１１０とＣＣＵ１１０２とは双方向の光ファイバー伝送路を通じて互いに接続されている。ＣＣＵ１１０２とデコーダＢＯＸ１１０３とはＬｉｎｋ−ＡおよびＬｉｎｋ−Ｂにより互いに接続されている。

ＣＣＵ１１０２は、コントロールパネル１１０４に対するユーザからの指示入力を受け付けて、この指示に対応するコマンドを生成し、伝送アダプタ１１１０を通じてカメラ１１０１に送信することによってカメラ１１０１を制御することが可能である。伝送アダプタ１１１０は表示部１１２０を有しており、例えば、Ｗａｖｒｅｔ変換された画像の低周波成分、ダウンコン画像など、Ｌｉｎｋ−Ａを伝送される画像を表示部１１２０を通して見ることが可能である。

図３３は、本変形例１の伝送アダプタ１１１０の構成を示すブロック図である。
伝送アダプタ１１１０は、第１の受信部１１１１、第２の受信部１１１２、第１の分岐部１１１３、第２の分岐部１１１４、補助情報付加部１１１５、表示処理部１１１６、圧縮解析部１１１７、送信部１１１８を有する。

第１の受信部１１１１は、カメラ１１０１内のエンコーダよりＬｉｎｋ−Ａを通じて送信されてきた画像を受信して第１の分岐部１１１３に供給する。

第２の受信部１１１２は、カメラ１１０１内のエンコーダよりＬｉｎｋ−Ｂを通じて送信されてきた画像を受信して第２の分岐部１１１４に供給する。

第１の分岐部１１１３は、第１の受信部１１１１より供給された画像を補助情報付加部１１１５および送信部１１１８に供給する。

第２の分岐部１１１４は、第２の受信部１１１２より供給された画像を圧縮解析部１１１７および送信部１１１８に供給する。

補助情報付加部１１１５は、第１の分岐部１１１３より供給された画像に例えばマーカー、ゼブラ、文字列など、画像をモニタリングするユーザを補助するための補助画像を付加する。補助画像を付加された画像は表示部１１２０に供給されて表示される。

圧縮解析部１１１７は、第２の分岐部１１１４より供給された画像の容量を解析してその結果を表示部１１２０に供給して表示させる。

送信部１１１８は、第１の分岐部１１１３より供給された画像および第２の分岐部１１１４より供給された画像の伝送形式を変換して相手側の機器に送信する。例えば、ｉ．Ｌｉｎｋ（登録商標）から光ファイバー伝送への変換、その逆向きの変換などを行うことが可能である。

この伝送アダプタ１１１０において、カメラ１１０１内のエンコーダよりＬｉｎｋ−Ａを通じて送信されてきた画像は第１の受信部１１１１にて受信される一方で、Ｌｉｎｋ−Ｂを通じて送信されてきた画像は第２の受信部１１１２にて受信される。第１の受信部１１１１にて受信された画像は第１の分岐部１１１３によって、補助情報付加部１１１５に出力され、ユーザを補助するための補助画像を付加されて表示部１１２０に表示される一方で、送信部１１１８にも供給される。

また、第２の受信部１１１２にて受信された画像は第２の分岐部１１１４によって圧縮解析部１１１７に出力され、ここで画像の容量が解析されて、その解析結果が表示部１１２０に表示されるとともに送信部１１１８にも供給される。そして送信部１１１８では、第１の分岐部１１１３より供給された画像および第２の分岐部１１１４より供給された画像が結合され、他の伝送形式の符号に変換され、ＣＣＵ１１０２に伝送される。

＜変形例２＞
次に、超立体画像などを生成するために複数のカメラにより撮影された画像の伝送に好適なマルチカメラ接続方式について説明する。マルチカメラ接続方式としてはカスケード接続がある。

図３４はこのカスケード接続によるマルチカメラシステム１２００の構成を示すブロック図である。
このマルチカメラシステム１２００において、複数のカメラ１２０１は一本の画像伝送ライン１２０２と一本の同期信号ライン１２０３で互いに直列に接続されている。各カメラ１２０１にはエンコーダがそれぞれ内蔵されている。最下流のカメラ１２０１のエンコーダの出力は伝送アダプタ１２０４と接続され、さらに伝送アダプタ１２０４はＣＣＵ１２０５と光伝送路などの伝送路を通じて互いに接続される。

画像伝送ライン１２０２はそれぞれのカメラ１２０１のエンコーダで時分割に使用される。すなわち、それぞれのカメラに内蔵されたエンコーダの第１の伝送部および第２の伝送部は、同期信号を基準に自らに予め割り当てられたタイミングで画像伝送ライン１２０２を使用して画像を伝送する。

この構成により、複数のカメラ１２０１および伝送アダプタ１２０４が一本の画像伝送ライン１２０２と同期信号ライン１２０３とで直列に接続されたマルチカメラシステム１２００を実現できる。

なお、この構成によると、撮像時には、各カメラ１２０１での同期信号の遅延量の違いを加味して撮像タイミングを進相または遅延させる処理を行うことが望ましい。あるいは、デコーダにおいて各カメラでの同期信号の遅延量を加味して同期補正を行うようにしてもよい。

ここまで、現行の３Ｄ画像伝送システムのインフラの利用を意識して２チャンネルのハイビジョン伝送画像で様々な形式の画像を伝送するためのエンコーダおよびデコーダについて説明してきた。しかし、本技術は、この現行の３Ｄ画像伝送システムのインフラの利用に縛られるものではない。例えば、第１の伝送部および／または第２の伝送部がそれぞれ、伝送画像をさらに複数のチャンネルに分割して伝送するような構成を採るようにしてもよい。より具体的には、次のような方式が考えられる。
１．１本のＬｉｎｋに、ダウンコン画像伝送用の１．５Ｇｂｐｓの帯域を割り当て、他の３本のリンクに圧縮符号化された画像伝送用の４．５Ｇｂｐｓの帯域を割り当てる。
２．２本のＬｉｎｋに、ダウンコン画像伝送用の３．０Ｇｂｐｓの帯域を割り当て、他の２本のリンクに圧縮符号化された画像伝送用の３．０Ｇｂｐｓの帯域を割り当てる。
３．１本のＬｉｎｋに、ダウンコン画像伝送用の１．５Ｇｂｐｓの帯域を割り当て、他の５本のリンクに圧縮符号化された画像伝送用の７．５Ｇｂｐｓの帯域を割り当てる。
その他、様々な応用が考えられる。

なお、本技術は以下のような構成も取ることができる。
（１） 画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力された画像からダウンコンバートによって前記モニタリング画像として利用可能なサイズの画像を前記第１の成分として生成するダウンコン部と、前記第１の成分を前記入力された画像のサイズまで画素拡大させた画像と前記入力された画像との差分を前記第２の成分として生成する第１の差分生成部と、を有する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備するエンコーダ。
（２） モニタリングのフレームレートより高いフレームレートで順次撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像の前記複数のフレームから前記モニタリングのフレームレートでフレームをモニタリングフレームとして分離して前記第１の成分を生成するフレーム分離部と、前記入力画像の各フレームそれぞれを周波数分解によって低周波成分と高周波成分に分解する周波数分解部と、前記分解された各フレームそれぞれの低周波成分について、前記モニタリングフレームと、このモニタリングフレームから次のモニタリングフレームまでの間の１以上のフレームである非モニタリングフレームとのそれぞれの差分を前記第２の成分として生成する差分生成部と、を有する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備するエンコーダ。
（３） 立体画像を構成するために異なる視点で撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像をフレーム毎に分離するフレーム分離部と、前記分離された各フレームをそれぞれ周波数分解により低周波成分と高周波成分に分解して、高周波成分を前記第２の成分として生成する周波数分解部と、前記各フレームについて前記分解された各低周波成分を結合して前記第１の成分を生成する結合部と、を有する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備するエンコーダ。
（４） モニタリング用の画面の縦横比に対して異なる縦横比を有する画像を入力し、この入力された画像を、前記モニタリング用の画面の縦横比となるように分離および／または結合するサイズ調整部と、
前記サイズ調整部より出力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部と、
前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
前記第２の成分を圧縮符号化する圧縮符号化部と、
前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
を具備するエンコーダ。
（５）前記（１）から（４）のいずれかに記載のエンコーダより伝送された前記第１のチャンネルの伝送画像を受信する第１の受信部と、
前記エンコーダより伝送された前記第２のチャンネルの伝送画像を受信する第２の受信部と、
前記第１の受信部により受信された前記第１のチャンネルの伝送画像および前記第２の受信部により受信された前記第２のチャンネルの伝送画像を結合し、伝送形式を変換して送信する送信部と
を具備する伝送アダプタ。
（６）前記（１）から（４）のいずれかに記載のエンコーダを内蔵する撮像装置。

１００…エンコーダ
１０１…周波数分解部
１０３…補助画像付加部
１０５…第１の伝送部
１０６…エントロピー符号化部
１０７…誤り訂正符号化部
１０８…第２の伝送部
１０９…圧縮解析部
１１０…表示処理部
１５０…デコーダ
１５１…第１の伝送部
１５２…第２の伝送部
１５３…誤り訂正復号部
１５４…エントロピー逆符号化部
１５５…周波数逆分解部
２００…エンコーダ
２０１…ダウンコン部
２０３…補助画像付加部
２０４…差分生成部
２０５…第１の伝送部
２０６…エントロピー符号化部
２０７…誤り訂正符号化部
２０８…第２の伝送部
２０９…圧縮解析部
２１０…表示処理部
２１１…周波数分解部
２５０…デコーダ
２５１…第１の伝送部
２５２…第２の伝送部
２５３…誤り訂正復号部
２５４…エントロピー逆符号化部
２５６…アップコン部
３００…エンコーダ
３０１…フレーム分離部
３０３…補助画像付加部
３０４…差分生成部
３０５…第１の伝送部
３０６…エントロピー符号化部
３０７…誤り訂正符号化部
３０８…第２の伝送部
３０９…圧縮解析部
３１０…表示処理部
３１１…周波数分解部
３５０…デコーダ
３５１…第１の伝送部
３５２…第２の伝送部
３５３…誤り訂正復号部
３５４…エントロピー逆符号化部
３５５…周波数逆分解部
３５６…差分復元部
３５７…フレーム連結部
３５８…周波数分解部
４００…エンコーダ
４０１…フレーム分離部
４０３…補助画像付加部
４０５…第１の伝送部
４０６…エントロピー符号化部
４０７…誤り訂正符号化部
４０８…第２の伝送部
４０９…圧縮解析部
４１０…表示処理部
４１１…周波数分解部
４１２…分離結合部
４１３…変換部
４５０…デコーダ
４５１…第１の伝送部
４５２…第２の伝送部
４５３…誤り訂正復号部
４５４…エントロピー逆符号化部
４５５…分離部
４５６…結合部
４５７…周波数逆分解部
５００…エンコーダ
５０１…周波数分解部
５０３…補助画像付加部
５０５…第１の伝送部
５０６…エントロピー符号化部
５０７…誤り訂正符号化部
５０８…第２の伝送部
５０９…圧縮解析部
５１０…表示処理部
５１１…サイズ調整部
５５０…デコーダ
５５１…第１の伝送部
５５２…第１の伝送部
５５３…誤り訂正復号部
５５４…エントロピー逆符号化部
５５５…周波数逆分解部
５５６…分離結合部
６００…エンコーダシステム
６０１…エンコーダ選択部
６０２…第１の伝送画像構成部
６０３…第２の伝送画像構成部
６０４…第１の伝送部
６０５…第２の伝送部
６５０…デコーダシステム
６５１…第１の伝送部
６５２…第２の伝送部
６５３…第１のヘッダ解析部
６５４…第２のヘッダ解析部
１０００…カメラシステム
１００１…カメラ
１００２…ＣＣＵ
１００３…デコーダＢＯＸ
１００４…コントロールパネル
１１００…カメラシステム
１１０１…カメラ
１１１０…伝送アダプタ
１１１１…第１の受信部
１１１２…第２の受信部
１１１７…圧縮解析部
１１１８…送信部

Claims (20)

1. 画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分とその他の第２の成分とに周波数分解によって分解する画像分解部と、
   前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
   前記第２の成分を圧縮符号化する圧縮符号化部と、
   前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
   を具備するエンコーダ。
2. 請求項１に記載のエンコーダであって、
   前記第１の成分にモニタリング用の補助画像を付加する補助画像付加部と、
   前記補助画像の付加された前記第１の成分を前記モニタリング画像として出力する出力部とをさらに具備する
   エンコーダ。
3. 請求項２に記載のエンコーダであって、
   前記圧縮符号化された第２の成分の容量を解析して解析結果を可視情報として出力する圧縮解析部をさらに具備する
   エンコーダ。
4. 請求項１に記載のエンコーダであって、
   前記第１の伝送部および／または前記第２の伝送部が、伝送画像をさらに複数のチャンネルに分割して伝送する
   エンコーダ。
5. 画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分とその他の第２の成分とに周波数分解によって分解する画像分解部と、
   前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
   前記第２の成分を圧縮符号化する圧縮符号化部と、
   前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
   を具備するエンコーダと組み合わせて用いることが可能なデコーダであって、
   前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
   前記取得した第２の成分を伸張復号する伸張復号部と、
   前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部と
   を具備するデコーダ。
6. 画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力された画像からダウンコンバートによって前記モニタリング画像として利用可能なサイズの画像を前記第１の成分として生成するダウンコン部と、前記第１の成分を前記入力された画像のサイズまで画素拡大させた画像と前記入力された画像との差分を前記第２の成分として生成する差分生成部と、を有する画像分解部と、
   前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
   前記第２の成分を圧縮符号化する圧縮符号化部と、
   前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
   を具備するエンコーダ。
7. 画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力された画像からダウンコンバートによって前記モニタリング画像として利用可能なサイズの画像を前記第１の成分として生成するダウンコン部と、前記第１の成分を前記入力された画像のサイズまで画素拡大させた画像と前記入力された画像との差分を前記第２の成分として生成する差分生成部と、を有する画像分解部と、
   前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
   前記第２の成分を圧縮符号化する圧縮符号化部と、
   前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
   を具備するエンコーダと組み合わせて用いることが可能なデコーダであって、
   前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
   前記取得した第２の成分の伸張復号する伸張復号部と、
   前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部であって、前記第１の成分を画素拡大により拡大し、この拡大画像と前記伸張復号された第２の成分とを加算することによって前記元の画像を復元する画像復元部と
   を具備するデコーダ。
8. モニタリングのフレームレートより高いフレームレートで順次撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像の前記複数のフレームから前記モニタリングのフレームレートでフレームをモニタリングフレームとして分離して前記第１の成分を生成するフレーム分離部と、前記入力画像の各フレームそれぞれを周波数分解によって低周波成分と高周波成分に分解する周波数分解部と、前記分解された各フレームそれぞれの低周波成分について、前記モニタリングフレームと、このモニタリングフレームから次のモニタリングフレームまでの間の１以上のフレームである非モニタリングフレームとのそれぞれの差分を前記第２の成分として生成する差分生成部と、を有する画像分解部と、
   前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
   前記第２の成分を圧縮符号化する圧縮符号化部と、
   前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
   を具備するエンコーダ。
9. モニタリングのフレームレートより高いフレームレートで順次撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像の前記複数のフレームから前記モニタリングのフレームレートでフレームをモニタリングフレームとして分離して前記第１の成分を生成するフレーム分離部と、前記入力画像の各フレームそれぞれを周波数分解によって低周波成分と高周波成分に分解する周波数分解部と、前記分解された各フレームそれぞれの低周波成分について、前記モニタリングフレームと、このモニタリングフレームから次のモニタリングフレームまでの間の１以上のフレームである非モニタリングフレームとのそれぞれの差分を前記第２の成分として生成する差分生成部と、を有する画像分解部と、
   前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
   前記第２の成分を圧縮符号化する圧縮符号化部と、
   前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
   を具備するエンコーダと組み合わせて用いることが可能なデコーダであって、
   前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
   前記取得した第２の成分の伸張復号する伸張復号部と、
   前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部であって、前記取得した第１の成分を周波数分解によって低周波成分と高周波成分に分解する周波数分解部と、前記分解された低周波成分と前記伸張復号された第２の成分とから前記非モニタリングフレームの低周波成分を復元する差分復元部と、前記復元された低周波成分と前記第２の成分に含まれる高周波成分とから周波数逆分解によって前記非モニタリングフレームを復元する周波数逆分解部と、前記第２の画像取得部により取得された前記第１の成分であるモニタリングフレームと前記周波数逆分解部により復元された１以上の非モニタリングフレームとを連結するフレーム連結部と、を有する画像復元部と
   を具備するデコーダ。
10. 立体画像を構成するために異なる視点で撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像をフレーム毎に分離するフレーム分離部と、前記分離された各フレームをそれぞれ周波数分解により低周波成分と高周波成分に分解して、高周波成分を前記第２の成分として生成する周波数分解部と、前記各フレームについて前記分解された各低周波成分を結合して前記第１の成分を生成する結合部と、を有する画像分解部と、
    前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
    前記第２の成分を圧縮符号化する圧縮符号化部と、
    前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
    を具備するエンコーダ。
11. 立体画像を構成するために異なる視点で撮影された複数のフレームで構成される画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部であって、前記入力画像をフレーム毎に分離するフレーム分離部と、前記分離された各フレームをそれぞれ周波数分解により低周波成分と高周波成分に分解して、高周波成分を前記第２の成分として生成する周波数分解部と、前記各フレームについて前記分解された各低周波成分を結合して前記第１の成分を生成する結合部と、を有する画像分解部と、
    前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
    前記第２の成分を圧縮符号化する圧縮符号化部と、
    前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
    を具備するエンコーダと組み合わせて用いることが可能なデコーダであって、
    前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
    前記取得した第２の成分を伸張復号する伸張復号部と、
    前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部であって、前記取得した第１の成分をフレーム毎に分離するフレーム分離部と、前記フレーム毎に分離された前記第１の成分と、前記伸張復号された第２の成分とを結合する結合部と、前記結合された前記第１の成分と第２の成分から周波数逆分解によって前記立体画像を復元する周波数逆分解部と、を有する画像復元部と
    を具備するデコーダ。
12. モニタリング用の画面の縦横比に対して異なる縦横比を有する画像を入力し、この入力された画像を、前記モニタリング用の画面の縦横比となるように分離および／または結合するサイズ調整部と、
    前記サイズ調整部より出力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部と、
    前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
    前記第２の成分を圧縮符号化する圧縮符号化部と、
    前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
    を具備するエンコーダ。
13. モニタリング用の画面の縦横比に対して異なる縦横比を有する画像を入力し、この入力された画像を、前記モニタリング用の画面の縦横比となるように分離および／または結合するサイズ調整部と、
    前記サイズ調整部より出力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部と、
    前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
    前記第２の成分を圧縮符号化する圧縮符号化部と、
    前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と、を具備するエンコーダと組み合わせて用いられるデコーダであって、
    前記第１のチャンネルの伝送画像として伝送された前記第１の成分および前記第２のチャンネルの伝送画像として伝送された前記第２の成分をそれぞれ取得する画像取得部と、
    前記取得した第２の成分の伸張復号する伸張復号部と、
    前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する画像復元部と
    を具備するデコーダ。
14. 入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部と、前記第２の成分を圧縮符号化する圧縮符号化部とを具備し、前記分解された前記第１の成分を出力するとともに、前記圧縮符号化された第２の成分を出力することが可能な複数のエンコーダであって、それぞれ前記画像分解部による画像分解の方式が互いに異なる複数のエンコーダと；
    入力された画像のエンコードに使用する複数の前記エンコーダを選択するエンコーダ選択部と；
    前記選択された複数のエンコーダより出力された複数の前記第１の成分を第１のチャンネルの伝送画像の空間を分割する複数のセクションに割り当て、当該割り当てに関する情報を少なくとも含む第１のヘッダ情報を生成して前記第１のチャンネルの伝送画像に付加する第１の伝送画像構成部と；
    前記第１のヘッダ情報が付加された前記第１のチャンネルの伝送画像を伝送する第１の伝送部と；
    前記選択された複数のエンコーダより出力された複数の前記第２の成分を前記第２のチャンネルの伝送画像の空間内を区分する複数のセクションに割り当て、当該割り当てに関する情報を少なくとも含む第２のヘッダ情報を生成して前記第２のチャンネルの伝送画像に付加する第２の伝送画像構成部と；
    前記第２のヘッダ情報が付加された前記第２のチャンネルの伝送画像を伝送する第２の伝送部と；
    を具備するエンコーダシステム。
15. 請求項１４に記載のエンコーダシステムであって、
    前記第１の伝送画像構成部および前記第２の伝送画像構成部のうち少なくとも一方は、前記第１のチャンネルの伝送画像の個々のセッションに割り当てられた個々の前記第１の成分と、前記第２のチャンネルの伝送画像の個々のセッションに割り当てられた個々の前記第２の成分とを互いに紐付ける紐付け情報を生成して、前記第１のヘッダ情報および前記第２のヘッダ情報の少なくとも一方に付加する
    エンコーダシステム。
16. 入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解する画像分解部と、前記第２の成分を圧縮符号化する圧縮符号化部とを具備し、前記分解された前記第１の成分を出力するとともに、前記圧縮符号化された第２の成分を出力することが可能な複数のエンコーダであって、それぞれ前記画像分解部による画像分解の方式が互いに異なる複数のエンコーダと；
    入力された画像のエンコードに使用する複数の前記エンコーダを選択するエンコーダ選択部と；
    前記選択された複数のエンコーダより出力された複数の前記第１の成分を第１のチャンネルの伝送画像の空間を分割する複数のセクションに割り当て、当該割り当てに関する情報を少なくとも含む第１のヘッダ情報を生成して前記第１のチャンネルの伝送画像に付加する第１の伝送画像構成部と；
    前記第１のヘッダ情報が付加された前記第１のチャンネルの伝送画像を伝送する第１の伝送部と；
    前記選択された複数のエンコーダより出力された複数の前記第２の成分を前記第２のチャンネルの伝送画像の空間内を区分する複数のセクションに割り当て、当該割り当てに関する情報を少なくとも含む第２のヘッダ情報を生成して前記第２のチャンネルの伝送画像に付加する第２の伝送画像構成部と；
    前記第２のヘッダ情報が付加された前記第２のチャンネルの伝送画像を伝送する第２の伝送部と；を具備するエンコーダシステムと組み合わせて用いられるデコーダシステムであって、
    前記複数のエンコーダにそれぞれ対応する複数のデコーダと；
    前記エンコーダシステムより伝送された前記第１のチャンネルの伝送画像および前記第２のチャンネルの伝送画像をそれぞれ取得する画像取得部と、
    前記取得された第１のチャンネルの伝送画像に付加された前記第１のヘッダ情報をもとに、前記第１のチャンネルの伝送画像の前記複数のセッションにそれぞれ割り当てられた複数の前記第１の成分を前記複数のデコーダに選択的に供給する第１のヘッダ解析部と、
    前記取得された第２のチャンネルの伝送画像に付加された前記第２のヘッダ情報をもとに、前記第２のチャンネルの伝送画像の前記複数のセッションにそれぞれ割り当てられた複数の前記第２の成分を前記複数のデコーダに選択的に供給する第２のヘッダ解析部と、
    を具備するデコーダシステム
17. 画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分とその他の第２の成分とに周波数分解によって分解する画像分解部と、
    前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
    前記第２の成分を圧縮符号化する圧縮符号化部と、
    前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と、を具備するエンコーダより伝送された前記第１のチャンネルの伝送画像を受信する第１の受信部と、
    前記エンコーダより伝送された前記第２のチャンネルの伝送画像を受信する第２の受信部と、
    前記第１の受信部により受信された前記第１のチャンネルの伝送画像および前記第２の受信部により受信された前記第２のチャンネルの伝送画像を結合し、伝送形式を変換して送信する送信部と
    を具備する伝送アダプタ。
18. 入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解し、
    前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力し、
    前記第２の成分を圧縮符号化し、
    前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する
    エンコード方法。
19. 入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分と、その他の第２の成分とに分解し、
    前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力し、
    前記第２の成分を圧縮符号化し、
    前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力するエンコード方法により前記第１のチャンネルの伝送画像として出力された前記第１の成分および前記第２のチャンネルの伝送画像として出力された前記第２の成分をそれぞれ取得し、
    取得した前記第２の成分の伸張復号し、
    前記取得した前記第１の成分と前記伸張復号された第２の成分とを結合して元の画像を復元する
    デコード方法。
20. 画像を入力し、この入力された画像を、互いに結合することにより復元可能な、モニタリング画像として利用可能な第１の成分とその他の第２の成分とに周波数分解によって分解する画像分解部と、
    前記分解された前記第１の成分を第１のチャンネルの伝送画像として出力する第１の伝送部と、
    前記第２の成分を圧縮符号化する圧縮符号化部と、
    前記圧縮符号化された第２の成分を第２のチャンネルの伝送画像として出力する第２の伝送部と
    を具備するエンコーダを内蔵する
    撮像装置。