JP2021170690A - 画像処理装置および方法 - Google Patents

Abstract

【課題】多波長データの処理の負荷の増大を抑制することができるようにする。【解決手段】被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、その生成された多波長データを符号化し、その多波長データの符号化データを生成し、その生成された符号化データを送信する。本開示は、例えば、画像処理装置、画像符号化装置、画像復号装置、撮像素子、または撮像装置等に適用することができる。【選択図】図１

Description

本開示は、画像処理装置および方法に関し、特に、多波長データの処理の負荷の増大を抑制することができるようにした画像処理装置および方法に関する。

従来、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを取得することができる撮像素子があった（例えば、特許文献１および特許文献２参照）。

例えば、このような撮像素子を用いて得た多波長データを利用して所謂精密農業を行うことが考えられた。

特開２００８−１３６２５１号公報 特開２０１７−２０１３１７号公報

しかしながら、多波長データはデータ量が大きいため、処理の負荷が増大するおそれがあった。そのためコストが増大するおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、多波長データの処理の負荷の増大を抑制することができるようにするものである。

本技術の一側面の画像処理装置は、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、前記撮像部により生成された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と、前記符号化部により生成された前記符号化データを送信する送信部とを備える画像処理装置である。

本技術の一側面の画像処理方法は、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、生成された前記多波長データを符号化し、前記多波長データの符号化データを生成し、生成された前記符号化データを送信する画像処理方法である。

本技術の他の側面の画像処理装置は、被写体を撮像し、複数の波長成分を含む画像データを生成する撮像部と、前記撮像部により生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する符号化部とを備える画像処理装置である。

本技術の他の側面の画像処理方法は、被写体を撮像し、複数の波長成分を含む画像データを生成し、生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する画像処理方法である。

本技術のさらに他の側面の画像処理装置は、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、前記撮像部により生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化する量子化部と、前記量子化部により量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部とを備える画像処理装置である。

本技術のさらに他の側面の画像処理方法は、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化し、量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する画像処理方法である。

本技術の一側面の画像処理装置および方法においては、被写体が撮像され、４以上の波長成分を含む画像データである多波長データが生成され、その生成された多波長データが符号化され、その多波長データの符号化データが生成され、その生成された符号化データが送信される。

本技術の他の側面の画像処理装置および方法においては、被写体が撮像され、複数の波長成分を含む画像データが生成され、その生成された画像データが、波長成分毎の量子化値を用いて量子化され、符号化される。

本技術のさらに他の側面の画像処理装置および方法においては、被写体が撮像され、４以上の波長成分を含む画像データである多波長データが生成され、その生成された多波長データが、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化され、その量子化された多波長データが符号化され、その多波長データの符号化データが生成される。

本開示によれば、画像を処理することができる。特に、多波長データの処理の負荷の増大を抑制することができる。

本技術を適用した画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 多波長データ符号化部の主な構成例を示すブロック図である。 多波長データ符号化処理の流れの例を説明するフローチャートである。 単波長データ符号化部の主な構成例を示すブロック図である。 単波長データ符号化処理の流れの例を説明するフローチャートである。 多波長データ復号部の主な構成例を示すブロック図である。 多波長圧縮ストリーム復号処理の流れの例を説明するフローチャートである。 単波長データ復号部の主な構成例を示すブロック図である。 単波長圧縮ストリーム復号処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 合成レポートの生成の様子の例を示す図である。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 ノイズリダクションフィルタの主な構成例を示すブロック図である。 ノイズリダクション処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 多波長データ処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 多波長データ処理の流れの例を説明するフローチャートである。 多波長データ処理の流れの例を説明する、図４０に続くフローチャートである。 リサンプル部の主な構成例を示すブロック図である。 リサンプル処理の流れの例を説明するフローチャートである。 リサンプル部の主な構成例を示すブロック図である。 リサンプル処理の流れの例を説明するフローチャートである。 リサンプル部の主な構成例を示すブロック図である。 LSBマスク処理の様子の例を示す図である。 リサンプル処理の流れの例を説明するフローチャートである。 量子化の様子の例を示す図である。 量子化の様子の例を示す図である。 撮像装置の主な構成例を示すブロック図である。 ゲイン調整型ベイヤデータ符号化部の主な構成例を示すブロック図である。 ゲイン調整型ベイヤデータ復号部の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 ベイヤデータ量子化処理の流れの例を説明するフローチャートである。 ベイヤデータ符号化処理の流れの例を説明するフローチャートである。 ベイヤ圧縮ストリーム復号処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 ゲイン調整型多波長データ符号化部の主な構成例を示すブロック図である。 ゲイン調整型多波長データ復号部の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ量子化処理の流れの例を説明するフローチャートである。 多波長データ符号化処理の流れの例を説明するフローチャートである。 多波長圧縮ストリーム復号処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 光波長分布の例を示す図である。 サンプリング間隔制御の様子の例を示す図である。 量子化値制御の様子の例を示す図である。 撮像装置の主な構成例を示すブロック図である。 多波長データ量子化部の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データ符号化処理の流れの例を説明するフローチャートである。 多波長データの例を示す図である。 多波長データの処理の様子の例を示す図である。 撮像装置の主な構成例を示すブロック図である。 固定長符号化の様子の例を示す図である。 撮像処理の流れの例を説明するフローチャートである。 多波長データの処理の様子の例を示す図である。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 撮像処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．共通技術説明
２．第１の実施の形態（多波長データの伝送）
３．第２の実施の形態（多波長データの記憶）
４．第３の実施の形態（波長成分毎の量子化制御）
５．第４の実施の形態（特定波長成分の保護）
６．付記

＜１．共通技術説明＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。

特許文献１：（上述）
特許文献２：（上述）
非特許文献１：http://www.secure-drone.org/precision-agriculture/
非特許文献２：https://www.optim.co.jp/it-industry/agriculture/case-study/tpa/
非特許文献３：https://ja.wikipedia.org/wiki/NDVI
非特許文献４：https://www.sci.osaka-cu.ac.jp/~masumoto/vuniv2000/gis09.html
非特許文献５：http://www.ebajapan.jp/spectral.html
非特許文献６：https://www.argocorp.com/cam/special/HeadWall/how_it_works.html
非特許文献７：https://www.klv.co.jp/product/easy_hyperspectral3.html

つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。

＜多波長データ＞
従来、例えば特許文献１や特許文献２に記載のような、被写体を撮像し、４以上の波長成分を含む画像データであるマルチスペクトル画像を取得することができる撮像素子があった。

近年、このような撮像素子を用いて得た多波長データを利用して、農業の生産管理等を行う所謂精密農業を行うことが考えられた。

精密農業では、例えば、人工衛星、空撮用ヘリコプタ、ドローン等により植物の生育状況の把握に必要な多波長データ等の撮影を行う。これらの機器において得られた撮影画像の多波長データは、サーバ（クラウド）等で構成される解析システムに伝送され、データ解析される。この解析結果に基づいて、育成状況が悪い場合には、追肥等の情報提供を実施する。

また、この多波長データは、サーバ（クラウド）等により記憶され、任意のタイミングにおいて利用される。例えば、記憶された多波長データは、例えば、数日後や数か月後等のように、後のタイミングにおいて行われる、植物の生育状況の把握等に利用される。

例えば、多波長データを利用することにより、NDVI（Normalized Difference Vegetation Index）等を検出することができる。この指標により、農作物の育成状況等を把握し、追肥等の対策としている。

多波長データの撮影には、４以上の波長成分を含む画像データを生成することができる撮像装置が用いられる。このような撮像装置として、例えば、ハイパースペクトルカメラがある。ハイパースペクトルとは、数十バンド（種類）以上に分光されたスペクトルのことである。ハイパースペクトル情報を取得することで、人間の目や既存のRGBカメラでは捉えることができない対象の特性や情報をとらえることができる。

ハイパースペクトルカメラは、このようなハイパースペクトル情報を画像1ピクセル毎に取得し、２次元の空間情報とハイパースペクトル情報を同時に取得することができるカメラである。例えば、ハイパースペクトルカメラでは３５０nm（近紫外）乃至１１００nm（近赤外）の波長を所定の波長間隔で分光し、ハイパースペクトル情報を生成する。例えば、ハイパースペクトルカメラは、ライン分光方式により測定視野１水平ライン分を垂直方向に分光し、２次元ディテクタにより水平空間情報とその分光情報を検出する。まず測定ターゲットより反射した光が光学レンズを通り、エントランス・スリットを通過し、コリメーションミラーを介して分光エンジン（グレーティング）に向かい、そこで水平１ライン分の光が分光される。分光された光はフォーカシングミラーを介して２次元ディテクタに向かい、横軸を空間情報、縦軸を波長情報として検出される。

このような多波長データからイメージ化したデータを生成する場合、測定ターゲット若しくはカメラを移動させ、複数の水平ラインを測定することにより２次元画像を生成することができる。

このような情報は、工業、農業、分析、バイオ、リモートセンシング等の多様な分野に利用されている。例えば、リサイクルの選別、外来種の植物の分布範囲の測定等に利用されている。

＜多波長データの処理負荷＞
しかしながら、多波長データはデータ量が大きいため、処理の負荷が増大するおそれがあった。そのためコストが増大するおそれがあった。例えば、上述のような精密農業において、端末の撮像装置において生成された多波長データは、サーバ（クラウド）等に伝送されて利用される。しかしながら、多波長データはデータ量が大きいため、この伝送の際の消費電力や回線利用料などのコストが増大するおそれがあった。また、通信回線が十分に確保できない場合、伝送にかかる時間が長くなるおそれもあった。

＜２．第１の実施の形態＞
＜２−１．多波長データの符号化と伝送＞
そこで、多波長データを符号化（圧縮）し、符号化データを送信するようにする。例えば、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、生成されたその多波長データを符号化し、その多波長データの符号化データを生成し、生成されたその符号化データを送信するようにする。例えば、画像処理装置において、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、その撮像部により生成された多波長データを符号化し、その多波長データの符号化データを生成する符号化部と、その符号化部により生成された符号化データを送信する送信部とを備えるようにする。

このようにすることにより、伝送するデータ量の増大を抑制することができる。つまり、多波長データの処理の負荷の増大を抑制することができる。

＜画像処理システム＞
図１は、本技術を適用した画像処理システムの構成の一例を示すブロック図である。図１に示される画像処理システム１００は、撮像装置１０１および情報処理装置１０２を有する。撮像装置１０１において生成された多波長データは、情報処理装置１０２に伝送されて処理される。この画像処理システム１００は、例えば、精密農業等に用いられるシステムを模式化したものである。例えば、撮像装置１０１は、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示し、情報処理装置１０２は、サーバ（クラウド）等のコンピュータ（画像処理装置）を示している。

撮像装置１０１は、多波長センサ１１１、多波長データ符号化部１１２、および送信部１１３を有する。多波長センサ１１１は、被写体を撮像して多波長データを生成する。この多波長センサ１１１は、被写体を撮像して多波長データを生成することができるデバイスであればどのようなものであってもよい。例えば、叙述のハイパースペクトルカメラであってもよい。多波長データ符号化部１１２は、その多波長データを符号化して、多波長データの符号化データを生成する。この符号化方法は任意である。送信部１１３は、その符号化データを、情報処理装置１０２に送信する。この撮像装置１０１と情報処理装置１０２との間の、多波長データを伝送する通信の通信方式は任意である。例えば、有線通信であってもよいし、無線通信であってもよい。

情報処理装置１０２は、受信部１２１、記憶部１２２、多波長データ復号部１２３、およびデータ解析部１２４を有する。受信部１２１は、撮像装置１０１（送信部１１３）から送信された多波長データの符号化データを受信する。受信部１２１は、その受信した符号化データを記憶部１２２に供給し、記憶させることができる。記憶部１２２は、例えばハードディスクや半導体メモリ等の、任意の記憶媒体を有し、符号化データを記憶する。また、受信部１２１は、受信した符号化データを多波長データ復号部１２３に供給することもできる。多波長データ復号部１２３は、受信部１２１または記憶部１２２から符号化データを取得し、それを復号し、多波長データを復元する。この復号方法は、多波長データ符号化部１１２の符号化方法に対応するものであれば任意である。データ解析部１２４は、その復元された多波長データを解析し、その解析結果を出力する。

＜撮像処理の流れ＞
撮像装置１０１により実行される撮像処理の流れの例を、図２のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ１１１は、ステップＳ１０１において、被写体を撮像し多波長データを生成する。ステップＳ１０２において、多波長データ符号化部１１２は、その多波長データを符号化し、符号化データ（多波長圧縮ストリーム）を生成する。ステップＳ１０３において、送信部１１３は、その多波長圧縮ストリームを送信する。

撮像装置１０１より送信された多波長圧縮ストリームは、情報処理装置１０２へ伝送される。

＜多波長データ処理の流れ＞
情報処理装置１０２により実行される多波長データ処理の流れの例を、図３のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１は、ステップＳ１１１において、撮像装置１０１から送信された多波長圧縮ストリームを受信する。ステップＳ１１２において、受信部１２１は、受信した多波長圧縮ストリームを記憶部１２２に記憶させるか否かを判定する。記憶されると判定された場合、ステップＳ１１３において、記憶部１２２は、その多波長圧縮ストリームを記憶する。記憶させないと判定された場合、この処理は省略される。

ステップＳ１１４において、多波長データ復号部１２３は、受信部１２１が受信した多波長圧縮ストリーム、または、記憶部１２２が記憶している多波長圧縮ストリームを取得して復号し、多波長データを復元する。データ解析部１２４は、ステップＳ１１５において、その復元された多波長データを解析してレポートを作成し、ステップＳ１１６において、そのレポートを出力する。

以上のように、多波長データを撮像装置１０１から情報処理装置１０２に送信する際に、多波長データを符号化して（符号化データを）伝送するようにする。このようにすることにより、伝送するデータ量の増大を抑制することができる。つまり、多波長データの処理の負荷の増大を抑制することができる。

＜多波長データ符号化部＞
多波長データの符号化は、例えば、波長成分毎に独立に行うようにしてもよい。図４は、この場合の多波長データ符号化部１１２の主な構成例を示すブロック図である。図４に示されるように、多波長データ符号化部１１２は、波長分離部１３１、単波長データ符号化部１３２−１乃至単波長データ符号化部１３２−Ｎ（Ｎは任意の自然数）、並びにストリーム合成部１３３を有する。単波長データ符号化部１３２−１乃至単波長データ符号化部１３２−Ｎを互いに区別して説明する必要がない場合、単波長データ符号化部１３２と称する。

波長分離部１３１は、多波長データを波長成分毎のデータ（単波長データ）に分離する。単波長データ符号化部１３２は、この波長成分毎に用意される。つまり、単波長データ符号化部１３２−１乃至単波長データ符号化部１３２−Ｎは、それぞれに対応する波長成分の単波長データを符号化し、その符号化データ（単波長圧縮ストリーム）を生成する。なお、この符号化方法は任意である。ストリーム合成部１３３は、これらの単波長圧縮ストリームを合成し、多波長圧縮ストリームを生成し、出力する（例えば、送信部１１３に供給する）。この合成の方法は任意である。

＜多波長データ符号化処理の流れ＞
この場合の多波長データ符号化部１１２により、図２のステップＳ１０２において実行される多波長データ符号化処理の流れの例を、図５のフローチャートを参照して説明する。多波長データ符号化処理が開始されると、ステップＳ１２１において、波長分離部１３１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ１２２において、単波長データ符号化部１３２は、各波長成分の単波長データを符号化し、単波長圧縮ストリームを生成する。ステップＳ１２３において、ストリーム合成部１３３は、各波長成分の単波長圧縮ストリームを合成し、多波長圧縮ストリームを生成する。

ステップＳ１２３の処理が終了すると多波長データ符号化処理が終了し、処理は、図２に戻る。

このようにすることにより、波長成分毎に符号化を行うことができるので、多波長データをより容易に符号化することができる。

＜単波長データ符号化部＞
単波長データの符号化は、例えば、量子化と、単波長データ同士の差分の符号化とを用いて行うようにしてもよい。つまり、各波長成分（単波長データ）を量子化し、量子化された単波長データ同士の差分を算出し、その差分を可変長符号化するようにしてもよい。

図６は、この場合の単波長データ符号化部１３２の主な構成例を示すブロック図である。図６に示されるように、単波長データ符号化部１３２は、量子化部１４１、ディレイバッファ１４２、演算部１４３、およびVLC（Variable Length Code）エンコーダ１４４を有する。

量子化部１４１は、単波長データを量子化する。ディレイバッファ１４２は、任意の記憶媒体を有し、量子化部１４１により量子化された単波長データを記憶（保持）し、１サイクル分遅延させて演算部１４３に供給する。演算部１４３は、量子化部１４１により量子化された単波長データと、ディレイバッファ１４２から供給される、１サイクル前の単波長データとの差分を算出する。VLCエンコーダ１４４は、演算部１４３により算出された差分を可変長符号化し、単波長圧縮ストリームを生成し、出力する（例えば、ストリーム合成部１３３に供給する）。この可変長符号化の方法は任意である。

＜単波長データ符号化処理の流れ＞
この場合の単波長データ符号化部１３２により、図５のステップＳ１２２において実行される単波長データ符号化処理の流れの例を、図７のフローチャートを参照して説明する。単波長データ符号化処理が開始されると、ステップＳ１３１において、量子化部１４１は、単波長データを量子化する。ステップＳ１３２において、ディレイバッファ１４２は、その量子化された単波長データを記憶し、遅延させる。ステップＳ１３３において、演算部１４３は、量子化された単波長データと１サイクル前の単波長データとの差分（単波長データの差分データ）を算出する。ステップＳ１３４において、VLCエンコーダ１４４は、その差分データを可変長符号化し、単波長圧縮ストリームを生成する。

ステップＳ１３４の処理が終了すると単波長データ符号化処理が終了し、処理は、図５に戻る。

このようにすることにより、各波長成分（単波長データ）をより容易に符号化することができる。

＜多波長データ復号部＞
多波長圧縮ストリームの復号は、例えば、波長成分毎に独立に行うようにしてもよい。図８は、この場合の多波長データ復号部１２３の主な構成例を示すブロック図である。図８に示されるように、多波長データ復号部１２３は、ストリーム分離部１５１、単波長データ復号部１５２−１乃至単波長データ復号部１５２−Ｎ（Ｎは任意の自然数）、並びに波長合成部１５３を有する。単波長データ復号部１５２−１乃至単波長データ復号部１５２−Ｎを互いに区別して説明する必要がない場合、単波長データ復号部１５２と称する。

ストリーム分離部１５１は、多波長圧縮ストリームを波長成分毎のストリーム（単波長圧縮ストリーム）に分離する。単波長データ復号部１５２は、この波長成分毎に用意される。つまり、単波長データ復号部１５２−１乃至単波長データ復号部１５２−Ｎは、それぞれに対応する波長成分の単波長圧縮ストリームを復号し、単波長データを復元する。なお、この復号方法は、単波長データ符号化部１３２による単波長データの符号化方法に対応するものであれば任意である。波長合成部１５３は、以上のように復元された各波長成分の単波長データを合成し、多波長データを復元し、出力する（例えば、データ解析部１２４に供給する）。

＜多波長データ復号処理の流れ＞
この場合の多波長データ復号部１２３により、図３のステップＳ１１４において実行される多波長データ復号処理の流れの例を、図９のフローチャートを参照して説明する。多波長データ復号処理が開始されると、ステップＳ１４１において、ストリーム分離部１５１は、多波長圧縮ストリームを波長成分毎の単波長圧縮ストリームに分離する。ステップＳ１４２において、単波長データ復号部１５２は、各波長成分の単波長圧縮ストリームを復号し、各波長成分の単波長データを復元する。ステップＳ１４３において、波長合成部１５３は、復元された各波長成分の単波長データを合成し、多波長データを復元する。

ステップＳ１４３の処理が終了すると多波長データ復号処理が終了し、処理は、図３に戻る。

このようにすることにより、波長成分毎に復号を行うことができるので、多波長データが波長成分毎に符号化された多波長圧縮ストリームを正しく復号することができる。

＜単波長データ復号部＞
単波長圧縮ストリームの復号は、例えば、可変長復号と、単波長データの加算と、逆量子化を用いて行うようにしてもよい。つまり、単波長圧縮ストリームを可変長復号して単波長データ同士の差分データを復元し、その差分データに１サイクル前の単波長データを加算することにより量子化された単波長データを復元し、その量子化された単波長データを逆量子化することにより、単波長データを復元するようにしてもよい。

図１０は、この場合の単波長データ復号部１５２の主な構成例を示すブロック図である。図１０に示されるように、単波長データ復号部１５２は、VLCデコーダ１６１、演算部１６２、ディレイバッファ１６３、および逆量子化部１６４を有する。

VLCデコーダ１６１は、単波長圧縮ストリームを可変長復号し、差分データを復元する。なお、この可変長復号の方法は、VLCエンコーダ１４４が行う可変長符号化の方法に対応する方法であれば任意である。また、演算部１６２は、ディレイバッファ１６３から供給される１サイクル前の量子化された単波長データをその差分データに加算し、量子化された単波長データを復元する。ディレイバッファ１６３は、その量子化された単波長データを記憶（保持）し、１サイクル分遅延させて演算部１６２に供給する。逆量子化部１６４は、演算部１６２により復元された、量子化された単波長データを逆量子化し、単波長データを復元し、出力する（例えば、波長合成部１５３に供給する）。

＜単波長圧縮ストリーム復号処理の流れ＞
この場合の単波長データ復号部１５２により、図９のステップＳ１４２において実行される単波長圧縮ストリーム復号処理の流れの例を、図１１のフローチャートを参照して説明する。単波長圧縮ストリーム復号処理が開始されると、ステップＳ１５１において、VLCデコーダ１６１は、単波長圧縮ストリームを可変長復号し、差分データを復元する。ステップＳ１５２において、演算部１６２は、復元した差分データに、１サイクル前の単波長データを加算し、量子化された単波長データを復元する。ステップＳ１５３において、ディレイバッファ１６３は、その復元された、量子化された単波長データを記憶し、遅延させる。ステップＳ１５４において、逆量子化部１６４は、量子化された単波長データを逆量子化し、単波長データを復元する。

ステップＳ１５４の処理が終了すると単波長圧縮ストリーム復号処理が終了し、処理は、図９に戻る。

このようにすることにより、各波長成分（単波長圧縮ストリーム）をより容易に復号することができる。

＜２−２．伝送レートに応じた符号化制御＞
多波長データ（多波長圧縮ストリーム）を送信する送信部が設定する伝送レート（目標伝送レート）に応じて、多波長データを符号化するか否かを制御するようにしてもよい。例えば、画像処理装置において、送信部の伝送レートに応じて、多波長データを符号化するか否かを制御する符号化制御部をさらに備え、その符号化制御部により符号化を行うように制御された場合、符号化部は、多波長データを符号化し、送信部は、その符号化部により生成された符号化データを送信し、また、符号化制御部により符号化を行わないように制御された場合、送信部は、撮像部により生成された多波長データを送信するようにしてもよい。

＜画像処理システム＞
図１２は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図１２に示されるように、この場合、撮像装置１０１は、図１の場合と比較して、フォーマット選択部１７１をさらに有する。送信部１１３は、通信路の利用状況等に応じて伝送レート（データ送信のレート）を設定し、設定した伝送レートをフォーマット選択部１７１に供給する。フォーマット選択部１７１は、その伝送レートに応じて多波長データを符号化するか否かを選択する。例えば、伝送レートが十分に大きい（利用可能な帯域幅が十分に広い）場合、フォーマット選択部１７１は、多波長データを符号化せずに送信させることを選択し、多波長センサ１１１により生成された多波長データを送信部１１３に供給する。また、例えば、伝送レートが十分に大きくない（利用可能な帯域幅が狭い）場合、フォーマット選択部１７１は、多波長データを符号化して送信させることを選択し、多波長センサ１１１により生成された多波長データを多波長データ符号化部１１２に供給し、符号化させる。送信部１１３は、フォーマット選択部１７１から供給される多波長データ、または、多波長データ符号化部１１２から供給される多波長データを送信する。

また、この場合、情報処理装置１０２は、図１の場合と比較して、記憶部１２２の代わりにフォーマット判定部１８１を有する。フォーマット判定部１８１は、撮像装置１０１から伝送されたデータのフォーマット（符号化されているか否か）を判定する。多波長データが伝送された（つまり符号化されていない）と判定された場合、フォーマット判定部１８１は、その多波長データをデータ解析部１２４に供給する。また、多波長圧縮ストリームが伝送された（つまり符号化されている）と判定された場合、フォーマット判定部１８１は、その多波長圧縮ストリームを多波長データ復号部１２３に供給する。データ解析部１２４は、フォーマット判定部１８１または多波長データ復号部１２３から供給される多波長データを解析する。

＜撮像処理の流れ＞
この場合、撮像処理は、図１３のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、多波長センサ１１１は、ステップＳ１６１において、被写体を撮像し多波長データを生成する。ステップＳ１６２において、送信部１１３は、伝送レートを設定する。ステップＳ１６３において、フォーマット選択部１７１は、その伝送レートに基づいてフォーマットを選択する（つまり、符号化するか否かを選択する）。ステップＳ１６４において、多波長データ符号化部１１２は、ステップＳ１６３のフォーマットの選択結果に基づいて多波長データを符号化するか否かを判定する。符号化すると判定された場合、多波長データ符号化部１１２は、ステップＳ１６５において、多波長データを符号化する。符号化しないと判定された場合、ステップＳ１６５の処理は省略される。ステップＳ１６６において、送信部１１３は、多波長圧縮ストリームまたは多波長データを送信する。

撮像装置１０１より送信された多波長圧縮ストリームまたは多波長データは、情報処理装置１０２へ伝送される。

＜多波長データ処理の流れ＞
この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図１４のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１は、ステップＳ１７１において、撮像装置１０１から送信されたデータ（多波長圧縮ストリームまたは多波長データ）を受信する。ステップＳ１７２において、フォーマット判定部１８１は、受信したデータが多波長圧縮ストリームであるか否か（つまり符号化されているか否か）を判定する。多波長圧縮ストリームである（符号化されている）と判定された場合、ステップＳ１７３において、多波長データ復号部１２３は、多波長圧縮ストリームを復号し、多波長データを復元する。多波長データである（符号化されていない）と判定された場合、この処理は省略される。データ解析部１２４は、ステップＳ１７４において、多波長データを解析してレポートを作成し、ステップＳ１７５において、そのレポートを出力する。

以上のように、撮像装置１０１は、伝送レートに応じて多波長データを符号化するか否かを制御し、伝送レートに余裕がある場合は、非圧縮で多波長データを送信する。このようにすることにより、必要である場合のみ多波長データを符号化するようにすることができるので、符号化による多波長データの劣化を抑制することができる。また、情報処理装置１０２は、伝送されたデータのフォーマットを判定し、必要に応じて復号処理を行う。したがって、情報処理装置１０２は、この場合の撮像装置１０１から伝送されるデータを適切に処理し、データ解析を行うことができる。

＜２−３．伝送レートに応じた圧縮率制御＞
多波長データ（多波長圧縮ストリーム）を送信する送信部が設定する伝送レート（目標伝送レート）に応じて、多波長データの圧縮率を制御するようにしてもよい。例えば、画像処理装置において、送信部の伝送レートに応じて、多波長データの符号化の圧縮率を制御する符号化制御部をさらに備え、符号化部は、その符号化制御部により制御された圧縮率で多波長データを符号化するようにしてもよい。

＜画像処理システム＞
図１５は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図１５に示されるように、この場合、撮像装置１０１は、図１の場合と比較して、量子化値設定部１９１をさらに有する。送信部１１３は、通信路の利用状況等に応じて伝送レート（データ送信のレート）を設定し、設定した伝送レートを量子化値設定部１９１に供給する。量子化値設定部１９１は、その伝送レートに応じて量子化値を設定し、それを多波長データ符号化部１１２に供給する。多波長データ符号化部１１２は、量子化を伴う符号化方式により多波長データを符号化し、多波長圧縮ストリームを生成する。その符号化の際、多波長データ符号化部１１２は、量子化値設定部１９１により設定された量子化値を用いて量子化を行う。すなわち、量子化値設定部１９１は、多波長データ符号化部１１２による多波長データの符号化の圧縮率を制御する。

例えば、伝送レートが十分に大きい（利用可能な帯域幅が十分に広い）場合、量子化値設定部１９１は、量子化値を小さくして、圧縮率を低減させる。また、例えば、伝送レートが十分に大きくない（利用可能な帯域幅が狭い）場合、量子化値設定部１９１は、量子化値を大きくして、圧縮率を増大させる。

また、この場合、情報処理装置１０２は、図１の場合と比較して、記憶部１２２が省略されている。

＜撮像処理の流れ＞
この場合、撮像処理は、例えば図１６のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、ステップＳ１８１およびステップＳ１８２の各処理は、図１３のステップＳ１６１およびステップＳ１８２の各処理と同様に実行される。

ステップＳ１８３において、量子化値設定部１９１は、ステップＳ１８２において設定された伝送レートに基づいて量子化値を設定する。ステップＳ１８４において、多波長データ符号化部１１２は、ステップＳ１８３において設定された量子化値を用いて、多波長データを符号化する。ステップＳ１８５において、送信部１１３は、多波長圧縮ストリームを送信する。

撮像装置１０１より送信された多波長圧縮ストリームは、情報処理装置１０２へ伝送される。

＜多波長データ処理の流れ＞
この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図１７のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１は、ステップＳ１９１において、撮像装置１０１から送信され多波長圧縮ストリームを受信する。ステップＳ１９２において、多波長データ復号部１２３は、受信された多波長圧縮ストリームを復号し、多波長データを復元する。データ解析部１２４は、ステップＳ１９３において、多波長データを解析してレポートを作成し、ステップＳ１９４において、そのレポートを出力する。

以上のように、撮像装置１０１は、伝送レートに応じて多波長データの圧縮率を制御し、伝送レートに余裕がある場合は、低圧縮率で多波長データを送信する。このようにすることにより、不要に圧縮率を増大させてしまうこと抑制することができるので、符号化による多波長データの劣化を抑制することができる。

＜２−４．複数の圧縮率の符号化データの伝送＞
多波長データを複数の圧縮率で符号化し、各多波長圧縮ストリームを送信するようにしてもよい。例えば、画像処理装置において、符号化部は、多波長データを複数の圧縮率で符号化し、送信部は、その符号化部により生成された各圧縮率の符号化データをそれぞれ送信するようにしてもよい。

＜画像処理システム＞
図１８は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図１８に示されるように、この場合、撮像装置１０１は、図１の場合と比較して、ダウンサンプリングフィルタ２０１をさらに有する。また、撮像装置１０１は、２つの多波長データ符号化部１１２（多波長データ符号化部１１２−１および多波長データ符号化部１１２−２）と、２つの送信部１１３（送信部１１３−１および送信部１１３−２）を有する。

ダウンサンプリングフィルタ２０１は、多波長センサ１１１から供給される多波長データの解像度（画素数）を低減させるフィルタ処理を行い、そのフィルタ処理を施した多波長データを多波長データ符号化部１１２−１に供給する。多波長データ符号化部１１２−１は、その多波長データを符号化して多波長圧縮ストリームを生成する。送信部１１３−１は、その多波長圧縮ストリームを、例えば無線通信により送信する。

多波長データ符号化部１１２−２は、多波長センサ１１１から供給される多波長データを符号化して多波長圧縮ストリームを生成する。送信部１１３−２は、その多波長圧縮ストリームを、例えば有線通信により送信する。

ダウンサンプリングフィルタ２０１により多波長データの解像度（情報量）が低減されるので、送信部１１３−１から送信される多波長圧縮ストリームの圧縮率は、送信部１１３−２から送信される多波長圧縮ストリームの圧縮率よりも高い。つまり、送信部１１３−１は、高圧縮の多波長圧縮ストリームを送信し、送信部１１３−２は、低圧縮の多波長圧縮ストリームを送信する。

また、この場合、情報処理装置１０２は、図１５の場合と比較して、アップサンプリングフィルタ２０２をさらに有する。また、情報処理装置１０２は、２つの受信部１２１（受信部１２１−１および受信部１２１−２）と、２つの多波長データ復号部１２３（多波長データ復号部１２３−１および多波長データ復号部１２３−２）と、２つのデータ解析部１２４（データ解析部１２４−１およびデータ解析部１２４−２）を有する。

受信部１２１−１は、送信部１１３−１から送信された高圧縮の多波長圧縮ストリームを受信する。多波長データ復号部１２３−１は、その高圧縮の多波長圧縮ストリームを復号し、多波長データを復元する。

アップサンプリングフィルタ２０２は、多波長データ復号部１２３−１において復元された多波長データに対して、ダウンサンプリングフィルタ２０１の逆処理を行う。多波長データ復号部１２３−１において復元された多波長データは、ダウンサンプリングフィルタ２０１により解像度が低減されている。アップサンプリングフィルタ２０２は、その多波長データに対して、ダウンサンプリングフィルタ２０１が低減させた解像度を元に戻すフィルタ処理を行う。

データ解析部１２４−１は、アップサンプリングフィルタ２０２によって解像度が元に戻された多波長データを解析し、レポート（即時レポート）を生成し、出力する。

受信部１２１−２は、送信部１１３−２から送信された低圧縮の多波長圧縮ストリームを受信する。多波長データ復号部１２３−２は、その低圧縮の多波長圧縮ストリームを復号し、多波長データを復元する。データ解析部１２４−２は、多波長データ復号部１２３−２により復元された多波長データを解析し、レポート（詳細レポート）を生成し、出力する。

詳細レポートは、高圧縮の多波長圧縮ストリームよりも情報量の多い低圧縮の多波長圧縮ストリームから復元された多波長データの解析結果であるので、基本的に、高圧縮の多波長圧縮ストリームから復元された多波長データの解析結果である即時レポートよりもより正確な情報（解析結果）を含む。

＜撮像処理の流れ＞
この場合、撮像処理は、例えば図１９のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、多波長センサ１１１は、ステップＳ２０１において、被写体を撮像し多波長データを生成する。ステップＳ２０２において、ダウンサンプリングフィルタ２０１は、その多波長データをダウンサンプリングする。ステップＳ２０３において、多波長データ符号化部１１２−１は、ダウンサンプリングされた多波長データを符号化し、高圧縮の多波長圧縮ストリームを生成する。ステップＳ２０４において、送信部１１３−１は、その高圧縮の多波長圧縮ストリームを送信する。

また、ステップＳ２０４において、多波長データ符号化部１１２−２は、ステップＳ２０１において生成された多波長データを符号化し、低圧縮の多波長圧縮ストリームを生成する。ステップＳ２０６において、送信部１１３−１は、その低圧縮の多波長圧縮ストリームを送信する。

撮像装置１０１より送信された高圧縮の多波長圧縮ストリームおよび低圧縮の多波長圧縮ストリームは、それぞれ、情報処理装置１０２へ伝送される。

＜多波長データ処理の流れ＞
この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図２０のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１−１は、ステップＳ２１１において、撮像装置１０１から送信され高圧縮の多波長圧縮ストリームを受信する。ステップＳ２１２において、多波長データ復号部１２３−１は、受信された高圧縮の多波長圧縮ストリームを復号し、多波長データを復元する。ステップＳ２１３において、アップサンプリングフィルタ２０２は、その復元された多波長データをアップサンプリングする。データ解析部１２４−１は、ステップＳ２１４において、アップサンプリングされた多波長データを解析して即時レポートを作成し、ステップＳ２１５において、その即時レポートを出力する。

また、ステップＳ２１６において、受信部１２１−２は、撮像装置１０１から送信され低圧縮の多波長圧縮ストリームを受信する。ステップＳ２１７において、多波長データ復号部１２３−２は、受信された低圧縮の多波長圧縮ストリームを復号し、多波長データを復元する。データ解析部１２４−２は、ステップＳ２１８において、その復元された多波長データを解析して詳細レポートを作成し、ステップＳ２１９において、その詳細レポートを出力する。

このようにすることにより、撮像装置１０１は、例えば通信環境等（例えば通信路の帯域幅や安定度等）に応じた圧縮率で多波長圧縮ストリームを伝送することができる。また、複数の圧縮率で符号化（圧縮）した多波長圧縮ストリームを伝送することにより、情報処理装置１０２において生成されるレポート（解析結果）の即時性の低減を抑制しながら、正確性の低減も抑制することができる。

＜画像処理システム＞
なお、撮像装置１０１から情報処理装置１０２への多波長圧縮ストリームの提供は、通信媒体の代わりに記憶媒体を介して行われるようにしてもよい。図２１は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図２１に示される例の場合、低圧縮の多波長圧縮ストリームが、記憶媒体（記憶デバイス２１２）を介して撮像装置１０１から情報処理装置１０２に提供される。

この場合、撮像装置１０１は、図１８の場合と比較して、送信部１１３−２の代わりに書き込み部２１１を有する。書き込み部２１１は、多波長データ符号化部１１２−２により生成された低圧縮の多波長圧縮ストリームを記憶デバイス２１２に書き込む。

記憶デバイス２１２は、例えば、ハードディスクや半導体メモリ等の、任意の記憶媒体を有するデバイスである。この記憶デバイス２１２は、通信路を介して撮像装置１０１や情報処理装置１０２と接続されるようにしてもよいし、撮像装置１０１や情報処理装置１０２に対して着脱可能に形成されるようにしてもよい。記憶デバイス２１２は、多波長圧縮ストリームを記憶することができる。

情報処理装置１０２は、受信部１２１−２の代わりに読み出し部２１３を有する。読み出し部２１３は、記憶デバイス２１２に記憶されている低圧縮の多波長圧縮ストリームを読み出し、多波長データ復号部１２３−２に供給する。

＜撮像処理の流れ＞
この場合、撮像処理は、例えば図２２のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、ステップＳ２３１乃至ステップＳ２３５の各処理は、図１９のステップＳ２０１乃至ステップＳ２０５の各処理と同様に実行される。

ステップＳ２３６において、書き込み部２１１は、ステップＳ２３５において生成された低圧縮の多波長圧縮ストリームを記憶デバイス２１２に書き込む（記憶させる）。

＜多波長データ処理の流れ＞
この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図２３のフローチャートを参照して説明する。多波長データ処理が開始されると、ステップＳ２４１乃至ステップＳ２４５の各処理が、図２０のステップＳ２１１乃至ステップＳ２１５の各処理と同様に実行される。

ステップＳ２４６において、読み出し部２１３は、記憶デバイス２１２に記憶されている低圧縮の多波長圧縮ストリームを読み出す。

ステップＳ２４７乃至ステップＳ２４９の各処理は、図２０のステップＳ２１７乃至ステップＳ２１９の各処理と同様に実行される。

このように記憶デバイスを介しても多波長圧縮ストリームを撮像装置１０１から情報処理装置１０２に伝送させることができる。

＜応用例＞
図１８乃至図２３においては、２種類の圧縮率の多波長圧縮ストリームを伝送する例について説明したが、この例に限定されず、３種類以上の圧縮率の多波長圧縮ストリームを伝送するようにしてもよい。

また、多波長データ符号化部１１２−１による符号化の圧縮率は、多波長データ符号化部１１２−２による符号化の圧縮率と同一であってもよいし、多波長データ符号化部１１２−２による符号化の圧縮率よりも高くてもよい。

また、アップサンプリングフィルタ２０２は、省略するようにしてもよい。その場合、データ解析部１２４−１は、解像度が低減したままの多波長データを解析し、即時レポートを生成する。

＜２−５．プロキシ伝送＞
以上のような複数種類の圧縮率による多波長圧縮ストリームの伝送を用いて、高圧縮の多波長圧縮ストリームを、低圧縮の多波長圧縮ストリームよりも優先させて伝送する（プロキシ伝送を行う）ようにしてもよい。例えば、画像処理装置において、送信部は、より圧縮率の高い符号化データをより優先して送信するようにしてもよい。

＜画像処理システム＞
図２４は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図２４に示される例の場合、情報処理装置１０２は、図１８の場合と比べて、送信部２２１をさらに有している。送信部２２１は、データ解析部１２４−１が作成した即時レポートを撮像装置１０１に送信する。

撮像装置１０１は、図１８の場合と比べて、受信部２２２および制御部２２３をさらに有している。受信部２２２は、送信部２２１から送信された即時レポートを受信し、制御部２２３に供給する。制御部２２３は、受信部２２２から供給された即時レポートに基づいて、多波長センサ１１１や多波長データ符号化部１１２−２の動作を制御する。例えば、情報処理装置１０２が即時レポートの生成に失敗したことが判明した場合、制御部２２３は、多波長センサ１１１を制御して、再度被写体を撮像させる。また、例えば、情報処理装置１０２が即時レポートの生成に成功したことが判明した場合、制御部２２３は、多波長データ符号化部１１２−２を制御して、低圧縮の多波長圧縮ストリームを生成させる。つまり、情報処理装置１０２において詳細レポートが生成されるように処理を進めさせる。

＜撮像処理の流れ＞
この場合、撮像処理は、例えば図２５のフローチャートに示されるような流れで実行される。つまり、撮像処理が開始されると、ステップＳ２６１乃至ステップＳ２６４の各処理は、図１９のステップＳ２０１乃至ステップＳ２０４の各処理と同様に実行される。

ステップＳ２６５において、受信部２２２は、情報処理装置１０２から送信された即時レポートを受信する。ステップＳ２６６において、制御部２２３は、その即時レポートの受信結果に基づいて、高圧縮の多波長圧縮ストリームの伝送が成功したか否かを判定する。取得した即時レポートが正しく生成されておらず、高圧縮の多波長圧縮ストリームの伝送が失敗したと判定された場合、処理はステップＳ２６１に戻る。つまり、再度、高圧縮の多波長圧縮ストリームの伝送が行われる。

また、ステップＳ２６６において、即時レポートが正しく生成されており、高圧縮の多波長圧縮ストリームの伝送が成功したと判定された場合、処理はステップＳ２６７に進む。ステップＳ２６７およびステップＳ２６８の各処理は、図１９のステップＳ２０５およびステップＳ２０６の各処理と同様に実行される。

＜多波長データ処理の流れ＞
この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図２６のフローチャートを参照して説明する。多波長データ処理が開始されると、ステップＳ２８１において、受信部１２１（受信部１２１−１または受信部１２１−２）は、多波長圧縮ストリームを受信する。ステップＳ２８２において、受信部１２１は、その受信した多波長圧縮ストリームが高圧縮のものであるか低圧縮のものであるかを判定する。例えば、データを受信した受信部１２１が受信部１２１−１であるか受信部１２１−２であるかを識別することにより、多波長圧縮ストリームの圧縮率を判定する。

高圧縮の多波長圧縮ストリームを受信したと判定された場合、処理はステップＳ２８３に進む。ステップＳ２８３乃至ステップＳ２８６の各処理は、図２０のステップＳ２１２乃至ステップＳ２１５の各処理と同様に実行される。ステップＳ２８７において、送信部２２１は、即時レポートを撮像装置１０１に送信する。ステップＳ２８７の処理が終了すると、処理はステップＳ２８１に戻る。

また、ステップＳ２８２において、低圧縮の多波長圧縮ストリームを受信したと判定された場合、処理はステップＳ２８８に進む。ステップＳ２８８乃至ステップＳ２９０の各処理は、図２０のステップＳ２１７乃至ステップＳ２１９の各処理と同様に実行される。

このように、データ量の少ない高圧縮の多波長圧縮ストリームを優先して伝送させることにより、即時レポートをより早期に生成・出力することができる。したがって、レポート作成の即時性の低減を抑制することができる。

＜画像処理システム＞
図２７は、プロキシ伝送を行う画像処理システム１００の他の構成例を示すブロック図である。図２７に示される例の場合、情報処理装置１０２は、図１８の場合と比べて、合成部２３１をさらに有している。合成部２３１は、データ解析部１２４−１が作成した即時レポートと、データ解析部１２４−２が作成した詳細レポートとを合成することにより合成レポートを生成し、出力する。

図２８は、合成レポートの生成の様子の例を示す図である。図２８において、矢印２４１および矢印２４２は、その矢印の方向に進む時系列を示している。矢印２４１が示す時系列の後に矢印２４２が示す時系列が続く。上述したように画像処理システム１００はプロキシ伝送を行うため、即時レポートが詳細レポートよりも時間的に先に生成される。したがって、図２８の矢印２４１の時系列の一番左側に示されるように、即時レポート２４３が最初に生成される。その後、時間が経過すると、詳細レポート２４４が生成される。詳細レポート２４４が生成されると、合成部２３１は、その詳細レポート２４４を、対応する即時レポート２４３と置き換える。その後も、詳細レポート２４４が生成される度に、即時レポートと置き換えられる。したがって、時間が経過するのに従って、詳細レポート２４４が増えていき、最終的に、矢印２４２の時系列の一番右側に示されるように、全てのレポートが詳細レポート２４４に置き換えられる。

このようにすることにより、レポート出力の即時性の低減を抑制しながら、レポートの内容の正確性の低減を抑制することができる。

＜多波長データ処理の流れ＞
この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図２９のフローチャートを参照して説明する。多波長データ処理が開始されると、ステップＳ３０１乃至ステップＳ３０９の各処理は、図２０のステップＳ２１１乃至ステップＳ２１９の各処理と同様に実行される。ステップＳ３１０において、合成部２３１は、即時レポートと詳細レポートとを合成して合成レポートを生成し、その合成レポートを出力する。

このように合成レポートを生成し、出力することにより、レポート出力の即時性の低減を抑制しながら、レポートの内容の正確性の低減を抑制することができる。

＜２−６．ノイズリダクション＞
以上のように符号化する多波長データに対してノイズを除去するフィルタ処理であるノイズリダクション処理を行うようにしてもよい。例えば、画像処理装置において、撮像部により生成された多波長データに対してノイズリダクション処理を行うノイズリダクション処理部をさらに備え、符号化部は、そのノイズリダクション処理部によりノイズリダクション処理が施された前記多波長データを符号化するようにしてもよい。

図３０は、その場合の画像処理システム１００の他の構成例を示すブロック図である。図３０に示される例の場合、撮像装置１０１は、図１の場合と比べて、ノイズリダクションフィルタ２５１を有する。

ノイズリダクションフィルタ２５１は、多波長センサ１１１において生成された単波長データに対して、ノイズの増大を抑制するノイズリダクション処理を行う。ノイズリダクション処理の内容は任意である。多波長データ符号化部１１２は、そのノイズリダクション処理が行われた多波長データを符号化する。

また、この場合、情報処理装置１０２は、図１５の場合と同様の構成を有する。

＜撮像処理の流れ＞
この場合の撮像処理の流れの例を図３１のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ１１１は、ステップＳ３２１において、被写体を撮像し多波長データを生成する。ステップＳ３２２において、ノイズリダクションフィルタ２５１は、多波長データに対してノイズリダクション処理を行う。ステップＳ３２３において、多波長データ符号化部１１２は、そのノイズリダクション処理が行われた多波長データを符号化し、符号化データ（多波長圧縮ストリーム）を生成する。ステップＳ３２４において、送信部１１３は、その多波長圧縮ストリームを送信する。

このように、多波長データのノイズの発生を抑制して符号化することにより、符号化効率の低減を抑制することができる。

＜ノイズリダクションフィルタ＞
多波長データに対するノイズリダクション処理は、例えば、波長成分毎に独立に行うようにしてもよい。例えば、画像処理装置において、ノイズリダクション処理部が、多波長データの波長成分毎に独立にノイズリダクション処理を行うようにしてもよい。

図３２は、この場合の多波長データ符号化部１１２の主な構成例を示すブロック図である。図３２に示されるように、ノイズリダクションフィルタ２５１は、波長分離部２６１、２Ｄフィルタ２６２−１乃至２Ｄフィルタ２６２−Ｎ（Ｎは任意の自然数）、並びに波長合成部２６３を有する。２Ｄフィルタ２６２−１乃至２Ｄフィルタ２６２−Ｎを互いに区別して説明する必要がない場合、２Ｄフィルタ２６２と称する。

波長分離部２６１は、多波長データを波長成分毎のデータ（単波長データ）に分離する。２Ｄフィルタ２６２は、この波長成分毎に用意される。つまり、２Ｄフィルタ２６２−１乃至２Ｄフィルタ２６２−Ｎは、それぞれに対応する波長成分の単波長データに対して、２次元のフィルタ処理を行う。波長合成部２６３は、これらの単波長データを合成し、多波長データを生成し、出力する（例えば、多波長データ符号化部１１２に供給する）。この合成の方法は任意である。

＜ノイズリダクション処理の流れ＞
この場合の、図３１のステップＳ３２２において実行されるノイズリダクション処理の流れの例を、図３３のフローチャートを参照して説明する。ノイズリダクション処理が開始されると、ステップＳ３３１において、波長分離部２６１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ３３２において、２Ｄフィルタ２６２は、各波長成分の単波長データに対して２次元フィルタ処理を行う。ステップＳ３３３において、波長合成部２６３は、２次元フィルタ処理が行われた各波長成分の単波長データを合成し、多波長データを生成する。ステップＳ３３３の処理が終了すると多波長データ符号化処理が終了し、処理は、図３１に戻る。

このようにすることにより、波長成分毎にノイズリダクション処理を行うことができるので、多波長データのノイズをより容易に抑制することができる。

＜３．第２の実施の形態＞
＜３−１．多波長データの符号化と記憶＞
例えば、上述のような精密農業において、端末の撮像装置において生成された多波長データは、データベースとしてサーバ（クラウド）等により記憶され、植物の生育状況の把握等に利用される。しかしながら、多波長データはデータ量が大きいため、このデータ蓄積にかかる費用が増大するおそれがあった。

そこで、多波長データを符号化（圧縮）し、符号化データを記憶するようにする。このようにすることにより、記憶するデータ量の増大を抑制することができる。つまり、多波長データの処理の負荷の増大を抑制することができる。

＜画像処理システム＞
図３４は、その場合の画像処理システムの構成の一例を示すブロック図である。この場合、撮像装置１０１は、多波長センサ１１１および送信部１１３を有する。つまり、この場合、撮像装置１０１は、多波長センサ１１１において生成した多波長データを、符号化せずに、送信部１１３から情報処理装置１０２に送信する。

情報処理装置１０２は、受信部１２１、多波長データ符号化部２７１、記憶部２７２、多波長データ復号部２７３、およびデータ解析部１２４を有する。受信部１２１は、撮像装置１０１から送信された多波長データを受信する。多波長データ符号化部２７１は、多波長データ符号化部１１２と同様の機能を有し、同様の処理を行う。例えば、多波長データ符号化部２７１は、受信部１２１により受信された多波長データを符号化し、多波長圧縮ストリームを生成する。記憶部２７２は、例えばハードディスクや半導体メモリ等の任意の記憶媒体を有し、多波長データ符号化部２７１が生成した多波長圧縮ストリームをその記憶媒体に記憶する。多波長データ復号部２７３は、多波長データ復号部１２３と同様の機能を有し、同様の処理を行う。例えば、多波長データ復号部２７３は、記憶部２７２に記憶されている多波長圧縮ストリームを読み出して復号し、多波長データを復元する。データ解析部１２４は、多波長データ復号部２７３により復元された多波長データを解析し、レポートを生成して出力する。

＜撮像処理の流れ＞
この場合の撮像装置１０１により実行される撮像処理の流れの例を、図３５のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ１１１は、ステップＳ３４１において、被写体を撮像し、多波長データを生成する。ステップＳ３４２において、送信部１１３は、その多波長データを情報処理装置１０２に送信する。ステップＳ３４２の処理が終了すると撮像処理が終了する。

＜多波長データ処理の流れ＞
この場合の情報処理装置１０２により実行される多波長データ処理の流れの例を、図３６のフローチャートを参照して説明する。多波長データ処理が開始されると、受信部１２１は、ステップＳ３５１において撮像装置１０１から伝送された多波長データを受信する。ステップＳ３５２において、多波長データ符号化部２７１は、その受信された多波長データを符号化し、多波長圧縮ストリームを生成する。ステップＳ３５３において、記憶部２７２は、その多波長圧縮ストリームを記憶する。ステップＳ３５４において、多波長データ復号部２７３は、記憶部２７２に記憶されている多波長圧縮ストリームを読み出して復号し、多波長データを復元する。データ解析部１２４は、ステップＳ３５５において、復元した多波長データを解析してレポートを生成し、ステップＳ３５６において、そのレポートを出力する。

以上のように、多波長データを記憶する際に、その多波長データを符号化して（符号化データを）記憶するようにする。このようにすることにより、記憶するデータ量の増大を抑制することができる。つまり、多波長データの処理の負荷の増大を抑制することができる。

＜３−２．一定時間経過後の符号化＞
なお、サーバやクラウドにデータを記憶させる場合、そのデータ量と記憶させる時間に応じてコストが増大する。また、データを長期間記憶する程、そのデータに含まれる情報は古くなり、重要性が低減する。つまり、データを長期間記憶する程、データの符号化・復号による劣化の影響は低減する。そこで、最初は、非圧縮の多波長データを記憶し、一定時間経過したら、その多波長データを符号化して記憶するようにしてもよい。

＜画像処理システム＞
図３７は、この場合の画像処理システム１００の主な構成例を示すブロック図である。図３７に示されるように、この場合、情報処理装置１０２は、図３４の場合と比較して、多波長データ符号化部２７１乃至多波長データ復号部２７３の代わりに、記憶部２８１、多波長データ符号化部２８２、記憶部２８３、および多波長データ復号部２８４を有する。

記憶部２８１は、例えばハードディスクや半導体メモリ等の任意の記憶媒体を有し、受信部１２１により受信された非圧縮の多波長データを、その記憶媒体に記憶する。

多波長データ符号化部２８２は、多波長データ符号化部２７１と基本的に同様の機能を有し、同様の処理を行う。例えば、多波長データ符号化部２８２は、記憶部２８１に一定時期間記憶されている多波長データを読み出して符号化し、多波長圧縮ストリームを生成する。記憶部２８３は、例えばハードディスクや半導体メモリ等の任意の記憶媒体を有し、多波長データ符号化部２８２により生成された多波長圧縮ストリームをその記憶媒体に記憶する。多波長データ復号部２８４は、多波長データ復号部２７３と基本的に同様の機能を有し、同様の処理を行う。例えば、多波長データ復号部２８４は、記憶部２８３に記憶されている多波長圧縮ストリームを読み出して復号し、多波長データを復元する。

データ解析部１２４は、多波長データの解析を行い、そのレポートを生成して出力する。例えば、データ解析部１２４は、記憶部２８１に記憶されてから一定時間経過していない多波長データを記憶部２８１から取得する。また、データ解析部１２４は、記憶部２８１に記憶されてから一定時間経過した多波長データを、多波長データ復号部２８４を介して取得する。

＜多波長データ処理の流れ＞
この場合の多波長データ処理の流れの例を、図３８のフローチャートを参照して説明する。

ステップＳ３６１において、受信部１２１は、多波長データを受信する。ステップＳ３６２において、記憶部２８１は、その多波長データを記憶する。ステップＳ３６３において、記憶部２８１は、多波長データを記憶してから所定の時間が経過したか否かを判定する。経過していないと判定された場合、処理はステップＳ３６４に進む。

ステップＳ３６４において、データ解析部１２４は、そのデータを解析するか否かを判定する。解析しないと判定された場合、処理はステップＳ３６３に戻る。また、ステップＳ３６４において、解析すると判定された場合、処理はステップＳ３６５に進む。ステップＳ３６５において、データ解析部１２４は、記憶部２８１からその多波長データを読み出す。ステップＳ３６６において、データ解析部１２４は、その多波長データを解析し、レポートを作成する。ステップＳ３６７において、データ解析部１２４は、そのレポートを出力する。

また、ステップＳ３６３において、所定の時間が経過したと判定された場合、処理はステップＳ３６８に進む。ステップＳ３６８において、多波長データ符号化部２８２は、記憶部２８１からその多波長データを読み出す。ステップＳ３６９において、多波長データ符号化部２８２は、その多波長データを符号化し、多波長圧縮ストリームを生成する。ステップＳ３７０において、記憶部２８３は、その多波長圧縮ストリームを記憶する。ステップＳ３７１において、多波長データ復号部２８４は、その多波長圧縮ストリームを記憶部２８３から読み出して復号し、多波長データを復元する。ステップＳ３７２において、データ解析部１２４は、復元されたその多波長データを解析し、レポートを作成する。ステップＳ３７３において、データ解析部１２４は、そのレポートを出力する。

このように一定期間記憶された非圧縮のデータを、符号化して記憶させることにより、重要度が低減したデータの増大を抑制することができ、データを圧縮することによる影響の増大を抑制しながら、多波長データの記憶に関するコストの増大を抑制することができる。

＜３−３．一定時間経過後の再圧縮＞
なお、サーバやクラウドにデータを記憶させる場合、一定時間経過したら、その圧縮率を増大させるようにしてもよい。

＜画像処理システム＞
図３９は、この場合の画像処理システム１００の主な構成例を示すブロック図である。この場合、情報処理装置１０２は、図３７の場合と比べて、記憶部２８１乃至多波長データ復号部２８４の代わりに、多波長データ符号化部２９１、記憶部２９２、多波長データ復号部２９３、リサンプル部２９４、多波長データ符号化部２９５、記憶部２９６、および多波長データ復号部２９７を有する。

多波長データ符号化部２９１は、受信部１２１において受信された多波長データを符号化し、多波長圧縮ストリームを生成する。記憶部２９２は、その多波長圧縮ストリームを記憶する。多波長データ復号部２９３は、記憶部２９２から多波長圧縮ストリームを読み出して復号し、多波長データを復元する。

また、一定時間経過後のデータは、リサンプル部２９４に供給される。リサンプル部２９４は、多波長データに対してリサンプル処理を行い、データの情報量を低減させる。このリサンプル処理の内容は任意である。多波長データ符号化部２９５は、リサンプル処理された多波長データを符号化し、多波長圧縮ストリームを生成する。記憶部２９６は、その多波長圧縮ストリームを記憶する。多波長データ復号部２９７は、記憶部２９６に記憶されている多波長圧縮ストリームを読み出して復号し、多波長データを復元する。

データ解析部１２４は、多波長データの解析を行い、そのレポートを生成して出力する。例えば、データ解析部１２４は、多波長データ復号部２９３または多波長データ復号部２９７において復元された多波長データを解析し、そのレポートを生成し、出力する。

＜多波長データ処理の流れ＞
この場合の多波長データ処理の流れの例を、図４０および図４１のフローチャートを参照して説明する。

ステップＳ３８１において、受信部１２１は、多波長データを受信する。ステップＳ３８２において、多波長データ符号化部２９１は、その多波長データを符号化し、低圧縮の多波長圧縮ストリームを生成する。ステップＳ３８３において、記憶部２９２は、その低圧縮の多波長圧縮ストリームを記憶する。ステップＳ３８４において、記憶部２９２は、多波長圧縮ストリームを記憶してから所定の時間が経過したか否かを判定する。経過したと判定された場合、処理はステップＳ３８５に進む。

ステップＳ３８５において、データ解析部１２４は、そのデータを解析するか否かを判定する。解析しないと判定された場合、処理はステップＳ３８４に戻る。また、ステップＳ３８５において、解析すると判定された場合、処理はステップＳ３８６に進む。ステップＳ３８６において、多波長データ復号部２９３は、記憶部２９２から低圧縮の多波長圧縮ストリームを読み出して復号し、多波長データを復元する。ステップＳ３８７において、データ解析部１２４は、その復元された多波長データを解析し、レポートを作成する。ステップＳ３８８において、データ解析部１２４は、そのレポートを出力する。

また、ステップＳ３８４において、所定の時間が経過したと判定された場合、処理は図４１のステップＳ３９１に進む。ステップＳ３９１において、多波長データ復号部２９３は、記憶部２９２から低圧縮の多波長圧縮ストリームを読み出して復号し、多波長データを復元する。ステップＳ３９２において、リサンプル部２９４は、復元された多波長データに対してリサンプル処理を行う。ステップＳ３９３において、多波長データ符号化部２９５は、リサンプル処理された多波長データを符号化し、高圧縮の多波長圧縮ストリームを生成する。ステップＳ３９４において、記憶部２９６は、その高圧縮の多波長圧縮ストリームを記憶する。ステップＳ３９５において、多波長データ復号部２９７は、その高圧縮の多波長圧縮ストリームを記憶部２９６から読み出して復号し、多波長データを復元する。ステップＳ３９６において、データ解析部１２４は、復元されたその多波長データを解析し、レポートを作成する。ステップＳ３９７において、データ解析部１２４は、そのレポートを出力する。

このように、一定期間記憶された符号化データの圧縮率を増大させることにより、重要度が低減したデータの増大を抑制することができ、データを圧縮することによる影響の増大を抑制しながら、多波長データの記憶に関するコストの増大を抑制することができる。

＜リサンプル部＞
リサンプル処理は、例えば、波長成分毎にダウンサンプルするようにしてもよい。図４２は、この場合のリサンプル部２９４の主な構成例を示すブロック図である。図４２に示されるように、リサンプル部２９４は、波長分離部３１１、ダウンサンプルフィルタ３１２、および波長合成部３１３を有する。なお、ダウンサンプルフィルタ３１２−１乃至ダウンサンプルフィルタ３１２−Ｎを互いに区別して説明する必要がない場合、ダウンサンプルフィルタ３１２と称する。

波長分離部３１１は、多波長データを波長成分毎の単波長データに分離する。ダウンサンプルフィルタ３１２は、この波長成分毎に用意される。つまり、ダウンサンプルフィルタ３１２―１乃至ダウンサンプルフィルタ３１２−Ｎは、それぞれに対応する波長成分の単波長データをダウンサンプリングし、解像度を低減させる。波長合成部３１３は、以上のような各波長成分の単波長データを合成し、多波長データを復元し、出力する。

＜リサンプル処理の流れ＞
この場合のリサンプル部２９４により、図４１のステップＳ３９２において実行されるリサンプル処理の流れの例を、図４３のフローチャートを参照して説明する。ステップＳ４１１において、波長分離部３１１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ４１２において、ダウンサンプルフィルタ３１２は、各波長成分の単波長データをダウンサンプリングし、解像度を低減させる。ステップＳ４１３において、波長合成部３１３は、ダウンサンプリングされた各波長成分の単波長データを合成し、多波長データを復元する。

このようにすることにより、波長成分毎にダウンサンプリングすることができるので、多波長データをより容易にリサンプル処理することができる。

＜リサンプル部＞
また、リサンプル処理として、例えば、一部の波長成分に対するローパスフィルタ処理が行われるようにしてもよい。図４４は、この場合のリサンプル部２９４の主な構成例を示すブロック図である。図４４に示されるように、リサンプル部２９４は、波長分離部３２１、ローパスフィルタ３２２−１乃至ローパスフィルタ３２２−Ｍ（Ｍは任意の自然数）、並びに波長合成部３２３を有する。なお、ローパスフィルタ３２２−１乃至ローパスフィルタ３２２−Ｍを互いに区別して説明する必要がない場合、ローパスフィルタ３２２と称する。

波長分離部３２１は、多波長データを波長成分毎の単波長データに分離する。ローパスフィルタ３２２は、この波長成分毎に用意される。つまり、ローパスフィルタ３２２―１乃至ローパスフィルタ３２２−Ｍは、一部の波長成分の単波長データに対してローパスフィルタをかける。波長合成部３１３は、以上のような各波長成分の単波長データを合成し、多波長データを復元し、出力する。

＜リサンプル処理の流れ＞
この場合のリサンプル部２９４により、図４１のステップＳ３９２において実行されるリサンプル処理の流れの例を、図４５のフローチャートを参照して説明する。ステップＳ４２１において、波長分離部３２１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ４２２において、ローパスフィルタ３２２は、優先度の低い各波長成分の単波長データに対してローパスフィルタをかける。ステップＳ４２３において、波長合成部３２３は、各波長成分の単波長データを合成し、多波長データを復元する。

このようにすることにより、優先度の低い波長成分にローパスフィルタをかけることができるので、多波長データをより容易にリサンプル処理することができる。

＜リサンプル部＞
また、リサンプル処理として、例えば、有線殿低い波長データの下位ビットの値を０に置き換えるようにしてもよい。図４６は、この場合のリサンプル部２９４の主な構成例を示すブロック図である。この場合リサンプル部２９４は、波長分離部３３１、LSBマスク処理部３３２−１乃至LSBマスク処理部３３２−４、並びに波長合成部３３３を有する。なお、LSBマスク処理部３３２−１乃至LSBマスク処理部３３２−４を互いに区別して説明する必要がない場合、LSBマスク処理部３３２と称する。

波長分離部３３１は、多波長データを波長成分毎の単波長データに分離する。LSBマスク処理部３３２は、自身に対応する波長成分の単波長データ（例えば、図４７のＡに示されるビット列）に対して、波長データの下位ビットの値を０に置き換えるLSBマスク処理を行う（図４７のＢ）。LSBマスク処理部３３２は、波長データのLSB側の、量子化値により指定されるビット数の値を０に置き換える。例えば、以下の式（１）に示されるように、演算を行う。

OUT = (IN >> 量子化値＃ｎ) << 量子化値＃ｎ ・・・（１）

波長合成部３１３は、各波長成分の単波長データを合成し、多波長データを復元し、出力する。

＜リサンプル処理の流れ＞
この場合のリサンプル部２９４により、図４１のステップＳ３９２において実行されるリサンプル処理の流れの例を、図４８のフローチャートを参照して説明する。ステップＳ４３１において、波長分離部３３１は、多波長データを波長成分毎の単波長データに分離する。ステップＳ４３２において、LSBマスク処理部３３２は、各波長成分の短波長データに対して、それぞれの波長成分用の量子化値（量子化値＃ｎ）を用いてマスク処理（LSB Mask）を行う。ステップＳ４３３において、波長合成部３２３は、各波長成分の単波長データを合成し、多波長データを復元する。

このようにすることにより、波長成分毎にマスク処理を行うことができるので、多波長データをより容易にリサンプル処理することができる。

＜４．第３の実施の形態＞
＜量子化＞
植生把握等で多波長データを取得する場合、多波長データの撮影と同時に光源のスペクトル分布の計測を行うことがある。これは、時間、天気等により太陽光のスペクトル分布が変化するためである。そのため、植物の生育状況等の経過測定行う場合、光源のスペクトル変化を補正する必要がある。しかしながら、多波長データのため、既存の圧縮手法が単純に適用できないおそれがあった。また、光源スペクトル分布により波長間の強度が大きく変化する。そのため、全波長に一律の量子化を適用した場合、過度に圧縮しすぎ、不要に情報が劣化してしまうおそれがあった。

より具体的に説明すると、一般的に、イメージセンサ等の最大出力値は、光源などにより変化する（図４９のＡ）。そこで、通常、ホワイトバランス調整が行われる（図４９のＢ）。ホワイトバランス調整は、実際の白色が画像において白色として表現されるように、各波長成分をゲイン調整する処理である。ところで、従来の量子化は、各波長成分に対して一律の量子化値を用いて行われる（図４９のＣおよび図４９のＤ）。しかしながら、ホワイトバランス調整を行うと、各波長成分が互いに異なる量子化値で量子化されることとなる（図４９のＥ）。したがって、過度に圧縮しすぎ、不要に情報が劣化してしまうおそれがあった。

そこで、被写体を撮像し、複数の波長成分を含む画像データを生成し、その生成された画像データを、波長成分毎の量子化値を用いて量子化し、符号化するようにする。例えば、画像処理装置において、被写体を撮像し、複数の波長成分を含む画像データを生成する撮像部と、その撮像部により生成された画像データを、波長成分毎の量子化値を用いて量子化し、符号化する符号化部とを備えるようにする。

つまり、ホワイトバランス調整等のゲイン調整を予め考慮して各波長成分の量子化値を設定する（図５０のＡ）。このようにすることにより、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる（図５０のＢ）。

＜４−１．撮像装置＞
図５１は、本技術を適用した撮像装置の構成の一例を示すブロック図である。図５１に示される撮像装置４００は、被写体を撮像して撮像画像の画像データを出力する装置である。この撮像装置４００は、例えば、精密農業等に用いられる、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示している。

撮像装置４００は、ベイヤセンサ４０１、量子化部４０２、ホワイトバランス調整部４０３、および現像処理部４０４を有する。ベイヤセンサ４０１は、ベイヤ配列のカラーフィルタが設けられた画素アレイを有し、被写体を撮像して、所謂RGB画像の画像データ（ベイヤデータ）を生成する。ベイヤセンサ４０１は、そのベイヤデータ（RAWデータ）を量子化部４０２に供給する。量子化部４０２は、そのベイヤデータを量子化し、量子化後のベイヤデータをホワイトバランス調整部４０３に供給する。ホワイトバランス調整部４０３は、その量子化後のベイヤデータに対してホワイトバランス調整を行い、ホワイトバランス調整後のベイヤデータを現像処理部４０４に供給する。現像処理部４０４は、デモザイク処理等を行い、撮像画像の画像データを生成して出力する。

量子化部４０２は、ゲイン調整型ベイヤデータ符号化部４１１およびゲイン調整型ベイヤデータ復号部４１２を有する。ゲイン調整型ベイヤデータ符号化部４１１は、ベイヤデータに対して量子化を伴う符号化を行い、符号化データ（ベイヤ圧縮ストリーム）を生成する。ゲイン調整型ベイヤデータ復号部４１２は、そのベイヤ圧縮ストリームに対して、ゲイン調整型ベイヤデータ符号化部４１１の符号化方法に対応する復号方法で復号し、ベイヤデータを復元する。

また、ホワイトバランス調整部４０３は、ベイヤデータに対して行うホワイトバランス調整用のゲイン（赤色成分用のＲゲイン、緑色成分用のＧゲイン、青色成分用のＢゲイン）をゲイン調整型ベイヤデータ符号化部４１１およびゲイン調整型ベイヤデータ復号部４１２に供給する。ゲイン調整型ベイヤデータ符号化部４１１およびゲイン調整型ベイヤデータ復号部４１２は、そのゲイン（Ｒゲイン、Ｇゲイン、およびＢゲイン）を用いてゲイン調整を行いながら符号化・復号を行う。

＜ゲイン調整型ベイヤデータ符号化部＞
つまり、ゲイン調整型ベイヤデータ符号化部４１１は、ホワイトバランス調整部４０３により設定される画像データの各波長成分に対するホワイトバランス調整用ゲインに応じた量子化値を用いて、その画像データの各波長成分を量子化し、符号化する。図５２は、ゲイン調整型ベイヤデータ符号化部４１１の主な構成例を示すブロック図である。このゲイン調整型ベイヤデータ符号化部４１１は、波長分離部４２１、Ｒゲイン調整部４２２、Ｇゲイン調整部４２３、Ｂゲイン調整部４２４、波長合成部４２５、およびベイヤデータ符号化部４２６を有する。

波長分離部４２１は、ベイヤデータをＲ成分、Ｇ成分、およびＢ成分に分離する。Ｒゲイン調整部４２２は、供給されるＲゲインを用いてＲ成分のゲイン調整を行う。Ｇゲイン調整部４２３は、供給されるＧゲインを用いてＧ成分のゲイン調整を行う。Ｂゲイン調整部４２４は、供給されるＢゲインを用いてＢ成分のゲイン調整を行う。波長合成部４２５は、ゲイン調整後のＲ成分、Ｇ成分、およびＢ成分を合成し、各波長成分がゲイン調整されたベイヤデータを生成する。ベイヤデータ符号化部４２６は、そのベイヤデータに対して、量子化を伴う符号化を行い、ベイヤ圧縮ストリームを生成し、それを出力する（例えば、ゲイン調整型ベイヤデータ復号部４１２に供給する）。

つまり、各波長成分がゲイン調整（ホワイトバランス調整）された状態でこの符号化が行われるので、各波長成分の量子化値は、ゲイン調整後の状態で設定される。したがって、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。

＜ゲイン調整型ベイヤデータ復号部＞
図５３は、ゲイン調整型ベイヤデータ復号部４１２の主な構成例を示すブロック図である。このゲイン調整型ベイヤデータ復号部４１２は、ベイヤデータ復号部４３１、波長分離部４３２、逆Ｒゲイン調整部４３３、逆Ｇゲイン調整部４３４、逆Ｂゲイン調整部４３５、および波長合成部４３６を有する。

ベイヤデータ復号部４３１は、上述のベイヤデータ符号化部４２６の符号化方法に対応する復号方法によりベイヤ圧縮ストリームを復号し、ベイヤデータを復元する。波長分離部４３２は、そのベイヤデータをＲ成分、Ｇ成分、およびＢ成分に分離する。逆Ｒゲイン調整部４３３は、供給されるＲゲインを用いてＲ成分の逆ゲイン調整を行う。つまり、逆Ｒゲイン調整部４３３は、Ｒゲイン調整部４２２がかけたゲイン調整をキャンセルする（元に戻す）ように逆ゲイン調整を行う。逆Ｇゲイン調整部４３４は、供給されるＧゲインを用いてＧ成分に対して同様の逆ゲイン調整を行う。逆Ｂゲイン調整部４３５は、供給されるＢゲインを用いてＢ成分に対して同様の逆ゲイン調整を行う。波長合成部４３６は、逆ゲイン調整後のＲ成分、Ｇ成分、およびＢ成分を合成し、ベイヤデータを生成し、それを出力する（例えば、ホワイトバランス調整部４０３に供給する。）

＜撮像処理の流れ＞
この場合の撮像装置４００により実行される撮像処理の流れの例を、図５４のフローチャートを参照して説明する。撮像処理が開始されると、ベイヤセンサ４０１は、ステップＳ４４１において、被写体を撮像してベイヤデータを生成する。ステップＳ４４２において、ホワイトバランス調整部４０３は、そのベイヤデータのホワイトバランス調整により波長成分毎のゲインを設定する。ステップＳ４４３において、量子化部４０２は、その波長成分毎のゲインを用いて、ベイヤデータを量子化する。ステップＳ４４４において、おホワイトバランス調整部４０３は、量子化されたベイヤデータのホワイトバランスを、上述の波長成分毎のゲインを用いて調整する。ステップＳ４４５において、現像処理部４０４は、ホワイトバランス調整されたベイヤデータを現像処理し、撮像画像の画像データを生成する。ステップＳ４４６において、現像処理部４０４は、その画像データを出力する。

＜ベイヤデータ量子化処理の流れ＞
図５４のステップＳ４４３において実行されるベイヤデータ量子化処理の流れの例を、図５５のフローチャートを参照して説明する。ステップＳ４５１において、ゲイン調整型ベイヤデータ符号化部４１１は、波長成分毎のゲインを用いて、ベイヤデータを符号化し、ベイヤ圧縮ストリームを生成する。ステップＳ４５２において、ゲイン調整型ベイヤデータ復号部４１２は、波長成分毎のゲインを用いてそのベイヤ圧縮ストリームを復号し、ベイヤデータを復元する。

＜ベイヤデータ符号化処理の流れ＞
図５５のステップＳ４５１において実行されるベイヤデータ符号化処理の流れの例を、図５６のフローチャートを参照して説明する。ステップＳ４６１において、波長分離部４２１は、ベイヤデータを波長成分毎に分離する。ステップＳ４６２において、Ｒゲイン調整部４２２、Ｇゲイン調整部４２３、およびＢゲイン調整部４２４は、それぞれに対応する波長成分用のゲインを用いて、それぞれに対応する波長成分をゲイン調整する。ステップＳ４６３において、波長合成部４２５は、ゲイン調整された各波長成分を合成し、波長成分毎にゲイン調整されたベイヤデータを生成する。ステップＳ４６４において、ベイヤデータ符号化部４２６は、その波長成分毎にゲイン調整されたベイヤデータに対して、量子化を伴う符号化を行う。

＜ベイヤ圧縮ストリーム復号処理の流れ＞
図５５のステップＳ４５２において実行されるベイヤ圧縮ストリーム復号処理の流れの例を、図５７のフローチャートを参照して説明する。ステップＳ４７１において、ベイヤデータ復号部４３１は、ベイヤ圧縮ストリームを復号し、ベイヤデータを復元する。ステップＳ４７２において、波長分離部４３２は、そのベイヤデータを波長成分毎に分離する。ステップＳ４７３において、逆Ｒゲイン調整部４３３、逆Ｇゲイン調整部４３４、および逆Ｂゲイン調整部４３５は、それぞれに対応する波長成分用のゲインを用いて、それぞれに対応する波長成分を逆ゲイン調整する。ステップＳ４７４において、波長合成部４３６は、逆ゲイン調整された各波長成分を合成し、ベイヤデータを生成する。

以上のように、各処理を行うことにより、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。

＜４−２．撮像装置＞
なお、撮像装置４００に光源の色（光源色）を測定するセンサ（光源色測定部）を設け、その測定された光源色に基づいて設定される画像データの各波長成分に対するゲインに応じた量子化値を用いて、画像データの各波長成分を量子化し、符号化するようにしてもよい。

その場合、撮像装置４００は、例えば図５８に示されるように、光源色測定用センサ４４１、および光源色測定部４４２を有する。光源色測定用センサ４４１は、光源（例えば、環境光）等を検出し、その検出結果を光源色測定部４４２に供給する。光源色測定部４４２は、その検出結果に基づいて光源色を測定し、その光源色に基づいて各波長成分のゲイン（Ｒゲイン、Ｇゲイン、Ｂゲイン）を設定する。光源色測定部４４２は、その各波長成分のゲインをゲイン調整型ベイヤデータ符号化部４１１、ゲイン調整型ベイヤデータ復号部４１２、およびホワイトバランス調整部４０３に供給する。ゲイン調整型ベイヤデータ符号化部４１１によるベイヤデータの符号化、ゲイン調整型ベイヤデータ復号部４１２によるベイヤ圧縮ストリームの復号、およびホワイトバランス調整部４０３によるホワイトバランス調整は、光源色測定部４４２により設定されたゲインを用いて行われる。

＜撮像処理の流れ＞
この場合の撮像装置４００により実行される撮像処理の流れの例を、図５９のフローチャートを参照して説明する。撮像処理が開始されると、ベイヤセンサ４０１は、ステップＳ４８１において、被写体を撮像してベイヤデータを生成する。ステップＳ４８２において、光源色測定用センサ４４１は、環境光を検出する。ステップＳ４８３において、光源色測定部４４２は、その検出結果に基づいて光源色を測定し、波長成分毎のゲインを設定する。ステップＳ４８４において、量子化部４０２は、その波長成分毎のゲインを用いて、ベイヤデータを量子化する。ステップＳ４８５において、ホワイトバランス調整部４０３は、量子化されたベイヤデータのホワイトバランスを、ステップＳ４８３において設定された波長成分毎のゲインを用いて調整する。ステップＳ４８６において、現像処理部４０４は、ホワイトバランス調整されたベイヤデータを現像処理し、撮像画像の画像データを生成する。ステップＳ４８７において、現像処理部４０４は、その画像データを出力する。

このようにすることにより、撮像装置４００は、環境光（周辺光）に基づいてホワイトバランス調整を行うことができる。また、その場合も、撮像装置４００は、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。

＜４−３．撮像装置＞
なお、波長成分毎のゲインを、ユーザ等が設定するようにしてもよい。その場合、撮像装置４００は、例えば図６０に示されるように、ユーザ設定入力部４５１を有する。ユーザ設定入力部４５１は、各波長成分のゲイン（Ｒゲイン、Ｇゲイン、Ｂゲイン）のユーザ設定を受け付ける。ユーザ設定入力部４５１は、例えば、ユーザインタフェースを有し、ユーザ等によるゲインの手動入力を受け付けるようにしてもよいし、入力端子や通信部等を有し、他の装置からゲインが供給されるようにしてもよい。

ユーザ設定入力部４５１に入力された各波長成分のゲインは、ゲイン調整型ベイヤデータ符号化部４１１、ゲイン調整型ベイヤデータ復号部４１２、およびホワイトバランス調整部４０３に供給される。ゲイン調整型ベイヤデータ符号化部４１１によるベイヤデータの符号化、ゲイン調整型ベイヤデータ復号部４１２によるベイヤ圧縮ストリームの復号、およびホワイトバランス調整部４０３によるホワイトバランス調整は、そのゲインを用いて行われる。

＜撮像処理の流れ＞
この場合の撮像装置４００により実行される撮像処理の流れの例を、図６１のフローチャートを参照して説明する。撮像処理が開始されると、ステップＳ４９１において、ユーザ設定入力部４５１は、波長成分毎のゲインに関するユーザ設定を受け付ける。ステップＳ４９２において、ベイヤセンサ４０１は、ステップＳ４８１において、被写体を撮像してベイヤデータを生成する。ステップＳ４９３において、量子化部４０２は、ステップＳ４９１において入力された波長成分毎のゲインを用いて、ベイヤデータを量子化する。ステップＳ４９４において、ホワイトバランス調整部４０３は、量子化されたベイヤデータのホワイトバランスを、ステップＳ４９１において入力された波長成分毎のゲインを用いて調整する。ステップＳ４９５において、現像処理部４０４は、ホワイトバランス調整されたベイヤデータを現像処理し、撮像画像の画像データを生成する。ステップＳ４９６において、現像処理部４０４は、その画像データを出力する。

このようにすることにより、撮像装置４００は、ユーザ設定に基づいてホワイトバランス調整を行うことができる。したがって、例えば、ユーザの好みに応じたホワイトバランス調整を行うことができる。また、その場合も、撮像装置４００は、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。

＜４−４．撮像装置＞
以上においては、ベイヤデータについて説明したが、本技術は、４以上の波長成分を含む画像データである多波長データにも適用することができる。図６２は、その場合の撮像装置の構成の一例を示すブロック図である。図６２に示される撮像装置５００は、撮像装置４００と基本的に同様の装置であるが、被写体を撮像して多波長データを出力する装置である。この撮像装置５００は、上述した撮像装置４００と同様、例えば、精密農業等に用いられる、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示している。

図６２に示されるように、撮像装置５００は、多波長センサ５０１、量子化部５０２、ホワイトバランス調整部５０３、および現像処理部５０４を有する。各処理部は、処理対象がベイヤデータから多波長データに変わること以外、図５１の撮像装置４００の各処理部（ベイヤセンサ４０１乃至現像処理部４０４）と同様の処理部であり、同様の処理を行う。

量子化部５０２は、ゲイン調整型多波長データ符号化部５１１およびゲイン調整型多波長データ復号部５１２を有する。これらの処理部は、処理対象がベイヤデータ（またはベイヤ圧縮ストリーム）から多波長データ（または多波長圧縮ストリーム）に変わること以外、図５１の撮像装置４００のゲイン調整型ベイヤデータ符号化部４１１およびゲイン調整型ベイヤデータ復号部４１２と同様の処理部であり、同様の処理を行う。

＜ゲイン調整型多波長データ符号化部＞
つまり、ゲイン調整型多波長データ符号化部５１１は、ホワイトバランス調整部５０３により設定される多波長データの各波長成分に対するホワイトバランス調整用ゲインに応じた量子化値を用いて、その多波長データの各波長成分を量子化し、符号化する。図６３は、ゲイン調整型多波長データ符号化部５１１の主な構成例を示すブロック図である。このゲイン調整型多波長データ符号化部５１１は、波長分離部５２１、ゲイン調整部５２２−１乃至ゲイン調整部５２２−Ｎ（Ｎは自然数）、波長合成部５２３、並びに多波長データ符号化部５２４を有する。ゲイン調整部５２２−１乃至ゲイン調整部５２２−Ｎを互いに区別して説明する必要がない場合、ゲイン調整部５２２と称する。

これらの処理部は、処理対象がベイヤデータから多波長データに変わること以外、図５２を参照して説明したゲイン調整型ベイヤデータ符号化部４１１の各処理部と同様の処理部であり、同様の処理を行う。

つまり、各波長成分がゲイン調整（ホワイトバランス調整）された状態で、多波長データ符号化部５２４による量子化を伴う符号化が行われるので、各波長成分の量子化値は、ゲイン調整後の状態で設定される。したがって、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。

＜ゲイン調整型多波長データ復号部＞
図６４は、ゲイン調整型多波長データ復号部５１２の主な構成例を示すブロック図である。このゲイン調整型多波長データ復号部５１２は、多波長データ復号部５３１、波長分離部５３２、逆ゲイン調整部５３３−１乃至逆ゲイン調整部５３３−Ｎ（Ｎは自然数）、並びに波長合成部５３４を有する。逆ゲイン調整部５３３−１乃至逆ゲイン調整部５３３−Ｎを互いに区別して説明する必要がない場合、逆ゲイン調整部５３３と称する。

これらの処理部は、処理対象がベイヤ圧縮ストリームから多波長圧縮ストリームに変わること以外、図５３を参照して説明したゲイン調整型ベイヤデータ復号部４１２の各処理部と同様の処理部であり、同様の処理を行う。

＜撮像処理の流れ＞
撮像装置５００は、図６５に示されるフローチャートのように撮像処理を実行する。この図６５のステップＳ５０１乃至ステップＳ５０６の各処理は、処理対象がベイヤデータから多波長データに変わること以外、図５４のステップＳ４４１乃至ステップＳ４４６の各処理と同様に実行される。

＜多波長データ量子化処理の流れ＞
図６５のステップＳ５０３において実行される多波長データ量子化処理は、例えば、図６６のフローチャートのように実行される。この図６６のステップＳ５１１およびステップＳ５１２の各処理は、処理対象がベイヤデータ（またはベイヤ圧縮ストリーム）から多波長データ（または多波長圧縮ストリーム）に変わること以外、図５５のステップＳ４５１およびステップＳ４５２の各処理と同様に実行される。

＜多波長データ符号化処理の流れ＞
図６６のステップＳ５１１において実行される多波長データ符号化処理は、例えば、図６７のフローチャートのように実行される。この図６７のステップＳ５２１乃至ステップＳ５２４の各処理は、処理対象がベイヤデータから多波長データに変わること以外、図５６のステップＳ４６１乃至ステップＳ４６４の各処理と同様に実行される。

＜多波長圧縮ストリーム復号処理の流れ＞
図６６のステップＳ５１２において実行される多波長圧縮ストリーム復号処理は、例えば、図６８のフローチャートのように実行される。この図６８のステップＳ５３１乃至ステップＳ５３４の各処理は、処理対象がベイヤ圧縮ストリームから多波長圧縮ストリームに変わること以外、図５７のステップＳ４７１乃至ステップＳ４７４の各処理と同様に実行される。

以上のように各処理を行うことにより、多波長データの場合であっても、各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。

＜４−５．撮像装置＞
なお、撮像装置５００に光源の色（光源色）を測定するセンサ（光源色測定部）を設け、その測定された光源色に基づいて設定される多波長データの各波長成分に対するゲインに応じた量子化値を用いて、多波長データの各波長成分を量子化し、符号化するようにしてもよい。

その場合、撮像装置５００は、例えば図６９に示されるように、光源色測定用センサ５４１、および光源色測定部５４２を有する。光源色測定用センサ５４１は、光源（例えば、環境光）等を検出し、その検出結果を光源色測定部５４２に供給する。光源色測定部５４２は、その検出結果に基づいて光源色を測定し、その光源色に基づいて各波長成分のゲインを設定する。光源色測定部５４２は、その各波長成分のゲインをゲイン調整型多波長データ符号化部５１１、ゲイン調整型多波長データ復号部５１２、およびホワイトバランス調整部５０３に供給する。ゲイン調整型多波長データ符号化部５１１による多波長データの符号化、ゲイン調整型多波長データ復号部５１２による多波長圧縮ストリームの復号、およびホワイトバランス調整部５０３によるホワイトバランス調整は、光源色測定部５４２により設定されたゲインを用いて行われる。

＜撮像処理の流れ＞
この場合の撮像装置５００は、図７０に示されるフローチャートのように撮像処理を実行する。この図７０のステップＳ５４１乃至ステップＳ５４７の各処理は、処理対象がベイヤデータから多波長データに変わること以外、図５９のステップＳ４８１乃至ステップＳ４８７の各処理と同様に実行される。

このようにすることにより、撮像装置５００は、環境光（周辺光）に基づいてホワイトバランス調整を行うことができる。また、その場合も、撮像装置５００は、多波長データの各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。

＜４−６．撮像装置＞
なお、波長成分毎のゲインを、ユーザ等が設定するようにしてもよい。その場合、撮像装置５００は、例えば図７１に示されるように、ユーザ設定入力部５５１を有する。ユーザ設定入力部５５１は、多波長データの各波長成分のゲインのユーザ設定を受け付ける。ユーザ設定入力部５５１は、例えば、ユーザインタフェースを有し、ユーザ等によるゲインの手動入力を受け付けるようにしてもよいし、入力端子や通信部等を有し、他の装置からゲインが供給されるようにしてもよい。

ユーザ設定入力部５５１に入力された多波長データの各波長成分のゲインは、ゲイン調整型多波長データ符号化部５１１、ゲイン調整型多波長データ復号部５１２、およびホワイトバランス調整部５０３に供給される。ゲイン調整型多波長データ符号化部５１１による多波長データの符号化、ゲイン調整型多波長データ復号部５１２による多波長圧縮ストリームの復号、およびホワイトバランス調整部５０３によるホワイトバランス調整は、そのゲインを用いて行われる。

＜撮像処理の流れ＞
この場合の撮像装置５００は、図７２に示されるフローチャートのように撮像処理を実行する。この図７２のステップＳ５５１乃至ステップＳ５５６の各処理は、処理対象がベイヤデータから多波長データに変わること以外、図６１のステップＳ４９１乃至ステップＳ４９６の各処理と同様に実行される。

このようにすることにより、撮像装置５００は、ユーザ設定に基づいてホワイトバランス調整を行うことができる。したがって、例えば、ユーザの好みに応じたホワイトバランス調整を行うことができる。また、その場合も、撮像装置５００は、多波長データの各波長成分をゲイン調整後の量子化値のばらつきを抑制することができ、情報の劣化を抑制することができる。

＜５．第４の実施の形態＞
＜波長域の保護＞
多波長データの全波長成分の重要度が均一でない場合もある。例えば、植物が光合成に利用する波長としては、0.45uｍと0.68uｍの波長が知られており、また、熱に弱いクロロフィルを守るため、0.75uｍの波長の反射率が大きくなることが知られている（図７３）。この反射率が急激に変化する波長帯はレッドエッジと呼ばれており、植物のストレス状況を把握するために非常に重要である。例えば、対象の植物が水不足等により、ストレス状態に置かれた場合、このレッドエッジが短波長側に変化することなどが知られている。このように植物の育成状況把握には、レッドエッジと呼ばれる波長帯のデータが重要となる。しかしながら、既存のBayer符号化などの圧縮手法では、波長間の重要度が大きく変化しないため、波長間での保護、非保護の設定ができなかった。

そこで、優先度が高い波長帯を保護領域として保護し、その保護領域の成分の精度を他の波長帯（保護領域外）よりも高くするようにしてもよい。換言するに、保護領域外のデータの精度を、保護領域よりも低減させるようにしてもよい。このようにすることにより、優先度の高い（より重要な）情報の劣化を抑制することができる。

この保護領域とする波長帯は任意である。例えば、上述のレッドエッジ（可視光赤の隣接波長帯、波長0.75um周辺の波長帯）を保護領域としてもよい。

例えば、図７４に示される例のように、保護領域では波長方向のサンプリングを、保護領域外よりも密に設定するようにしてもよい。例えば、多波長センサの保護領域に対する分光能力を、保護領域外に対する分光能力よりも高くすることにより、このようなサンプリング設定を実現することができる。このようにすることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。

また、例えば、被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、その生成された多波長データを、所定の波長成分（保護領域）のみ他の波長成分（保護領域外）よりも小さい量子化値で量子化するように、量子化し、その量子化された多波長データを符号化し、その多波長データの符号化データを生成するようにしてもよい。

例えば、図７５に示される例のように、保護領域の量子化値を、保護領域外よりも小さい値に設定するようにしてもよい。このようにすることにより、保護領域における量子化による誤差を低減させることができ、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。

＜５−１．撮像装置＞
図７６は、その場合の撮像装置の主な構成例を示すブロック図である。図７６に示される撮像装置６００は、被写体を撮像して撮像画像の多波長データを出力する装置である。この撮像装置６００は、例えば、精密農業等に用いられる、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示している。

撮像装置６００は、多波長センサ６０１、多波長データ量子化部６０２、および多波長データ符号化部６０３を有する。多波長センサ６０１は、多波長センサ１１１（図１）と同様のセンサであり、被写体を撮像して多波長データを生成し、それを多波長データ量子化部６０２に供給する。多波長データ量子化部６０２は、その多波長データを量子化し、量子化された多波長データを多波長データ符号化部６０３に供給する。多波長データ符号化部６０３は、その量子化された多波長データを符号化し、多波長圧縮ストリームを生成し、それを撮像装置６００の外部に出力する。

＜多波長データ量子化部＞
図７７は、図７６の多波長データ量子化部６０２の主な構成例を示すブロック図である。多波長データ量子化部６０２は、波長分離部６１１、保護領域量子化部６１２、保護領域外量子化部６１３、および波長合成部６１４を有する。

波長分離部６１１は、多波長データを、保護領域（所定の波長帯）の成分（保護領域波長成分）と、保護領域外（その他の波長帯）の成分（保護領域外波長成分）とに分離し、保護領域波長成分を保護領域量子化部６１２に供給し、保護領域外波長成分を保護領域外量子化部６１３に供給する。

保護領域量子化部６１２は、その保護領域波長成分を、供給される保護領域用量子化値を用いて量子化する。保護領域量子化部６１２は、量子化された保護領域波長成分を波長合成部６１４に供給する。保護領域外量子化部６１３は、その保護領域外波長成分を、供給される保護領域外用量子化値を用いて量子化する。保護領域外量子化部６１３は、量子化された保護領域外波長成分を波長合成部６１４に供給する。つまり、保護領域量子化部６１２および保護領域外量子化部６１３は、互いに独立した量子化値を用いて量子化を行う。

波長合成部６１４は、量子化された保護領域波長成分と、量子化された保護領域外波長成分とを合成し、量子化された多波長データを生成し、出力する。

＜撮像処理の流れ＞
撮像装置６００により実行される撮像処理の流れの例を、図７８のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ６０１は、ステップＳ５６１において、被写体を撮像し多波長データを生成する。ステップＳ５６２において、多波長データ量子化部６０２は、その多波長データを量子化する。ステップＳ５６３において、多波長データ符号化部６０３は、量子化された多波長データを符号化し、多波長圧縮ストリームを生成する。

＜多波長データ量子化処理の流れ＞
図７８のステップＳ５６２において実行される多波長データ量子化処理の流れの例を、図７９のフローチャートを参照して説明する。多波長データ量子化処理が開始されると、ステップＳ５７１において、波長分離部６１１は、多波長データを保護領域波長成分と保護領域外波長成分とに分離する。ステップＳ５７２において、保護領域量子化部６１２は、保護領域用の量子化値を用いて保護領域波長成分を量子化する。ステップＳ５７３において、保護領域外量子化部６１３は、保護領域外用の量子化値を用いて保護領域外波長成分を量子化する。ステップＳ５７４において、波長合成部６１４は、量子化された保護領域波長成分と、量子化された保護領域外波長成分とを合成し、量子化された多波長データを生成する。

以上のように、保護領域の波長成分を、保護領域外用の量子化値とは独立した、保護領域用の量子化値を用いて量子化することにより、保護領域における量子化による誤差を低減させることができ、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。

＜データの重み付け・並び替え・固定長圧縮＞
多波長データには複数の波長成分が含まれる。例えば、図８０に示される各四角を１つの単波長データとすると、多波長データは、その単波長データの集合として構成される。そして、各単波長データは、互いに独立に処理することができる。したがって、例えば、図８１のＡに示されるように、各単波長データに対して量子化による重み付けを行うようにしてもよい。例えば、優先度の高い単波長データの量子化値を、優先度の低い単波長データの量子化値よりも小さくすることができる。つまり、各単波長データに対して重み付けを行うことができるので、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。

また、図８１のＢに示されるように、各単波長データの処理順を並び替えるようにしてもよい。例えば、優先度の高い単波長データ（例えば、保護領域外の単波長データ）が他の単波長データよりも先に処理されるように、処理順を並び替えるようにしてもよい。このようにすることにより、優先度の高い単波長データの処理結果を先に得るようにすることができる。

また、符号長を固定とする固定長圧縮により多波長データを符号化するようにしてもよい。その際、上述のように、優先度の高い単波長データの処理順を先にするように並び替えることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる固定長圧縮の多波長データを生成することができる。

＜５−２．撮像装置＞
図８２は、その場合の撮像装置の主な構成例を示すブロック図である。図８２に示される撮像装置７００は、被写体を撮像して撮像画像の多波長データを出力する装置である。この撮像装置７００は、例えば、精密農業等に用いられる、上述の人工衛星、空撮用ヘリコプタ、ドローン等の、撮像機能を有する端末装置を示している。

撮像装置７００は、多波長センサ７０１、データ並び替え部７０２、多波長データ符号化部７０３、多波長データ符号化部７０４、およびストリーム合成部７０５を有する。多波長センサ７０１は、多波長センサ１１１（図１）と同様のセンサであり、被写体を撮像して多波長データを生成し、それをデータ並び替え部７０２に供給する。データ並び替え部７０２は、その多波長データの各単波長データの処理順を並び替え、優先度の高い単波長データ（高優先度データ）を多波長データ符号化部７０３に供給し、その他の単波長データ（優先度の低い単波長データ（低優先度データ））を多波長データ符号化部７０４に供給する。

多波長データ符号化部７０３は、高優先度データを、多波長データ符号化部７０４よりも低い圧縮率で符号化して、低圧縮の圧縮ストリーム（高優先度圧縮ストリーム）を生成し、それをストリーム合成部７０５に供給する。また、多波長データ符号化部７０３は、固定長圧縮となるように、自身が生成した高優先度圧縮ストリームのデータ量に基づいて、多波長データ符号化部の目標ビット量（低優先度データターゲットビット量）を設定し、それを多波長データ符号化部７０４に供給する。

多波長データ符号化部７０４は、低優先度データを、多波長データ符号化部７０３よりも高い圧縮率で符号化して、高圧縮の圧縮ストリーム（低優先度圧縮ストリーム）を生成し、それをストリーム合成部７０５に供給する。なお、多波長データ符号化部７０４は、多波長データ符号化部７０３から供給される低優先度データターゲットビット量を用いて、固定長符号化となるように、この低優先度データの符号化を行う。

例えば、図８３のＡに示されるように、まず、多波長データ符号化部７０３が、高優先度データを符号化し、残りのビット量に基づいて、低優先度データターゲットビット量を設定する。次に図８３のＢに示されるように、多波長データ符号化部７０４が、低優先度データターゲットビット量を用いて、固定長符号化となるように圧縮率を調整して、低優先度データを符号化する。もし、図８３のＢの例のように、ビットが余った場合、図８３のＣに示されるように、stuffing bitが補充されるようにしてもよい。

図８２に戻り、ストリーム合成部７０５は、高優先度圧縮ストリームと低優先度圧縮ストリームとを合成し、多波長圧縮ストリームを生成し、それを出力する。

＜撮像処理の流れ＞
撮像装置７００により実行される撮像処理の流れの例を、図８４のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ７０１は、ステップＳ５８１において、被写体を撮像し多波長データを生成する。ステップＳ５８２において、データ並び替え部７０２は、多波長データの各単波長データの処理順を高優先度データが先に処理されるように適宜並び替える。ステップＳ５８３において、多波長データ符号化部７０３は、高優先度データを符号化する。ステップＳ５８４において、多波長データ符号化部７０３は、低優先度データターゲットビット量を設定する。ステップＳ５８５において、多波長データ符号化部７０４は、低優先度データターゲットビット量を用いて固定長圧縮となるように、低優先度データを符号化する。ステップＳ５８６において、ストリーム合成部７０５は、高優先度圧縮ストリームと低優先度圧縮ストリームとを合成し、多波長圧縮ストリームを生成する。

以上のようにすることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。

＜符号化方法制御＞
また、保護領域の単波長データと保護領域外の単波長データとを、互いに異なる符号化方法で符号化するようにしてもよい。例えば、保護領域の単波長データは、自身のデータのみを用いて符号化し、保護領域外の単波長データは、他の単波長データを用いた予測を用いて符号化するようにしてもよい（図８５）。

＜５−３．撮像装置＞
図８６は、その場合の撮像装置の主な構成例を示すブロック図である。図８６の例の場合、撮像装置７００は、図８２の場合と比べて、多波長データ符号化部７０４の代わりに、局所復号部７１１、波長間予測部７１２、演算部７１３、および差分データ符号化部７１４を有する。

局所復号部７１１は、多波長データ符号化部７０３により生成された高優先度圧縮ストリームを復号し、高優先度データを復元する。波長間予測部７１２は、局所復号部７１１が復元した高優先度データを用いて、低優先度データの予測データを生成する。演算部７１３は、データ並び替え部７０２から供給される低優先度データと、波長間予測部７１２から供給されるその低優先度データの予測値との差分を算出する。差分データ符号化部７１４は、演算部７１３により算出された差分（差分データ）を符号化し、差分圧縮ストリームを生成する。ストリーム合成部７０５は、多波長データ符号化部７０３が生成した高優先度圧縮ストリームと、差分データ符号化部７１４が生成した差分圧縮ストリームとを合成し、多波長圧縮ストリームを生成し、それを出力する。

＜撮像処理の流れ＞
この場合の撮像処理の流れの例を、図８７のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ７０１は、ステップＳ６０１において、被写体を撮像し多波長データを生成する。ステップＳ６０２において、データ並び替え部７０２は、多波長データの各単波長データの処理順を高優先度データが先に処理されるように適宜並び替える。ステップＳ６０３において、多波長データ符号化部７０３は、高優先度データを符号化し、高優先度圧縮ストリームを生成する。ステップＳ６０４において、局所復号部７１１は、ステップＳ６０３において生成された高優先度圧縮ストリームを局所復号し、高優先度データを復元する。ステップＳ６０５において、波長間予測部７１２は、波長間予測を行い、ステップＳ６０４において復元された高優先度データを用いて低優先度データの予測データを生成する。ステップＳ６０６において、演算部７１３は、低優先度データと、ステップＳ６０５において生成された予測データとの差分を算出する。ステップＳ６０７において、差分データ符号化部７１４は、ステップＳ６０６において生成された差分データを符号化する。ステップＳ６０８において、ストリーム合成部７０５は、ステップＳ６０３において生成された高優先度圧縮ストリームと、ステップＳ６０７において生成された差分圧縮ストリームとを合成し、多波長圧縮ストリームを生成する。

以上のようにすることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。

＜５−４．撮像装置＞
図８８は、その場合の撮像装置の他の構成例を示すブロック図である。図８８の例の場合、撮像装置７００は、図８６の場合と比べて、さらに、局所復号部７２１、演算部７２２、波長間予測部７２３、およびモード選択部７２４を有する。

局所復号部７２１は、差分データ符号化部７１４により生成された差分圧縮ストリームを復号し、差分データを復元する。演算部７２２は、モード選択部７２４から供給される予測データと、局所復号部７２１から供給される差分データとを加算する。つまり、低優先度データが復元される。波長間予測部７２３は、その低優先度データを用いて、低優先度データの予測データを生成する。モード選択部７２４は、波長間予測部７１２により生成された予測データと、波長間予測部７２３により生成された予測データのいずれか一方を選択し、選択した方の予測データを、演算部７１３および演算部７２２に供給する。

＜撮像処理の流れ＞
この場合の撮像処理の流れの例を、図８９のフローチャートを参照して説明する。撮像処理が開始されると、多波長センサ７０１は、ステップＳ６２１において、被写体を撮像し多波長データを生成する。ステップＳ６２２において、データ並び替え部７０２は、多波長データの各単波長データの処理順を高優先度データが先に処理されるように適宜並び替える。ステップＳ６２３において、多波長データ符号化部７０３は、高優先度データを符号化し、高優先度圧縮ストリームを生成する。ステップＳ６２４において、局所復号部７１１は、ステップＳ６２３において生成された高優先度圧縮ストリームを局所復号し、高優先度データを復元する。ステップＳ６２５において、波長間予測部７１２は、ステップＳ６２４において復元された高優先度データを用いて波長間予測を行い、低優先度データの予測データを生成する。

ステップＳ６２６において、波長間予測部７２３は、復元された低優先度データを用いて波長間予測を行い、低優先度データの予測データを生成する。

ステップＳ６２７において、モード選択部７２４は、例えばコスト等に基づいて予測のモードを選択し、ステップＳ６２５において生成された予測データと、ステップＳ６２６において生成された予測データとのいずれか一方を選択する。

ステップＳ６２８において、演算部７１３は、低優先度データと、ステップＳ６２７において選択された予測データとの差分を算出する。ステップＳ６２９において、差分データ符号化部７１４は、ステップＳ６２８において生成された差分データを符号化し、差分圧縮ストリームを生成する。ステップＳ６３０において、局所復号部７２１は、ステップＳ６２９において生成された差分圧縮ストリームを局所復号し、差分データを復元する。ステップＳ６３１において、演算部７２２は、ステップＳ６２７において選択された予測データと、ステップＳ６３０において復元された差分データとを加算し、低優先度データを復元する。

ステップＳ６３２において、ストリーム合成部７０５は、ステップＳ６２３において生成された高優先度圧縮ストリームと、ステップＳ６２９において生成された差分圧縮ストリームとを合成し、多波長圧縮ストリームを生成する。

以上のようにすることにより、優先度の高い（より重要な）波長帯の情報をより正確に得ることができる多波長データを生成することができる。

＜６．付記＞
＜多波長データの波長帯＞
各実施の形態において上述した多波長データは、４以上の波長成分を含む画像データであればよい。つまり、多波長データの各波長成分の波長は任意である。例えば、多波長データが、可視光の波長成分を含んでいてもよいし、含まなくてもよい。また、多波長データが、不可視光の波長成分を含んでいてもよいし、含まなくてもよい。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図９０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図９０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。

また、以上においては、本技術を撮像装置に適用する場合について説明したが、本技術は、撮像装置に限らず任意の装置（電子機器）に適用することができる。例えば、他の装置において行われた高デジタルゲイン撮像により得られた撮像画像に対して画像処理を施す画像処理装置等にも本技術を適用することができる。

また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。

さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、
前記撮像部により生成された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と、
前記符号化部により生成された前記符号化データを送信する送信部と
を備える画像処理装置。
（２） 前記符号化部は、前記多波長データを、波長成分毎に独立に符号化する
（１）に記載の画像処理装置。
（３） 前記符号化部は、
各波長成分を量子化し、
量子化された波長成分同士の差分を算出し、
前記差分を可変長符号化する
（２）に記載の画像処理装置。
（４） 前記送信部の伝送レートに応じて、前記多波長データを符号化するか否かを制御する符号化制御部をさらに備え、
前記符号化制御部により符号化を行うように制御された場合、
前記符号化部は、前記多波長データを符号化し、
前記送信部は、前記符号化部により生成された前記符号化データを送信し、
前記符号化制御部により符号化を行わないように制御された場合、
前記送信部は、前記撮像部により生成された前記多波長データを送信する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記送信部の伝送レートに応じて、前記多波長データの符号化の圧縮率を制御する符号化制御部をさらに備え、
前記符号化部は、前記符号化制御部により制御された圧縮率で前記多波長データを符号化する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記符号化部は、前記多波長データを複数の圧縮率で符号化し、
前記送信部は、前記符号化部により生成された各圧縮率の前記符号化データをそれぞれ送信する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記送信部は、より圧縮率の高い前記符号化データをより優先して送信する
（６）に記載の画像処理装置。
（８） 前記撮像部により生成された前記多波長データに対してノイズリダクション処理を行うノイズリダクション処理部をさらに備え、
前記符号化部は、前記ノイズリダクション処理部により前記ノイズリダクション処理が施された前記多波長データを符号化する
（１）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記ノイズリダクション処理部は、前記多波長データの波長成分毎に独立に前記ノイズリダクション処理を行う
（８）に記載の画像処理装置。
（１０） 被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、
生成された前記多波長データを符号化し、前記多波長データの符号化データを生成し、
生成された前記符号化データを送信する
画像処理方法。
（１１） 被写体を撮像し、複数の波長成分を含む画像データを生成する撮像部と、
前記撮像部により生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する符号化部と
を備える画像処理装置。
（１２） 前記符号化部は、前記画像データの各波長成分に対するホワイトバランス調整用ゲインに応じた量子化値を用いて、前記画像データの各波長成分を量子化し、符号化する
（１１）に記載の画像処理装置。
（１３） 光源色を測定する光源色測定部をさらに備え、
前記符号化部は、前記光源色測定部により測定された前記光源色に基づいて設定される前記画像データの各波長成分に対するゲインに応じた量子化値を用いて、前記画像データの各波長成分を量子化し、符号化する
（１１）または（１２）に記載の画像処理装置。
（１４） 前記画像データは、４以上の波長成分を含む画像データである多波長データである
（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 被写体を撮像し、複数の波長成分を含む画像データを生成し、
生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する
画像処理方法。
（１６） 被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、
前記撮像部により生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化する量子化部と、
前記量子化部により量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と
を備える画像処理装置。
（１７） 前記所定の波長成分は、レッドエッジである
（１６）に記載の画像処理装置。
（１８） 前記多波長データの各波長成分のデータを並び替える並び替え部をさらに備える
（１６）または（１７）に記載の画像処理装置。
（１９） 前記符号化部は、符号長が固定となるように前記多波長データを符号化する
（１８）に記載の画像処理装置。
（２０） 被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、
生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化し、
量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する
画像処理方法。

１００ 画像処理システム， １０１ 撮像装置， １０２ 情報処理装置， １１１ 多波長センサ， １１２ 多波長データ符号化部， １１３ 送信部， １２１ 受信部， １２２ 記憶部， １２３ 多波長データ復号部， １２４ データ解析部， １３１ 波長分離部, １３２ 単波長データ符号化部， １３３ ストリーム合成部， １４１ 量子化部， １４２ ディレイバッファ， １４３ 演算部， １４４ VLCエンコーダ， １５１ ストリーム分離部， １５２ 単波長データ復号部， １５３ 波長合成部， １６１ VLCデコーダ， １６２ 演算部， １６３ ディレイバッファ， １６４ 逆量子化部， １７１ フォーマット選択部， １８１ フォーマット判定部， １９１ 量子化値設定部， ２０１ ダウンサンプリングフィルタ， ２０２ アップサンプリングフィルタ， ２１１ 書き込み部， ２１２ 記憶デバイス， ２１３ 読み出し部， ２２１ 送信部， ２２２ 受信部， ２２３ 制御部， ２３１ 合成部， ２５１ ノイズリダクションフィルタ， ２６１ 波長分離部， ２６２ ２Ｄフィルタ， ２６３ 波長合成部， ２７１ 多波長データ符号化部， ２７２ 記憶部， ２７３ 多波長データ復号部， ２８１ 記憶部， ２８２ 多波長データ符号化部， ２８３ 記憶部， ２８４ 多波長データ復号部， ２９１ 多波長データ符号化部， ２９２ 記憶部， ２９３ 多波長データ復号部， ２９４ リサンプル部， ２９５ 多波長データ符号化部， ２９６ 記憶部， ２９７ 多波長データ復号部， ３１１ 波長分離部， ３１２ ダウンサンプルフィルタ， ３１３ 波長合成部， ３２１ 波長分離部， ３２２ ローパスフィルタ， ３２３ 波長合成部， ３３１ 波長分離部， ３３２ LSBマスク処理部， ３３３ 波長合成部， ４００ 撮像装置， ４０１ ベイヤセンサ， ４０２ 量子化部， ４０３ ホワイトバランス調整部， ４０４ 現像処理部， ４１１ ゲイン調整型ベイヤデータ符号化部， ４１２ ゲイン調整型ベイヤデータ復号部， ４２１ 波長分離部， ４２２ Ｒゲイン調整部， ４２３ Ｇゲイン調整部， ４２４ Ｂゲイン調整部， ４２５ 波長合成部， ４２６ ベイヤデータ符号化部， ４３１ ベイヤデータ復号部， ４３２ 波長分離部，４３３ 逆Ｒゲイン調整部， ４３４ 逆Ｇゲイン調整部， ４３５ 逆Ｂゲイン調整部， ４３６ 波長合成部， ４４１ 光源色測定用センサ， ４４２ 光源色測定部， ４５１ ユーザ設定入力部， ５００ 撮像装置， ５０１ 多波長センサ， ５０２ 量子化部， ５０３ ホワイトバランス調整部， ５０４ 現像処理部， ５１１ ゲイン調整型多波長データ符号化部， ５１２ ゲイン調整型多波長データ復号部， ５２１ 波長分離部， ５２２ ゲイン調整部， ５２３ 波長合成部， ５２４ 多波長データ符号化部， ５３１ 多波長データ復号部， ５３２ 波長分離部，５３３ 逆ゲイン調整部， ５３４ 波長合成部， ５４１ 光源色測定用センサ， ５４２ 光源色測定部， ５５１ ユーザ設定入力部， ６００ 撮像装置， ６０１ 多波長センサ， ６０２ 多波長データ量子化部， ６０３ 多波長データ符号化部， ６１１ 波長分離部， ６１２ 保護領域量子化部， ６１３ 保護領域外量子化部， ６１４ 波長合成部， ７００ 撮像装置， ７０１ 多波長センサ， ７０２ データ並び替え部， ７０３ 多波長データ符号化部， ７０４ 多波長データ符号化部， ７０５ ストリーム合成部， ７１１ 局所復号部， ７１２ 波長間予測部， ７１３ 演算部， ７１４ 差分データ符号化部， ７２１ 局所復号部， ７２２ 演算部， ７２３ 波長間予測部， ７２４ モード選択部

Claims (20)

1. 被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、
   前記撮像部により生成された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と、
   前記符号化部により生成された前記符号化データを送信する送信部と
   を備える画像処理装置。
2. 前記符号化部は、前記多波長データを、波長成分毎に独立に符号化する
   請求項１に記載の画像処理装置。
3. 前記符号化部は、
   各波長成分を量子化し、
   量子化された波長成分同士の差分を算出し、
   前記差分を可変長符号化する
   請求項２に記載の画像処理装置。
4. 前記送信部の伝送レートに応じて、前記多波長データを符号化するか否かを制御する符号化制御部をさらに備え、
   前記符号化制御部により符号化を行うように制御された場合、
   前記符号化部は、前記多波長データを符号化し、
   前記送信部は、前記符号化部により生成された前記符号化データを送信し、
   前記符号化制御部により符号化を行わないように制御された場合、
   前記送信部は、前記撮像部により生成された前記多波長データを送信する
   請求項１に記載の画像処理装置。
5. 前記送信部の伝送レートに応じて、前記多波長データの符号化の圧縮率を制御する符号化制御部をさらに備え、
   前記符号化部は、前記符号化制御部により制御された圧縮率で前記多波長データを符号化する
   請求項１に記載の画像処理装置。
6. 前記符号化部は、前記多波長データを複数の圧縮率で符号化し、
   前記送信部は、前記符号化部により生成された各圧縮率の前記符号化データをそれぞれ送信する
   請求項１に記載の画像処理装置。
7. 前記送信部は、より圧縮率の高い前記符号化データをより優先して送信する
   請求項６に記載の画像処理装置。
8. 前記撮像部により生成された前記多波長データに対してノイズリダクション処理を行うノイズリダクション処理部をさらに備え、
   前記符号化部は、前記ノイズリダクション処理部により前記ノイズリダクション処理が施された前記多波長データを符号化する
   請求項１に記載の画像処理装置。
9. 前記ノイズリダクション処理部は、前記多波長データの波長成分毎に独立に前記ノイズリダクション処理を行う
   請求項８に記載の画像処理装置。
10. 被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、
    生成された前記多波長データを符号化し、前記多波長データの符号化データを生成し、
    生成された前記符号化データを送信する
    画像処理方法。
11. 被写体を撮像し、複数の波長成分を含む画像データを生成する撮像部と、
    前記撮像部により生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する符号化部と
    を備える画像処理装置。
12. 前記符号化部は、前記画像データの各波長成分に対するホワイトバランス調整用ゲインに応じた量子化値を用いて、前記画像データの各波長成分を量子化し、符号化する
    請求項１１に記載の画像処理装置。
13. 光源色を測定する光源色測定部をさらに備え、
    前記符号化部は、前記光源色測定部により測定された前記光源色に基づいて設定される前記画像データの各波長成分に対するゲインに応じた量子化値を用いて、前記画像データの各波長成分を量子化し、符号化する
    請求項１１に記載の画像処理装置。
14. 前記画像データは、４以上の波長成分を含む画像データである多波長データである
    請求項１１に記載の画像処理装置。
15. 被写体を撮像し、複数の波長成分を含む画像データを生成し、
    生成された前記画像データを、波長成分毎の量子化値を用いて量子化し、符号化する
    画像処理方法。
16. 被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成する撮像部と、
    前記撮像部により生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化する量子化部と、
    前記量子化部により量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する符号化部と
    を備える画像処理装置。
17. 前記所定の波長成分は、レッドエッジである
    請求項１６に記載の画像処理装置。
18. 前記多波長データの各波長成分のデータを並び替える並び替え部をさらに備える
    請求項１６に記載の画像処理装置。
19. 前記符号化部は、符号長が固定となるように前記多波長データを符号化する
    請求項１８に記載の画像処理装置。
20. 被写体を撮像し、４以上の波長成分を含む画像データである多波長データを生成し、
    生成された前記多波長データを、所定の波長成分のみ他の波長成分よりも小さい量子化値で量子化するように、量子化し、
    量子化された前記多波長データを符号化し、前記多波長データの符号化データを生成する
    画像処理方法。

Images