JP2021184575A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 ＨＤＲ処理に向いた撮像センサから得るＲＡＷ画像を効率良く符号化する。【解決手段】 １つの画素が短時間露光用のサブピクセルと長時間露光用のサブピクセルで構成される撮像センサと、当該撮像センサより得たＲＡＷ画像データを符号化する画像符号化部とを有する撮像装置であって、撮像センサより得たＲＡＷ画像データから、短時間露光用の高周波成分を表す第１の画像、短時間露光用の低周波成分を表す第２の画像、長時間露光用の低周波成分を表す第３の画像、及び、長時間露光用の高周波成分を表す第４の画像を生成する生成部を有し、画像符号化部は、生成部で生成した第１の画像、第２の画像、第３の画像、第４の画像を用いてＲＡＷ画像データを符号化する。【選択図】 図１

Description

本発明は、撮像装置及びその制御方法及びプログラムに関するものである。

通常、デジタルカメラに代表される撮像装置は、撮像センサによる撮像で得た生の画像情報（ＲＡＷ画像）をデベイヤ処理（デモザイク処理）し、輝度と色差から成る信号への変換、並びに、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行う。そして、撮像装置は、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録する。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は、そのデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、高度な編集できる利点がある。よって、ＲＡＷ画像の記録法は、上級者によって好んで使われている手法である。

また、撮像装置に搭載されている撮像センサは、ベイヤ配列が一般的である。しかし、近年、ダイナミックレンジを広げたＨＤＲ（ハイダイナミックレンジ）処理に向いたセンサが登場している。ベイヤ配列を基に、Ｒ（赤）Ｇ（緑）Ｇ（緑）Ｂ（青）の各画素をサブピクセル化したセンサもつ構成は、例えば特許文献１に記載されている。

特開２０１３−２１６６０号公報

特許文献１に記載された技術は、ＲＡＷ画像をＲＧＧＢの各成分に分離し、成分毎に符号化しようとした場合、ＲＧＧＢの各画素をサブピクセル化する。それ故、同一面のイメージセンサ内に、短露光のサブピクセルと長露光のサブピクセルが配置されることになる。短露光のサブピクセルと長露光のサブピクセルのとの間には、当然露光のレベル差が発生する。この差は、符号化時の高周波成分となるので、符号化効率が悪くなる。また、従来のベイヤ配列に対して、ピクセル数が４倍に増えているため、従来のベイヤ配列に対してＲＡＷ画像の符号量も多くなってしまう。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
１つの画素が短時間露光用のサブピクセルと長時間露光用のサブピクセルで構成される撮像センサと、当該撮像センサより得たＲＡＷ画像データを符号化する画像符号化手段とを有する撮像装置であって、
前記撮像センサより得たＲＡＷ画像データから、短時間露光用の高周波成分を表す第１の画像、短時間露光用の低周波成分を表す第２の画像、長時間露光用の低周波成分を表す第３の画像、及び、長時間露光用の高周波成分を表す第４の画像を生成する生成手段を有し、
前記画像符号化手段は、前記生成手段で生成した前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像を用いて、前記ＲＡＷ画像データを符号化することを特徴とする。

本発明によれば、ＨＤＲ処理に向いた撮像センサから得るＲＡＷ画像を効率良く符号化することが可能になる。

実施形態に係る撮像装置のブロック構成図。 画素の配列の例を示す図。 第１の実施形態の画素変換処理を示す図。 第１の実施形態のプレーン変換処理を示す概念図。 各周波数帯を示す概念図。 第１の実施形態における各サブバンドの量子化パラメータの関係を示す図。 第２の実施形態の画素変換処理を示す概念図。 第２の実施形態における各サブバンドの量子化パラメータの関係を示す図。 第３の実施形態の撮像装置のブロック構成図。 第３の実施形態のプレーン変換処理を示す概念図。 第３の実施形態の画素変換処理を示す概念図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、第１の実施形態における撮像装置のブロック構成図である。本撮像装置は、入力された映像を画素変換した後、符号化を行うことで符号化ストリームを生成し、記録媒体に記録するものである。

＜符号化処理＞
図１において、制御部１０９は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。

操作部１５０より撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサ部１０２上に結像する。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルタを透過した光を電気信号に変換する。

図２（ａ）は、従来の撮像センサに配置されるカラーフィルタの一例である。図２（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されている。その中の２×２の４画素は、赤１画素、青１画素、緑２画素で構成されている。この２×２の４画素を１セットとし、セットが規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ配列と呼ばれる。

図２（ｂ）は、実施形態における撮像センサ部１０２に採用されている、カラーフィルタの配列を示している。図２（ｂ）に示すように、ベイヤ配列に対して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各画素が、２×２のサブピクセルを持つ構造となっている。２×２のサブピクセルは短時間露光用の２つサブピクセル（Ｓ）と、長時間露光用の２つのサブピクセル（Ｌ）で構成される。

なお、ここで言う短時間露光用、長時間露光用とは、実際の露光時間が異なることを意味するのではない。長時間露光用のサブピクセルを別な表現で示せば、高感度用のサブピクセルと言うこともでき、被写体が比較的に暗い場合に適したサブピクセルを意味している。同様に、短時間露光用のサブピクセルを別な表現で示せば、低感度用のサブピクセルということもでき、被写体が比較的に明るい場合に適したサブピクセルを意味していることに注意されたい。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される、サブピクセル配列のままの画像を、生（未現像）の画像を意味するＲＡＷ画像（若しくはＲＡＷ画像データ）と称す。

入力画像バッファ１０４は、複数画素ラインのＲＡＷ画像を入力可能である。ＲＡＷ画像が入力されると、画素変換部１１４は、入力されたＲＡＷ画像のサブピクセルに基づき、複数の画像を生成し、プレーン変換部１１５に供給する。プレーン変換部１１５は、画素変換部１１４から複数の画像を入力し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分毎の画像を生成する。これら、画素変換部１１４、および、プレーン変換部１１５について詳細は後述する。

画像符号化部１１３は、プレーン変換部１１５が生成した画像を入力し、画素ライン単位に符号化処理を行って符号化データを生成し、生成した符号化データをＤＲＡＭ１０８に出力（格納）する。

画像符号化部１１３における周波数変換部１０５は、プレーン変換部１１５で生成された画像についてウェーブレット変換などの周波数処理を行い、変換後の係数を量子化部１０６に出力する。量子化部１０６は、入力した変換係数を量子化し、量子化後の係数を符号化部１０７に出力する。符号化部１０７は、量子化後の係数を、例えばゴロム符号化などの符号化方式に従って圧縮することで符号化データを生成し、ＤＲＡＭ１０８へ出力する。

記録部１１０は、ＤＲＡＭ１０８に保持された符号化データを記録媒体１１１へファイルとして記録する。

量子化設定部１１２は、制御部１０９から通知される指示に従い、各プレーン、各周波数帯別の量子化設定を量子化部１０６へと通知する（詳細後述）。

＜画素変換部１１４の処理詳細＞
図３は、画素変換部１１４の処理を示す概念図である。ここでは説明を簡略化するため、Ｒ／Ｇ１／Ｇ２／Ｂそれぞれを、２×２のサブピクセルの単位の画素変換処理を例に説明する。図示において各画素の括弧内の“Ｓ”は短露光のサブピクセルを示し、“Ｌ”は長露光のサブピクセルを表している。Ｓ、Ｌに後続する数字“１”は、２×２のサブピクセルの１行目、数字“２”は２行目であることを示している。

参照符号３０１は、センサ信号処理部１０３から出力された、Ｒ／Ｇ１／Ｇ２／Ｂそれぞれ２×２のサブピクセルのＲＡＷ画像である。

参照符号３０２は、Ｒ／Ｇ１／Ｇ２／Ｂの２×２のサブピクセルのうち、左上に配置された短露光のサブピクセルを集めた画像を表している。参照符号３０３は、Ｒ／Ｇ１／Ｇ２／Ｂの２×２のサブピクセルのうち、右下に配置された短露光のサブピクセルを集めた画像である。

参照符号３０４は、Ｒ／Ｇ１／Ｇ２／Ｂの２×２のサブピクセルのうち、右上に配置された長露光のサブピクセルを集めた画像である。参照符号３０５は、Ｒ／Ｇ１／Ｇ２／Ｂの２×２のサブピクセルのうち、左下に配置された長露光のサブピクセルを集めた画像である。

参照符号３０６は、画像３０２と画像３０３間の高周波成分を表す第一の画像である。この第一の画像３０６は、画像３０２と画像３０３との同じ位置、同じ成分のサブピクセルの差分で構成される。それ故、第一の画像３０６の各サブピクセルの括弧内には差分を表す“−”が示されている。

参照符号３０７は、画像３０２と画像３０３間の低周波成分を表す第二の画像である。この第二の画像３０７は、画像３０２と画像３０３との同じ位置、同じ成分のサブピクセルの和で構成される。それ故、第一の画像３０７の各サブピクセルの括弧内には和を表す“＋”が示されている。

参照符号３０８は、画像３０４と画像３０５間の低周波成分を表す第三の画像である。また、参照符号３０９は、画像３０４と画像３０５間の高周波成分を表す第四の画像である。サブピクセルの括弧内の符号“＋”、“−”の意味は、第一の画像３０６、第二の画像３０７と同じ意味である。

画素変換部１１４は、センサ信号処理１０３からＲＡＷ画像を入力し、Ｒ／Ｇ１／Ｇ２／Ｂのサブピクセルの配置に応じて、上述した画像３０２、画像３０３、画像３０４、画像３０５の４つの画像を生成する。

なお、上記では、ＲＡＷ画像３０１が４×４のサブピクセルのサイズを有するものとして説明したが、実際のＲＡＷ画像３０１は遥かに大きいサイズである。ＲＡＷ画像３０１の水平方向のサブピクセル数をＷ、垂直方向のサブピクセル数をＨと表したとき、画像３０２乃至３０５それぞれは、Ｗ／２×Ｈ／２個のサブピクセルで構成されることになる。また、図３からもわかるように、画像３０２、画像３０３、画像３０４、画像３０５は、各々、従来センサのベイヤ配列のように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されたものとなる。

次に、画素変換部１１４は、画像３０２と画像３０３を用いて、式（１）の変換処理を行い、短露光のサブピクセルの高周波成分である第一の画像３０６を生成する。また、画素変換部１１４は、画像３０２と画像３０３を用いて、式（２）の変換処理を行い、短露光のサブピクセルの低周波成分である、第二の画像３０７を生成する。
pix_1(x,y)=pix_S1(x,y) - pix_S2(x,y) …（１）
pix_2(x,y)=pix_S1(x,y) + pix_S2(x,y) …（２）
ここで、pix_S1()は画像３０２のサブピクセルの画素値、pix_S2()は画像３０３のサブピクセルの画素値を表す。そして、pix_1()は、変換処理後の第一の画像３０６の画素値、pix_2(x,y)は変換処理後の第二の画像３０７の画素値を表す。

同様に、画素変換部１１４は、画像３０４と画像３０５を用いて、式（３）の変換処理を行い、長露光のサブピクセルの低周波成分である第三の画像３０８を生成する。また、画素変換部１１４は、画像３０４と画像３０５を用いて、式（４）の変換処理を行い、長露光のサブピクセルの高周波成分である、第四の画像３０９を生成する。
pix_3(x,y)=pix_L1(x,y) + pix_L2(x,y) …（３）
pix_4(x,y)=pix_L1(x,y) - pix_L2(x,y) …（４）
ここで、pix_L1()は画像３０４のサブピクセルの画素値、pix_L2()は画像３０５のサブピクセルの画素値を表す。そして、pix_3()は変換処理後の第三の画像３０８の画素値、pix_4()は変換処理後の第四の画像３０９の画素値を表す。

以上の説明のように、画素変換部１１４は、センサ信号処理１０３から入力したＲＡＷ画像から、第一の画像３０６、第二の画像３０７、第三の画像３０８、および第四の画像３０９の４つの画像を生成する。

＜プレーン変換部１１５の処理詳細＞
図４は、プレーン変換部１１５の変換処理を示す概念図である。プレーン変換部１１５は、画素変換部１１４から入力した４つの画像（上記の第一乃至第四の画像）に対して、変換処理を行う。プレーン変換部１１５は、いずれの画像についても同様の処理を行う。ここでは説明を簡略化するため、画素変換部１１４から入力した第一の画像３０６におけるプレーン変換処理を例に説明する。

参照符号４０２は、第一の画像３０６におけるＧ１成分から構成される画像、参照符号４０３はＢ成分から構成される画像、参照符号４０４はＲ成分から構成される画像、そして、参照符号４０５はＧ２成分から構成される画像である。

プレーン変換部１１５は、第一の画像３０６を２×２の単位で読み出し、成分毎に、読み出した成分値を、分類して出力することで、Ｇ１成分から構成される画像４０２、Ｂ成分から構成される画像４０３、Ｒ成分から構成される画像４０４、そして、Ｇ２成分から構成される画像４０５の４つの画像を生成する。そして、プレーン変換部１１５は生成したこれらの画像４０２乃至４０５を、画像符号化部１１３に出力する。

＜量子化設定部１１２の処理詳細＞
量子化設定部１１２は、周波数変換部１０５で生成された周波数帯毎の量子化に係る設定を量子化部１０６へと通知する。

図５は、周波数変換部１０５で生成された各周波数帯を示す概念図である。ここでは、離散ウェーブレット変換を水平方向と垂直方向でそれぞれ二回行った場合を示している。従って図５は、ウェーブレット分解レベル“２”（分解Ｌｖ２）までのサブバンドが存在している。図５の各サブバンドの中で、サブバンド２ＬＬ，２ＬＨ，２ＨＬ，２ＨＨは分解Ｌｖ２のサブバンドであり、サブバンド１ＬＨ，１ＨＬ，１ＨＨは分解Ｌｖ１のサブバンドである。分解レベル２のウェーブレット変換対象は、分解レベル１のウェーブレット変換で得たサブバンド１ＬＬとなるので、図示にはサブバンドを表す１ＬＬの表記はない。また、左上側に位置するサブバンドほど低域のサブバンドであり、右下側に位置するサブバンドほど高域のサブバンドであると言える。

次に、成分毎の画像内の、各サブバンドの量子化設定値の関係について説明する。

サブバンド２ＬＬの量子化パラメータをＱＰ＿２ＬＬと定義する。同様に、サブバンド２ＬＨの量子化パラメータをＱＰ＿２ＬＨ、サブバンド２ＨＬの量子化パラメータをＱＰ＿２ＨＬ、サブバンド２ＨＨの量子化パラメータをＱＰ＿２ＨＨと定義する。また、サブバンド１ＬＨの量子化パラメータをＱＰ＿１ＬＨ、サブバンド１ＨＬの量子化パラメータをＱＰ＿１ＨＬ、サブバンド１ＨＨの量子化パラメータをＱＰ＿１ＨＨと定義する。

一般に、低域のサブバンドほど画質に対して支配的であり、高域のサブバンドほど画質に与える影響は小さい。つまり、低域のサブバンドの情報の損失は小さい方が望ましく、高域のサブバンドの情報の損失は目立たない。それ故、低域のサブバンドであるほど小さい量子化パラメータが設定され、高域のサブバンドほど大きい量子化が設定される。

例えば、各量子化パラメータの関係は、次式（５）の通りとする。
ＱＰ＿２ＬＬ＜ＱＰ＿２ＨＬ，ＱＰ−２ＬＨ＜ＱＰ−２ＨＨ≦ＱＰ−１ＨＬ、ＱＰ−１ＬＨ＜ＱＰ−１ＨＨ …（５）

次に、成分毎の画像間の量子化パラメータの関係について、図６を参照して説明する。ここでは、短露光のサブピクセルの面と長露光のサブピクセルのうち、短露光のサブピクセルのほうが適正露出であった場合を例に説明する。

なお、短露光が長露光よりも適正露出であったか否かは、撮像画像の全体の明るさと閾値とを比較することで行うものとする。明るさが閾値よりも大きい場合には短露光のサブピクセルの方が適正露出であったと判定し、逆の場合は長露光のサブピクセルの方が適正露出であると判定するば良いであろう。

図６は、第一の画像と第二の画像と第三の画像と第四の画像の、各サブバンドの量子化パラメータの関係を示したテーブルである。このテーブルは、量子化設定部１１２内の不図示のメモリに予め格納されているものとする。

サブバンド２ＬＬの量子化パラメータについては、第二の画像と第三の画像は「量子化無し」であり、第一の画像の量子化パラメータＱＰ１＿２ＬＬ、第四の画像の量子化パラメータＱＰ４＿２ＬＬの順に量子化パラメータが大きくなる。

サブバンド２ＬＨの量子化パラメータについては、第二の画像の量子化パラメータＱＰ２＿２ＬＨ、第三の画像の量子化パラメータＱＰ３＿２ＬＨ、第一の画像の量子化パラメータＱＰ１＿２ＬＨ、第四の画像の量子化パラメータＱＰ４＿２ＬＨの順に大きくなる。

その他のサブバンドについても、同様に第二の画像の量子化パラメータ、第三の画像の量子化パラメータ、第一の画像の量子化パラメータ、第四の画像の量子化パラメータの順に大きい関係である。

量子化設定部１１２は、符号化対象が第二の画像３０７は短露光のサブピクセルの低周波成分を含んでいるため、画質への影響を考慮して、その低域のサブバンド２ＬＬについては量子化しないように設定する。

第三の画像３０８は長露光のサブピクセルの低周波成分を含んでいる。そのため、量子化設定部１１２は、第三の画像３０８のサブバンド２ＬＬについては、画質への影響を考慮して、量子化しないように設定する。

その他のサブバンドについても、適正露出の画像で、かつ低周波成分の画像の画質を優先するように量子化設定をすることで、冗長な高周波成分の情報を落とし、符号化効率を上げることができる。

なお、短露光のサブピクセルのプレーンと長露光のサブピクセルのうち、長露光のサブピクセルのほうが適正露出であった場合は、第二の画像と第三の画像の量子化パラメータの大小関係を入れ替え、合わせて第一の画像と第四の画像の量子化パラメータの大小関係を入れ替えることで、適正露出の画像の画質を優先するように量子化設定をする。

以上のようにすることで、ＨＤＲ向けセンサのような、露光時間の異なるサブピクセルが配置される画像が入力された場合でも、冗長な高周波成分の情報を落とすことでセンサのＲＡＷ画像の符号量を削減可能な撮像装置を提供することができる。

また、本実施形態の構成に対して、量子化設定部がサブバンド毎の目標符号量と量子化パラメータを設定し、量子化部は目標符号量に近づくように量子化パラメータを画面内で調整する構成において、量子化設定部が低周波成分の画像の画質を優先するように符号量を多く割り当てる構成も本発明の範疇である。

なお、上記実施形態では、１画素が、撮像センサの１画素が、２×２のサブピクセルで構成されるものとして説明したが、１画素に包含されるサブピクセルの数はこれ以上であっても構わず、その数は特に問わない。隣接する短時間露光用のサブピクセル、隣接する長時間露光用のサブピクセルから、それぞれの高周波、低周波成分画像が生成できれば良い。

［第２の実施形態］
第２の実施形態を説明する。本第２の実施形態における撮像装置の構成は、第１の実施形態で示した図１と同じとする。

本第２の実施形態では、画素変換部１１４が、第一の画像、第二の画像、第三の画像、第四の画像を生成したのち、第二の画像のゲイン調整を行い、ゲイン調整後の第二の画像と第三の画像を、さらに低周波成分と高周波成分の画像に分離する。また、量子化設定部１１２も、新たに生成される画像に適した設定を行う。その他の構成は第１の実施形態と同様とし、その説明は省略する。

＜画素変換部１１４の処理詳細＞
図７は、本発明の実施形態に係る画素変換部１１４の処理を示す概念図である。図示において、参照符号３０１乃至３０９は、図３における同参照符号と同じである。

図示の参照符号７１０は、ゲイン調整後の第二の画像である。参照符号７１１は、ゲイン調整後の第二の画像７１０と第三の画像３０８の低周波成分である、第五の画像である。そして、参照符号７１２は、ゲイン調整後の第二の画像７１０と、第三の画像３０８の高周波成分である、第六の画像である。

本第２の実施形態における画素変換部１１４は、第一の画像３０６、第四の画像３０９、第五の画像７１１、及び、第六の画像７１２をプレーン変換部１１５に出力する。

ここで、第二の画像３０７は、短露光のサブピクセルで生成されているためレベルが低く、第三の画像３０８は長露光のサブピクセルで生成されているため、第二の画像３０７に対してレベルが高い。画素変換部１１４は、第二の画像３０７に対して、第三の画像３０８と同等のレベルになるようにゲイン調整を行い、ゲイン調整後の第二の画像７１０を生成する。

次に、画素変換部１１４は、ゲイン調整後の第二の画像７１０と第三の画像３０８を用いて、式（２）の変換処理を行い、低周波成分である、第五の画像７１１を生成する。また、画素変換部１１４は、ゲイン調整後の第二の画像７１０と第三の画像３０８を用いて、式（１）の変換処理を行い、高周波成分である、第六の画像７１２を生成する。

なお、式（１）と式（２）のpix_S1にゲイン調整後の第二の画像７１０の画素値、pix_S2に第三の画像３０８の画素値を用いて変換処理を行うことになる点に注意されたい。

＜量子化設定部１１２の処理詳細＞
量子化設定部１１２は、周波数変換部１０５で生成された周波数帯毎の量子化に係る設定を量子化部１０６へと通知する。

画像内の、各サブバンドの量子化設定値の関係については、第１の実施形態と同様とし、その説明は省略する。

ここで、成分毎の画像間の量子化パラメータの関係を図８に示すテーブルを参照して説明する。なお、同図のテーブルは、量子化設定部１１２の不図示のメモリに保持されているものとする。

図８は、第一の画像と第四の画像と、第五の画像と、第六の画像の、各サブバンドの量子化パラメータの関係を示すテーブルである。ここでは、第１の実施形態と同様、短露光のサブピクセルのプレーンと長露光のサブピクセルのうち、短露光のサブピクセルのほうが適正露出であった場合を例に説明する。

量子化設定部１１２は、第五の画像７１１におけるサブバンド２ＬＬの量子化パラメータについては「量子化無し」として設定する。また、量子化設定部１１２は、サブバンド２ＬＬについては、第六の画像の量子化パラメータＱＰ６＿２ＬＬ、第一の画像の量子化パラメータＱＰ１＿２ＬＬ、第四の画像の量子化パラメータＱＰ４＿２ＬＬの順に大きくなるように量子化パラメータを設定する。

また、サブバンド２ＬＨの量子化パラメータについては、量子化設定部１１２は、第五の画像の量子化パラメータＱＰ５＿２ＬＨ、第六の画像の量子化パラメータＱＰ６＿２ＬＨ、第一の画像の量子化パラメータＱＰ１＿２ＬＨ、第四の画像の量子化パラメータＱＰ４＿２ＬＨの順に大きくなるように設定する。

その他のサブバンドについても同様に、第五の画像の量子化パラメータ、第六の画像の量子化パラメータ、第一の画像の量子化パラメータ、第四の画像の量子化パラメータの順に大きい関係である。

量子化設定部１１２は、上記のとおり、第五の画像は低周波成分を最も多く含んでいるため、画質への影響を考慮して、生成される複数のサブバンドのうち、低域のサブバンド２ＬＬについては量子化しないように設定する。また、それ以外のサブバンドについても、量子化設定部１１２は、第五の画像が低周波成分を最も多く含んでいるため、画質を最も優先するように量子化設定し、第六の画像については長露光の低周波成分を含んでいるため、第一の画像、および第四の画像よりも画質を優先するように量子化設定を行う。

量子化設定部１１２は、第一の画像、および第四の画像については、適正露出の画像である第一の画像を優先するように量子化設定を行う。

以上のようにすることで、第１の実施形態と比較して、第二の画像と第三の画像から、さらに冗長な高周波成分の情報を落として符号化効率を上げることができるため、センサのＲＡＷ画像の符号量をより多く削減可能な撮像装置を提供することができる。

［第３の実施形態］
図９は、第３の実施形態における撮像装置のブロック構成図である。第１の実施形態（図１）と同じ構成については、同一参照符号を付し、その説明は省略する。また、全体的な処理は前述と同様であるので、以下では、処理が異なる部分について説明する。

本第３の実施形態におけるプレーン変換部９１５は、入力バッファ１０４からＲＡＷ画像を入力し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分それぞれを表す画像（単一色成分の画像）を生成する。

また、画素変換部９１４は、プレーン変換部９１５から出力された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分毎の画像に基づき、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の成分毎に複数の画像を生成する。

そして、画像符号化部１１３は、画素変換部９１４が生成した画像を入力し、画素ライン単位に符号化処理を開始する。

＜プレーン変換部９１５の処理詳細＞
図１０は、本第３の実施形態におけるプレーン変換部９１５によるプレーン変換処理を示す概念図である。

図示において、参照符号１００２はＧ１成分から構成される画像である。参照符号１００３は、Ｂ成分から構成される画像である。参照符号１００４は、Ｒ成分から構成される画像である。参照符号１００５は、Ｇ２成分から構成される画像である。

プレーン変換部９１５は、ＲＡＷ画像３０６を４×４のサブピクセル単位でスキャンし、それぞれが単一成分で構成される４つの画像、すなわち、画像１００２、画像１００３、画像１００４、及び、画像１００５を生成し、出力する。

＜画素変換部９１４の処理詳細＞
図１１（ａ）は、本第３の実施形態における画素変換部１１４の処理を示す概念図である。ここでは、説明を簡略化するため、プレーン変換部９１５が生成したＧ１成分の画像１００２における４×４のサブピクセル１１０１単位の画素変換処理を例に説明する。他の色成分の画像１００３乃至１００５についても同じであると理解されたい。

Ｇ１成分の４×４のサブピクセル１１０１は、２×２のサブピクセルを４つ含んでいる。図示の参照符号１１０２は、２×２のサブピクセルにおける左上に配置された短露光のサブピクセルを集めた画像である。参照符号１１０３は、２×２のサブピクセルにおける右下に配置された短露光のサブピクセルを集めた画像である。参照符号１１０４は、２×２のサブピクセルにおける、右上に配置された長露光のサブピクセルを集めた画像である。そして、参照符号１１０５は、２×２のサブピクセルにおける左下に配置された長露光のサブピクセルを集めた画像である。

また、参照符号１１０６は、画像１１０２と画像１１０３間の高周波成分を表す第一の画像である。この第一の画像１１０６は、画像１１０２と画像１１０３との同じ位置のサブピクセルの差分を表すサブピクセルで構成される。それ故、第一の画像１１０６の各サブピクセルの括弧内には差分を表す“−”が示されている。

参照符号１１０７は、画像１１０２と画像１１０３間の低周波成分である、第二の画像である。この第二の画像１１０７は、画像１１０２と画像１１０３との同じ位置のサブピクセルの和を表すサブピクセルで構成される。それ故、第二の画像１１０７の各サブピクセルの括弧内には差分を表す“＋”が示されている。

参照符号１１０８は、画像１１０４と画像１１０５間の低周波成分である、第三の画像であり、参照符号１１０９は、画像１１０４と画像１１０５間の高周波成分である、第四の画像である。サブピクセルの括弧内の符号“＋”、“−”の意味は、第一の画像１１０６、第二の画像１１０７と同じ意味である。

画素変換部９１４は、画像１１０２と画像１１０３を用いて式（１）の変換処理を行い、短露光のサブピクセルの高周波成分である、第一の画像１１０６を生成する。また、画素変換部９１４は、画像１１０２と画像１１０３を用いて、式（２）の変換処理を行い、短露光のサブピクセルの低周波成分である、第二の画像１１０７を生成する。この際、画素変換部９１４は、式（１）、（２）のpic_S1()に画像１１０２の画素値、pix_S2に画像１１０３の画素値を適用して変換処理を行う。

また、画素変換部９１４は、画像１１０４と画像１１０５を用いて式（３）の変換処理を行い、長露光のサブピクセルの低周波成分である、第三の画像１１０８を生成する。また、画素変換部９１４は、画像１１０４と画像１１０５を用いて式（４）の変換処理を行い、長露光のサブピクセルの高周波成分である、第四の画像１１０９を生成する。この際、画素変換部９１４は、式（３）、（４）のpix_L1()に画像１１０４の画素値を、pix_L2()に画像１１０５の画素値をそれぞれ適用して変換処理を行う。

画像符号化部１１３は、色成分毎の、第一の画像、第二の画像、第三の画像、第四の画像を符号化し、符号化データを生成することになる。

図１１（ｂ）は、図１１（ａ）の画素変換処理に対して、更なる処理を行った画素変換処理を示した概念図である。

図示における参照符号１１１０は、ゲイン調整後の第二の画像である。参照符号１１１１は、ゲイン調整後の第二の画像１１１０と第三の画像１１０８の低周波成分である、第五の画像である。参照符号１１１２は、ゲイン調整後の第二の画像１１１０と第三の画像１１０８の高周波成分である、第六の画像である。その他は、図１１（ａ）と同様のため説明を省略する。

画素変換部１１４は、第二の画像１１０７に対して、第三の画像１１０８の露出に相当するレベルになるようにゲイン調整を行い、ゲイン調整後の第二の画像１１１０を生成する。そして、画素変換部１１４は、ゲイン調整後の第二の画像１１１０と第三の画像１１０８を用いて、式（１）の変換処理を行い、高周波成分である、第六の画像１１１２を生成する。なお、画素変換部１１４は、式（１）と式（２）のpix_S1()にゲイン調整後の第二の画像１１１１の画素値、pix_S2()に第三の画像１１０８の画素値を用いて変換処理を行う。

以上のように、第１の実施形態に対してプレーン変換部９１５と画素変換部９１４の処理順番を入れ替えた本実施例の構成において、ＨＤＲ向けセンサのような露光時間の異なるサブピクセルが配置される画像が入力された場合でも、画像を高周波成分と低周波成分に分離することができ、冗長な高周波成分の情報を落とすことでセンサのＲＡＷ画像の符号量を削減可能な撮像装置を提供することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…撮像光学部、１０２…撮像センサ部、１０３…センサ信号処理部、１０４…入力画像バッファ、１０５…周波数変換部、１０６…量子化部、１０７…符号化部、１０９…制御部、１１２…量子化設定部、１１３…画像符号化部、１１４…画素変換部、１１５…プレーン変換部

Claims (11)

1. １つの画素が短時間露光用のサブピクセルと長時間露光用のサブピクセルで構成される撮像センサと、当該撮像センサより得たＲＡＷ画像データを符号化する画像符号化手段とを有する撮像装置であって、
   前記撮像センサより得たＲＡＷ画像データから、短時間露光用の高周波成分を表す第１の画像、短時間露光用の低周波成分を表す第２の画像、長時間露光用の低周波成分を表す第３の画像、及び、長時間露光用の高周波成分を表す第４の画像を生成する生成手段を有し、
   前記画像符号化手段は、前記生成手段で生成した前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像を用いて、前記ＲＡＷ画像データを符号化する
   ことを特徴とする撮像装置。
2. 前記画像符号化手段は、前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像をそれぞれ符号化することを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段は、さらに、前記第２の画像および前記第３の画像の低周波成分を表す第５の画像と、前記第２の画像および前記第３の画像の高周波成分を表す第６の画像とを生成し、前記画像符号化手段は、前記第１の画像、前記第４の画像、前記第５の画像、前記第６の画像をそれぞれ符号化することを特徴とする請求項１に記載の撮像装置。
4. 前記生成手段は、前記ＲＡＷ画像データから得る単一色成分の画像それぞれから、前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像を生成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像センサにおける１画素は、少なくとも２つの短時間露光用のサブピクセルと、少なくとも２つの長時間露光用のサブピクセルを含み、
   前記生成手段は、
   前記ＲＡＷ画像データにおける隣接する前記短時間露光用のサブピクセルの差分から前記第１の画像を生成し、和から前記第２の画像を生成し、
   前記ＲＡＷ画像データにおける隣接する前記長時間露光用のサブピクセルの和から前記第３の画像を生成し、差分から前記第４の画像を生成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記生成手段は、前記第３の画像に相当する露出に応じたゲインを用いて前記第２の画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 更に前記第１乃至第４の画像それぞれから、単一色成分で構成される複数の画像を生成する第２の生成手段を有し、
   前記画像符号化手段は、前記第２の生成手段が生成した複数の画像を符号化する
   ことを特徴とする請求項１に記載の撮像装置。
8. 前記画像符号化手段は、
   符号化対象の画像を、複数のサブバンドの係数に変換する変換手段と、
   前記変換手段で得た係数を量子化する量子化手段と、
   前記量子化手段で量子化された係数を符号化する符号化手段とを含み、
   前記量子化手段は、符号化対象の画像が前記生成手段で生成した前記第２の画像、前記第３の画像の場合は、前記第１の画像、前記第４の画像よりも画質を優先する量子化パラメータに従って量子化する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記量子化手段は、
   前記短時間露光用のサブピクセルの方が、前記長時間露光用のサブピクセルよりも露出が適正の場合には、前記第２の画像を前記第３の画像よりも画質を優先する量子化パラメータに従って量子化し、
   前記長時間露光用のサブピクセルの方が、前記短時間露光用のサブピクセルよりも露出が適正の場合には、前記第３の画像を前記第２の画像よりも画質を優先する量子化パラメータに従って量子化する
   ことを特徴とする請求項８に記載の撮像装置。
10. １つの画素が短時間露光用のサブピクセルと長時間露光用のサブピクセルで構成される撮像センサと、当該撮像センサより得たＲＡＷ画像データを符号化する画像符号化手段とを有する撮像装置の制御方法であって、
    前記撮像センサより得たＲＡＷ画像データから、短時間露光用の高周波成分を表す第１の画像、短時間露光用の低周波成分を表す第２の画像、長時間露光用の低周波成分を表す第３の画像、及び、長時間露光用の高周波成分を表す第４の画像を生成する生成工程を有し、
    前記画像符号化手段は、前記生成工程で生成した前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像を用いて、前記ＲＡＷ画像データを符号化する
    ことを特徴とする撮像装置の制御方法。
11. コンピュータが読み込み実行することで、前記コンピュータに、請求項１０に記載の方法の工程を実行させるためのプログラム。

Images