JP2018110300A - 撮像装置、その制御方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】ゲインの印加された画像の品質低下を抑制しながら撮像された画像の画像メモリへの伝送負荷を低減することが可能な撮像装置を提供する
【解決手段】撮像装置は、２つ以上の感度のいずれかで撮像した画像データを出力する撮像素子と、撮像素子から出力された画像データを所定の圧縮率で圧縮する圧縮手段と、圧縮手段によって圧縮された画像データを一時的に格納する画像メモリと、画像メモリから読み出された圧縮された画像データを伸長する伸長手段と、感度に応じたゲイン量を、伸長手段により伸長された画像データに印加する印加手段と、印加されるゲイン量に基づいて、圧縮手段で適用される所定の圧縮率を制御する制御手段と、を有する。更に、制御手段は、所定のゲイン量より大きい第１のゲイン量が印加される場合の圧縮率が、所定のゲイン量より小さい第２のゲイン量が印加される場合の圧縮率より低くなるように、所定の圧縮率を制御する。
【選択図】図５

Description

本発明は、撮像装置、その制御方法、プログラム及び記録媒体に関する。

近年、撮像装置には、撮像素子に高い撮像感度を設定して得られた画像データに、ゲインを印加して信号を増幅させる構成を有するものが知られている。一般的に、撮像された画像データに強いゲインを印加すると、当該画像データに含まれるノイズも併せて増幅されるため、ゲインを印加した画像ではノイズが目立つ場合がある。特に、画像メモリとの間の伝送効率を向上させるために、撮像されたＲＡＷ画像データを圧縮及び伸長する撮像装置では、伸長後の画像データに強いゲインを印加すると、圧縮と伸長処理によって生じた画質劣化が目立つ場合がある。

このような課題に対し、特許文献１は、高感度で撮像された場合のように画像データに所定値以上のゲインを印加する場合、ＲＡＷ画像データに対する圧縮及び伸長処理を適用しないように制御したうえで画像データにゲインを印加する技術を開示している。

特開２００８−１１３０７０号公報

しかしながら、特許文献１に記載された技術では、印加するゲインに応じてＲＡＷ画像データが圧縮されない場合があるため、画像メモリとの間の伝送負荷が低減されず、画像メモリに対する書き込み／読み出しに要する時間も短縮されない場合がある。すなわち、伝送負荷のピークがＲＡＷ画像データを圧縮しない場合より低下しないため、撮像装置の内部構成をより低速な構成に置き換えることができない。他方、ＲＡＷ画像の伝送時間を短縮するためには、更に伝送周波数を高くするなどの対応が必要となり、装置コストや消費電力の増大をまねくことになる。

本発明は、上述の問題点に鑑みてなされたものであり、ゲインの印加された画像の品質低下を抑制しながら撮像された画像の画像メモリへの伝送負荷を低減することが可能な撮像装置、その制御方法、プログラム及び記録媒体を提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、２つ以上の感度のいずれかで撮像した画像データを出力する撮像素子と、撮像素子から出力された画像データを所定の圧縮率で圧縮する圧縮手段と、圧縮手段によって圧縮された画像データを一時的に格納する画像メモリと、画像メモリから読み出された圧縮された画像データを伸長する伸長手段と、感度に応じたゲイン量を、伸長手段により伸長された画像データに印加する印加手段と、印加されるゲイン量に基づいて、圧縮手段で適用される所定の圧縮率を制御する制御手段と、を有し、制御手段は、所定のゲイン量より大きい第１のゲイン量が印加される場合の圧縮率が、所定のゲイン量より小さい第２のゲイン量が印加される場合の圧縮率より低くなるように、所定の圧縮率を制御する、ことを特徴とする。

本発明によれば、ゲインの印加された画像の品質低下を抑制しながら撮像された画像の画像メモリへの伝送負荷を低減することが可能になる。

実施形態１に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１に係る画像処理部の機能構成例を示すブロック図 通常感度及び拡張高感度によって撮像された画像データの特徴を説明するための図 画像処理部の動作を制御するための制御部の機能構成例を示すブロック図 圧縮率制御処理に係る一連の動作を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、撮像した画像を圧縮して画像メモリに一時的に格納可能な任意のデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、撮像した画像を圧縮して画像メモリに一時的に格納可能な任意の機器にも適用可能である。これらの機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

（デジタルカメラ１００の構成）
本形態に係るデジタルカメラ１００の機能構成例について図１を参照して説明する。

撮影光学系１０１は、被写体からの光を撮像素子１０２に集光するためのレンズ、被写体光学像の合焦度合いを調節するためのフォーカスレンズ、ズーミングを行うためのズームレンズ等のレンズ群を含む。また、撮影光学系１０１は、制御部１０７からの制御信号に基づいて、各レンズ（撮影光学系）を移動させる駆動機構を含む。更に、撮影光学系１０１は、撮像素子１０２に被写体からの光を所定の時間にわたって露光させるシャッタや、被写体からの光の露光量を制御するための絞りを含む。

撮像素子１０２は、光電変換素子を有する画素が複数、２次元的に配列された構成を有する。撮像素子１０２は、撮影光学系１０１の撮影光学系により結像された被写体光学像を各画素で光電変換し、例えば不図示のタイミングジェネレータから出力されるタイミング信号に応じて変換した画像信号を出力する。撮像素子１０２は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子であってよい。

Ａ／Ｄ変換部１０３は、撮像素子１０２から出力されたアナログ画像信号をアナログ・デジタル変換してデジタル画像信号（画像データ）を出力する。このとき、Ａ／Ｄ変換部１０３は、例えばＣＤＳ処理によりＳ／Ｎ比を良好に保つように構成される。

画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像データに基づき、ＡＥ（Auto Exposure）やゲイン調整を行うための信号値の算出処理や、ＡＦ（Auto Focus）を実現するためのデフォーカス量の算出処理を行う。また、画像データに基づく算出結果に応じて制御部１０７から入力される制御信号に基づいて各種画質補正処理を行う。更に、画像処理部１０４は、入力された画像データを画像メモリ１０５に一時的に格納するために、当該画像データを圧縮する処理や画像メモリ１０５から読み出した圧縮された画像データを伸長する処理を行うことができる。また、画像処理部１０４は、伸長した画像データにゲインを印加する。更に、表示部１０６に表示するために表示用データを生成し、記録媒体への読み書きを行うための圧縮・伸長処理（例えばＪＰＥＧ形式等の不可逆符号化によって画像データを圧縮・伸長）を行うことができる。画像処理部１０４によって圧縮された画像データは、制御部１０７を介して記録媒体Ｉ／Ｆ１０９へ供給されて記録媒体に記録される。

画像メモリ１０５は、例えばＤＲＡＭなどからなる揮発性メモリを含み、画像処理部１０４で処理される画像データを一時的に格納する。画像メモリ１０５と画像処理部１０４との間は不図示のメモリバスを介して接続される。

表示部１０６は、例えばＬＣＤなどの表示パネルを含み、画像処理部１０４から出力される表示用の画像データを基に画像信号を表示する。表示部１０６は、撮像素子１０２によって現在撮像中であるライブビューの画像や、記録媒体Ｉ／Ｆ１０９を介して記録媒体から読み出された再生用の画像、デジタルカメラ１００を操作するためのＧＵＩなどを表示する。

制御部１０７は、例えば、ＣＰＵ（あるいはＭＰＵ）等のプロセッサを含み、不揮発性メモリ１１０に記憶されたプログラムを実行してデジタルカメラ１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０７は、必要に応じて不揮発性メモリ１１０に記憶されている各種データを読み込んでプログラムの動作やデジタルカメラ１００内の設定値に反映させる。制御部１０７は、ユーザからの操作を受け付ける操作部１０８からの操作信号に応じて、デジタルカメラ１００の各ブロックを制御する。揮発性メモリ１１１は、例えば半導体メモリ等を含み、制御部１０７がプログラムを実行する際のワークエリアとして各種変数等を一時的に格納する。

操作部１０８は、例えば、電源ボタン、レリーズボタン、動画記録開始、動画記録停止を指示するボタンなどの撮影に関連する各種操作を入力するスイッチ類を含む。また、操作部１０８は、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等を含む。ユーザによりこれらのキーやボタンが操作されると制御部１０７に操作信号を送信する。操作部１０８はタッチパネルを含んでもよく、タッチパネルは例えば接触又は近接、若しくは圧力を検知してユーザからの入力操作を受け付ける。操作部１０８は、拡張高感度と、通常感度（常用感度ともいわれる）とを切り替えて撮像を行うことのできるスイッチ類又はタッチパネル上のボタン類を含んでよい。拡張高感度は、撮像素子で撮像する際のノイズ量が所定量より抑えられる通常感度を超えた高い感度域、すなわちＡ／Ｄ変換部１０３で変換可能な範囲外の高い感度域に対応する。

記録媒体Ｉ／Ｆ１０９は、不図示の記録媒体が装着されるカードスロットを含み、装着された記録媒体へデータを書き込んだり、この記録媒体からデータを読み出したりする。

上述したデジタルカメラ１００では、表示部１０６が、現在撮像中の画像データを表示パネル上に表示するため、ユーザはこの画像を確認することにより画角を確認したり撮影条件を調整したりすることができる。制御部１０７は、操作部１０８のレリーズボタンがユーザによって押下されて制御部１０７に対して画像の記録が指示されると撮像を開始する。撮像素子１０２及びＡ／Ｄ変換部１０３を介して得られる画像データが画像処理部１０４に入力されると、画像処理部１０４はゲイン調整やホワイトバランス調整等の所定の画質補正処理を行い、更にＪＰＥＧ等により圧縮符号化して画像ファイルを生成する。なお、画質補正処理や圧縮符号化が施されていないＲＡＷ画像データのファイルを生成できるようにしてもよい。そして、制御部１０７は、画像処理部１０４で生成された画像ファイルを記録媒体Ｉ／Ｆ１０９に供給して記録媒体に記録させる。なお、上記説明は、静止画の画像ファイルの記録に限らず動画像データの記録に対して適用されてもよい。

（画像処理部１０４の構成）
次に、図２を参照して、画像処理部１０４の構成について説明する。本実施形態に係る画像処理部１０４は、センサ補正部２０１、ＲＡＷ圧縮部２０２、ＲＡＷ伸長部２０３、特徴算出部２０４、ゲイン調整部２０５、ホワイトバランス（ＷＢ）調整部２０６、圧縮伸長部２０７、及び表示処理部２０８を含む。

本実施形態に係る画像処理部１０４は、後述するように、Ａ／Ｄ変換部１０３から入力された画像データ（ＲＡＷ画像データ）をＲＡＷ圧縮部２０２により圧縮し、メモリバスを介して画像メモリ１０５に格納する。そして、必要なタイミングで画像メモリ１０５に格納された圧縮されたＲＡＷ画像データを読み出してＲＡＷ伸長部２０３により伸長処理を行う。また、本実施形態に係る画像処理部１０４は、通常感度による撮像に対応するゲインを印加する場合に加えて、拡張高感度による撮像に対応する、より強いゲインを印加する場合にもＲＡＷ画像データに対する圧縮を行う。このとき、ＲＡＷ画像データに対する圧縮率は、通常感度による撮像に対応するゲインを印加する場合より低い圧縮率を適用する。このような構成により、通常感度及び拡張高感度による撮像のいずれの場合にも、画像メモリ１０５との間で伝送するデータ量や画像メモリ１０５に格納するデータ量を低減することができる。

以下、画像処理部１０４の構成を詳述する。センサ補正部２０１は、Ａ／Ｄ変換部１０３から出力されたＲＡＷ画像データに対して、撮像素子１０２における欠陥画素の信号補正処理を含む前処理を行う。また、センサ補正部２０１は、更にレンズの周辺光量落ちを補正するシェーディング処理などを前処理として行ってもよい。

ＲＡＷ圧縮部２０２は、センサ補正部２０１によって前処理のなされたＲＡＷ画像データを圧縮し、圧縮したＲＡＷ画像データを画像メモリ１０５に一時的に格納する。ＲＡＷ伸長部２０３は、一時的に格納されていた圧縮済みのＲＡＷ画像データを画像メモリ１０５から読み出して伸長し、ゲイン調整部２０５に出力する。ＲＡＷ圧縮部２０２とＲＡＷ伸長部２０３とは、それぞれ非可逆圧縮／伸長手法を用いてＲＡＷ画像データを圧縮／伸長する。また、ＲＡＷ圧縮部２０２は例えば固定長符号化を行ってよい。この場合、メモリバスにおける伝送負荷や、画像メモリ１０５上に必要な画像データの格納領域の容量に対する見通しが容易になる。また、ＲＡＷ圧縮部２０２とＲＡＷ伸長部２０３とは、制御部１０７からの圧縮率を指定する制御信号に応じて、異なる圧縮率で圧縮／伸長処理を行うことができる。このとき、低い圧縮率で圧縮／伸長処理を行う場合、高い圧縮率で圧縮／伸長処理を行う場合に比べて、伸長後の画像データの画質低下が抑制される。ＲＡＷ圧縮部２０２とＲＡＷ伸長部２０３とに対する圧縮率を制御する処理については後述する。

特徴算出部２０４は、ＲＡＷ伸長部２０３から供給される画像データを基に、ＡＦ、ＡＥ、ＡＷＢ（Auto White Balance）などのための特徴量の算出処理を行い、算出結果を制御部１０７に出力する。制御部１０７は、この特徴量の算出処理に基づいて、ＡＦのためのフォーカスレンズ制御信号や、ＡＥのための露出制御信号、ＡＷＢのためのゲイン制御信号などを算出する。

ゲイン調整部２０５は、通常感度による撮像や拡張高感度による撮像に対応したゲインを画像データに印加する。後述するように、拡張高感度によって撮像された画像は低輝度であるため、ゲイン調整部２０５は、通常感度による撮像時よりも拡張高感度による撮像時に高いゲインを印加する。ゲイン調整部２０５は、制御部１０７から入力したゲイン制御信号に基づいて印加するゲインの量を変更し、ＲＡＷ伸長部２０３から出力される画像データに印加する。

ＷＢ調整部２０６は、ゲイン調整部２０５によってゲインが調整された画像データに対して、制御部１０７からの制御信号に応じたＷＢゲインを印加する。ＷＢ調整部２０６は、ＷＢ調整後の画像データをＹ（輝度）信号とＣ（色差）信号とに変換して、変換した画像データを圧縮伸長部２０７に出力してもよい。

圧縮伸長部２０７は、ＷＢ調整部２０６から出力された画像データに対してＪＰＥＧなどの所定の符号化方式に従う圧縮符号化処理を施す。また、記録媒体Ｉ／Ｆ１０９から制御部１０７を介して供給される画像データに対して伸長復号化処理を施して、画像データの解像度を表示部１０６向けの解像度に変換することもできる。なお、圧縮伸長部２０７は、圧縮符号化処理を施す前に、画像データの解像度を変更してもよい。例えば、制御部１０７からの制御信号に応じて、ＷＢ調整部２０６から出力された画像データの解像度を変換する。この変換は、例えば表示部１０６に適合した解像度や記録媒体へ記録するために指定された解像度に変換して、表示用或いは記録用の画像データを生成する処理である。

表示処理部２０８は、例えばＮＴＳＣエンコーダを含み、入力された画像データから表示部１０６に表示するための画像信号を生成する。生成された画像信号は表示部１０６に出力される。また、表示処理部２０８は、制御部１０７から供給される合成用の画像データと圧縮伸長部２０７から供給される画像データとを合成し、表示部１０６に出力することができる。合成用の画像データは、ＧＵＩや、撮影条件や被写体の特徴を可視化するための画像データを含む。表示処理部２０８は、例えば、合成用の画像データである撮像画像の輝度のヒストグラムを、圧縮伸長部２０７からの画像データに合成して表示部１０６に表示させる。

なお、画像処理部１０４は、各機能部（例えばＷＢ調整部２０６、圧縮伸長部２０７及び表示処理部２０８）で画像データを処理する過程で、処理対象の画像データの一部を適宜画像メモリ１０５に書き込んだり読み出したりするように構成されてもよい。

（ゲインに応じたＲＡＷ画像データに対する圧縮率の制御）
上述したように、ＲＡＷ圧縮部２０２とＲＡＷ伸長部２０３とは、非可逆の圧縮／伸長処理を行うように構成されている。このため、非可逆圧縮方式により画像データを圧縮／伸長した際に画質劣化を伴う場合があり、特に伸長後の画像データに対して大きなゲインをかける場合、画像劣化が強調され得る。

一方、ゲイン調整部２０５は、撮像感度が拡張高感度に設定された場合、ＲＡＷ伸長部２０３によって伸長された画像データに対して、撮像感度を通常感度に設定して撮像された場合よりも大きなゲインを印加する。このため、本実施形態では、拡張高感度に対応する大きなゲインが印加される場合、ＲＡＷ圧縮部２０２及びＲＡＷ伸長部２０３において圧縮／伸長処理の圧縮率を低下させる。このように、伸長された画像データの画質を制御することにより、ゲイン調整後の画質の劣化を低減させる。

また、一般的に、入力された画像データが高周波成分を多く含む場合や当該画像データのダイナミックレンジが広い場合、圧縮を行うと相対的に画質劣化が生じやすい。特に、複数の画素単位で圧縮率が変更される固定長符号化を行う場合、入力された画像データの高周波成分が多いほど、或いはダイナミックレンジが広いほど、高い圧縮率が必要となる。すなわち、伸長後の画像データに対して大きなゲインをかけると画質劣化が強調され得る。逆に、入力された画像データの低周波成分が多いほど、或いはダイナミックレンジが狭いほど、低い圧縮率で足りるため、伸長後の画像データに対して大きなゲインをかけても画質劣化が強調され難い。なお、入力された画像データに可変長符号化を用いる場合、入力された画像データが高周波成分を多く含む、或いはダイナミックレンジが広い場合、画質劣化を抑えるために圧縮率を低くする必要がある。他方、入力された画像データが低周波成分を多く含む、或いはダイナミックレンジが狭い場合、画素間の相関が高くなるため圧縮率を低く設定しても圧縮後の画像データは小さくなり画質劣化も少ない。

次に、図３を参照して、拡張高感度により撮像される画像データの高周波成分やダイナミックレンジの特性について説明する。図３では、通常感度による撮像時（Ａ）と拡張高感度による撮像時（Ｂ）とにおける画像内の輝度分布をそれぞれ示している。なお、図３では、横軸が画像内における輝度の分布を表し、縦軸が画像内における輝度の頻度（画素数）を表している。また、Ｄ１とＤ２とは、それぞれ通常感度による撮像時と拡張高感度による撮像時における画像データのダイナミックレンジを示している。

通常感度による撮像時の画像データ（図３（Ａ））では、一般的に画像内の輝度が低輝度から高輝度まで広く分布する（ダイナミックレンジが広い）。一方、拡張高感度による撮像時の画像データ（図３（Ｂ））では、撮像感度がＡ／Ｄ変換部１０３で変換可能な範囲外の高い感度として撮像されており、画像内の輝度は通常感度による撮像時よりも低輝度よりの狭い範囲に分布する（ダイナミックレンジが狭い）。

このように、拡張高感度により撮像される画像データは低周波成分が多く、強いゲインの印加が必要なため、上述のようにＲＡＷ圧縮部２０２において適用する圧縮率を制御して、伸長処理後の画像データ及びゲイン調整後の画像の品質劣化を低減させる。

本実施形態では、通常感度に加えて拡張高感度による撮影時においても画像データを圧縮することができるため、撮像動作中のメモリバスの伝送負荷を軽減し、画像メモリ１０５に対する書き込み／読み出し処理に要する時間を短縮することができる。すなわち、メモリバス上の伝送周波数を低減して消費電力を抑制したり、画像メモリ１０５の容量を小さくしたりすることもでき、低消費電力化や省スペース化が求められる装置においても、拡張高感度による撮像が可能になる。更に、拡張高感度による撮像を行う場合であっても画像メモリ１０５を占有するデータ量を低下させてメモリ空間に空き領域を設けることができる。また、動画や連写に用いるための複数のＲＡＷ画像データを格納する場合、拡張高感度による撮像において、格納可能な画像の枚数が増加したり、一連の画像の書き込み・読み出し速度が向上する。このため、当該撮影時における連写による撮影枚数の増加や高フレームレート化（或いは連写速度の向上）を図ることもできる。

（制御部１０７の構成）
次に、図４を参照して、画像処理部１０４の各部（特にＲＡＷ圧縮部２０２、ＲＡＷ伸長部２０３、ゲイン調整部２０５及び表示処理部２０８）を制御するための、制御部１０７の構成について説明する。

ＡＥ制御部４０１は、特徴算出部２０４によって算出された輝度に基づいて、ＡＥを実現するための制御信号（露出制御信号）により撮影光学系１０１が適正な露出に制御されているか否かを判定する。ＡＥ制御部４０１は、適正な露出でないと判定した場合には、適正な露出になるように撮影光学系１０１に対する露出制御信号を更新する。ＡＥ制御部４０１は、例えば、特徴算出部２０４から１フレームごと（または１フレーム内の所定領域ごと）の輝度の積分値に基づいて、撮影光学系１０１が適正な露出に制御されているかを判定する。なお、ＡＥ制御部４０１は、特徴算出部２０４による画像データに基づく輝度ではなく、デジタルカメラ１００に別途設けられた明るさ検出器による検出結果に基づいて露出制御信号を制御してもよい。あるいは、当該明るさ検出器による検出結果と特徴算出部２０４による算出結果の双方に基づいて露出制御信号を制御してもよい。

上述の露出制御に係る判定は、静止画像の撮像時である場合には、例えば、操作部１０８におけるレリーズボタンがユーザによって半押し状態に押下されたときに実行される。一方、動画像の撮像時である場合には、動画像データの記録中に随時（例えば所定の時間ごとに）実行される。勿論、静止画像の撮像時であっても、露出制御に係る判定を所定の時間ごとに行うようにしてもよい。

ＡＥ制御部４０１は、露出状態を制御するために、撮影光学系１０１内の絞りの開口径やシャッタ速度（露光時間）を制御するための露出制御信号と、ゲイン調整部２０５におけるゲイン印加量を制御するためのゲイン制御信号とを出力する。ＡＥ制御部４０１は、基本的には、撮影シーンが暗く、絞りやシャッタ速度を制御してもなお十分な明るさが得られない場合に、ゲイン調整部２０５に対してゲインを印加するように指示する。また、ＡＥ制御部４０１は、拡張高感度による撮像では、通常感度による撮像時よりも高いゲインが印加されるようにゲイン制御信号を生成する。ゲイン制御信号は、ゲイン調整部２０５に出力されるとともに、制御部１０７の圧縮／伸長制御部４０４にも供給される。ＡＥ制御部４０１は、印加するゲインを決定する際に、撮像素子１０２に設定されている感度を表す情報を取得してゲインを決定してもよいし、操作部１０８を介してユーザにより設定された設定値を取得してゲインを決定してもよい。

ＡＦ制御部４０２は、特徴算出部２０４によって算出された高周波成分に基づいて、撮影光学系１０１内のフォーカスレンズを駆動するためのフォーカスレンズ制御信号を制御する。例えば、特徴算出部２０４は、入力画像データにローパスフィルタ処理を施し、処理後のデータを１フレームごと（または１フレーム内の所定領域ごと）に積分して、その積分値を高周波成分としてＡＦ制御部４０２に出力する。ＡＦ制御部４０２は、レリーズボタンが半押しされた場合や一定時間ごとに、ＡＦ制御の処理を実行する。ＡＦ制御は、例えば撮影光学系１０１のフォーカスレンズを少しずつ移動させて撮像を行い、得られた画像データに基づいて高周波成分を取得する。そして、ＡＦ制御部４０２は、取得した高周波成分が最も多くなる位置にフォーカスレンズを移動させる。

合成画像生成部４０３は、表示処理部２０８において撮像された画像データに合成する合成画像のデータを生成する。例えば、特徴算出部２０４から画像中の輝度の頻度を示す輝度ヒストグラムを取得して、その輝度ヒストグラムを表す合成画像のデータを生成する。合成画像生成部４０３は、表示処理部２０８において画像上に合成する合成画像のデータを生成する。例えば、操作部１０８に対して輝度ヒストグラムの表示が要求された場合、制御部１０７は現在保持している画像データの輝度ヒストグラムを合成画像データとして表示処理部２０８に出力する。

圧縮／伸長制御部４０４は、ＡＥ制御部４０１からのゲイン制御信号に基づいて、画像処理部１０４におけるゲイン調整とＲＡＷ画像に対する圧縮率（単に圧縮率制御処理ともいう）とを制御する。圧縮／伸長制御部４０４における圧縮率制御処理について、図５を参照して説明する。

（圧縮率制御処理に係る一連の動作）
図５に示すフローチャートを参照して、圧縮率制御処理に係る一連の動作について説明する。なお、本処理は、制御部１０７が不揮発性メモリ１１０に記憶されたプログラムを揮発性メモリ１１１に展開、実行して圧縮／伸長制御部４０４の機能を実行することにより実現される。また、本処理は、例えばＡ／Ｄ変換部１０３から１フレーム分の画像データが画像処理部１０４に入力され、画像処理部１０４から当該画像データに係るゲイン制御信号等の信号が制御部１０７に入力されるごとに実行される。

Ｓ５０１において、圧縮／伸長制御部４０４は、ＡＥ制御部４０１から出力される最新のゲイン制御信号を取得する。

Ｓ５０２において、圧縮／伸長制御部４０４は、取得したゲイン制御信号に基づいて、拡張高感度による撮像であるかを判定する。具体的に、圧縮／伸長制御部４０４は、取得したゲイン制御信号に基づくゲイン量と、予め定められた所定のゲイン量の閾値とを比較する。このゲイン量の閾値は、取得したゲイン制御信号に基づくゲイン量が拡張高感度による撮像時に印加されるゲイン量であるか、又は通常感度による撮像において印加されるゲイン量であるかを判定するための閾値である。圧縮／伸長制御部４０４は、ゲイン制御信号に基づくゲイン量が閾値未満である場合、取得したゲイン制御信号に基づくゲイン量が通常感度による撮像時に印加されるゲイン量であると判定して、処理をＳ５０３へ進める。一方、ゲイン制御信号に基づくゲイン量が閾値以上である場合、取得したゲイン制御信号に基づくゲイン量が拡張高感度による撮影時に印加されるゲイン量であると判定して、処理をＳ５０４に進める。

Ｓ５０３において、圧縮／伸長制御部４０４は、ＲＡＷ圧縮部２０２による圧縮処理とＲＡＷ伸長部２０３による伸長処理とに対する圧縮率を共に高圧縮率に設定する。すなわち、圧縮／伸長制御部４０４は、通常感度による撮像が行われるため、上記圧縮処理と伸長処理における圧縮率を、拡張高感度による撮像時よりも高圧縮率に設定する。

Ｓ５０５において、圧縮／伸長制御部４０４は、ＲＡＷ圧縮部２０２による圧縮処理とＲＡＷ伸長部２０３による伸長処理とに対する圧縮率を共に低圧縮率に設定する。すなわち、圧縮／伸長制御部４０４は、拡張高感度による撮像が行われるため、上記圧縮処理と伸長処理における圧縮率を、通常感度による撮像時よりも低圧縮率に設定する。圧縮／伸長制御部４０４は、Ｓ５０４及びＳ５０５の処理を終えると、その後圧縮制御処理を終了する。

以上説明したように、圧縮／伸長制御部４０４は、拡張高感度による撮像に対応したゲインを印加する場合であっても、画像メモリに書き込むＲＡＷ画像データを圧縮するようにした。そして、拡張高感度による撮像に対応するゲインを付加する場合の圧縮率を、通常感度による撮像に対応したゲインを印加する際に設定される圧縮率より低く設定するようにした。このようにすることで、拡張高感度による撮像時であっても、メモリバスを介した画像メモリ１０５へのＲＡＷ画像データの書き込みと、画像メモリ１０５からのＲＡＷ画像データの読み出しとに要する時間を短縮して撮像処理を高速化することができる。また、低圧縮率でＲＡＷ画像データを圧縮することにより、より大きなゲインが印加される場合であっても画質劣化の低減を抑制することができる。換言すれば、ゲインの印加された画像の品質低下を抑制しながら撮像された画像の画像メモリへの伝送負荷を低減することが可能になる。加えて、拡張高感度による撮像では輝度の明暗差が小さく類似度が高くなるため、圧縮率を低圧縮率に設定してもより大きな帯域の低下を期待できる場合がある。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２…撮像素子、１０４…画像処理部、１０５…画像メモリ、１０７…制御部、１０８…操作部、２０２…ＲＡＷ圧縮部、２０３…ＲＡＷ伸長部、２０５…ゲイン調整部

Claims (9)

1. ２つ以上の感度のいずれかで撮像した画像データを出力する撮像素子と、
   前記撮像素子から出力された画像データを所定の圧縮率で圧縮する圧縮手段と、
   前記圧縮手段によって圧縮された画像データを一時的に格納する画像メモリと、
   前記画像メモリから読み出された前記圧縮された画像データを伸長する伸長手段と、
   前記感度に応じたゲイン量を、前記伸長手段により伸長された画像データに印加する印加手段と、
   前記印加されるゲイン量に基づいて、前記圧縮手段で適用される前記所定の圧縮率を制御する制御手段と、を有し、
   前記制御手段は、所定のゲイン量より大きい第１のゲイン量が印加される場合の圧縮率が、前記所定のゲイン量より小さい第２のゲイン量が印加される場合の圧縮率より低くなるように、前記所定の圧縮率を制御する、
   ことを特徴とする撮像装置。
2. 前記第１のゲイン量は、前記感度が常用感度より高い感度である場合に印加されるゲイン量であり、前記第２のゲイン量は、前記感度が前記常用感度である場合に印加されるゲイン量である、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記常用感度より高い感度は拡張高感度の感度に対応する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、更に、撮像の際の前記感度に応じて、前記印加手段において印加されるゲイン量を制御する、
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記感度をユーザが設定するための設定手段を更に有し、
   前記制御手段は、更に、前記設定手段によって設定された感度に応じて、前記印加手段において印加されるゲイン量を制御する、ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
6. 前記圧縮手段は、非可逆圧縮方式で圧縮する、
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. ２つ以上の感度のいずれかで撮像した画像データを出力する撮像素子と、画像メモリと、制御手段とを有する撮像装置の制御方法であって、
   圧縮手段が、前記撮像素子から出力された画像データを所定の圧縮率で圧縮する圧縮工程と、
   格納手段が、前記圧縮工程において圧縮された画像データを前記画像メモリに一時的に格納する格納工程と、
   伸長手段が、前記画像メモリから読み出された前記圧縮された画像データを伸長する伸長工程と、
   印加手段が、前記感度に応じたゲイン量を、前記伸長工程により伸長された画像データに印加する印加工程と、
   前記制御手段が、前記印加されるゲイン量に基づいて、前記圧縮工程において適用される前記所定の圧縮率を制御する制御工程と、を有し、
   前記制御工程では、所定のゲイン量より大きい第１のゲイン量が印加される場合の圧縮率が、前記所定のゲイン量より小さい第２のゲイン量が印加される場合の圧縮率より低くなるように、前記所定の圧縮率を制御する、
   ことを特徴とする撮像装置の制御方法。
8. コンピュータに請求項７に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
9. コンピュータに請求項７に記載の撮像装置の制御方法の各工程を実行させるためのプログラムを格納する記録媒体。

Images