JP2009296179A

JP2009296179A - 画像処理装置及び画像処理方法、並びに、撮像装置及び撮像方法

Info

Publication number: JP2009296179A
Application number: JP2008146233A
Authority: JP
Inventors: Hirotomo Nakajima; 啓友中島; Yoji Yamamoto; 洋司山本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-06-03
Filing date: 2008-06-03
Publication date: 2009-12-17

Abstract

【課題】簡単な制御で被写体のもつダイナミックレンジに適した階調圧縮処理を施した画像を生成する。
【解決手段】
撮像部１０により露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を撮像し、圧縮部２５により、記憶部２６に保持されているベース圧縮カーブデータを用いて、上記合成部２３により生成された合成画像データに圧縮処理を施して圧縮画像データを生成する。輪郭補正部２４は、上記圧縮部２５による圧縮処理が施される前の画像の高周波成分を検出し、検出された高周波成分を輪郭補正用の高周波成分として後処理部２７に供給し、上記後処理部２７において、上記圧縮部２５により生成された圧縮画像データに対して輪郭補正用の高周波成分を付加することにより輪郭補正処理を施す。
【選択図】図１

Description

本発明は、２種類の露光時間の画像を合成することで広ダイナミックレンジの被写体を撮影する機能を有する撮像装置及び撮像方法に関する。

従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露光過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露光不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。

しかしながら、明暗の差が大きいシーンを撮像（逆光撮像、屋内外同時撮像）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。

この問題を解決するために、撮像部より得られた短時間露光画像と長時間露光画像を基に、短時間露光画像にゲインやオフセットの処理を施した後、長時間露光画像と合成し、さらにその合成画像にレベル圧縮を行うことで、広ダイナミックレンジの合成画像を得るようにした撮像装置が知られている。

例えば、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成する場合に、短時間露光画像を数フィールド分多重加算し、この多重加算画像を中時間露光画像として長時間露光画像と合成し、広ダイナミックレンジ画像を生成することにより、中間入力レベルでのＳ／Ｎ比の劣化を有効に低減できるようにした撮像装置や、長時間露光画像と短時間露光画像とに割当てられる各々のダイナミックレンジを、ヒストグラムを利用して、動的に変更させることで、例えば、階調、露光などに最適な条件で画像を再現できるようにした撮像装置が提案されている（例えば、特許文献１、２参照）。

また、動画像のフレーム毎の輝度変動に対応した階調変換を実現するために、画像の輝度分布の幅を表す輝度域情報を算出し、算出した輝度域情報を時系列に平滑化した平滑化輝度域情報に基づいて、画像を表示する表示装置の輝度域に合わせて画像の輝度を正規化するようにした画像処理装置が提案されている（例えば、特許文献３参照）。

特開２００４−５６５７３号公報特開２００４−１２０２０５号公報特開２００５−２０４１９５号公報

ところで、先提案されているヒストグラムを利用して高輝度ダイナミックレンジと低中輝度ダイナミックレンジの割合を動的に変更する撮像装置では、短時間露光画像と長時間露光画像のどちらを選択するかの閾値を基準として高輝度部と低輝度部の２領域に分類しており、圧縮率は折れ線グラフのような圧縮率で圧縮を行っているため、境目に違和感が生じる。さらに、長時間露光画像と短時間露光画像の露光比が非常に大きく連続的に階調が変化する場合に、上記のような２領域の分類の方法だと中間的な領域の階調を十分に再現することが難しい。

また、輝度分布を用いて、分布が多い輝度領域に出力レンジを多く割り当てる滑らかな圧縮カーブでのダイナミックレンジ圧縮を行う手法は、優れた手法であるが装置の規模や演算量が多いため、安価な機種には不向きである。

また、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成すると、画像の輪郭がぼやけてしまうという問題があった。

さらに、圧縮された画像から輪郭情報を検出して輪郭補正を行うことは困難であった。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、簡単な制御で被写体のもつダイナミックレンジに適した階調圧縮処理及び輪郭補正処理を施した画像を生成することのできる画像処理装置及び画像処理方法、並びに、撮像装置及び撮像方法を提供することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成する際に、圧縮部による圧縮処理が施される前の画像の高周波成分を検出して、上記圧縮部により生成された圧縮画像に対して付加することにより、輪郭補正を行う。

すなわち、本発明に係る画像処理装置は、露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を合成して合成画像を生成する合成部と、数種類のダイナミックレンジに対応したベース圧縮カーブデータを保持する記憶部と、上記記憶部に保持されている上記ベース圧縮カーブデータを用いて、上記合成部により生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮部と、上記圧縮部により生成された圧縮画像に輪郭補正処理を施す輪郭補正部とを備え、上記輪郭補正部は、上記圧縮部による圧縮処理が施される前の画像の高周波成分を検出する高周波成分検出手段と、上記高周波成分検出手段により検出された高周波成分を上記圧縮部により生成された圧縮画像に対して付加する高周波成分付加手段とからなることを特徴とする。

本発明に係る画像処理装置では、例えば、上記高周波成分検出手段は、上記合成部により生成された合成画像の高周波成分を検出し、上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを利得制御手段により掛ける。

また、本発明に係る画像処理装置では、例えば、上記高周波成分検出手段は、上記合成部において合成に用いられる長時間露光画像の高周波成分を検出する長時間露光高周波成分検出手段と、上記合成部において合成に用いられる短時間露光画像の高周波成分を検出する短時間露光高周波成分検出手段からなり、また、上記高周波成分付加手段は、上記長時間露光高周波成分検出手段により検出された長時間露光高周波成分、或いは、上記長時間露光高周波成分検出手段により検出された短時間露光成分を、上記合成部により合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、上記圧縮部により生成された圧縮画像に対して付加する。さらに、上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行う利得制御手段を有する。

本発明に係る画像処方法は、露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を合成して合成画像を生成する合成画像生成ステップと、記憶部に保持されている上記ベース圧縮カーブデータを用いて、上記合成画像生成ステップで生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮画像生成ステップと、上記圧縮画像生成ステップで生成された圧縮画像に輪郭補正処理を施す輪郭補正処理ステップとを有し、上記輪郭補正処理ステップでは、上記圧縮画像生成ステップで圧縮処理が施される前の画像から高周波成分を検出し、検出された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加することを特徴とする。

本発明に係る画像処方法において、上記輪郭補正処理ステップでは、例えば、上記合成画像生成ステップで生成された合成画像の高周波成分を検出し、検出された高周波成分に、上記合成画像生成ステップで生成された合成画像の輝度レベル、或いは、上記圧縮画像生成ステップで生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行い、利得制御された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する。

また、本発明に係る画像処方法において、上記輪郭補正処理ステップでは、例えば、上記合成画像生成ステップで合成に用いられる長時間露光画像の高周波成分を検出するとともに、上記合成画像生成ステップで合成に用いられる短時間露光画像の高周波成分を検出し、検出された長時間露光高周波成分、或いは、短時間露光成分を、上記合成画像生成ステップで合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、上記圧縮画像生成ステップで生成された圧縮画像に対して付加する。

さらに、本発明に係る画像処方法において、上記輪郭補正処理ステップでは、上記圧縮画像生成ステップで生成された圧縮画像に対して付加する高周波成分に、上記合成画像生成ステップで合成画像の輝度レベル、或いは、上記圧縮画像生成ステップで生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行い、利得制御された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する。

本発明に係る撮像方法は、露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像をする撮像する撮像部と、上記撮像部により得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比を基に合成して合成画像を生成する合成部と、数種類のダイナミックレンジに対応したベース圧縮カーブデータを保持する記憶部と、上記記憶部に保持されている上記ベース圧縮カーブデータを用いて、上記合成部により生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮部と、上記圧縮部により生成された圧縮画像に輪郭補正処理を施す輪郭補正部とを備え、上記輪郭補正部は、上記圧縮部による圧縮処理が施される前の画像の高周波成分を検出する高周波成分検出手段と、上記高周波成分検出手段により検出された高周波成分を上記圧縮部により生成された圧縮画像に対して付加する高周波成分付加手段とからなることを特徴とする。

本発明に係る撮像装置では、例えば、上記高周波成分検出手段は、上記合成部により生成された合成画像の高周波成分を検出し、上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを利得制御手段により掛けることにより、上記高周波成分の利得制御を行う。

本発明に係る撮像装置において、上記高周波成分検出手段は、例えば、上記合成部において合成に用いられる長時間露光画像の高周波成分を検出する長時間露光高周波成分検出手段と、上記合成部において合成に用いられる短時間露光画像の高周波成分を検出する短時間露光高周波成分検出手段からなり、上記高周波成分付加手段は、上記長時間露光高周波成分検出手段により検出された長時間露光高周波成分、或いは、上記長時間露光高周波成分検出手段により検出された短時間露光成分を、上記合成部により合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、上記圧縮部により生成された圧縮画像に対して付加する。さらに、上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行う利得制御手段を有する。

本発明に係る撮像方法は、露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像をする撮像する撮像ステップと、上記撮像ステップで得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比を基に合成して合成画像を生成する合成画像生成ステップと、記憶部に保持されているベース圧縮カーブデータを用いて、上記合成画像生成ステップで生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮処理ステップと、上記圧縮処理ステップで生成された圧縮画像に輪郭補正処理を施す輪郭補正処理ステップとを有し、上記輪郭補正処理ステップでは、上記圧縮画像生成ステップで圧縮処理が施される前の画像から高周波成分を検出し、検出された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加することを特徴とする。

本発明に係る撮像方法において、上記輪郭補正処理ステップでは、例えば、上記合成画像生成ステップで生成された合成画像の高周波成分を検出し、検出された高周波成分に、上記合成画像生成ステップで生成された合成画像の輝度レベル、或いは、上記圧縮画像生成ステップで生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行い、利得制御された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する。

また、本発明に係る撮像方法において、上記輪郭補正処理ステップでは、例えば、上記合成画像生成ステップで合成に用いられる長時間露光画像の高周波成分を検出するとともに、上記合成画像生成ステップで合成に用いられる短時間露光画像の高周波成分を検出し、検出された長時間露光高周波成分、或いは、短時間露光成分を、上記合成画像生成ステップで合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、上記圧縮画像生成ステップで生成された圧縮画像に対して付加する。

さらに、本発明に係る撮像方法において、上記輪郭補正処理ステップでは、上記圧縮画像生成ステップで生成された圧縮画像に対して付加する高周波成分に、上記合成画像生成ステップで合成画像の輝度レベル、或いは、上記圧縮画像生成ステップで生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行い、利得制御された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する。

本発明では、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成する際に、圧縮部による圧縮処理が施される前の画像の高周波成分を検出して、上記圧縮部により生成された圧縮画像に対して付加することにより、圧縮後では検出することが困難な輪郭強調を行うことができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像装置１００に適用される。

この撮像装置１００は、被写体を撮像する撮像部１０と、上記撮像部１０により得られた画像信号を処理する信号処理部２０と、これらの動作を制御する制御部３０からなる。

撮像部１０は、撮像レンズや不要な波長を除去する光学フィルタ、絞り等の光学部品を備える撮像光学系１１、被写体から入射された光が上記撮像光学系１１を介して撮像面に照射される撮像素子１２、上記撮像素子１２を駆動するための駆動信号を生成する駆動信号生成部１３等からなる。

撮像素子１２は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子であり、駆動信号生成部１３により生成される駆動信号により駆動される。

この撮像装置１０における撮像素子１２は、図２に示すように、１垂直同期期間に、長時間露光と短時間露光を行い、長時間露光画像信号Ｓ_Ｌと短時間露光画像信号Ｓ_Ｓとしての電気信号を時分割出力する。この撮像素子２は、例えば、通常の２倍の段数の垂直転送段数が設けられたインターライントランスファ型ＣＣＤイメージセンサを備え、１垂直同期期間毎の垂直ブランキング期間内で光電変換部からを垂直転送段に撮像電荷の読み出しを２度行い、その２度の読み出しの間に垂直転送段に読み出した撮像電荷の転送することによって、垂直有効期間の始まりの直前に垂直転送段には長時間露光の信号電荷と短時間露光の信号電荷が並び、水平転送段を２倍の速度で駆動して撮像電荷を読み出すことで、１水平同期期間に１列分の長時間露光信号と短時間露光信号を出力し、１列目の長時間露光信号と短時間露光信号、２列目の長時間露光信号と短時間露光信号、３列目の長時間露光信号と短時間露光信号、・・・と順次出力するものである。

ここで、図２は、撮像素子部２での、１垂直同期期間内の露光時間と蓄積される露光量（電荷量）を示している。

この図２では、１／６０秒の１垂直同期期間において、１／６４秒の長時間露光と、１／２０００秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。

この長時間露光と短時間露光を行うことで、１垂直同期期間に、長時間露光画像信号Ｓ_Ｌと短時間露光画像信号Ｓ_Ｓを得る。そしてこの両画像信号を合成することで１フィールドの撮像画像データが生成される。

なお、長時間露光と短時間露光は、必ずしも１垂直同期期間に行わなければならないものではなく、或る垂直同期期間に長時間露光を行い、次の垂直同期期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。

また、撮像素子部２は、固体撮像素子を用いる構成に限られず、例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。

また、信号処理部２０は、前処理部２１、検波部２２、合成部２３、輪郭補正部２４、圧縮部２５、記憶部２６、後処理部２７等からなり、上記撮像部１０により得られた画像信号が上記前処理部２１に供給される。

上記前処理部２１は、いわゆるアナログフロントエンドであり、上記撮像部１０から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理、クランプ処理、黒レベルの補正や欠陥補正等どの各種処理を行うもので、上記撮像部１０により得られた画像信号に前処理を施して得られる長時間露光画像データＳ_Ｌと短時間露光画像データＳ_Ｓを出力する。

上記前処理部２１により得られる長時間露光画像データＳ_Ｌと短時間露光画像データＳ_Ｓは、検波部２２、合成部２３及び輪郭補正部２４に供給される。

上記検波部２２は、上記前処理部２１から供給される長時間露光画像データと短時間露光画像データについて、それぞれの自動露出補正(ＡＥ)用の輝度レベル算出やヒストグラムの生成などを行い、算出した輝度レベルやヒストグラムのデータを制御部３０に供給する。

上記制御部３０は、マイクロコンピュータで構成され、上記検波部２２で算出されたデータを基に上記撮像部１０の駆動信号生成部１３に設定する電子シャッタ値や撮像光学系１１の絞り制御値を算出し、その算出結果に基づいて上記撮像部１０の動作を制御する。また、上記制御部３０は、長時間露光用と短時間露光用の電子シャッタ値を基に合成部２３で長時間画像と短時間画像を合成するための合成ゲインを算出し、その算出結果に基づいて上記合成部２３の動作を制御する。さらに、上記記マイクロコンピュータで構成された上記制御部３０には、長時間露光と短時間露光の電子シャッタ比、ヒストグラムを基に被写体のダイナミックレンジ値を算出するダイナミックレンジ算出部３１の機能が搭載されている。

上記制御部３０に搭載されたダイナミックレンジ算出部３１は、上記合成部２３において生成される合成画像について、合成に用いられる長時間露光画像データＳ_Ｌと、当該長時間露光画像の露光時間Ｔ_Ｌと、合成に用いられる短時間画像データＳ_Ｓと、当該短時間画像の露光時間Ｔ_Ｓから、被写体のダイナミックレンジ値Ｄ_ＤＭＬを算出するもので、算出したダイナミックレンジ値Ｄ_ＤＭＬを圧縮部２５に供給する。

上記前処理部２１から供給される長時間露光画像データＳ_Ｌと短時間露光画像データＳ_Ｓが供給される上記合成部２３は、上記長時間露光画像データＳ_Ｌと短時間露光画像データＳ_Ｓにより示される長時間露光画像と短時間露光画像、すなわち、上記撮像部１０により得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間Ｔ_Ｌと上記短時間露光画像の露光時間Ｔ_Ｓの比を基に合成して合成画像を生成するもので、上記制御部３０により与えられる合成ゲインに従って短時間露光画像を伸張し、長時間露光画像と違和感なくつながるように合成した線形画像を作成する処理を行う。

上記合成部２３により得られる合成画像データＳ_ＭＸは、輪郭補正部２４と圧縮部２５に供給される。

上記圧縮部２５は、離散的なダイナミックレンジに対応する圧縮カーブデータが記憶されている記憶部２６からダイナミックレンジ値に最も近い２種類のカーブを選択し、上記制御部３０に搭載されたダイナミックレンジ算出部３１により与えられるダイナミックレンジ値Ｄ_ＤＭＬを基に補間して圧縮カーブを作成し、作成した圧縮カーブに従って、上記合成部２３により生成された合成画像を圧縮した圧縮画像を生成する。そして、後処理部２７は、上記圧縮部２５で得られる圧縮画像データＳ_ＣＭＸにＹＣ処理等の後処理を施し、上記圧縮画像データによる映像信号を出力する。

この撮像装置１００において、上記信号処理部２０は、本発明に係る画像処理装置の機能を有するものであって、図３のフロチャートに示すように、撮像部１０により得られた露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を合成部２３により合成画像を生成する合成処理（ステップＳ１）と、記憶部２６に保持されているベース圧縮カーブデータを用いて、圧縮部２５により、上記合成部２３により生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮処理（ステップＳ２）と、上記圧縮部２５により生成された圧縮画像に輪郭補正部２４により輪郭補正処理（ステップＳ３）を実行して、輪郭補正した映像信号を生成する。

ここで、上記信号処理部２０に設けられた輪郭補正部２４は、上記圧縮部２５による圧縮処理が施される前の画像の高周波成分、例えば、上記合成部２３から供給される合成画像データＳ_ＭＸの高周波成分を検出したり、或いは、上記合成部２３から供給される長時間露光画像データＳ_Ｌ及び短時間露光画像データＳ_Ｈの高周波成分を検出し、検出した高周波成分を輪郭補正用の高周波成分Ｓ_ｈｍとして後処理部２７に供給し、上記後処理部２７おいて、上記圧縮部２５により生成された圧縮画像データＳ_ＣＭＸに対して付加することにより輪郭補正処理を行う。

すなわち、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成する際に、圧縮部２５による圧縮処理が施される前の画像の高周波成分を検出して、上記圧縮部２５により生成された圧縮画像データＳ_ＣＭＸに対して付加することにより、圧縮後では検出することが困難な輪郭強調を行うことができる。

なお、上記輪郭補正部２４の具体的な構成及び動作については、後に図１１乃至図１４を参照して詳細に説明する。

また、この撮像装置１００において、マイクロコンピュータで構成された上記制御部３０に搭載されているダイナミックレンジ算出部３１は、例えば、図４のフローチャートに示す手順に従って、長時間露光画像と短時間露光画像から被写体のダイナミックレンジを算出する。

すなわち、上記制御部３０は、あらかじめ長時間露光画像だけで表現できるダイナミックレンジを決定する。例えば、ＣＣＴＶ機器スペック規定方法（ＪＥＩＴＡＴＴＲ−４６０２Ｂ）で規定されているダイナミックレンジ拡大比のダイナミックレンジ６倍を長時間露光画像で撮影できると決定する（ステップＳ１１）。

そして、上記制御部３０は、長時間露光のＡＥ目標値と制御方法を決定し、長時間露光画像を取得するためのＡＥは、ダイナミックレンジ１倍の被写体を撮影したデータがＡＤ変換後で最大レンジの１／６程度の入力となるように、いわゆる逆光補正と同等の処理を行って、撮像部１０の電子シャッタを制御する(ステップＳ１２)。

また、上記制御部３０は、短時間露光のＡＥ目標値と制御方法を決定し、短時間露光画像は、被写体を撮影する際に飽和する部分がないように、いわゆる過順光補正と同等の処理を行って、撮像部１０の電子シャッタを制御する(ステップＳ１３)。

次に、制御部１０は、フレーム毎に検波部２５からＡＥ用の検波値を取得し(ステップＳ１４)し、上記ステップＳ１２，ステップＳ１３で決定した制御方式に従って、次の電子シャッタ設定値を長短それぞれ算出し、撮像部１０の駆動信号生成部１３に設定する(ステップＳ１５，ステップＳ１６)。

そして、制御部１０のダイナミックレンジ算出部３１は、長時間露光画像の露光時間Ｔ_Ｌと上記短時間露光画像の露光時間Ｔ_Ｓの比、すなわち、
露光比＝Ｔ_Ｌ／Ｔ_Ｓ
で露光比を算出し(ステップＳ１７)、算出した露光比が１より大きいか否か判定する(ステップＳ１８)。

次に、ダイナミックレンジ算出部３１は、上記ステップＳ１８における判定結果がＹＥＳ、すなわち、露光比が１より大きいときは、その露光比に対して上記ステップＳ１１で決定したダイナミックレンジ６倍を利用して
露光比×６＝ダイナミックレンジ
として、短時間露光画像と長時間露光画像を合成する際のダイナミックレンジ値Ｄ_ＤＭＬを決定し(ステップＳ１９)、決定したダイナミックレンジ値Ｄ_ＤＭＬを圧縮部２５に通知する(ステップＳ２０)して、上記ステップＳ１４の処理に戻る。

また、上記ステップＳ１８における判定結果がＮＯ、すなわち、上記ステップＳ１７で算出した露光比が１より小さいときは、長時間露光画像のみで表現できる被写体であるとして、図５のフローチャートに示す手順に従って、ダイナミックレンジ値Ｄ_ＤＭＬの算出処理を行い（ステップＳ３０）、決定したダイナミックレンジ値Ｄ_ＤＭＬを圧縮部２５に通知して(ステップＳ２０)、上記ステップＳ１４の処理に戻る。

すなわち、制御部１０は、上記ステップＳ１４からステップＳ２０の処理を繰り返し行い、上記ステップＳ１４においてフレーム毎に検波部２５からＡＥ用の検波値を取得して、上記ステップＳ２０で決定したダイナミックレンジ値Ｄ_ＤＭＬを圧縮部２５に通知する。

そして、圧縮部２５は、上記ダイナミックレンジ算出部３１から通知されるダイナミックレンジ値Ｄ_ＤＭＬに従って階調圧縮を行う。

ここで、上記ステップＳ３０のダイナミックレンジ値Ｄ_ＤＭＬの算出処理は、制御部１０が、基本的には図４と同等の動作を行い、上記ステップＳ１８における判定処理により、露光比が１以下で長時間露光画像のみで表現できると判断した場合に実行される処理であって、上記制御部１０のダイナミックレンジ算出部３１は、長時間露光画像の最大輝度値Ｙ_ＬＭＡＸを算出(ステップＳ３１)し、算出した長時間露光画像の最大輝度値Ｙ_ＬＭＡＸを基に、上記長時間露光画像だけで表現できると決定したダイナミックレンジからダイナミックレンジ１倍時の最大輝度値Ｙ_ＭＡＸ１を算出し、
Ｙ_ＬＭＡＸ／Ｙ_ＭＡＸ１＝Ｄ_ＤＭＬ
として、被写体のダイナミックレンジ値Ｄ_ＤＭＬを決定する(ステップＳ３２)。

ここで、上記長時間露光画像の最大輝度値の検出は、単純に長時間露光画像の最も輝度が大きかった点を検出してそれを利用しても良い。しかしながら、ただ１点を検出して利用するとノイズの影響や画素欠陥といった特異点を検出してしまい、不安定な動作となってしまう可能性がある。

そこで、例えば図６に示すように、ヒストグラムを利用して長時間露光画像の最大輝度値を安定して検出できるようにする。

すなわち、検波部２２では、同じ検出領域で同じ分割閾値で検出される画素について画素数積算と輝度積算を行い、図６の（Ｃ）に示すように各分割閾値に対応する画素数積算値と輝度積算値を検出して、図６の（Ａ）に示す輝度積算値のヒストグラムＨＧ１、図６の（Ｂ）に示す画素数積算値のヒストグラムＨＧ２を作成する。

また、ダイナミックレンジが比較的狭い被写体の中に電球などの点光源がある場合などは、その点光源の階調は再現する必要がないため、画素数が幾つ以下の高輝度被写体、例えば、有効画素に対して０．４％以下の領域の高輝度被写体は階調を再現する必要がない、といったように検出閾値を決定する。

そして、制御部１０のダイナミックレンジ算出部３１は、上記ヒストグラムＨＧ２を利用し、高輝度側からカウントしてその検出閾値に相当する画素が含まれる画素積算部ＰＳと輝度積算部ＹＩを検出する。

上記輝度積算部ＹＩの値として検出される輝度積算値と上記画素積算部ＰＳの値として検出される画素数を使用し、
輝度積算値／画素数＝平均輝度
として算出される平均輝度を最大輝度値として検出する。

この様な検出方法を採用することで、特異点を最大輝度として検出することがなくなり、点光源のように小さい高輝度部を無視した階調再現を行うことが可能となる。また、ヒストグラムの本数を増やせば増やすほど、検出される輝度値の制度を向上させることが可能となる。

また、上記圧縮部２５では、図７のフローチャートに示す手順にしたがって、被写体のダイナミックレンジ値Ｄ_ＤＭＬを基に記憶部２６からベース圧縮カーブを読み出して最適な圧縮カーブを作成する。

すなわち、圧縮部２５は、制御部３０に搭載されたダイナミックレンジ算出部３１で算出した被写体のダイナミックレンジ値Ｄ_ＤＭＬを取得し（ステップＳ４１）、取得した被写体のダイナミックレンジ値Ｄ_ＤＭＬを基に、記憶部２６から、被写体のダイナミックレンジより大きく、最も近いダイナミックレンジの第１のベース圧縮カーブ（ベースＡ）と、被写体のダイナミックレンジ値Ｄ_ＤＭＬより小さく、最も近いダイナミックレンジの第２のベース圧縮カーブ（ベースＢ）を取得する（ステップＳ４２、ステップＳ４３）。

ここで、記憶部２６には、例えばダイナミックレンジ１倍、４倍、１６倍、６４倍といったように離散的な倍率に対応する圧縮カーブが予め記憶されている。圧縮カーブの形状については任意だが、例えば理想的にＡＥが行えた時にＣＣＴＶ機器スペック規定方法（ＪＥＩＴＡＴＴＲ−４６０２Ｂ）で規定されているダイナミックレンジ拡大比の通りに階調が再現できるような圧縮カーブを作成しても良い。そして、ベース圧縮カーブの選択方法としては、被写体のダイナミックレンジ値Ｄ_ＤＭＬに対して大きいダイナミックレンジ、小さいダイナミックレンジのそれぞれから最も近いものを選択する。例えば、図８に示すように、上記被写体のダイナミックレンジ値Ｄ_ＤＭＬに対応するベース圧縮カーブが、ある場合に被写体のダイナミックレンジ値Ｄ_ＤＭＬが９倍だった時、４倍と１６倍のベース圧縮カーブＦ_１と４倍とベース圧縮カーブＦ_２とを選択する。

そして、圧縮部２５は、選択したベース圧縮カーブＦ_１、Ｆ_２を被写体のダイナミックレンジ値Ｄ_ＤＭＬに対応する９倍用に補間した圧縮カーブＦ_ｘを作成し（ステップＳ４４）、その圧縮カーブに従って合成画像の圧縮を行う（ステップＳ４５）。

補間して圧縮カーブを作成する際は、例えば記憶部２６に保持しているデータがスプラインカーブのＫＮＯＴ点であればＫＮＯＴ点同士を補間すれば良く、補間方法は求めるカーブの精度によって線形補間やより高度なスプライン補間などを利用しても良い。また、ダイナミックレンジに応じて動的に圧縮カーブは変化するが、固定されているベース圧縮カーブ間を補間するため動的に動く範囲が制限されることになる。そのため、ベース圧縮カーブをうねらないように作成していれば、図８に破線で示すベース圧縮カーブＦ_Ｙのように、スプライン補間でＫＮＯＴ点を変に動かすと起きるうねりの発生を抑制することができる。

なお、上記記憶部２６に記憶させるベース圧縮カーブは、上記補間方法と求める精度の兼ね合いで本数やダイナミックレンジの間隔が決定されている。本数を多くしダイナミックレンジの間隔を小さくするほど補間して作成される圧縮カーブの精度は向上する。

ここで、この撮像装置１００の信号処理部２０における合成画像の作成から圧縮画像の作成までの信号レベルの変化を図９の（Ａ）、（Ｂ）に模式的に示す。

すなわち、この撮像装置１００の信号処理部２０では、合成部２３において、図９の（Ａ）に示すように、基本的には露光比に応じて短時間露光画像データＳ_Ｓを伸張し、長時間露光画像データＳ_Ｌと線形につながるように合成する。そして、圧縮部２６において、その合成画像データＳ_ＭＸを図９の（Ａ）に示すように、滑らかな圧縮カーブＦ_Zで圧縮画像の出力レベルが１００％となるように圧縮する。

この撮像装置１００は、露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像をする撮像する撮像部１０と、上記撮像部１０により得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比を基に合成して合成画像を生成する合成部２３と、数種類のダイナミックレンジに対応したベース圧縮カーブデータを保持する記憶部２６と、上記記憶部２６に保持されている上記ベース圧縮カーブデータを用いて、上記合成部２３により生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮部２５と、上記圧縮部２５により生成された圧縮画像に輪郭補正処理を施す輪郭補正部２４とを備え、図１０のフロチャートに示すように、撮像部１０により露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像をする撮像する撮像処理（ステップＳ５１）と、上記撮像部１０により得られた露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を合成部２３により合成画像を生成する合成処理（ステップＳ５２）と、記憶部２６に保持されているベース圧縮カーブデータを用いて、圧縮部２５により、上記合成部２３により生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮処理（ステップＳ５３）と、上記圧縮部２５により生成された圧縮画像に輪郭補正部２４により輪郭補正処理（ステップＳ５４）を実行して、輪郭補正した映像信号を生成する。

ここで、この撮像装置１００の信号処理部２０に設けられた輪郭補正部２４は、上記圧縮部２５による圧縮処理が施される前の画像の高周波成分、例えば、上記合成部２３から供給される合成画像データＳ_ＭＸの高周波成分を検出したり、或いは、上記合成部２３から供給される長時間露光画像データＳ_Ｌ及び短時間露光画像データＳ_Ｈの高周波成分を検出し、検出した高周波成分を輪郭補正用の高周波成分Ｓ_ｈｍとして後処理部２７に供給し、上記後処理部２７おいて、上記圧縮部２５により生成された圧縮画像データＳ_ＣＭＸに対して付加することにより輪郭補正処理を行う。

上記輪郭補正部２４は、例えば、図１１に示す輪郭補正部２４Ａのように構成される。

この輪郭補正部２４Ａは、上記合成部２３により得られた合成画像データＳ_ＭＸが供給される高周波成分検出部２４１、輝度変調データを保持した輝度変調テーブル２４２、この輝度変調テーブル２４２から保持されている輝度変調データと上記高周波成分検出部２４１による検出出力と上記圧縮部２５により生成された圧縮画像データＳ_ＣＭＸが供給される高周波成分輝度変調部２４３などからなる。

この輪郭補正部２４Ａでは、上記合成部２３により生成された合成画像データＳ_ＭＸから高周波成分検出部２４１で輪郭強調成分など高周波成分Ｓ_ＭＸｈを検出し、検出された合成画像高周波成分Ｓ_ＭＸｈに上記合成画像の輝度レベル、或いは、上記圧縮部２４により生成された圧縮画像の輝度レベルに応じたゲインを高周波成分輝度変調部２４３で掛けることにより上記合成画像高周波成分Ｓ_ＭＸｈの利得制御を行い、利得制御された上記合成画像高周波成分Ｓ_ＭＸｈを輪郭補正用の高周波成分Ｓ_ｈｍとして後処理部２７に供給する。

これにより、後処理部２７において、上記輪郭補正用の高周波成分Ｓ_ｈｍを上記圧縮部２４により生成された圧縮画像データＳ_ＣＭＸに付加することで、圧縮後では検出することが困難な輪郭強調を行うことができる。

なお、高周波成分の輝度変調度データは、例えば圧縮カーブから作成しても良いし、輝度変更テーブル２４２から上記高周波成分輝度変調部２４３に与えても良い。

また、この撮像装置１００の信号処理部２０に設けられた輪郭補正部２４は、例えば、図１２に示す輪郭補正部２４Ｂように構成してもよい。

この輪郭補正部２４Ｂは、前処理部２１から長時間露光画像データＳ_Ｌが供給される長時間露光画像高周波成分検出部２４１Ａ、上記前処理部２１から短時間露光画像データＳ_Ｓが供給される短時間露光画像高周波成分検出部２４１Ｂ、上記長時間露光画像高周波成分検出部２４１Ａと短時間露光画像高周波成分検出部２４１Ｂの出力を選択する高周波成分選択部２４４、この高周波成分選択部２４４により選択された高周波成分Ｓ_ｈが供給されるゲイン変調部２４５などからなる。

この輪郭補正部２４Ｂでは、上記前処理部２１から供給される長時間露光画像データＳ_Ｌと短時間露光画像データＳ_Ｓから上記長時間露光画像高周波成分検出部２４１Ａと短時間露光画像高周波成分検出部２４１Ｂにより高周波成分を検出する。

高周波成分選択部２４は、上記合成部２４において各画素で長短どちらの画像を選択したかを示す選択信号Ｓ_ＳＬが供給されている。そして、この高周波成分選択部２４は、上記選択信号Ｓ_ＳＬに応じて、上記長時間露光画像高周波成分検出部２４１Ａにより長時間露光画像データＳ_Ｌから検出される長時間露光画像高周波成分Ｓ_Ｌｈと、上記短時間露光画像高周波成分検出部２４１Ｂにより短時間露光画像データＳ_Ｓから検出される短時間露光画像高周波成分Ｓ_Ｓｈの選択を行い、選択した高周波成分Ｓ_ｈをゲイン変調部２４５に供給する。

ゲイン変調部２４５は、上記高周波成分選択部２４から供給される高周波成分Ｓ_ｈに変調ゲインを掛けて輪郭補正用の高周波成分Ｓ_ｈとして後処理部２７に供給する。

後処理部２７では、上記輪郭補正用の高周波成分Ｓ_ｈｍを上記圧縮部２４により生成された圧縮画像データＳ_ＣＭＸに付加することで、圧縮後では検出することが困難な輪郭強調を行うことができる。

ここで、上記輪郭補正部２４Ｂによる輪郭補正のイメージを図１３に示す。

すなわち、上記輪郭補正部２４Ｂでは、長時間露光画像データＳ_Ｌから高周波成分Ｓ_Ｌｈを検出するとともに、短時間露光画像データＳ_Ｓから高周波成分Ｓ_Ｓｈを検出し、合成画像データＳ_ＭＸを作成する際に長時間露光と短時間露光のどちらを選択したかに合わせて選択された高周波成分を合成した高周波成分Ｓ_ｈを生成し、それを合輪郭補正用の高周波成分Ｓ_ｈｍとして合成画像データＳ_ＭＸに付加することで輪郭強調を行う。

さらに、この撮像装置１００の信号処理部２０に設けられた輪郭補正部２４は、例えば、図１４に示す輪郭補正部２４Ｃように構成してもよい。

この輪郭補正部２４Ｃは、前処理部２１から長時間露光画像データＳ_Ｌが供給される長時間露光画像高周波成分検出部２４１Ａ、上記前処理部２１から短時間露光画像データＳ_Ｓが供給される短時間露光画像高周波成分検出部２４１Ｂ、上記長時間露光画像高周波成分検出部２４１Ａと短時間露光画像高周波成分検出部２４１Ｂの出力を選択する高周波成分選択部２４４、輝度変調データを保持した輝度変調テーブル２４２、この輝度変調テーブル２４２から保持されている輝度変調データと上記高周波成分選択部２４４により選択された高周波成分Ｓ_ｈが供給される高周波成分輝度変調部２４３などからなる。

高周波成分選択部２４は、上記合成部２４において各画素で長短どちらの画像を選択したかを示す選択信号Ｓ_ＳＬが供給されている。そして、この高周波成分選択部２４は、上記選択信号Ｓ_ＳＬに応じて、上記長時間露光画像高周波成分検出部２４１Ａにより長時間露光画像データＳ_Ｌから検出される長時間露光画像高周波成分Ｓ_Ｌｈと、上記短時間露光画像高周波成分検出部２４１Ｂにより短時間露光画像データＳ_Ｓから検出される短時間露光画像高周波成分Ｓ_Ｓｈの選択を行い、選択した高周波成分Ｓ_ｈを高周波成分輝度変調部２４３に供給する。

この高周波成分輝度変調部２４３は、上記高周波成分選択部２４から供給される高周波成分Ｓ_ｈに上記圧縮部２４により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分Ｓ_ｈの利得制御を行い、利得制御された上記高周波成分Ｓ_ｈを輪郭補正用の高周波成分Ｓ_ｈｍとして後処理部２７に供給する。

本発明を適用した撮像装置構成を示すブロック図である。上記撮像装置における長時間露光と短時間露光の説明図である。上記撮像装置の信号処理部に実行される画像処理の手順を示すフローチャートである。ダイナミックレンジ算出部の機能を搭載した上記撮像装置の制御部において実行される長時間露光画像と短時間露光画像から被写体のダイナミックレンジを算出する処理の手順を示すフローチャートである。上記撮像装置の制御部において実行される長時間露光画像のみで表現できる被写体のダイナミックレンジを算出する処理の手順を示すフローチャートである。上記撮像装置の制御部において実行されるヒストグラムを利用した長時間露光画像の最大輝度値の検出処理の説明に供する図である。また、上記撮像装置の圧縮部で実行される圧縮処理の手順を示すフローチャートである。上記撮像装置の圧縮部で使用される圧縮カーブの作成について説明するための図である。上記撮像装置の信号処理部における合成画像の作成から圧縮画像の作成までの信号レベルの変化を模式的に示す図である。上記撮像装置による撮像動作の処理手順を示すフローチャートである。上記撮像装置の信号処理部に設けられた輪郭補正部の構成例を示すブロック図である。上記撮像装置の信号処理部に設けられた輪郭補正部の他の構成例を示すブロック図である。上記輪郭補正部による輪郭補正のイメージを模式的に示す図である。上記撮像装置の信号処理部に設けられた輪郭補正部のさらに他の構成例を示すブロック図である。

符号の説明

１０撮像部、１１撮像光学系、１２撮像素子、１３駆動信号生成部、２０信号処理部、２１前処理部、２２検波部、２３合成部、２４、２４Ａ、２４Ｂ、２４Ｃ輪郭補正部、２５圧縮部、２６記憶部、２７後処理部、３０制御部、
１００撮像装置、２４１高周波成分検出部、２４１Ａ長時間露光画像高周波成分検出部、２４１Ｂ短時間露光画像高周波成分検出部、２４２輝度変調テーブル、２４３高周波成分輝度変調部、２４４高周波成分選択部、２４５ゲイン変調部

Claims

露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を合成して合成画像を生成する合成部と、
数種類のダイナミックレンジに対応したベース圧縮カーブデータを保持する記憶部と、
上記記憶部に保持されている上記ベース圧縮カーブデータを用いて、上記合成部により生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮部と、
上記圧縮部により生成された圧縮画像に輪郭補正処理を施す輪郭補正部と
を備え、
上記輪郭補正部は、上記圧縮部による圧縮処理が施される前の画像の高周波成分を検出する高周波成分検出手段と、上記高周波成分検出手段により検出された高周波成分を上記圧縮部により生成された圧縮画像に対して付加する高周波成分付加手段とからなる画像処理装置。
上記高周波成分検出手段は、上記合成部により生成された合成画像の高周波成分を検出し、
上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行う利得制御手段を有する請求項１記載の画像処理装置。
上記高周波成分検出手段は、上記合成部において合成に用いられる長時間露光画像の高周波成分を検出する長時間露光高周波成分検出手段と、上記合成部において合成に用いられる短時間露光画像の高周波成分を検出する短時間露光高周波成分検出手段からなり、
上記高周波成分付加手段は、上記長時間露光高周波成分検出手段により検出された長時間露光高周波成分、或いは、上記長時間露光高周波成分検出手段により検出された短時間露光成分を、上記合成部により合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、上記圧縮部により生成された圧縮画像に対して付加する請求項１記載の画像処理装置。
上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行う利得制御手段を有する請求項３記載の画像処理装置。
露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像を合成して合成画像を生成する合成画像生成ステップと、
記憶部に保持されている上記ベース圧縮カーブデータを用いて、上記合成画像生成ステップで生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮画像生成ステップと、
上記圧縮画像生成ステップで生成された圧縮画像に輪郭補正処理を施す輪郭補正処理ステップと
を有し、
上記輪郭補正処理ステップでは、上記圧縮画像生成ステップで圧縮処理が施される前の画像から高周波成分を検出し、検出された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する画像処理方法。
上記輪郭補正処理ステップでは、上記合成画像生成ステップで生成された合成画像の高周波成分を検出し、検出された高周波成分に、上記合成画像生成ステップで生成された合成画像の輝度レベル、或いは、上記圧縮画像生成ステップで生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行い、利得制御された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する請求項５記載の画像処理方法。
上記輪郭補正処理ステップでは、上記合成画像生成ステップで合成に用いられる長時間露光画像の高周波成分を検出するとともに、上記合成画像生成ステップで合成に用いられる短時間露光画像の高周波成分を検出し、検出された長時間露光高周波成分、或いは、短時間露光成分を、上記合成画像生成ステップで合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、上記圧縮画像生成ステップで生成された圧縮画像に対して付加する請求項５記載の画像処理方法。
上記輪郭補正処理ステップでは、上記圧縮画像生成ステップで生成された圧縮画像に対して付加する高周波成分に、上記合成画像生成ステップで合成画像の輝度レベル、或いは、上記圧縮画像生成ステップで生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行い、利得制御された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する請求項７記載の画像処理方法。
露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像をする撮像する撮像部と、
上記撮像部により得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比を基に合成して合成画像を生成する合成部と、
数種類のダイナミックレンジに対応したベース圧縮カーブデータを保持する記憶部と、
上記記憶部に保持されている上記ベース圧縮カーブデータを用いて、上記合成部により生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮部と、
上記圧縮部により生成された圧縮画像に輪郭補正処理を施す輪郭補正部と
を備え、
上記輪郭補正部は、上記圧縮部による圧縮処理が施される前の画像の高周波成分を検出する高周波成分検出手段と、上記高周波成分検出手段により検出された高周波成分を上記圧縮部により生成された圧縮画像に対して付加する高周波成分付加手段とからなる撮像装置。
上記高周波成分検出手段は、上記合成部により生成された合成画像の高周波成分を検出し、
上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行う利得制御手段を有する請求項９記載の撮像装置。
上記高周波成分検出手段は、上記合成部において合成に用いられる長時間露光画像の高周波成分を検出する長時間露光高周波成分検出手段と、上記合成部において合成に用いられる短時間露光画像の高周波成分を検出する短時間露光高周波成分検出手段からなり、
上記高周波成分付加手段は、上記長時間露光高周波成分検出手段により検出された長時間露光高周波成分、或いは、上記長時間露光高周波成分検出手段により検出された短時間露光成分を、上記合成部により合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、上記圧縮部により生成された圧縮画像に対して付加する請求項９記載の撮像装置。
上記高周波成分付加手段により上記圧縮画像に付加される高周波成分に、上記合成部により生成された合成画像の輝度レベル、或いは、上記圧縮部により生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行う利得制御手段を有する請求項１１記載の撮像装置。
露光時間が相対的に長い長時間露光画像と露光時間が相対的に短い短時間露光画像をする撮像する撮像ステップと、
上記撮像ステップで得られた長時間露光画像と短時間露光画像を、上記長時間露光画像の露光時間と上記短時間露光画像の露光時間の比を基に合成して合成画像を生成する合成画像生成ステップと、
記憶部に保持されているベース圧縮カーブデータを用いて、上記合成画像生成ステップで生成された合成画像に圧縮処理を施して圧縮画像を生成する圧縮処理ステップと、
上記圧縮処理ステップで生成された圧縮画像に輪郭補正処理を施す輪郭補正処理ステップと
を有し、
上記輪郭補正処理ステップでは、上記圧縮画像生成ステップで圧縮処理が施される前の画像から高周波成分を検出し、検出された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する撮像方法。
上記輪郭補正処理ステップでは、上記合成画像生成ステップで生成された合成画像の高周波成分を検出し、検出された高周波成分に、上記合成画像生成ステップで生成された合成画像の輝度レベル、或いは、上記圧縮画像生成ステップで生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行い、利得制御された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する請求項１３記載の撮像方法。
上記輪郭補正処理ステップでは、上記合成画像生成ステップで合成に用いられる長時間露光画像の高周波成分を検出するとともに、上記合成画像生成ステップで合成に用いられる短時間露光画像の高周波成分を検出し、検出された長時間露光高周波成分、或いは、短時間露光成分を、上記合成画像生成ステップで合成された長時間露光画像、或いは、短時間露光画像から採用された画素に対応するように、上記圧縮画像生成ステップで生成された圧縮画像に対して付加する請求項１３記載の撮像方法。
上記輪郭補正処理ステップでは、上記圧縮画像生成ステップで生成された圧縮画像に対して付加する高周波成分に、上記合成画像生成ステップで合成画像の輝度レベル、或いは、上記圧縮画像生成ステップで生成された圧縮画像の輝度レベルに応じたゲインを掛けることにより、上記高周波成分の利得制御を行い、利得制御された高周波成分を上記圧縮画像生成ステップで生成された圧縮画像に対して付加する請求項１５記載の撮像方法。