JP2006050042A - 画像処理装置 - Google Patents

Abstract

【課題】 ヒストグラムイコライゼーションを利用した補正処理を行いながら、白とびやノイズの発生を抑制することができる画像処理装置を提供する。
【解決手段】 ＳＰＵ３でホワイトバランス調整等の信号処理した後、ＲＰＵ４で補間処理等の基本的な画像処理を施す。さらに、ＲＰＵ４では、画像データを複数のブロック領域に分割し、当該ブロック領域毎に異なるゲイン値でヒストグラムイコライゼーション処理を施し、かつ、そのときのゲイン値に応じたノイズリダクション処理を各ブロック領域毎に施す。そして、圧縮変換部７が適切な段階で所定の形式に圧縮変換することで、白とびやノイズの発生を抑制しながら暗部を明るく補正した良好な画像データを得ることができる。
【選択図】 図１

Description

本発明は、画像データにヒストグラムイコライゼーション処理を施す画像処理装置に関する。

例えば、デジタルカメラ等の撮像装置によって逆光条件下で人物を撮像した場合など、暗部から明部に至るダイナミックレンジの広い輝度情報が含まれている画像データにおいては、画像データを構成する画素データの輝度分布に基づき、暗部は明るく明部は暗く輝度を補正することで、良好な画像データを得ることができる。このような技術にヒストグラムイコライゼーションがある（非特許文献１参照）。

http://www.mis.med.akita-u.ac.jp/~kata/image/equalize.html

例えば、図１０（ａ）に示すように、明るい風景が見える窓際に人物が立つ逆光の状態で撮像するような場合、窓の外の風景部分に対して人物部分は暗く撮像される。このとき、図１０（ａ）内に矢印で示した部分の輝度分布は、図１０（ｂ）に示すような状態にある。人物部分が暗く撮像されるのは、画像データを構成する輝度値が広いダイナミックレンジを有しており、これを撮像装置の有するダイナミックレンジ内に収めるために、人物部分の輝度値が相対的に小さくなることが原因である。

このような画像データに、ヒストグラムイコライゼーションによる補正処理を施すと、暗く撮像された人物部分が明るくなるように、画像全体の輝度値に係るゲインを上げるよう処理される。その結果、図１１（ａ）に示すように、人物部分は明るくなるが、風景部分は必要以上に輝度が上がり真っ白な状態になる。このときの輝度分布は、図１１（ｂ）に示すように、破線で示した補正前の輝度分布に対して、実線のような状態になる。人物部分の輝度値を上げるために、これに伴って風景部分の輝度値が撮像装置の有するダイナミックレンジを超えてしまう。この輝度の最大値を超えた部分の階調情報は失われ、いわゆる白とびを発生する。

また、このとき、画像データに含まれるノイズ成分についても同様にゲインが上げられるため、補正後の画像データではノイズ成分が目立ち、ヒストグラムイコライゼーション処理を施すことによって画質が劣化するという問題があった。

さらに、図１１（ｂ）から分かるように、ゲインを上げることで、画像データの有する階調情報の一部が失われてしまう。このような画像データは、滑らかに変化すべき階調成分が急激に変化することになるため、ディスプレイ等に表示したり、プリンター等で印刷したときに、偽輪郭が目立つという問題もあった。

そこで、この発明の課題は、逆光時等のダイナミックレンジの広い輝度情報を有する画像データにおいて、ヒストグラムイコライゼーションを利用した補正処理を行いながら、偽輪郭やノイズの発生を抑制することができる画像処理装置を提供することにある。

上記課題を解決すべく、請求項１の発明は、画像データを複数の領域に分割したブロック領域毎に、前記画像データの有する輝度情報に係るヒストグラムに基づいて算出したゲイン値分だけ輝度値を変更するヒストグラムイコライゼーション処理を施す手段と、前記ブロック領域毎に、前記ゲイン値に応じた強度でノイズリダクション処理を施す手段とを備えることを特徴とする。

また、請求項２の発明は、画像データにノイズリダクション処理を施す手段と、前記手段によりノイズリダクション処理を施された画像データを複数の領域に分割したブロック領域毎に、前記画像データの有する輝度情報に係るヒストグラムに基づいて算出したゲイン値分だけ輝度値を変更するヒストグラムイコライゼーション処理を施す手段とを備えることを特徴とする。

また、請求項３の発明は、請求項１または請求項２の発明に係る画像処理装置であって、さらに、画像データを８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に圧縮変換する手段、を備えることを特徴とする。

また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る画像処理装置であって、さらに、画像データを８ビットの階調情報を有するＪＰＥＧ形式に圧縮変換する手段、を備え、前記ノイズリダクション処理および前記ヒストグラムイコライゼーション処理を施した後の画像データを８ビットの階調情報を有するＪＰＥＧ形式に圧縮変換することを特徴とする。

また、請求項５の発明は、請求項４の発明に係る画像処理装置であって、さらに、前記ノイズリダクション処理および前記ヒストグラムイコライゼーション処理を施した後の画像データを８ビットの階調情報を有するＪＰＥＧ形式に圧縮変換する動作と、８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に圧縮変換した後の画像データに、前記ノイズリダクション処理および前記ヒストグラムイコライゼーション処理を施す動作と、のいずれか一つの動作を選択して行うことを特徴とする。

また、請求項６の発明は、請求項５の発明に係る画像処理装置であって、さらに、画像データを再生表示する表示手段、を備え、８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に圧縮変換した後の画像データを伸張して前記ノイズリダクション処理および前記ヒストグラムイコライゼーション処理を施すときは、処理後の画像データを前記表示手段により再生表示した後、前記処理後の画像データを破棄する動作と、前記処理後の画像データを８ビットの階調情報を有するＪＰＥＧ形式または８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に再度圧縮変換する動作と、のいずれか一つの動作を選択して行うことを特徴とする。

請求項１または請求項２に記載の発明によれば、ブロック領域毎にヒストグラムイコライゼーション処理を施すことで明部の白とびを避けながら暗部の輝度を適性に補正することができる上に、ノイズリダクション処理を合わせて行うことでヒストグラムイコライゼーション処理に起因するノイズの発生を抑制することができる。

請求項３に記載の発明によれば、ヒストグラムイコライゼーション処理およびノイズリダクション処理を施す前または後に、画像データを８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に圧縮変換することができる。

請求項４に記載の発明によれば、８ビットの階調情報を有するＪＰＥＧ形式に圧縮変換する前に、ヒストグラムイコライゼーション処理およびノイズリダクション処理を施すことで、階調情報の一部を失うことなくヒストグラムイコライゼーション処理およびノイズリダクション処理を行うことができる。

請求項５に記載の発明によれば、ヒストグラムイコライゼーション処理およびノイズリダクション処理を施した画像データを、８ビットの階調情報を有するＪＰＥＧ形式または８ビットより大きい階調情報を有するＪＰＥＧ２０００形式から選択した、いずれかの形式に圧縮変換することができる。

請求項６に記載の発明によれば、ヒストグラムイコライゼーション処理およびノイズリダクション処理の適用効果を表示装置上で確認した後に、必要に応じて処理後の画像データを８ビットの階調情報を有するＪＰＥＧ形式または８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に圧縮変換することができる。

（第１の実施の形態）
＜画像処理装置の構成＞
図１は、この発明の第１の実施の形態に係る画像処理装置１を含む、デジタルカメラ等の撮像装置の構成を示す概略図である。画像処理装置１は、撮像部２から入力される画像信号を、ヒストグラムイコライゼーション処理を利用して補正し、ＪＰＥＧ形式等の所定の形式に圧縮変換する機能を有する。

ここで、撮像部２とは、所望の対象物を被写体としてとらえるためのレンズなどからなる光学系、ＣＣＤやＣＭＯＳ等の撮像素子からなるセンサ、センサが出力するアナログ信号にノイズ除去、信号増幅、Ａ／Ｄ変換などの信号処理を施す信号処理回路等を備え、光としてとらえた被写体に係る情報を電気信号に変換し、画像信号として出力する機能を有する機能部である。

また、メモリ９は、画像処理装置１内における各種の処理時に、データの一時記憶等に利用するＳＤＲＡＭ等の記憶装置である。

画像処理装置１は、図１に示したように、撮像部２から入力される画像信号を信号処理するセンサプロセッシングユニット３（以降、図中と同様ＳＰＵ（Sensor Processing Unit）と記す）と、ＳＰＵ３から入力される画像データに画像処理を施すリアルタイムプロセッシングユニット４（以降、図中と同様ＲＰＵ（Real-time Processing Unit）と記す）と、ＲＰＵ４から入力される画像データを圧縮変換する圧縮変換部７と、メモリ９との間でデータ転送処理を行うメモリインターフェース８（以降、図中と同様メモリＩ／Ｆ(Interface)と記す）と、画像処理装置１全体の動作を制御するＣＰＵ５と、これらの各部間で利用するデータの伝送路であるバス１０と、バス１０を利用したデータのＤＭＡ転送を制御するＤＭＡ制御部６と、から構成される。

ＳＰＵ３は、撮像部２から入力される画像信号にホワイトバランス調整などの信号処理を施して出力する機能を有する。

ＲＰＵ４は、ＳＰＵ３から入力される画像信号に対して、補間処理、色空間の変換、偽色抑制などの基本的な画像処理を施し、さらにヒストグラムイコライゼーション処理およびノイズリダクション処理を施した画像データを出力する機能を有する。これらの動作のの詳細については後述する。

圧縮変換部７は、ＲＰＵ４から入力される画像データを、ＪＰＥＧ等の所定の形式の画像データに圧縮変換する機能を有する。

ＣＰＵ５は、画像処理装置１に係るデータの入出力や、上記各部の動作を制御する機能を有する。

ＤＭＡ制御部６は、上記各部間のデータ転送を、バス１０を利用したＤＭＡ転送により高速に行う機能を有する。

以下に、上記構成に基づく画像処理装置１の動作を説明する。

＜画像処理装置の動作＞
撮像部２により撮像された画像信号が画像処理装置１に入力されると、当該画像信号に対しＳＰＵ３が、ホワイトバランス調整等の信号処理を施す。

次に、ＳＰＵ３から入力される画像データに対して、ＲＰＵ４が画像処理を施す。ＲＰＵ４は、従来の画像処理装置と同様に、補間処理、色空間の変換、偽色抑制等の基本的な画像処理を行った後、ヒストグラムイコライゼーション処理およびノイズリダクション処理を行う。以下では、一般的な画像処理については説明を省略し、ヒストグラムイコライゼーション処理およびノイズリダクション処理に係る本発明の特徴部分を中心に、その動作を説明する。

まず、画像データ内の各部の輝度情報に応じた適切な処理を行うため、画像データを複数のブロック領域に分割する。このとき分割するブロック領域の大きさは、任意の大きさに変更可能であって、画像データの大きさに応じて変更してもよいし、画像データに含まれる輝度情報に基づいて変更しても構わない。例えば、画像データに含まれる輝度情報をヒストグラムで表したときに複数のピークが現れるようなときは、画像データを各ピークを示す輝度値を有する部分に分割するため小さいブロック領域に分割し、明暗差がほとんどないような画像データであれば後の処理量の低減を目的として大きいブロック領域に分割する。あるいは、補正結果である画像処理後の画像データを見ながら、良好な補正結果が得られると判断したブロック領域の大きさを、利用者が選択する態様であっても構わない。また、ブロック領域の形状についても、最も単純には矩形領域に分割するが、例えば所定範囲の輝度値を有する画素を一のブロック領域とする等、矩形以外の形状であっても構わない。

次に、分割した各ブロック領域ごとに輝度補正を行うためのゲイン値を決定する。ゲイン値の決定は、従来技術と同様にヒストグラムイコライゼーション処理を行う段階で算出したゲイン値を利用する。

具体的には、まず、従来のヒストグラムイコライゼーション処理と同様に、画素データの有する輝度情報に係るヒストグラムに基づいて、当該ヒストグラムを理想的な所定の形状に合致させるための輝度値の変更量であるゲイン値を算出する。このとき、例えば、画像データを縦３２×横３２に分割した各格子点毎にゲイン値を算出する。図２に示すように、例えば縦１２００画素×横１７００画素の２００万画素レベルの画像データの場合、画像データ全体を含むように縦横各３２分割するため、縦３８画素×横５４画素の各格子点毎にゲイン値を算出する。図２中の破線の各交点が各格子点を示す。この格子点はワイヤーフレームが伸縮するように、画像データの大きさに応じて変化する。例えば、画像データが縦２４００×横３４００画素であれば、縦７６画素×横１０８画素の各行使点毎にゲイン値が算出される。このようにすることで、各ゲイン値の記憶等に利用するレジスタやメモリ容量等を固定した状態で、様々な大きさの画像データに対応することが可能である。

算出されたゲイン値を利用して、画像データを分割したブロック領域毎のゲイン値をバイリニア演算により決定する。例えば、図３に示すように、ブロック領域の中心画素Ｐを囲む各格子点Ａ₁₀，Ａ₁₁，Ａ₂₀およびＡ₂₁のゲイン値がそれぞれ１６，４８，８および３１であった場合、バイリニア演算を利用すれば、当該ブロック領域のゲイン値は２８と算出される。

次に、各ブロック領域毎に、算出したゲイン値に従ってヒストグラムイコライゼーション処理を施す。図１０（ａ）に示すように明るい風景を背にして窓際に人物が立つような画像データの場合、従来の処理では、図１１（ａ）に示すように人物部分を明るくすることはできても同時に背景部分が白とびを起こすという問題があったが、図４（ａ）に示すように、画像データ１１を構成するブロック領域毎に適当なゲイン値を設定し、人物部分や風景部分等を異なるゲイン値で輝度変更することで、背景部分を白とびさせることなく人物部分を明るくすることができる。例えば、図４（ａ）の矢印の部分のブロック領域では、図中に数値で示したように、異なるゲイン値が設定される。即ち、図４（ａ）の矢印部分の輝度分布は、図４（ｂ）に示したように、破線で表された処理前の輝度分布に対し、ブロック領域毎に異なるゲイン値で適切に輝度値が変更される。

このように、本発明は、従来と同様にヒストグラムイコライゼーション処理を行うが、画像データを任意の大きさに分割したブロック領域を処理対象とし、算出した所定のゲイン値からバイリニア法により求めた各ブロック領域毎のゲイン値に基づいて、各ブロック領域毎に適切に輝度値を変更することを特徴とする。

これにより、画像データを構成するブロック領域毎に適切なヒストグラムイコライゼーション処理を施すことが可能であり、さらに、ブロック領域を任意の大きさに変更することでヒストグラムイコライゼーション処理の適用効果を変更することも可能である。例えば、高速な処理を必要とするときはブロック領域を大きくしてブロック領域毎に行う演算の処理量を低減するとか、輝度に係るヒストグラムの形状に応じて画像データが逆光であると判断したときには、ブロック領域を小さくして画像データ全体が適切な露出となるようにする、といった目的に応じた処理内容の変更を容易に実現することができる。

ヒストグラムイコライゼーション処理を行うと、輝度が上げられるために画像データのノイズ成分が目立つことがあるため、ＲＰＵ４では、上述のヒストグラムイコライゼーション処理に加えてノイズリダクション処理も行う。

ノイズリダクション処理の動作を図５を用いて説明する。ノイズリダクション処理は、各ブロック領域毎に、先に行ったヒストグラムイコライゼーション処理後のブロック領域の輝度情報と、ヒストグラムイコライゼーション処理に用いたゲイン値と、を利用して図５（ａ）に示した回路構成により実現することができる。

まず、ヒストグラムイコライゼーション処理に用いたゲイン値をキー信号Ｋとして正規化する。例えば、Ｋ＝（２５６−ゲイン値）／１９２の式により、ゲイン値を６４で正規化する。その結果図５（ｂ）に示したように、ゲイン値が最大値２５６のときはキー信号がＫ＝０となり、ゲイン値が６４のときはキー信号がＫ＝１となる。これを図５（ａ）の入力データとして利用する。

次に、ブロック領域の画像データを輝度信号をＹ_inとして入力し、これにノイズフィルタ１２でノイズリダクション処理を施し、画像データＹ_NRとして出力する。ここで、ノイズフィルタとしては、ローパスフィルタやメディアンフィルタ等、従来から用いられているノイズ低減技術を利用する。

演算器１３では、キー信号Ｋに対して１−Ｋを算出して出力する。その結果、乗算器１４Ａにより元の画像データＹ_inとキー信号Ｋとを乗算した結果と、乗算器１４Ｂによりノイズリダクション処理後の画像データＹ_NRと演算器１３の出力値（１−Ｋ）とを乗算した結果とが、加算器１５により合成され、輝度信号Ｙ_outとして出力される。

図５（ｂ）に、キー信号Ｋと、演算器１３の出力値（１−Ｋ）と、出力値Ｙ_outにおけるＹ_inとＹ_NRの加算比率の関係を示す。元の画像データＹ_inと、ノイズリダクション処理後の画像データＹ_NRを合成した結果をＹ_outとして出力するのであるが、ゲイン値が大きいときには、輝度を大きく上げていることからノイズ成分も目立つことになるため、画像データＹ_NRの割合を増し、ゲイン値が小さいときには、輝度変更によるノイズ成分に係る影響も小さいことから元の画像データＹ_inの割合が増すようにしている。即ち、ヒストグラムイコライゼーション処理を施したときの輝度値の変更量であるゲイン値に応じて、ノイズリダクション処理の効果を変更しながら画像データを出力するのである。

このノイズリダクション処理を、ヒストグラムイコライゼーション処理の処理対象となった全てのブロック領域に対して施してノイズリダクション処理を完了する。

これにより、ノイズリダクション処理が過度に施され、画像データ内の物体のエッジが鈍化されたり、画像データ全体の解像感が失われぼけた画像になるといった弊害を避け、、ヒストグラムイコライゼーション処理による輝度変更によってノイズ成分が目立った部分に対してのみ、適切にノイズリダクション処理が施された両校な画像データを得ることができる。

尚、本発明は、ヒストグラムイコライゼーション処理とノイズリダクション処理の両方を行うものであれば、上述の態様に限るものではない。例えば、従来と同様に画像データ全体に渡って、そのノイズを判定し、問題となる可能性のあるノイズを予め低減または除去するノイズリダクション処理を施した後、上述したヒストグラムイコライゼーション処理を行う態様であっても構わない。

ＲＰＵ４により、上述のように、ヒストグラムイコライゼーション処理と、ノイズリダクション処理と、が施されて出力された画像データは、圧縮変換部７により所定の形式に圧縮変換される。具体的には、例えば、ＪＰＥＧ形式や、ＪＰＥＧ２０００形式の画像データに圧縮変換される。

このとき、従来から一般的に利用されている８ビットの階調情報を有するＪＰＥＧ形式に圧縮変換する場合は、上述のＲＰＵ４によるヒストグラムイコライゼーション処理およびノイズリダクション処理を施した後に、ＪＰＥＧ形式への圧縮変換を行う。ＳＰＵ３により処理された後の、いわゆるＲＡＷデータは８ビット以上の階調情報を有する。この状態でヒストグラムイコライゼーション処理やノイズリダクション処理を施し、輝度値等が変更された後に、ＪＰＥＧ形式の画像データに圧縮変換すれば、ＪＰＥＧ形式の画像データの有する８ビット階調を有効に利用した画像データを得ることができるからである。

これにより、ＪＰＥＧ形式に変換した後に、ヒストグラムイコライゼーション処理等を施して画像データの階調情報の一部が失われたりすることがなく、偽輪郭の発生を抑制することができる。

尚、８ビットより大きい階調情報を有する所定の形式に圧縮変換するような場合には、圧縮変換部７により圧縮変換した後に、ＲＰＵ４による上述の処理を行う態様であっても構わない。具体的には、ＲＰＵ４において補間処理、色空間の変換、偽色抑制等の基本的な画像処理を施した後の画像データを、圧縮変換部７が、例えば１２ビットの階調情報を有するＪＰＥＧ２０００形式の画像データに圧縮変換し、これを再度ＲＰＵ４に入力して、上述のヒストグラムイコライゼーション処理およびノイズリダクション処理を施す態様であっても構わない。圧縮変換後の画像データであっても１２ビットの階調情報を有するような場合であれば、これにヒストグラムイコライゼーション処理等による処理を施したとしても、８ビットの階調情報しか持たないＪＰＥＧ形式の画像データの場合のように階調情報の一部を失うようなことがなく、偽輪郭の発生等の問題が発生しないと考えられるからである。

このように、画像データを、任意の大きさのブロック領域に分割した上で、輝度情報を変更するヒストグラムイコライゼーション処理を行うことで、階調情報の一部を失う白とび等の発生を抑制し、ブロック領域毎に適切な補正処理を行うことができる。

また、ヒストグラムイコライゼーション処理によってノイズ成分が目立つような場合にも、合わせてノイズリダクション処理を施すことで、ノイズ成分を抑制した良好な画像データを得ることができる。

さらに、８ビットの階調情報を有するＪＰＥＧ形式の画像データを生成するときに、ヒストグラムイコライゼーション処理やノイズリダクション処理を、ＪＰＥＧ形式に変換する前に行えば、階調情報の一部を失うことがなく、偽輪郭の発生等を抑制し、ＪＰＥＧ形式の有するダイナミックレンジを有効に利用した画像データを得ることが可能である。

（第２の実施の形態）
＜画像処理装置の構成＞
図６は、この発明の第２の実施の形態に係る画像処理装置１００を含む、デジタルカメラ等の撮像装置の構成を示す概略図である。画像処理装置１００は、圧縮変換部７の代わりに、ＪＰＥＧ圧縮処理部１６およびＪＰＥＧ２０００圧縮処理部１７を有する点のみが、第１の実施の形態で図１に示した画像処理装置１と異なる。

図６では、図１で上述したのと同様の機能を有する要素については同一符号を付している。即ち、ヒストグラムイコライゼーション処理およびノイズリダクション処理に係るＲＰＵ４の動作等は、全て第１の実施の形態と同様である。よって、以下でノイズリダクション処理またはヒストグラムイコライゼーション処理と記す処理は、特に記載しない限り、全て第１の実施の形態で上述したノイズリダクション処理またはヒストグラムイコライゼーション処理のことを示している。

第１の実施の形態では、圧縮変換部７が、ＪＰＥＧ形式またはＪＰＥＧ２０００形式の画像データへの圧縮変換処理を行っていたが、本実施の形態では、それぞれの形式の画像データに圧縮変換するために、ＪＰＥＧ圧縮処理部１６およびＪＰＥＧ２０００圧縮処理部１７が独立した構成で設けられており、いずれの形式の画像データをも利用することができる。

以下に、画像処理装置１００の動作について、第１の実施の形態における画像処理装置１の動作との差異点を中心に説明する。

図７に、画像処理装置１００の行う処理動作に係るフローチャートを示す。このように、本画像処理装置１００では、従来の画像処理装置として動作するステップＳ１〜Ｓ６の動作に加えて、第１の実施の形態で上述したヒストグラムイコライゼーション処理およびノイズリダクション処理を、ＪＰＥＧ形式で圧縮変換する前に行うステップＳ１１〜Ｓ１７の動作と、ＪＰＥＧ２０００形式で圧縮変換した後に行うステップＳ２０〜Ｓ３２の動作と、をそれぞれ実現することができる。

撮像部２で撮像した画像信号に、ＳＰＵ３でホワイトバランス調整等の信号処理を施し、ＲＰＵ４で補間処理、色空間の変換、偽色抑制等の基本的な画像処理を施すところまでは、第１の実施の形態で上述したのと同様である。また、これは従来の画像処理装置と同様の処理でもある。これらの処理を施した後、ステップＳ１で、画像処理を開始する。

ステップＳ２では、ヒストグラムイコライゼーション処理を行うか否かを選択する。

ステップＳ２で、ヒストグラムイコライゼーション処理を行わないとした場合（ステップＳ２でＮｏ）には、従来の画像処理装置と同様の動作を行う。

具体的には、ＲＰＵ４から出力される画像データを、ステップＳ３での選択結果に従って、ＪＰＥＧ圧縮処理部１６またはＪＰＥＧ２０００圧縮処理部１７で、ＪＰＥＧ形式またはＪＰＥＧ２０００形式に圧縮変換し（ステップＳ４またはＳ５）、これをメモリＩ／Ｆ８を介してメモリ９に保存する。このとき、圧縮変換した画像データは、ＳＤＲＡＭ等のメモリ９ではなく、画像処理装置１００に対して、メモリＩ／Ｆ８を介して当該画像処理装置１００を含むデジタルカメラ等の撮像装置に着脱自在に接続された、メモリーカード等の記憶媒体（図示せず）に記録保存する態様であっても構わない（ステップＳ６）。

ステップＳ２で、ヒストグラムイコライゼーション処理を行うと選択した場合（ステップＳ２でＹｅｓ）には、次にステップＳ１０で、ＪＰＥＧ形式で処理するか、ＪＰＥＧ２０００形式で処理するかを選択する。

ＪＰＥＧ形式で処理するＪＰＥＧモードを選択した場合には、次に、ステップＳ１１で、ノイズリダクション処理を、ヒストグラムイコライゼーション処理の前に行うか後に行うかを選択する。

先にノイズリダクション処理を行うと選択した場合（ステップＳ１１でＹｅｓ）には、ステップＳ１２で、ＲＰＵ４が、画像データに対し、ノイズリダクション処理を施し、その後、ステップＳ１３で、ヒストグラムイコライゼーション処理を施す。

先にノイズリダクション処理を行わないと選択した場合（ステップＳ１１でＮｏ）には、ステップＳ１４で、ＲＰＵ４が、画像データに対し、ヒストグラムイコライゼーション処理を施し、その後、ステップＳ１５で、ノイズリダクション処理を施す。

尚、ステップＳ１２とＳ１５のノイズリダクション処理は、ステップＳ１２が従来の画像処理装置におけるノイズリダクション処理であるのに対し、ステップＳ１５は、第１の実施の形態で上述したように、先に行うステップＳ１４のヒストグラムイコライゼーション処理のゲイン値に応じて、各ブロック領域毎に行うノイズリダクション処理である点が異なる。

次に、ステップＳ１６では、ヒストグラムイコライゼーション処理およびノイズリダクション処理が施されＲＰＵ４から出力された画像データを、ＪＰＥＧ圧縮処理部１６がＪＰＥＧ形式に圧縮変換する。ただし、このとき、ＪＰＥＧモードでの動作ではあるが、利用者の指示があれば、ＪＰＥＧ２０００圧縮処理部１７によってＪＰＥＧ２０００形式に圧縮変換する態様であっても構わない。

ステップＳ１６で圧縮変換された画像データは、ステップＳ１７において、ステップＳ６と同様に、メモリーカード等の記憶媒体に記録保存する。

以上の、ステップＳ１１からＳ１７へ至る処理の流れを図８に示す。このように、ステップＳ１１からＳ１７の動作は、撮像部２撮像した画像信号に、ＳＰＵ３でホワイトバランス調整等の信号処理を施し、ＲＰＵ４で補間処理、色空間の変換、偽色抑制等の基本的な画像処理を施した後、さらにＲＰＵ４でノイズリダクション処理およびヒストグラムイコライゼーション処理を選択した順序で適用し、これを所定の形式に圧縮変換してメモリーカード等の記憶媒体に保存するというものである。

ステップＳ１０で、ＪＰＥＧ２０００形式で処理するＪＰＥＧ２０００モードを選択した場合には、次に、ステップＳ２０で、ＪＰＥＧ２０００圧縮処理部１７が、ＲＰＵ４が出力する画像データを、ＪＰＥＧ２０００形式に圧縮変換し、ステップＳ２１でステップＳ６と同様に、これをメモリーカード等の記憶媒体に記録保存する。

次に、ステップＳ２２で、ステップＳ２１で一旦保存したＪＰＥＧ２０００形式の画像データを、記憶媒体から読み出し、元の画像データを伸張する。そして、ステップＳ２３で、この伸張後の画像データに対するノイズリダクション処理を、ヒストグラムイコライゼーション処理の前に行うか後に行うかを選択する。

先にノイズリダクション処理を行うと選択した場合（ステップＳ２３でＹｅｓ）には、ＲＰＵ４が、ステップＳ２２で記憶媒体から読み出して伸張した画像データに対し、ステップＳ２４でノイズリダクション処理を施し後、ステップＳ２５でヒストグラムイコライゼーション処理を施す。

先にノイズリダクション処理を行わないと選択した場合（ステップＳ２３でＮｏ）には、ＲＰＵ４が、ステップＳ２２で記憶媒体から読み出して伸張した画像データに対し、ステップＳ２６でヒストグラムイコライゼーション処理を施した後、ステップＳ２７でノイズリダクション処理を施す。

尚、ステップＳ２４とＳ２７のノイズリダクション処理は、ステップＳ２４が従来の画像処理装置におけるノイズリダクション処理であるのに対し、ステップＳ２７は、第１の実施の形態で上述したように、先に行うステップＳ２６のヒストグラムイコライゼーション処理のゲイン値に応じて、各ブロック領域毎に行うノイズリダクション処理である点が異なる。

ヒストグラムイコライゼーション処理およびノイズリダクション処理が終了すると、ステップＳ２８で、その処理結果を、画像処理装置１００を含むデジタルカメラ等の撮像装置が備える液晶ディスプレイ等の表示装置上に表示する。

利用者は、その表示装置上の処理結果を確認して、ステップＳ２９で、処理結果を保存するか否かを選択する。

保存するとした場合（ステップＳ２９でＹｅｓ）には、ステップＳ３０で、ＲＰＵ４から出力した処理結果を、ＪＰＥＧ圧縮処理部１６またはＪＰＥＧ２０００圧縮処理部１７が、ＪＰＥＧ形式またはＪＰＥＧ２０００形式に圧縮変換する。いずれの形式にするかは、利用者の選択による。

そして、ステップＳ３１で、これをメモリーカード等の記憶媒体に保存する。

保存しないとした場合（ステップＳ２９でＮｏ）には、ステップＳ３２で、ＲＰＵ４にある処理結果を破棄し、画像処理を終了する。

以上の、ステップＳ２０からＳ３１またはＳ３２へ至る処理の流れを図９に示す。このように、ステップＳ２０から始まる動作は、撮像部２で撮像した画像信号に、ＳＰＵ３でホワイトバランス調整等の信号処理を施し、ＲＰＵ４で補間処理、色空間の変換、偽色抑制等の基本的な画像処理を施した後、一旦ＪＰＥＧ２０００形式に圧縮変換してメモリーカード等の記憶媒体に記録保存する。そして、これを再度読み出して、ＲＰＵ４で上述したノイズリダクション処理およびヒストグラムイコライゼーション処理を選択した順序で適用し、その適用結果を表示装置上で確認した上で、結果を保存せずに終了するか、あるいは所定の形式に圧縮変換して記憶媒体に記録保存するというものである。

尚、上述の各選択動作は、上述の表示装置上にダイアログボックス等により表示して利用者に選択を促す態様であってもよいし、予め設定された通りに動作する態様であっても構わない。

また、ヒストグラムイコライゼーション処理Ｓ１４およびＳ２６には、第１の実施の形態で上述したように、ブロック領域の大きさを任意の大きさに変更する処理が含まれ、当該処理については、画像処理装置１００が、画像データの有する輝度値に係るヒストグラム等の情報から自動的に決定する態様であってもよいし、利用者が処理時に、または処理に先だって予め設定項目として、手動で選択設定する態様であっても構わない。

さらに、図７は、画像処理装置１００の基本的な処理動作の流れを示すものであるが、フローチャート中の矢印方向にしか処理が進行しないことを意味するものではなく、前段階の選択動作等に戻ることも可能である。具体的には、例えば、ブロック領域の大きさを変更しながら、ステップＳ２８の処理結果の画像データの確認と、ステップＳ２３に戻って行うヒストグラムイコライゼーション処理Ｓ２４またはＳ２６と、を繰り返し、適当な処理結果を得られた段階で、ステップＳ２９へ進む態様であっても構わない。

このように、利用者の選択に基づいて画像処理装置１００の動作を変更することで、従来の画像処理装置と同様にＪＰＥＧ等の所定の形式に圧縮変換するのみの動作に加えて、第１の実施の形態で上述した本発明の特徴であるノイズリダクション処理およびヒストグラムイコライゼーション処理の適用を施した画像を、ＪＰＥＧ形式またはＪＰＥＧ２０００形式のうち選択した形式に圧縮変換する動作等、複数種類の処理動作の中から、利用者の意思に従って選択した処理動作を実現することが可能である。

この発明の第１の実施の形態に係る画像処理装置を含む撮像装置を示す図である。 この発明の第１の実施の形態に係るゲイン値を算出する位置を説明する図である。 この発明の第１の実施の形態に係るゲイン値の演算方法を説明する図である。 この発明の第１の実施の形態に係るヒストグラムイコライゼーション処理を説明する図である。 この発明の第１の実施の形態に係るノイズリダクション処理を説明する図である。 この発明の第２の実施の形態に係る画像処理装置を含む撮像装置を示す図である。 この発明の第２の実施の形態に係る画像処理の動作を示すフローチャートである。 この発明の第２の実施の形態に係る画像処理装置の一の動作を説明する図である。 この発明の第２の実施の形態に係る画像処理装置の他の動作を説明する図である。

従来技術に係る逆光状態で撮像された画像データと、その輝度分布を説明する図である。 従来技術に係るヒストグラムイコライゼーション処理を説明する図である。

符号の説明

１，１００ 画像処理装置
２ 撮像部
３ センサプロセッシングユニット（ＳＰＵ）
４ リアルタイムプロセッシングユニット（ＲＰＵ）
７ 圧縮変換部
１１ ブロック領域
１２ ノイズフィルタ
１６ ＪＰＥＧ圧縮処理部
１７ ＪＰＥＧ２０００圧縮処理部

Claims (6)

1. 画像データを複数の領域に分割したブロック領域毎に、前記画像データの有する輝度情報に係るヒストグラムに基づいて算出したゲイン値分だけ輝度値を変更するヒストグラムイコライゼーション処理を施す手段と、
   前記ブロック領域毎に、前記ゲイン値に応じた強度でノイズリダクション処理を施す手段と、
   を備えることを特徴とする画像処理装置。
2. 画像データにノイズリダクション処理を施す手段と、
   前記手段によりノイズリダクション処理を施された画像データを複数の領域に分割したブロック領域毎に、前記画像データの有する輝度情報に係るヒストグラムに基づいて算出したゲイン値分だけ輝度値を変更するヒストグラムイコライゼーション処理を施す手段と、
   を備えることを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、さらに、
   画像データを８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に圧縮変換する手段、
   を備えることを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれかに記載の画像処理装置であって、さらに、
   画像データを８ビットの階調情報を有するＪＰＥＧ形式に圧縮変換する手段、
   を備え、
   前記ノイズリダクション処理および前記ヒストグラムイコライゼーション処理を施した後の画像データを８ビットの階調情報を有するＪＰＥＧ形式に圧縮変換することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、さらに、
   前記ノイズリダクション処理および前記ヒストグラムイコライゼーション処理を施した後の画像データを８ビットの階調情報を有するＪＰＥＧ形式に圧縮変換する動作と、
   ８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に圧縮変換した後の画像データに、前記ノイズリダクション処理および前記ヒストグラムイコライゼーション処理を施す動作と、
   のいずれか一つの動作を選択して行うことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置であって、さらに、
   画像データを再生表示する表示手段、
   を備え、
   ８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に圧縮変換した後の画像データを伸張して前記ノイズリダクション処理および前記ヒストグラムイコライゼーション処理を施すときは、処理後の画像データを前記表示手段により再生表示した後、
   前記処理後の画像データを破棄する動作と、
   前記処理後の画像データを８ビットの階調情報を有するＪＰＥＧ形式または８ビットより大きい階調情報を有するＪＰＥＧ２０００形式に再度圧縮変換する動作と、
   のいずれか一つの動作を選択して行うことを特徴とする画像処理装置。
   

Images