JP2001245129A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 より少ない演算回数とより少ないメモリで階
調変換特性を求めることが可能な画像処理装置を提供す
る。 【解決手段】 異なる露光の複数画像から広ダイナミッ
クレンジ画像を合成する画像処理装置であって、画像毎
に所定サイズの局所領域を抽出する局所領域抽出部２０
と水平及び垂直方向に１／２画素ずれた格子点の輝度相
当信号を算出する第１信号抽出部２２と該輝度相当信号
のエッジ成分を算出する第２信号抽出部２３とを有して
なる特徴量算出部１０と、上記輝度相当信号に基づき適
正露光域を抽出する適正露光抽出部１１と、上記エッジ
成分に基づき上記適正露光域の階調補正を行う階調補正
部１１と、階調補正された適正露光域を合成して広ダイ
ナミックレンジ画像を生成する画像合成補間部と、を備
えた画像処理装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置、よ
り詳しくは、異なる露光条件で撮像された複数の画像か
ら一の広ダイナミックレンジ画像を生成する画像処理装
置に関する。

【０００２】

【従来の技術】従来より、異なる露光条件で撮像された
複数の画像を合成して一の広ダイナミックレンジ画像を
生成する画像処理装置が提案されている。

【０００３】このようなものの一例として、特願平１１
−３３８５５１号には、各画像を適正露光領域と不適正
露光領域に分割して、各適正露光領域毎に階調補正を行
い、階調補正された各画像毎の適正露光領域を合成して
一の広ダイナミックレンジ画像を生成する画像処理装置
が記載されており、さらに、この画像処理装置を適用し
た機器の例として、被写体をより広いダイナミックレン
ジで撮像することができるスーパーラチチュードデジタ
ルカメラが記載されている。

【０００４】このようなデジタルカメラにおいては、よ
り詳しくは、次のような処理を基本的に行うようになっ
ている。

【０００５】まず、例えばＲＧＢのカラーフィルタがベ
イヤー（Bayer）配列になされた単板ＣＣＤ（本発明の
実施形態を示す図４（Ａ）参照）を使用して撮像を行
い、その撮像信号中のＲ画素に係る信号を補間処理する
ことにより１画面分のＲ画像を作成し、同様にＧ画素に
係る信号を補間処理し、Ｂ画素に係る信号を補間処理す
ることにより、各１画面分のＧ画像とＢ画像を作成す
る、いわゆる３板化の処理を行う。

【０００６】次に、これらのＲＧＢ信号に基づき、画素
毎に次の演算を行って、輝度信号Ｙと輝度差信号Ｃｂ，
Ｃｒを算出する。

【０００７】Ｙ ＝ ０．２９９００Ｒ＋０．５８７０
０Ｇ＋０．１４４００Ｂ Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５
００００Ｂ Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０
８１３１Ｂ その後に、これらの内の輝度信号Ｙに例えばラプラシア
ン等のフィルタをかけることにより画面内のエッジ成分
を抽出し、さらに所定の閾値と比較する２値化処理を行
ってエッジを検出する。

【０００８】その後、輝度に対するエッジの出現頻度を
ヒストグラムとして作成して、さらに累積ヒストグラム
等に変換し、ヒストグラム平坦化に基づいて階調変換曲
線を求める処理を行っている。

【０００９】このヒストグラム平坦化は、主要被写体は
エッジが多く、背景などの非主要部はエッジが少ないこ
とを前提とした技術である。

【００１０】

【発明が解決しようとする課題】上述したような一般的
な処理では、階調変換特性を算出するために、単板信号
から作成したＲＧＢ各３画面分の画像メモリと、これら
ＲＧＢ３板信号から作成した輝度信号Ｙを記憶する１画
面分のメモリと、さらに、この輝度信号Ｙから抽出した
エッジ成分を記憶する１画面分のメモリと、の５画面分
の画像メモリが必要となってしまっている。

【００１１】また、階調変換特性を算出する際に必要な
演算は、次のようになっている。まず、単板信号から３
板ＲＧＢ信号を算出する際には、 Ｒ信号： （加算１，除算１）×画素数×３／４ Ｇ信号： （加算３，除算１）×画素数／２ Ｂ信号： （加算１，除算１）×画素数×３／４ だけの演算が必要である。

【００１２】次に、これらのＲＧＢ信号から輝度信号Ｙ
を算出する際には、上記輝度信号Ｙの演算式から、 Ｙ信号： （加算２，乗算３）×画素数 だけの演算が必要である。

【００１３】さらに、輝度信号からエッジ成分を算出す
る際には、 エッジ成分：（加算１０，減算２，乗算４，論理４）×
画素数 だけの演算が必要となる。

【００１４】そして、抽出したエッジ成分を２値化処理
する際には、 ２値化： （論理１）×画素数 だけの演算が必要となる。

【００１５】加えて、２値化して検出したエッジからヒ
ストグラムを算出する際には、 ヒストグラム：（加算１，減算２，除算２，論理１）×
画素数 だけの演算が必要である。

【００１６】こうして、トータルとして、ヒストグラム
が算出されるまでに、 （加算１６，減算４，乗算７，除算４，論理６）×画素
数 の演算が必要となる。

【００１７】また、補色系のカラーフィルタを備えたＣ
ＣＤ（本発明の実施形態を示す図５（Ａ）参照）の場合
には、同様に、ヒストグラムが算出されるまでに、 （加算１６，減算４，乗算７，除算５，論理７）×画素
数 の演算と、６画面分のメモリが必要となっている。

【００１８】このように、従来からの一般的な処理を行
うと、大きな作業用メモリが必要になると共に、多数の
演算が必要となって、コストや処理時間を要することに
なってしまっている。さらに、こうした処理回路をＩＣ
化することを考えた場合には、大容量メモリがネックと
なって、１チップ化するのに適しているとはいえなかっ
た。

【００１９】本発明は上記事情に鑑みてなされたもので
あり、より少ない演算回数とより少ないメモリで階調変
換特性を求めることが可能な画像処理装置を提供するこ
とを目的としている。

【００２０】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明による画像処理装置は、同一被写体に
対して異なる露光条件で撮像された複数の画像からなる
画像群を処理して一の広ダイナミックレンジ画像を生成
する画像処理装置であって、上記画像群中の各画像毎に
整数座標外の画素位置における特徴量を算出する特徴量
算出手段と、上記特徴量を算出する過程で得られた画像
信号に基づき適正露光域を抽出する適正露光抽出手段
と、上記特徴量に基づき上記適正露光域の階調補正を行
う階調補正手段と、この階調補正手段により階調補正さ
れた適正露光域を合成して３板状態に補間することによ
り一の広ダイナミックレンジ画像を生成する合成手段
と、を備えたものである。

【００２１】また、第２の発明による画像処理装置は、
上記第１の発明による画像処理装置において、上記特徴
量算出手段が、上記画像群中の各画像毎に水平方向及び
垂直方向にそれぞれ１／２画素ずれた画素位置を中心と
して所定サイズの局所領域を抽出する局所領域抽出手段
と、上記水平方向及び垂直方向にそれぞれ１／２画素ず
れた画素位置に関して上記局所領域内の画素情報から輝
度信号に相当する信号及び該輝度信号に相当する信号の
特徴量であるエッジ成分を算出するエッジ算出手段と、
を有してなるものである。

【００２２】さらに、第３の発明による画像処理装置
は、上記第１の発明による画像処理装置において、上記
階調補正手段が、上記適正露光域に関して上記特徴量に
基づきヒストグラムを作成するヒストグラム作成手段
と、上記ヒストグラムに基づき階調変換曲線を算出する
階調変換曲線算出手段と、上記階調変換曲線を用いて階
調変換を行う変換手段と、を有してなるものである。

【００２３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１から図６は本発明の一実施形
態を示したものであり、図１は電子カメラの基本的な構
成を示すブロック図である。

【００２４】本実施形態は、本発明の画像処理装置を電
子カメラに適用したものであり、簡単のために短時間露
光による画像と長時間露光による画像との２画像を合成
して一の広ダイナミックレンジ画像を得る場合について
説明するが、もちろんより多数の画像を合成する場合に
適用することも可能である。

【００２５】この電子カメラは、電子シャッタ機能を有
する単板式のカラーＣＣＤ等でなり、被写体像を光電変
換して画像信号として出力するためのＣＣＤ４と、この
ＣＣＤ４上に被写体像を結像するためのレンズ系１と、
このレンズ系１を通過した光束の通過範囲を制御するた
めの絞り２と、この絞り２を通過した光束から不要な高
周波成分を除去するための光学フィルタでなるローパス
フィルタ３と、上記ＣＣＤ４から出力された後に図示し
ない相関二重サンプリング回路等でノイズ成分の除去が
行われその後に増幅等がなされたアナログの画像信号を
デジタル信号に変換するためのＡ／Ｄ変換器５と、この
Ａ／Ｄ変換器５によりデジタル化された一画面分の画像
データを各蓄積するものであり長時間露光による画像と
短時間露光による画像とをそれぞれ記憶する第１画像用
バッファ６ａおよび第２画像用バッファ６ｂと、これら
の内の測光用および焦点検出用のデータを蓄積するのに
も用いられる第１画像用バッファ６ａから画像データを
読み出して輝度分布を求め撮像時に適正露光となるよう
に上記絞り２の開口径や上記ＣＣＤ４の電子シャッタを
制御する測光評価部７と、上記第１画像用バッファ６ａ
から画像データを読み出して合焦位置の検出を行いその
検出結果に基づいて後述するＡＦモータ９を制御する合
焦点検出部８と、この合焦点検出部８に制御されて上記
レンズ系１のＡＦ用レンズを駆動し上記ＣＣＤ４上に被
写体像を結像させるようにするＡＦモータ９と、上記第
１，第２画像用バッファ６ａ，６ｂから読み出された画
像データから特徴量であるエッジ成分を抽出する特徴量
算出手段たる特徴量算出部１０と、この特徴量算出部１
０から出力される長時間露光に係る輝度信号に相当する
信号に基づいて、画面全体を構成する各画素について、
その画素が適切な露出であるか否かを信号レベルにより
判別し、その結果に基づき分割画像情報を抽出して出力
する適正露光抽出手段たる適正露光抽出部１１と、上記
特徴量算出部１０から出力されるエッジ成分に基づき階
調変換曲線を作成して上記適正露光抽出部１１から出力
される適正露光域の階調変換を行う階調補正手段たる階
調補正部１２と、この階調補正部１２から出力される階
調変換後の長時間露光に係る適正露光域および短時間露
光に係る適正露光域を合成して３板状態に補間すること
により一の広ダイナミックレンジ画像を生成する合成手
段たる画像合成補間部１３と、この画像合成補間部１３
により合成された広ダイナミックレンジ画像を例えば記
録媒体や表示装置などに出力する出力部１４と、上記測
光評価部７や合焦点検出部８の検出結果を受け取るとと
もに、上記特徴量算出部１０、階調補正部１２、画像合
成補間部１３、出力部１４を含むこの電子カメラ全体の
制御を行う制御部１５と、を有して構成されている。

【００２６】次に、図２は上記特徴量算出部１０の詳細
な構成を示すブロック図である。

【００２７】この特徴量算出部１０は、長時間露光画像
を記憶している上記第１画像用バッファ６ａから画像デ
ータを読み出して、輝度信号に相当する信号を生成し上
記適正露光抽出部１１に出力すると共に、長時間露光画
像と短時間露光画像の特徴量であるエッジ成分を順に算
出して上記階調補正部１２に出力するものであり、例え
ば５×５画素でなる局所領域を抽出する局所領域抽出手
段たる局所領域抽出部２０と、抽出された局所領域の画
像データを記憶する作業用バッファ２１と、輝度信号に
相当する第１信号を抽出するエッジ算出手段たる第１信
号抽出部２２と、特徴量であるエッジ成分としての第２
信号を抽出する同エッジ算出手段たる第２信号抽出部２
３と、を有して構成されている。

【００２８】また、図３は、上記階調補正部１２の詳細
な構成を示すブロック図である。

【００２９】この階調補正部１２は、長時間露光画像と
短時間露光画像を、後段の画像合成補間部１３で合成し
て広ダイナミックレンジ画像とするのに適するように階
調補正するものであり、上記適正露光抽出部１１により
抽出された適正露光領域について上記特徴量算出部１０
から出力されるエッジ成分からエッジを判別してエッジ
ヒストグラムを作成するヒストグラム作成手段たるヒス
トグラム作成部３０と、このエッジヒストグラムに基づ
き階調変換曲線を算出する階調変換曲線算出手段たる変
換曲線算出部３１と、算出された階調変換曲線に基づき
上記特徴量算出部１０から出力される画像データの階調
補正を行う変換手段たる変換部３２とを有して構成され
ている。

【００３０】次に、図６は、階調変換特性の算出処理を
示すフローチャートであり、図４は、ベイヤー配列の原
色系フィルタＣＣＤにおけるエッジ成分を算出する手段
を示す図である。

【００３１】まず、単板でなる上記ＣＣＤ４が、図４
（Ａ）に示すような原色ベイヤー配列のカラーフィルタ
アレイを備えたものである場合について説明する。

【００３２】このＣＣＤ４に結像された被写体像は、異
なる露光条件で複数回撮像されるようになっており、上
述したように、例えば長時間露光による撮像と短時間露
光による撮像とがこの順に行われて、順次画像信号とし
て出力される。

【００３３】これらの画像信号は、Ａ／Ｄ変換器５によ
ってデジタル信号に変換された後に、第１画像用バッフ
ァ６ａと第２画像用バッファ６ｂにそれぞれ記憶され
る。

【００３４】上記測光評価部７と合焦点検出部８は、こ
れらの内の一方の第１画像用バッファ６ａに蓄積された
長時間露光の画像データに基づいて、ＡＥ情報とＡＦ情
報を制御部１７にそれぞれ出力する。

【００３５】一方、特徴量算出部１０は、上記第１画像
用バッファ６ａおよび第２画像用バッファ６ｂに記憶さ
れている画像データを、画素配列に沿う所定方向に順次
読み込むことにより（ステップＳ１）、映像信号の走査
を行う（ステップＳ２）。

【００３６】そして、局所領域抽出部２０において、図
４（Ａ）に示すような例えば５×５画素でなる局所領域
の信号を抽出して（ステップＳ３）、この局所領域の信
号を後段の階調補正部１２で使用するために出力する
（ステップＳ４）とともに、作業用バッファ２１に一旦
記憶させておく。

【００３７】第１信号抽出部２２は、この作業用バッフ
ァ２１に記憶されている図４（Ａ）に示すような局所領
域のデータから、輝度信号に相当する第１信号を抽出す
る（ステップＳ５）。

【００３８】すなわち、この第１信号抽出部２２におい
ては、縦横に配列された画素同士の間の格子点となる位
置、つまり、縦方向および横方向に各０．５画素分ずら
した画素位置における輝度信号を、Ｇ信号で代用して補
間演算し抽出するようになっている。

【００３９】具体的には、図４（Ｂ）に示すように、画
素Ｇ1 と画素Ｇ3 との間の格子点の相対的な輝度相当信
号をＧ1 ＋Ｇ3 として算出し、同様に、画素Ｇ1 と画素
Ｇ4との間の格子点の相対的な輝度相当信号をＧ1 ＋Ｇ4
、画素Ｇ3 と画素Ｇ6 との間の格子点の相対的な輝度
相当信号をＧ3 ＋Ｇ6 、画素Ｇ4 と画素Ｇ6 との間の格
子点の相対的な輝度相当信号をＧ4 ＋Ｇ6 、などととし
て算出する。

【００４０】このＧ信号で代用した輝度相当信号は、本
来ならば２で除算して平均値をとるべきであるが、後段
の適正露光抽出部１１において適正露光域を抽出するた
めには、相対的な信号でも事足りるために、２で除算す
るのを省くことにより、演算回数を減少させている。

【００４１】こうして第１信号である輝度相当信号が算
出されたら、第１信号抽出部２２から適正露光抽出部１
１に出力する（ステップＳ６）。

【００４２】次に、第２信号抽出部２３は、上記作業用
バッファ２１に記憶されている図４（Ａ）に示すような
局所領域のデータから、特徴量であるエッジ成分（第２
信号）を抽出する（ステップＳ７）。

【００４３】すなわち、この第２信号抽出部２３におい
ては、例えばラプラシアン等の２次微分フィルタをかけ
ることにより、第２信号であるエッジ成分を取り出すよ
うになっている。２次元のラプラシアンは、良く知られ
ているように、ｘ方向の２階微分とｙ方向の２階微分と
の線形結合でなる。従って、図４（Ｃ）に示すような格
子点の内の符号ｃで示す点におけるエッジ成分をラプラ
シアンにより求める際には、点ｃを中心としてｘ方向お
よびｙ方向にそれぞれ２階差分をとって線形結合するこ
とにより行われる。

【００４４】まず、ｘ方向についての２階差分は、 （ｃ−ｂ）−（ｄ−ｃ）＝２ｃ−ｂ−ｄ であり、ｙ方向についての２階差分は、 （ｃ−ａ）−（ｅ−ｃ）＝２ｃ−ａ−ｅ となるために、結局、 ｃのエッジ＝｜４ｃ−ａ−ｂ−ｄ−ｅ｜ を算出すればよいことになる。

【００４５】図４（Ａ）の点Ｉ1 を点ｃとしたときに
は、ａ，ｂ，ｃ，ｄ，ｅの各格子点における輝度相当信
号は、 ａ＝（Ｇ1 ＋Ｇ4 ） ｂ＝（Ｇ3 ＋Ｇ6 ） ｃ＝（Ｇ4 ＋Ｇ6 ） ｄ＝（Ｇ4 ＋Ｇ7 ） ｅ＝（Ｇ6 ＋Ｇ9 ） となるために、これらを代入すれば、点Ｉ1 のエッジ成
分は、 Ｉ1 ＝｜２（Ｇ4 ＋Ｇ6 ）−Ｇ1 −Ｇ3 −Ｇ7 −Ｇ9 ｜ として求められることが分かる。

【００４６】図４（Ａ）に示したような５×５画素でな
る局所領域においては、さらに、点Ｉ2 ，Ｉ3 ，Ｉ4 の
エッジ成分も求めることができ、それぞれ、 Ｉ2 ＝｜２（Ｇ4 ＋Ｇ7 ）−Ｇ2 −Ｇ5 −Ｇ6 −Ｇ9 ｜ Ｉ3 ＝｜２（Ｇ6 ＋Ｇ9 ）−Ｇ4 −Ｇ7 −Ｇ8 −Ｇ11｜ Ｉ4 ＝｜２（Ｇ7 ＋Ｇ9 ）−Ｇ4 −Ｇ6 −Ｇ10−Ｇ12｜ となる。

【００４７】このような５×５画素単位の処理を２画素
間隔で繰り返して行うことにより、画面周辺の２行２列
を除いた全画面のエッジ成分を算出することができる。

【００４８】上記点Ｉ1 ，Ｉ2 ，Ｉ3 ，Ｉ4 のエッジ成
分を算出する式を見れば分かるように、係数２が乗算さ
れている（）内の量は、各点Ｉ1 ，Ｉ2 ，Ｉ3 ，Ｉ4 に
おける輝度相当信号となっている。すなわち、輝度相当
信号である第１信号は、特徴量であるエッジ成分を算出
する過程で得られるようになっている。

【００４９】このような処理における演算回数は、一格
子点毎に、輝度相当信号である第１信号を算出する際に
加算を１回行い、さらにエッジ成分を続けて算出する過
程で、減算を４回、乗算を１回、絶対値をとる論理演算
を１回うだけで済むようになっている。

【００５０】また、この処理は、単板データを３板デー
タに補間処理するときのような画素位置に応じた分岐処
理が不要となるために、近年の複数段のパイプライン処
理を行うことができるプロセッサ等を有効に用いて、深
い段数での処理を行うことが可能となり、処理速度を向
上させることができる。

【００５１】この第２信号抽出部２３から出力される第
２信号は、上記階調補正部１２に入力される。

【００５２】階調補正部１２のヒストグラム作成部３０
は、上記制御部１５の指令により、上記第２信号抽出部
２３から出力されたエッジ成分と、上記適正露光抽出部
１１から出力される適正露光領域情報とに基づいて、エ
ッジヒストグラムを算出する（ステップＳ８）。

【００５３】ここに、上記適正露光抽出部１１は、上記
第１画像用バッファ６ａから読み出した長時間露光の画
像データから得られる輝度相当信号である第１信号に基
づいて、長時間露光に係る適正露光域を判断し、それ以
外の部分を短時間露光に係る適正露光域とするようにな
っている。

【００５４】つまり、適正露光抽出部１１において、上
述したようにＧ信号を補間して作成された格子点におけ
る輝度相当信号の信号レベルを、所定値と比較すること
により、その画素が、適切な露光であるか否かを判別
し、適正露光と判断された画素の集合を長時間露光画像
における適正露光域として、その結果を上記ヒストグラ
ム作成部３０に出力する。

【００５５】こうして、ヒストグラム作成部３０におい
て、適正露光領域内のエッジ成分と所定の閾値とを比較
することにより、エッジを抽出する。このときの閾値と
の比較による２値化処理では、論理演算１回を画素数分
だけ行うことになる。

【００５６】さらに、ヒストグラム作成部３０は、エッ
ジを構成する画素の輝度レベルに対する出現頻度を示す
エッジヒストグラムを作成する。このエッジヒストグラ
ムの算出においては、例えば、加算１，減算２，除算
２，論理１の各演算が画素数分だけ行われることにな
る。

【００５７】こうしてヒストグラム作成部３０は、適正
露光領域内の全ての画素について走査をし終えてエッジ
ヒストグラムを作成したところで（ステップＳ９）、そ
のエッジヒストグラムを変換曲線算出部３１に出力す
る。

【００５８】変換曲線算出部３１では、エッジヒストグ
ラムをガウシアンカーネル等を用いてコンボリューショ
ンすることにより目標ヒストグラムを生成し、この目標
ヒストグラムと上記ヒストグラム作成部３０から出力さ
れたエッジヒストグラムとを各積分して累積ヒストグラ
ムに変換し、これらに基づいて階調補正特性となるトー
ンカーブを算出する（ステップＳ１０）。

【００５９】変換部３２は、上記制御部１５の指令によ
り、上記局所領域抽出部２０から出力される画像データ
に、この変換曲線算出部３１から得られるトーンカーブ
に基づいた階調補正を行い、階調補正後の画像データを
上記画像合成補間部１３に出力する。

【００６０】画像合成補間部１３では、上述したよう
に、階調補正された長時間露光の適正露光域に係る画像
データと、階調補正された短時間露光の適正露光域に係
る画像データとを受け取って合成して３板状態に補間す
ることにより、一の広ダイナミックレンジ画像を生成す
るようになっている。

【００６１】生成された広ダイナミックレンジ画像は、
その後、出力部１４から出力される。

【００６２】こうして、原色単板のＣＣＤ４の場合に
は、画像データからエッジヒストグラムを算出するまで
に、合計で、 （加算２，減算６，乗算１，除算２，論理３）×画素数 だけの演算が行われることになり、上述したような従来
における演算回数、 （加算１６，減算４，乗算７，除算４，論理６）×画素
数 に比してかなり演算回数を減少させることができるため
に、処理回路の負荷を軽減して処理時間を短縮すること
が可能となる。

【００６３】さらに、演算途中のデータを記憶するメモ
リも、算出したエッジ成分を記憶する１画面分のメモリ
だけで済むために、上述した従来例においては５画面分
のメモリが必要であったのに比べて大幅に減少させるこ
とができ、回路規模を縮小させて基板面積を小さくする
ことができるために、処理回路を１チップのＩＣ化する
際に大きな利点となる。

【００６４】また、上述したような処理は、原色系のカ
ラーフィルタアレイを備えた単板ＣＣＤにのみ適用され
るものではなく、図５（Ａ）に示すような補色系のカラ
ーフィルタアレイを備えたものについても同様に適用す
ることができる。図５は、補色系フィルタＣＣＤにおけ
るエッジ成分を算出する手段を示す図である。

【００６５】すなわち、局所領域抽出部２０において、
図５（Ａ）に示すような５×５画素でなる局所領域を抽
出し、縦横に配列された画素同士の間の格子点となる位
置、つまり、縦横に各０．５画素分ずらした画素位置に
おける輝度相当信号を、図５（Ｂ）に示すような補間演
算を用いて算出する。

【００６６】すなわち、各格子点の周りの４つの画素デ
ータを加算することにより、図５（Ｂ）における４つの
格子点に関する輝度相当信号を、（Ｍ1 ＋Ｙ1 ＋Ｇ1 ＋
Ｃ1）、（Ｙ1 ＋Ｍ2 ＋Ｃ1 ＋Ｇ2 ）、（Ｇ1 ＋Ｃ1 ＋
Ｍ4 ＋Ｙ4 ）、（Ｃ1 ＋Ｇ2＋Ｙ4 ＋Ｍ5 ）などととし
て算出する。

【００６７】そして、ラプラシアンを用いた場合には、
格子点ｃにおけるエッジは、上記図４（Ｃ）と同様の図
５（Ｃ）に示すように、 ｃのエッジ＝｜４ｃ−ａ−ｂ−ｄ−ｅ｜ として算出されるために、図４（Ａ）の点Ｉ1 ，Ｉ2 ，
Ｉ3 ，Ｉ4 のエッジ成分は、 Ｉ1 ＝｜２（Ｍ5 ＋Ｙ4 ＋Ｇ2 ＋Ｃ1 ）−Ｍ2 −Ｍ4 −
Ｙ1 −Ｙ5 −Ｇ1 −Ｇ5 −Ｃ2 −Ｃ4 ｜ Ｉ2 ＝｜２（Ｍ5 ＋Ｙ5 ＋Ｇ2 ＋Ｃ2 ）−Ｍ2 −Ｍ6 −
Ｙ2 −Ｙ4 −Ｇ3 −Ｇ5 −Ｃ1 −Ｃ5 ｜ Ｉ3 ＝｜２（Ｍ5 ＋Ｙ4 ＋Ｇ5 ＋Ｃ4 ）−Ｍ4 −Ｍ8 −
Ｙ5 −Ｙ7 −Ｇ2 −Ｇ4 −Ｃ1 −Ｃ5 ｜ Ｉ4 ＝｜２（Ｍ5 ＋Ｙ5 ＋Ｇ5 ＋Ｃ5 ）−Ｍ6 −Ｍ8 −
Ｙ4 −Ｙ8 −Ｇ2 −Ｇ6 −Ｃ2 −Ｃ4 ｜ となる。

【００６８】その後に、この輝度相当信号を２値化処理
して、ヒストグラムを作成するのは、上述と同様であ
る。

【００６９】こうして、補色単板のＣＣＤ４の場合に
は、画像データからエッジヒストグラムを算出するまで
に、合計で、 （加算４，減算１０，乗算１，除算２，論理３）×画素
数 だけの演算が行われることになり、上述したような従来
における演算回数、 （加算１６，減算４，乗算７，除算５，論理７）×画素
数 に比してかなり演算回数を減少させることができるため
に、処理回路の負荷を軽減して処理時間を短縮すること
が可能となる。

【００７０】さらに、演算途中のデータを記憶するメモ
リとしても、算出したエッジ成分を記憶する１画面分の
メモリで済むために、上述した従来例においては６画面
分のメモリが必要であったのに比べて大幅に減少させる
ことができ、回路規模を縮小させて基板面積を小さくす
ることができるために、処理回路を１チップのＩＣ化す
る際に大きな利点となる。

【００７１】このような実施形態によれば、より少ない
演算回数で階調補正を行うことができるために、処理回
路の負荷を軽減して処理時間を短縮することが可能とな
る。さらに、演算途中のデータを記憶するメモリが１画
面分のもので済むために、必要なメモリ量を大幅に減少
させることができて、回路規模を縮小させて基板面積を
小さくすることが可能となるために、処理回路を１チッ
プのＩＣ化する際に大きな利点となる。

【００７２】なお、本発明は上述した実施形態に限定さ
れるものではなく、発明の主旨を逸脱しない範囲内にお
いて種々の変形や応用が可能であることは勿論である。

【００７３】

【発明の効果】以上説明したように請求項１による本発
明の画像処理装置によれば、整数座標外の画素位置にお
ける特徴量を算出して、その過程で得られた画像信号に
基づき適正露光域を抽出し、上記特徴量に基づき階調補
正を行うようにしたために、階調補正を行うまでの演算
回数やメモリ量を減少させることが可能となる。

【００７４】また、請求項２による本発明の画像処理装
置によれば、請求項１に記載の発明と同様の効果を奏す
るとともに、特徴量を算出する画素位置を水平方向及び
垂直方向にそれぞれ１／２画素ずれた画素位置とするこ
とにより、輝度信号に相当する信号及び輝度信号に相当
する信号のエッジ成分をより簡略に算出することが可能
となる。

【００７５】さらに、請求項３による本発明の画像処理
装置によれば、請求項１に記載の発明と同様の効果を奏
するとともに、特徴量に基づいてヒストグラムを作成し
階調変換曲線を算出しているために、より効果的な階調
変換を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の実施形態の電子カメラの基本的な構成
を示すブロック図。

【図２】上記実施形態の特徴量算出部の詳細な構成を示
すブロック図。

【図３】上記実施形態の階調補正部の詳細な構成を示す
ブロック図。

【図４】上記実施形態において、ベイヤー配列の原色系
フィルタＣＣＤにおけるエッジ成分を算出する手段を示
す図。

【図５】上記実施形態において、補色系フィルタＣＣＤ
におけるエッジ成分を算出する手段を示す図。

【図６】上記実施形態における階調変換特性の算出処理
を示すフローチャート。

【符号の説明】

４…ＣＣＤ ６ａ…第１画像用バッファ ６ｂ…第２画像用バッファ １０…特徴量算出部（特徴量算出手段） １１…適正露光抽出部（適正露光抽出手段） １２…階調補正部（階調補正手段） １３…画像合成補間部（合成手段） １４…出力部 １５…制御部 ２０…局所領域抽出部（局所領域抽出手段） ２１…作業用バッファ ２２…第１信号抽出部（エッジ算出手段） ２３…第２信号抽出部（エッジ算出手段） ３０…ヒストグラム作成部（ヒストグラム作成手段） ３１…変換曲線算出部（階調変換曲線算出手段） ３２…変換部（変換手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 9/07 Ｈ０４Ｎ 1/40 １０１Ｅ Ｆターム(参考） 5B057 AA20 CE11 CE17 DA20 DB06 DC23 DC25 5C022 AA13 AB17 AB19 AB68 AC42 AC55 AC69 5C065 AA03 BB12 BB30 BB48 CC01 CC02 CC08 DD02 DD17 EE10 GG13 GG30 GG50 5C076 AA11 AA12 AA19 AA27 BA06 CA10 5C077 LL17 LL18 MM03 MP08 PP15 PP23 PP32 PP34 PP47 PQ19 RR19 TT09

Claims (3)

【特許請求の範囲】
1. 【請求項１】 同一被写体に対して異なる露光条件で撮
   像された複数の画像からなる画像群を処理して一の広ダ
   イナミックレンジ画像を生成する画像処理装置であっ
   て、 上記画像群中の各画像毎に整数座標外の画素位置におけ
   る特徴量を算出する特徴量算出手段と、 上記特徴量を算出する過程で得られた画像信号に基づき
   適正露光域を抽出する適正露光抽出手段と、 上記特徴量に基づき上記適正露光域の階調補正を行う階
   調補正手段と、 この階調補正手段により階調補正された適正露光域を合
   成して３板状態に補間することにより一の広ダイナミッ
   クレンジ画像を生成する合成手段と、 を具備したことを特徴とする画像処理装置。
2. 【請求項２】 上記特徴量算出手段は、 上記画像群中の各画像毎に水平方向及び垂直方向にそれ
   ぞれ１／２画素ずれた画素位置を中心として所定サイズ
   の局所領域を抽出する局所領域抽出手段と、 上記水平方向及び垂直方向にそれぞれ１／２画素ずれた
   画素位置に関して上記局所領域内の画素情報から輝度信
   号に相当する信号及び該輝度信号に相当する信号の特徴
   量であるエッジ成分を算出するエッジ算出手段と、 を有してなることを特徴とする請求項１に記載の画像処
   理装置。
3. 【請求項３】 上記階調補正手段は、 上記適正露光域に関して上記特徴量に基づきヒストグラ
   ムを作成するヒストグラム作成手段と、 上記ヒストグラムに基づき階調変換曲線を算出する階調
   変換曲線算出手段と、 上記階調変換曲線を用いて階調変換を行う変換手段と、 を有してなることを特徴とする請求項１に記載の画像処
   理装置。