JP2005347935A - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents
画像処理装置、および画像処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2005347935A JP2005347935A JP2004163274A JP2004163274A JP2005347935A JP 2005347935 A JP2005347935 A JP 2005347935A JP 2004163274 A JP2004163274 A JP 2004163274A JP 2004163274 A JP2004163274 A JP 2004163274A JP 2005347935 A JP2005347935 A JP 2005347935A
- Authority
- JP
- Japan
- Prior art keywords
- flash
- white balance
- image
- balance correction
- correction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【解決手段】 高周波ブレ領域の検出処理を実行する高周波ブレ領域検出部を設け、ホワイトバランス補正係数算出部において、ブレの認められない非ブレ領域と高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数を算出する。低周波ブレ領域においてのみ、ホワイトバランス補正係数を補間により算出する。本構成により、非ブレ領域および高周波ブレ領域に含まれる画素については、補間処理によらない画素対応のホワイトバランス補正係数を適用したホワイトバランス調整が実行され、補間によって算出する補正係数を低周波ブレ領域のみに限定することが可能となり、より適格な補正係数を適用したホワイトバランス調整が実現される。
【選択図】 図8
Description
a)フラッシュ光に合わせたホワイトバランス(WB)調整、
b)フラッシュ光と外光の中間にあわせたホワイトバランス(WB)調整、
c)外光にあわせホワイトバランス(WB)調整
のいずれかを選択し、処理を実行する構成を開示している。しかし、本特許文献1に記載の構成は、処理をブロック単位で実行する構成であり、ブロック歪みを生ずる問題や被写体が動いた場合などには正しい処理ができない問題などがある。
画像処理装置であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出部と、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出部と、
前記フラッシュ成分抽出部の抽出データおよび前記ブレ領域検出部の検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出部と、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間部と、
前記前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間部の算出したブレ領域画素対応のホワイトバランス補正係数とに基づいてホワイトバランス補正処理を実行するホワイトバランス補正部と、
を有することを特徴とする画像処理装置にある。
(a)局所領域における全画素値平均値と、
(b)局所領域における低画素値平均値と、
(c)局所領域における高画素値平均値と、
の3つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行する構成であることを特徴とする。
画像処理方法であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいてホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とする画像処理方法にある。
(a)局所領域における全画素値平均値と、
(b)局所領域における低画素値平均値と、
(c)局所領域における高画素値平均値と、
の3つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行することを特徴とする。
画像処理を実行するコンピュータ・プログラムであり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいてホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
(1)第1の構成例:フラッシュ無し撮影画像とフラッシュ有り撮影画像の2枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成
(2)第2の構成例:第1のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第2のフラッシュ無し撮影画像の3枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成
(3)第3の構成例:フラッシュ無し撮影画像とフラッシュ有り撮影画像の2枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行する構成
(4)第4の構成例:第1のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第2のフラッシュ無し撮影画像の3枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行する構成
まず、第1の構成例として、フラッシュ無し撮影画像とフラッシュ有り撮影画像の2枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成について、図3を用いて説明する。フラッシュのホワイトバランスを補正するモードで撮影した場合、ホワイトバランス調整回路202は、フラッシュの強度を変えて連続撮影されデモザイク処理された複数枚の画像信号を入力するが、図3に示す構成例はフラッシュ無し撮影画像とフラッシュ有り撮影画像の2枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成を持つホワイトバランス調整回路202の一構成例である。
(Ir,Ig,Ib)=(k1×lr×Or,k1×lg×Og,k1×lb×Ob)
・・・・・式(1)
(Ir,Ig,Ib)=((k1×l1r+k2×l2r)×Or,(k1×l1g+k2×l2g)×Og,(k1×l1b+k2×l2b)×Ob)
・・・・・式(2)
ここで、k1は光源1の強さ、k2は光源2の強さを表すスカラー値である。
l1r:l1g:l1b=cr×l2r:cg×l2g:cb×l2b
・・・式(3)
フラッシュ成分:(k2×l2r×Or,k2×l2g×Og,k2×l2b×Ob)
外光成分:(k1×l1r×Or,k1×l1g×Og,k1×l1b×Ob)
を算出して、ホワイトバランス補正係数算出回路218に出力する。
フラッシュ成分:(k2×l2r×Or,k2×l2g×Og,k2×l2b×Ob)
外光成分:(k1×l1r×Or,k1×l1g×Og,k1×l1b×Ob)
と、
フラッシュ成分ホワイトバランス補正係数算出回路214の出力、すなわち、
フラッシュ成分ホワイトバランス補正係数:(cr,cg,cb)
とを入力し、ブレていない静止物体領域におけるホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路217とホワイトバランス補正回路219に出力する。
次に、第1のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第2のフラッシュ無し撮影画像の3枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成について、図4を用いて説明する。フラッシュのホワイトバランスを補正するモードで撮影した場合、ホワイトバランス調整回路202は、フラッシュの強度を変えて連続撮影されデモザイク処理された複数毎の画像信号を入力するが、本構成例は、
(1)フラッシュ無し撮影画像、
(2)フラッシュ有り撮影画像、
(3)フラッシュ無し撮影画像
の連続撮影された3枚を画像を入力としてホワイトバランス調整を実行する構成例である。
縮小画像保持用RAM1,231に保持されているフラッシュ無し撮影縮小画像1と、
縮小画像保持用RAM2,232に保持されているフラッシュ有り撮影縮小画像と、
縮小画像保持用RAM3,233に保持されているフラッシュ無し撮影縮小画像2、
の3枚の画像を入力とし、時間が異なって撮影されたフラッシュ無し撮影縮小画像1とフラッシュ無し撮影縮小画像2の差分の絶対値を利用して、被写体の動きなどによるブレ領域を検出する。これら2枚の画像の差分の絶対値がある閾値以上だったら、ブレ領域であると判定する。また、フラッシュ有り撮影縮小画像とフラッシュ無し撮影縮小画像1、または、フラッシュ有り撮影縮小画像とフラッシュ無し撮影縮小画像2の差分値がある閾値以下だった場合もブレ領域と判定する。つまり、ブレ領域でない場合(静止物体領域)は前記の差分値はフラッシュによる増分値(少なくとも正の値)をとるはずであり、そうでない場合は、ブレ領域であると判定する。これにより、図3の第1の構成例のフラッシュ無し、有りの2枚の撮影画像を利用したブレ領域検出に比べ、本構成例の場合、高い精度でブレ領域の検出を行うことができる。
次に、第3の構成例として、フラッシュ無し撮影画像とフラッシュ有り撮影画像の2枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行するホワイトバランス調整回路構成について、図5を用いて説明する。
(a)局所領域における全画素値平均値(avg):式(4)
(b)局所領域における低画素値平均値(avg_low):式(5)
(c)局所領域における高画素値平均値(avg_high):式(6)
図6(A)フラッシュ無し撮影画像の局所領域(αβ)についての全画素値平均値:avg(A)と、
図6(B)フラッシュ有り撮影画像の局所領域(αβ)についての全画素値平均値:avg(B)と、
が算出される。
図6(A)フラッシュ無し撮影画像の局所領域(αβ)についての低画素値平均値(avg_low):avg_low(A)と、
図6(B)フラッシュ有り撮影画像の局所領域(αβ)についての低画素値平均値(avg_low):avg_low(B)と、
が算出される。
図6(A)フラッシュ無し撮影画像の局所領域(αβ)についての高画素値平均値(avg_high):avg_high(A)と、
図6(B)フラッシュ有り撮影画像の局所領域(αβ)についての高画素値平均値(avg_high):avg_high(B)と、
が算出される。
(a1)Davg=|avg(A)−avg(B)|
(b1)Davg_low=|avg_low(A)−avg_low(B)|
(c1)Davg_high=|avg_high(A)−avg_high(B)|
これらの3つの差分データが、ほぼ等しい場合、すなわち、
Davg≒Davg_low≒Davg_high
が成立する場合に、局所領域(αβ)を高周波ブレ領域と判定する。
Davg≒Davg_low≒Davg_high
が成立しない局所領域は、ブレ領域ではあるが、高周波ブレ領域ではないと判定する。
(B)フラッシュ有り撮影画像の注目画素の画素値(b4とする)に応じて、式(7)〜式(9)を適用して、注目画素に対応する(A)フラッシュ無し撮影画像の画素値(a'4)を算出する式を示している。
全画素値平均値(avg(B))≦b4≦高画素値平均値(avg_high(B))である場合は、式(8)に基づいて、注目画素に対応する(A)フラッシュ無し撮影画像の画素値(a'4)を算出する。
b4≦低画素値平均値(avg_low(B))である場合は、式(9)に基づいて、注目画素に対応する(A)フラッシュ無し撮影画像の画素値(a'4)を算出する。
高画素値平均値(avg_high(B))≦b4である場合は、式(10)に基づいて、注目画素に対応する(A)フラッシュ無し撮影画像の画素値(a'4)を算出する。
(a)局所領域における全画素値平均値(avg)
(b)局所領域における低画素値平均値(avg_low))
(c)局所領域における高画素値平均値(avg_high)
であり、図7(2)に示すような分布である。この処理によって、図7(3)に示すように、(B)フラッシュ有り撮影画像の注目画素の画素値(b4)に対応する(A)フラッシュ無し撮影画像の画素値(a'4)を位相を合わせた状態として算出することができる。
(a)局所領域における全画素値平均値(avg)
(b)局所領域における低画素値平均値(avg_low))
(c)局所領域における高画素値平均値(avg_high)
の各統計量を適用して、フラッシュ無し撮影画像の注目画素対応画素値を推定する構成としたが、これらの統計量以外の統計量情報からフラッシュ無し撮影画像の注目画素値を推定しフラッシュ成分と外光成分を分離する構成としてもよい。
フラッシュ成分:(k2×l2r×Or,k2×l2g×Og,k2×l2b×Ob)
外光成分:(k1×l1r×Or,k1×l1g×Og,k1×l1b×Ob)
と、
フラッシュ成分ホワイトバランス補正係数算出回路254の出力、すなわち、
フラッシュ成分ホワイトバランス補正係数:(cr,cg,cb)
とを入力し、ブレていない静止物体領域におけるホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路260とホワイトバランス補正回路261に出力する。
次に、第4の構成例として、第1のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第2のフラッシュ無し撮影画像の3枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行する構成について、図8を用いて説明する。
(A)フラッシュ無し撮影縮小画像1と(C)フラッシュ無し撮影縮小画像2の画素値差分|Ax−Cx|を算出する
[ステップ2]
(2−1)ステップ1で算出した画素値差分|Ax−Cx|<閾値であり、かつ、
(A)フラッシュ無し撮影縮小画像1の局所領域(αβ)と(B)フラッシュ有り撮影縮小画像の局所領域(αβ)内の画素値変移データに対する微分値の符号が異なる場合、
あるいは、
(2−2)ステップ1で算出した画素値差分|Ax−Cx|<閾値であり、かつ、
(B)フラッシュ有り撮影縮小画像の局所領域(αβ)と(C)フラッシュ無し撮影縮小画像2の局所領域(αβ)内の画素値変移データに対する微分値の符号が異なる場合、
上記(2−1)または(2−2)の条件を満足する場合、画素x(図9(1)参照)は高周波ブレ領域にあると判定する。
上記(2−1)および(2−2)の条件のいずれも満足しない場合、画素x(図9(1)参照)は高周波ブレ領域にないと判定する。
第1のフラッシュ無し撮影画像と第2のフラッシュ無し撮影画像の画素値差分を算出し、算出した画素値差分<閾値であり、かつ、第1のフラッシュ無し撮影画像における検証対象画素を含む局所領域と、フラッシュ有り撮影縮小画像における対応局所領域内の画素値変移データの微分値の符号が異なる場合、または、
画素値差分<閾値であり、かつ、フラッシュ有り撮影画像の検証対象画素を含む局所領域と、第2のフラッシュ無し撮影画像の対応局所領域内の画素値変移データの微分値の符号が異なる場合に、検証対象画素が高周波ブレ領域に含まれると判定する処理を実行する。
(Ir,Ig,Ib)=(k1×lr×Or,k1×lg×Og,k1×lb×Ob)
・・・・・式(1)
(Ir,Ig,Ib)=((k1×l1r+k2×l2r)×Or,(k1×l1g+k2×l2g)×Og,(k1×l1b+k2×l2b)×Ob)
・・・・・式(2)
ここで、k1は光源1の強さ、k2は光源2の強さを表すスカラー値である。
l1r:l1g:l1b=cr×l2r:cg×l2g:cb×l2b
・・・式(3)
(a)局所領域における全画素値平均値(avg):式(4)
(b)局所領域における低画素値平均値(avg_low):式(5)
(c)局所領域における高画素値平均値(avg_high):式(6)
を算出し、さらに、差分データとして、下記の値を算出する。
(a1)Davg=|avg(A)−avg(B)|
(b1)Davg_low=|avg_low(A)−avg_low(B)|
(c1)Davg_high=|avg_high(A)−avg_high(B)|
これらの3つの差分データが、ほぼ等しい場合、すなわち、
Davg≒Davg_low≒Davg_high
が成立する場合に、局所領域(αβ)を高周波ブレ領域と判定する。
Davg≒Davg_low≒Davg_high
が成立しない局所領域は、ブレ領域ではあるが、高周波ブレ領域ではないと判定する。
[ステップ1]
(A)フラッシュ無し撮影縮小画像1と(C)フラッシュ無し撮影縮小画像2の画素値差分|Ax−Cx|を算出する
[ステップ2]
(2−1)ステップ1で算出した画素値差分|Ax−Cx|<閾値であり、かつ、
(A)フラッシュ無し撮影縮小画像1の局所領域(αβ)と(B)フラッシュ有り撮影縮小画像の局所領域(αβ)内の画素値変移データに対する微分値の符号が異なる場合、
あるいは、
(2−2)ステップ1で算出した画素値差分|Ax−Cx|<閾値であり、かつ、
(B)フラッシュ有り撮影縮小画像の局所領域(αβ)と(C)フラッシュ無し撮影縮小画像2の局所領域(αβ)内の画素値変移データに対する微分値の符号が異なる場合、
上記(2−1)または(2−2)の条件を満足する場合、画素x(図9(1)参照)は高周波ブレ領域にあると判定する。
上記(2−1)および(2−2)の条件のいずれも満足しない場合、画素x(図9(1)参照)は高周波ブレ領域にないと判定する。
102 絞り
103 イメージセンサー
104 相関2重サンプリング回路(CDS)
105 A/Dコンバータ
106 DSPブロック
107 タイミングジェネレータ
108 D/Aコンバータ
109 ビデオエンコーダ
110 ビデオモニタ
111 コーデック(CODEC)
112 メモリ
113 制御回路
114 操作入力回路
115 ドライブ
116 磁気ディスク
117 光ディスク
118 光磁気ディスク
119 半導体メモリ
120 フラッシュ
200 デモザイク回路
201 スイッチ
202 ホワイトバランス調整回路
203 階調変換回路
210 縮小画像生成回路
211 縮小画像保持用RAM1
212 縮小画像保持用RAM2
213 画像保持用RAM
214 フラッシュ成分ホワイトバランス補正係数算出回路
215 フラッシュ成分抽出回路1
216 ブレ領域検出回路
217 ホワイトバランス補正係数補間回路
218 ホワイトバランス補正係数算出回路
219 ホワイトバランス補正回路
230 縮小画像生成回路
231 縮小画像保持用RAM1
232 縮小画像保持用RAM2
233 縮小画像保持用RAM3
234 画像保持用RAM
235 フラッシュ成分ホワイトバランス補正係数算出回路
236 フラッシュ成分抽出回路1
237 ブレ領域検出回路
238 ホワイトバランス補正係数算出回路
239 ホワイトバランス補正係数補間回路
240 ホワイトバランス補正回路
250 縮小画像生成回路
251 縮小画像保持用RAM1
252 縮小画像保持用RAM2
253 画像保持用RAM
254 フラッシュ成分ホワイトバランス補正係数算出回路
255 フラッシュ成分抽出回路1
256 ブレ領域検出回路
257 高周波ブレ領域検出回路
258 フラッシュ成分抽出回路2
259 ホワイトバランス補正係数算出回路
260 ホワイトバランス補正係数補間回路
261 ホワイトバランス補正回路
270 縮小画像生成回路
271 縮小画像保持用RAM1
272 縮小画像保持用RAM2
273 縮小画像保持用RAM3
274 画像保持用RAM
275 フラッシュ成分ホワイトバランス補正係数算出回路
276 フラッシュ成分抽出回路1
277 ブレ領域検出回路
278 高周波ブレ領域検出回路
279 フラッシュ成分抽出回路2
280 ホワイトバランス補正係数算出回路
281 ホワイトバランス補正係数補間回路
282 ホワイトバランス補正回路
310〜330 フラッシュ成分
Claims (17)
- 画像処理装置であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出部と、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出部と、
前記フラッシュ成分抽出部の抽出データおよび前記ブレ領域検出部の検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出部と、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間部と、
前記前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間部の算出したブレ領域画素対応のホワイトバランス補正係数とに基づいてホワイトバランス補正処理を実行するホワイトバランス補正部と、
を有することを特徴とする画像処理装置。 - 前記画像処理装置は、さらに、
前記ブレ領域検出部の検出したブレ領域から、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出部を有し、
前記ホワイトバランス補正係数算出部は、
ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、前記高周波ブレ領域検出部において検出された高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出する構成であり、
前記ホワイトバランス補正係数補間部は、
前記複数の画像データにおいて低周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出部の算出した非ブレ領域または高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数に基づく補間により算出する構成であり、
前記ホワイトバランス補正部は、
前記前記ホワイトバランス補正係数算出部の算出した非ブレ領域および高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間部の算出した低周波ブレ領域画素対応のホワイトバランス補正係数とに基づいてホワイトバランス補正処理を実行する構成であることを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記高周波ブレ領域検出部の検出した高周波ブレ領域にあるフラッシュ有り撮影画像と、フラッシュ無し撮影画像の画素データに基づいて、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データの抽出を実行する第2のフラッシュ成分抽出部を有し、
前記ホワイトバランス補正係数算出部は、
前記第2のフラッシュ成分抽出部の抽出データに基づいて高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出する構成であることを特徴とする請求項2に記載の画像処理装置。 - 前記高周波ブレ領域検出部は、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量の比較による高周波ブレ領域検出処理を実行する構成であることを特徴とする請求項2に記載の画像処理装置。 - 前記高周波ブレ領域検出部は、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量として、
(a)局所領域における全画素値平均値と、
(b)局所領域における低画素値平均値と、
(c)局所領域における高画素値平均値と、
の3つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行する構成であることを特徴とする請求項2に記載の画像処理装置。 - 前記高周波ブレ領域検出部は、
第1のフラッシュ無し撮影画像と、フラッシュ有り撮影画像と、第2のフラッシュ無し撮影画像とに基づいて、ブレ領域内の各画素が高周波ブレ領域に含まれるか否かを判定する処理を実行する構成であり、検証対象画素について、
第1のフラッシュ無し撮影画像と第2のフラッシュ無し撮影画像の画素値差分を算出し、算出した画素値差分<閾値であり、かつ、第1のフラッシュ無し撮影画像における検証対象画素を含む局所領域と、フラッシュ有り撮影縮小画像における対応局所領域内の画素値変移データの微分値の符号が異なる場合、または、
画素値差分<閾値であり、かつ、フラッシュ有り撮影画像の検証対象画素を含む局所領域と、第2のフラッシュ無し撮影画像の対応局所領域内の画素値変移データの微分値の符号が異なる場合に、検証対象画素が高周波ブレ領域に含まれると判定する処理を実行する構成であることを特徴とする請求項2に記載の画像処理装置。 - 前記画像処理装置は、さらに、
縮小画像生成部を有し、
ホワイトバランス補正係数の算出処理は、前記縮小画像生成部において生成した縮小画像データに基づいて算出する構成であることを特徴とする請求項1乃至6いずれかに記載の画像処理装置。 - 前記画像処理装置は、さらに、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像の撮影を実行する撮像部と、
前記撮像部の撮影したフラッシュ有り撮影画像と、フラッシュ無し撮影画像を格納するメモリを有する構成であることを特徴とする請求項1乃至7いずれかに記載の画像処理装置。 - 画像処理方法であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいてホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とする画像処理方法。 - 前記画像処理方法は、さらに、
前記ブレ領域検出ステップにおいて検出したブレ領域から、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出ステップを有し、
前記ホワイトバランス補正係数算出ステップは、
ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、前記高周波ブレ領域検出ステップにおいて検出された高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するステップであり、
前記ホワイトバランス補正係数補間ステップは、
前記複数の画像データにおいて低周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域または高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数に基づく補間により算出するステップであり、
前記ホワイトバランス補正ステップは、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域および高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出した低周波ブレ領域画素対応のホワイトバランス補正係数とに基づいてホワイトバランス補正処理を実行することを特徴とする請求項9に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記高周波ブレ領域検出ステップにおいて検出した高周波ブレ領域にあるフラッシュ有り撮影画像と、フラッシュ無し撮影画像の画素データに基づいて、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データの抽出を実行する第2のフラッシュ成分抽出ステップを有し、
前記ホワイトバランス補正係数算出ステップは、
前記第2のフラッシュ成分抽出ステップにおいて抽出したデータに基づいて高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出することを特徴とする請求項10に記載の画像処理方法。 - 前記高周波ブレ領域検出ステップは、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量の比較による高周波ブレ領域検出処理を実行することを特徴とする請求項10に記載の画像処理方法。 - 前記高周波ブレ領域検出ステップは、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量として、
(a)局所領域における全画素値平均値と、
(b)局所領域における低画素値平均値と、
(c)局所領域における高画素値平均値と、
の3つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行することを特徴とする請求項10に記載の画像処理方法。 - 前記高周波ブレ領域検出ステップは、
第1のフラッシュ無し撮影画像と、フラッシュ有り撮影画像と、第2のフラッシュ無し撮影画像とに基づいて、ブレ領域内の各画素が高周波ブレ領域に含まれるか否かを判定する処理を実行するステップを含み、検証対象画素について、
第1のフラッシュ無し撮影画像と第2のフラッシュ無し撮影画像の画素値差分を算出し、算出した画素値差分<閾値であり、かつ、第1のフラッシュ無し撮影画像における検証対象画素を含む局所領域と、フラッシュ有り撮影縮小画像における対応局所領域内の画素値変移データの微分値の符号が異なる場合、または、
画素値差分<閾値であり、かつ、フラッシュ有り撮影画像の検証対象画素を含む局所領域と、第2のフラッシュ無し撮影画像の対応局所領域内の画素値変移データの微分値の符号が異なる場合に、検証対象画素が高周波ブレ領域に含まれると判定する処理を実行することを特徴とする請求項10に記載の画像処理方法。 - 前記画像処理方法は、さらに、
縮小画像生成ステップを有し、
ホワイトバランス補正係数の算出は、前記縮小画像生成ステップにおいて生成した縮小画像データに基づいて算出することを特徴とする請求項9乃至14いずれかに記載の画像処理方法。 - 画像処理を実行するコンピュータ・プログラムであり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいてホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とするコンピュータ・プログラム。 - 前記コンピュータ・プログラムは、さらに、
前記ブレ領域検出ステップにおいて検出したブレ領域から、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出ステップを有し、
前記ホワイトバランス補正係数算出ステップは、
ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、前記高周波ブレ領域検出ステップにおいて検出された高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するステップであり、
前記ホワイトバランス補正係数補間ステップは、
前記複数の画像データにおいて低周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域または高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数に基づく補間により算出するステップであり、
前記ホワイトバランス補正ステップは、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域および高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出した低周波ブレ領域画素対応のホワイトバランス補正係数とに基づいてホワイトバランス補正処理を実行することを特徴とする請求項16に記載のコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004163274A JP4389671B2 (ja) | 2004-06-01 | 2004-06-01 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004163274A JP4389671B2 (ja) | 2004-06-01 | 2004-06-01 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005347935A true JP2005347935A (ja) | 2005-12-15 |
JP4389671B2 JP4389671B2 (ja) | 2009-12-24 |
Family
ID=35499924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004163274A Expired - Fee Related JP4389671B2 (ja) | 2004-06-01 | 2004-06-01 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4389671B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011004832A1 (ja) * | 2009-07-07 | 2011-01-13 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2014033276A (ja) * | 2012-08-01 | 2014-02-20 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
WO2020240989A1 (ja) * | 2019-05-29 | 2020-12-03 | ソニー株式会社 | 撮像装置、撮像制御方法および撮像制御プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5808142B2 (ja) | 2011-05-02 | 2015-11-10 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102349376B1 (ko) | 2017-11-03 | 2022-01-11 | 삼성전자주식회사 | 전자 장치 및 그의 영상 보정 방법 |
-
2004
- 2004-06-01 JP JP2004163274A patent/JP4389671B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011004832A1 (ja) * | 2009-07-07 | 2011-01-13 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2011035894A (ja) * | 2009-07-07 | 2011-02-17 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
CN102138329A (zh) * | 2009-07-07 | 2011-07-27 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
US8659675B2 (en) | 2009-07-07 | 2014-02-25 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP2014033276A (ja) * | 2012-08-01 | 2014-02-20 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
WO2020240989A1 (ja) * | 2019-05-29 | 2020-12-03 | ソニー株式会社 | 撮像装置、撮像制御方法および撮像制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4389671B2 (ja) | 2009-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101032165B1 (ko) | 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 판독 가능 기록 매체 | |
US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
KR101388130B1 (ko) | 화상처리장치 및 화상처리방법 | |
JP4668956B2 (ja) | 画像処理装置および方法並びにプログラム | |
JP5115568B2 (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
JP5743696B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2004010711A1 (ja) | 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム | |
JP2007124604A (ja) | 画像処理装置およびその処理方法 | |
JP4818393B2 (ja) | 画像処理方法および画像処理装置 | |
JP2007174277A (ja) | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム | |
KR20120025414A (ko) | 화상처리장치, 화상처리방법, 및 기록매체 | |
JP4539432B2 (ja) | 画像処理装置および撮像装置 | |
JP5804857B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5156991B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP2009005083A (ja) | 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム | |
JP4029206B2 (ja) | 撮像装置 | |
JP4389671B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
JP5814610B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2010161455A (ja) | 赤外線混合撮像装置 | |
JP2010213105A (ja) | 撮像装置 | |
JP5160655B2 (ja) | 画像処理装置および方法並びにプログラム | |
US8334912B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer readable recording medium storing image processing program | |
JP2011135379A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2009022044A (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090915 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090928 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |