JP2012065125A - 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体 - Google Patents
撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2012065125A JP2012065125A JP2010207373A JP2010207373A JP2012065125A JP 2012065125 A JP2012065125 A JP 2012065125A JP 2010207373 A JP2010207373 A JP 2010207373A JP 2010207373 A JP2010207373 A JP 2010207373A JP 2012065125 A JP2012065125 A JP 2012065125A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blur
- unit
- area
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
【課題】 ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理する。
【解決手段】 カメラプロセッサ１０４は、撮像素子１０１を介して連続する複数の撮影画像を取得し、取得された複数の撮影画像のうちの所定の１枚を基準画像として設定し、撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、基準画像に対する他の撮影画像の位置ずれを検出し、前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償し、ブロック単位で、位置ずれが補償された画像を基準画像と加算的に合成する機能を有する。さらに、カメラプロセッサ１０４は、処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、画像合成処理を制限する合成制御手段として機能する。
【選択図】 図１
【解決手段】 カメラプロセッサ１０４は、撮像素子１０１を介して連続する複数の撮影画像を取得し、取得された複数の撮影画像のうちの所定の１枚を基準画像として設定し、撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、基準画像に対する他の撮影画像の位置ずれを検出し、前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償し、ブロック単位で、位置ずれが補償された画像を基準画像と加算的に合成する機能を有する。さらに、カメラプロセッサ１０４は、処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、画像合成処理を制限する合成制御手段として機能する。
【選択図】 図１
Description
本発明は、被写体を撮像して電子的な画像情報を取得し、再生／出力に供する撮像装置に係り、特に画像情報におけるぶれ・ボケ等を適切に処理して良好な画像情報を提供する撮像装置、電子機器、画像処理システムおよびそのためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
従来、ディジタルカメラ等の撮像装置において、手ぶれを抑制する技術としては、撮像用レンズに対する撮像面の位置または撮像面に対する撮像用レンズの少なくとも一部の位置を手ぶれ方向と反対方向にシフトすることにより手ぶれをキャンセルする光学式手ぶれ補正方式と、高速シャッターを用いて複数枚の時分割画像を撮影し、被写体の特徴点を基準にして各画像を合成することによる電子式手ぶれ補正方式が知られている。電子式手ぶれ補正方式では、手ぶれに対して撮像面やレンズを移動させる必要がないため、機械的な移動のための作動機構が不要であり、撮像装置のスペースやコストが節約できるなどといったメリットがある。
また、ぶれには、撮影者が手持ちで撮影するときに撮像装置を動かしてしまうことにより生じる手ぶれと、撮影対象である被写体が撮影中に動くことにより生じる被写体ぶれがある。さらに、ぶれとは別にマクロ撮影などで生じるボケがある。
光学式手ぶれ補正方式では、撮像面またはレンズの移動により手ぶれをキャンセルして１枚の画像を撮影するため、ぶれとボケを判定する必要はない。
一方、従来の電子式手ぶれ補正に関する技術としては、例えば、特許文献１（特開２００７−２２６６４３号）および特許文献３（特開２００６−１５７５６８号）等に開示された技術がある。また、例えば、特許文献２（特開２００４−７２５３３号）および特許文献４（特開２００５−１３６７２７号）等には、その他の画像処理に関する従来の技術が開示されている。
また、ぶれには、撮影者が手持ちで撮影するときに撮像装置を動かしてしまうことにより生じる手ぶれと、撮影対象である被写体が撮影中に動くことにより生じる被写体ぶれがある。さらに、ぶれとは別にマクロ撮影などで生じるボケがある。
光学式手ぶれ補正方式では、撮像面またはレンズの移動により手ぶれをキャンセルして１枚の画像を撮影するため、ぶれとボケを判定する必要はない。
一方、従来の電子式手ぶれ補正に関する技術としては、例えば、特許文献１（特開２００７−２２６６４３号）および特許文献３（特開２００６−１５７５６８号）等に開示された技術がある。また、例えば、特許文献２（特開２００４−７２５３３号）および特許文献４（特開２００５−１３６７２７号）等には、その他の画像処理に関する従来の技術が開示されている。
すなわち、特許文献１（特開２００７−２２６６４３号）には、連続的に撮影した複数枚の画像のうちの１枚を基準画像として、各撮影画像について特定範囲の縮小画像を作成し、基準画像のコーナーやエッジをもとに画像特徴点を抽出し、基準画像と基準画像以外の比較画像の多重解像度画像を作成し、解像度に応じて全範囲および特定範囲について２次元のずれを検出し補正することによって、基準画像と比較画像との間の動きデータを高精度に算出して電子式手ぶれ補正に利用する技術が示されている。
また、特許文献３（特開２００６−１５７５６８号）には、連続する複数の画像について位置ずれ、つまり動きを検出し補正して加算的に合成することによって手ぶれを補正する際に、効率良く画像合成を行う技術が示されている。
そして、特許文献２（特開２００４−７２５３３号）には、被写体の重複を許して複数の領域に分割して撮影し、撮影された複数の重複部分における複数の分割画像の合焦状態を比較し、重複部分のそれぞれについて、合焦状態が最も良好と判定された重複部分を用いて合成する技術が示されており、特許文献４（特開２００５−１３６７２７号）には、画像検出領域内における合焦状態が所定レベル以下の部分が所定の面積以上である領域をボケ領域があるかどうかを判定し、ボケ領域に所定の画像処理を施して、ボケ領域とある程度以上合焦している合焦領域とを区別し易くして、電子ビューファインダ等の表示に供する技術が示されている。
また、特許文献３（特開２００６−１５７５６８号）には、連続する複数の画像について位置ずれ、つまり動きを検出し補正して加算的に合成することによって手ぶれを補正する際に、効率良く画像合成を行う技術が示されている。
そして、特許文献２（特開２００４−７２５３３号）には、被写体の重複を許して複数の領域に分割して撮影し、撮影された複数の重複部分における複数の分割画像の合焦状態を比較し、重複部分のそれぞれについて、合焦状態が最も良好と判定された重複部分を用いて合成する技術が示されており、特許文献４（特開２００５−１３６７２７号）には、画像検出領域内における合焦状態が所定レベル以下の部分が所定の面積以上である領域をボケ領域があるかどうかを判定し、ボケ領域に所定の画像処理を施して、ボケ領域とある程度以上合焦している合焦領域とを区別し易くして、電子ビューファインダ等の表示に供する技術が示されている。
上述した電子式手ぶれ補正には、基本的な原理に、幾つかの方式があるが、特許文献３等のように、複数枚の画像を撮影してぶれていない領域を画像合成して手ぶれをキャンセルする方式では、ボケ部分からも特徴点を抽出することができないため、ぶれと判定してしまい、ぶれとボケを区別することができずに両者を同様に扱ってしまうという問題がある。
このように、ぶれとボケを同様に扱ってしまうと、ぶれ部分は画像合成に使用されないため、ぶれ部分と混同されたボケ部分が画像合成に使用されなかったり、ボケ部分の一部にボケていない画像が合成されて、ボケ部分とボケでない部分が混在した画像になったりしてしまう。このため、ぶれとボケを判別して画像の状況に応じた適切な補正処理を行い得る電子式手ぶれ補正技術が要求されている。
このように、ぶれとボケを同様に扱ってしまうと、ぶれ部分は画像合成に使用されないため、ぶれ部分と混同されたボケ部分が画像合成に使用されなかったり、ボケ部分の一部にボケていない画像が合成されて、ボケ部分とボケでない部分が混在した画像になったりしてしまう。このため、ぶれとボケを判別して画像の状況に応じた適切な補正処理を行い得る電子式手ぶれ補正技術が要求されている。
本発明は、上述した事情に鑑みてなされたもので、ボケ領域とぶれ領域とで画像合成処理を異ならせ、電子式手ぶれ補正にてボケがぶれと同様に処理されることなく、適切なぶれ補正を可能とする撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体を提供することを目的としている。
本発明の請求項１の目的は、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能な撮像装置を提供することにある。
本発明の請求項２の目的は、特に、ぶれ補正のための画像合成処理を、ボケ領域については抑制し、ボケとぶれが混在してもより適切に処理することが可能な撮像装置を提供することにある。
本発明の請求項３の目的は、特に、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在してもより一層適切に処理することが可能な撮像装置を提供することにある。
本発明の請求項４の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な撮像装置を提供することにある。
本発明の請求項１の目的は、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能な撮像装置を提供することにある。
本発明の請求項２の目的は、特に、ぶれ補正のための画像合成処理を、ボケ領域については抑制し、ボケとぶれが混在してもより適切に処理することが可能な撮像装置を提供することにある。
本発明の請求項３の目的は、特に、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在してもより一層適切に処理することが可能な撮像装置を提供することにある。
本発明の請求項４の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な撮像装置を提供することにある。
本発明の請求項５の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、より効果的に、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な撮像装置を提供することにある。
本発明の請求項６の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、さらに効果的にボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な撮像装置を提供することにある。
本発明の請求項７の目的は、撮像機能におけるぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能な電子機器を提供することにある。
本発明の請求項８の目的は、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能な画像処理システムを提供することにある。
本発明の請求項６の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、さらに効果的にボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な撮像装置を提供することにある。
本発明の請求項７の目的は、撮像機能におけるぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能な電子機器を提供することにある。
本発明の請求項８の目的は、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能な画像処理システムを提供することにある。
本発明の請求項９の目的は、特に、ぶれ補正のための画像合成処理を、ボケ領域については抑制し、ボケとぶれが混在してもより適切に処理することが可能な画像処理システムを提供することにある。
本発明の請求項１０の目的は、特に、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在してもより一層適切に処理することが可能な画像処理システムを提供することにある。
本発明の請求項１１の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な画像処理システムを提供することにある。
本発明の請求項１２の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、より効果的に、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な画像処理システムを提供することにある。
本発明の請求項１０の目的は、特に、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在してもより一層適切に処理することが可能な画像処理システムを提供することにある。
本発明の請求項１１の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な画像処理システムを提供することにある。
本発明の請求項１２の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、より効果的に、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な画像処理システムを提供することにある。
本発明の請求項１３の目的は、特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、さらに効果的にボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能な画像処理システムを提供することにある。
本発明の請求項１４の目的は、特に、記録したプログラムの実行により、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能なコンピュータ読み取り可能な記録媒体を提供することにある。
本発明の請求項１５の目的は、特に、記録したプログラムの実行により、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能なコンピュータ読み取り可能な記録媒体を提供することにある。
本発明の請求項１４の目的は、特に、記録したプログラムの実行により、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能なコンピュータ読み取り可能な記録媒体を提供することにある。
本発明の請求項１５の目的は、特に、記録したプログラムの実行により、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能なコンピュータ読み取り可能な記録媒体を提供することにある。
請求項１に記載した本発明に係る撮像装置は、上述した目的を達成するために、
被写体を撮像して被写体像を得るための撮像手段と、
前記撮像手段を介して連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることを特徴としている。
被写体を撮像して被写体像を得るための撮像手段と、
前記撮像手段を介して連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることを特徴としている。
請求項２に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことを特徴としている。
請求項３に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことを特徴としている。
請求項４に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定し、少なくとも撮影時に当該撮像装置と被写体との間の距離情報を取得する測距手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記測距手段の距離情報に基づいて判定する前後判定手段と、
をさらに含むことを特徴としている。
前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことを特徴としている。
請求項３に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことを特徴としている。
請求項４に記載した本発明に係る撮像装置は、請求項１の撮像装置であって、
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定し、少なくとも撮影時に当該撮像装置と被写体との間の距離情報を取得する測距手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記測距手段の距離情報に基づいて判定する前後判定手段と、
をさらに含むことを特徴としている。
請求項５に記載した本発明に係る撮像装置は、請求項１〜請求項４のいずれか１項の撮像装置であって、
前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことを特徴としている。
請求項６に記載した本発明に係る撮像装置は、請求項５の撮像装置であって、
前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記測距手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることを特徴としている。
請求項７に記載した本発明に係る電子機器は、上述した目的を達成するために、
撮像機能部を有し、且つ前記撮像機能部として、請求項１〜請求項６のいずれか１項の撮像装置を含むことを特徴としている。
前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことを特徴としている。
請求項６に記載した本発明に係る撮像装置は、請求項５の撮像装置であって、
前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記測距手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることを特徴としている。
請求項７に記載した本発明に係る電子機器は、上述した目的を達成するために、
撮像機能部を有し、且つ前記撮像機能部として、請求項１〜請求項６のいずれか１項の撮像装置を含むことを特徴としている。
請求項８に記載した本発明に係る画像処理システムは、上述した目的を達成するために、
被写体を撮像して画像情報を取得する撮像装置における取得画像を処理するための画像処理システムにおいて、
連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることを特徴としている。
被写体を撮像して画像情報を取得する撮像装置における取得画像を処理するための画像処理システムにおいて、
連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることを特徴としている。
請求項９に記載した本発明に係る画像処理システムは、請求項８の画像処理システムであって、
前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことを特徴としている。
請求項１０に記載した本発明に係る画像処理システムは、請求項８の画像処理システムであって、
前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことを特徴としている。
前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことを特徴としている。
請求項１０に記載した本発明に係る画像処理システムは、請求項８の画像処理システムであって、
前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことを特徴としている。
請求項１１に記載した本発明に係る画像処理システムは、請求項８の画像処理システムであって、
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記画像処理システムは、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段と、
をさらに含むことを特徴としている。
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記画像処理システムは、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段と、
をさらに含むことを特徴としている。
請求項１２に記載した本発明に係る画像処理システムは、請求項８〜請求項１１のいずれか１項の画像処理システムであって、
前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことを特徴としている。
請求項１３に記載した本発明に係る画像処理システムは、請求項１２の画像処理システムであって、
前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記距離情報取得手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることを特徴としている。
前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことを特徴としている。
請求項１３に記載した本発明に係る画像処理システムは、請求項１２の画像処理システムであって、
前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記距離情報取得手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることを特徴としている。
請求項１４に記載した本発明に係るコンピュータ読み取り可能な記録媒体は、上述した目的を達成するために、
被写体を撮像して画像情報を取得する撮像装置による取得画像を処理するための画像処理システムにおいて、
コンピュータを、
連続して複数の撮影画像を取得する画像取得手段、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段および
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段、
として機能させるためのプログラムを記録したことを特徴としている。
被写体を撮像して画像情報を取得する撮像装置による取得画像を処理するための画像処理システムにおいて、
コンピュータを、
連続して複数の撮影画像を取得する画像取得手段、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段および
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段、
として機能させるためのプログラムを記録したことを特徴としている。
請求項１５に記載した本発明に係るコンピュータ読み取り可能な記録媒体は、請求項１４のコンピュータ読み取り可能な記録媒体であって、
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記コンピュータ読み取り可能な記録媒体に記録されるプログラムは、
コンピュータを、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段および
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段
として機能させるためのプログラムをさらに含むことを特徴としている。
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記コンピュータ読み取り可能な記録媒体に記録されるプログラムは、
コンピュータを、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段および
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段
として機能させるためのプログラムをさらに含むことを特徴としている。
本発明によれば、ボケ領域とぶれ領域とで画像合成処理を異ならせ、電子式手ぶれ補正にてボケがぶれと同様に処理されることなく、適切なぶれ補正を可能とする撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体を提供することができる。
すなわち、本発明の請求項１の撮像装置によれば、
被写体を撮像して被写体像を得るための撮像手段と、
前記撮像手段を介して連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることにより、
ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能となる。
すなわち、本発明の請求項１の撮像装置によれば、
被写体を撮像して被写体像を得るための撮像手段と、
前記撮像手段を介して連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることにより、
ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能となる。
本発明の請求項２の撮像装置によれば、請求項１の撮像装置において、
前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことにより、
特に、ぶれ補正のための画像合成処理を、ボケ領域については抑制し、ボケとぶれが混在してもより適切に処理することが可能となる。
本発明の請求項３の撮像装置によれば、請求項１の撮像装置において、
前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことにより、
特に、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在してもより一層適切に処理することが可能となる。
本発明の請求項４の撮像装置によれば、請求項１の撮像装置において、
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定し、少なくとも撮影時に当該撮像装置と被写体との間の距離情報を取得する測距手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記測距手段の距離情報に基づいて判定する前後判定手段と、
をさらに含むことにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことにより、
特に、ぶれ補正のための画像合成処理を、ボケ領域については抑制し、ボケとぶれが混在してもより適切に処理することが可能となる。
本発明の請求項３の撮像装置によれば、請求項１の撮像装置において、
前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことにより、
特に、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在してもより一層適切に処理することが可能となる。
本発明の請求項４の撮像装置によれば、請求項１の撮像装置において、
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定し、少なくとも撮影時に当該撮像装置と被写体との間の距離情報を取得する測距手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記測距手段の距離情報に基づいて判定する前後判定手段と、
をさらに含むことにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
本発明の請求項５の撮像装置によれば、請求項１〜請求項４のいずれか１項の撮像装置において、
前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、より効果的に、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
本発明の請求項６の撮像装置によれば、請求項５の撮像装置において、
前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記測距手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、さらに効果的にボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、より効果的に、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
本発明の請求項６の撮像装置によれば、請求項５の撮像装置において、
前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記測距手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、さらに効果的にボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
また、本発明の請求項７の電子機器によれば、
撮像機能部を有し、且つ前記撮像機能部として、請求項１〜請求項６のいずれか１項の撮像装置を含むことにより、
撮像機能におけるぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能となる。
さらに、本発明の請求項８の画像処理システムによれば、
被写体を撮像して画像情報を取得する撮像装置における取得画像を処理するための画像処理システムにおいて、
連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることにより、
ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能となる。
撮像機能部を有し、且つ前記撮像機能部として、請求項１〜請求項６のいずれか１項の撮像装置を含むことにより、
撮像機能におけるぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能となる。
さらに、本発明の請求項８の画像処理システムによれば、
被写体を撮像して画像情報を取得する撮像装置における取得画像を処理するための画像処理システムにおいて、
連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることにより、
ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能となる。
本発明の請求項９の画像処理システムによれば、請求項８の画像処理システムにおいて、
前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことにより、
特に、ぶれ補正のための画像合成処理を、ボケ領域については抑制し、ボケとぶれが混在してもより適切に処理することが可能となる。
本発明の請求項１０の画像処理システムによれば、請求項８の画像処理システムにおいて、
前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことにより、
特に、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在してもより一層適切に処理することが可能となる。
本発明の請求項１１の画像処理システムによれば、請求項８の画像処理システムにおいて、
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記画像処理システムは、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段と、
をさらに含むことにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことにより、
特に、ぶれ補正のための画像合成処理を、ボケ領域については抑制し、ボケとぶれが混在してもより適切に処理することが可能となる。
本発明の請求項１０の画像処理システムによれば、請求項８の画像処理システムにおいて、
前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことにより、
特に、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在してもより一層適切に処理することが可能となる。
本発明の請求項１１の画像処理システムによれば、請求項８の画像処理システムにおいて、
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記画像処理システムは、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段と、
をさらに含むことにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
本発明の請求項１２の画像処理システムによれば、請求項８〜請求項１１のいずれか１項の画像処理システムにおいて、
前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、より効果的に、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
本発明の請求項１３の画像処理システムによれば、請求項１２の画像処理システムにおいて、
前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記距離情報取得手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、さらに効果的にボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、より効果的に、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
本発明の請求項１３の画像処理システムによれば、請求項１２の画像処理システムにおいて、
前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記距離情報取得手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることにより、
特に、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、さらに効果的にボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
また、本発明の請求項１４のコンピュータ読み取り可能な記録媒体によれば、
被写体を撮像して画像情報を取得する撮像装置による取得画像を処理するための画像処理システムにおいて、
コンピュータを、
連続して複数の撮影画像を取得する画像取得手段、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段および
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段、
として機能させるためのプログラムを記録したことにより、
特に、記録したプログラムの実行により、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能となる。
被写体を撮像して画像情報を取得する撮像装置による取得画像を処理するための画像処理システムにおいて、
コンピュータを、
連続して複数の撮影画像を取得する画像取得手段、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段および
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段、
として機能させるためのプログラムを記録したことにより、
特に、記録したプログラムの実行により、ぶれ補正のための画像合成処理を、ボケ領域とぶれ領域とを区別して行い、ボケとぶれが混在しても適切に処理することが可能となる。
本発明の請求項１５のコンピュータ読み取り可能な記録媒体によれば、請求項１４のコンピュータ読み取り可能な記録媒体において、
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記コンピュータ読み取り可能な記録媒体に記録されるプログラムは、
コンピュータを、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段および
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段
として機能させるためのプログラムをさらに含むことにより、
特に、記録したプログラムの実行により、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記コンピュータ読み取り可能な記録媒体に記録されるプログラムは、
コンピュータを、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段および
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段
として機能させるためのプログラムをさらに含むことにより、
特に、記録したプログラムの実行により、ボケ領域が前ボケ領域か後ボケ領域かによって画像合成処理を異ならせ、ボケ領域での不要な合成を抑制し、ボケ領域内における不自然な画像の混入を防止して、ボケ領域の自然な仕上がりを実現することが可能となる。
以下、本発明に係る実施の形態に基づき、図面を参照して本発明の撮像装置を詳細に説明する。
ここでは、撮像装置としてのディジタルカメラの実施の形態について説明するが、本発明は、これに限定されるものではなく、カメラ機能として同様の撮像機能を持つ電子機器、あるいは撮像装置に係る画像を処理するための画像処理システムを構築する画像処理ＩＣ（集積回路）および画像処理ソフトウェアなどの画像処理全般に適用することが可能である。
図１〜図４は、本発明の一つの実施の形態に係る撮像装置としてのディジタルカメラの模式的な構成を示している。図１は、ディジタルカメラの制御系のシステム構成の概要を模式的に示すブロック図である。図２は、図１のディジタルカメラの外観構成を上方から見た模式的な平面図、図３は、図１のディジタルカメラの外観構成を正面被写体側から見た模式的な正面図、そして図４は、図１のディジタルカメラの外観構成を背面撮影者側から見た模式的な背面図である。
ここでは、撮像装置としてのディジタルカメラの実施の形態について説明するが、本発明は、これに限定されるものではなく、カメラ機能として同様の撮像機能を持つ電子機器、あるいは撮像装置に係る画像を処理するための画像処理システムを構築する画像処理ＩＣ（集積回路）および画像処理ソフトウェアなどの画像処理全般に適用することが可能である。
図１〜図４は、本発明の一つの実施の形態に係る撮像装置としてのディジタルカメラの模式的な構成を示している。図１は、ディジタルカメラの制御系のシステム構成の概要を模式的に示すブロック図である。図２は、図１のディジタルカメラの外観構成を上方から見た模式的な平面図、図３は、図１のディジタルカメラの外観構成を正面被写体側から見た模式的な正面図、そして図４は、図１のディジタルカメラの外観構成を背面撮影者側から見た模式的な背面図である。
図１〜図４に示すディジタルカメラは、その外観を図２〜図４に示したように、サブ液晶ディスプレイ（サブＬＣＤ）１、レリーズボタン２、ストロボ発光部３、モード切り換えダイヤル４、測距ユニット５、リモートコントロール受光部（リモコン受光部）６、鏡胴ユニット７、オートフォーカス表示用発光ダイオード（ＡＦＬＥＤ）８、ストロボ表示用発光ダイオード（ストロボＬＥＤ）９、液晶ディスプレイモニタ（ＬＣＤモニタ）１０、光学ファインダ１１、ズームボタン１２、電源スイッチ１３、操作ボタン群１４およびメモリカード収納部１５を具備している。
さらに、図１〜図４に示すディジタルカメラは、図１に主として電子的な制御に係るシステム構成を示すように、上述のサブＬＣＤ１、ストロボ発光部３、測距ユニット５、リモコン受光部６、鏡胴ユニット７、ＡＦＬＥＤ８、ストロボＬＥＤ９およびＬＣＤモニタ１０に加えて、撮像素子１０１、フロントエンド部（Ｆ／Ｅ部）１０２、ＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）１０３、カメラプロセッサ１０４、ＲＡＭ（ランダムアクセスメモリ）１０７、ＲＯＭ（リードオンリメモリ）１０８、サブＣＰＵ（サブ中央処理部）１０９、操作部１１０、サブＬＣＤドライバ１１１、ブザー１１３、ストロボ回路１１４、音声記録ユニット１１５、音声再生ユニット１１６、ＬＣＤドライバ１１７、ビデオアンプ（ビデオ増幅器）１１８、ビデオコネクタ１１９、内蔵メモリ１２０、メモリカードスロット１２１、ＵＳＢ（ユニバーサルシリアルバス）コネクタ１２２、シリアルインタフェース部１２３および温度センサ１２４を備えている。
さらに、図１〜図４に示すディジタルカメラは、図１に主として電子的な制御に係るシステム構成を示すように、上述のサブＬＣＤ１、ストロボ発光部３、測距ユニット５、リモコン受光部６、鏡胴ユニット７、ＡＦＬＥＤ８、ストロボＬＥＤ９およびＬＣＤモニタ１０に加えて、撮像素子１０１、フロントエンド部（Ｆ／Ｅ部）１０２、ＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）１０３、カメラプロセッサ１０４、ＲＡＭ（ランダムアクセスメモリ）１０７、ＲＯＭ（リードオンリメモリ）１０８、サブＣＰＵ（サブ中央処理部）１０９、操作部１１０、サブＬＣＤドライバ１１１、ブザー１１３、ストロボ回路１１４、音声記録ユニット１１５、音声再生ユニット１１６、ＬＣＤドライバ１１７、ビデオアンプ（ビデオ増幅器）１１８、ビデオコネクタ１１９、内蔵メモリ１２０、メモリカードスロット１２１、ＵＳＢ（ユニバーサルシリアルバス）コネクタ１２２、シリアルインタフェース部１２３および温度センサ１２４を備えている。
鏡胴ユニット７は、ズームレンズ系７−１ａおよびズームモータ７−１ｂを含むズーム光学系７−１、フォーカスレンズ系７−２ａおよびフォーカスモータ７−２ｂを含むフォーカス光学系７−２、絞り７−３ａおよび絞りモータ７−３ｂを含む絞りユニット７−３、シャッタ７−４ａおよびシャッタモータ７−４ｂを含むシャッタユニット７−４、並びにモータドライバ７−５を有している。
フロントエンド部１０２は、ＣＤＳ（相関２重サンプリング部）１０２−１、ＡＧＣ（自動利得制御部）１０２−２、Ａ／Ｄ（アナログ−ディジタル）変換部１０２−３およびＴＧ（タイミングジェネレータ）１０２−４を有している。
カメラプロセッサ１０４は、第１の撮像信号処理ブロック１０４−１、第２の撮像信号処理ブロック１０４−２、ＣＰＵ（中央処理部）ブロック１０４−３、ローカルＳＲＡＭ（ローカルスタティックランダムアクセスメモリ）１０４−４、ＵＳＢ処理ブロック１０４−５、シリアル処理ブロック１０４−６、ＪＰＥＧコーデック（ＣＯＤＥＣ）ブロック１０４−７、リサイズ（ＲＥＳＩＺＥ）ブロック１０４−８、ビデオ信号表示ブロック１０４−９およびメモリカードコントローラブロック１０４−１０を有している。
操作部１１０は、図２〜図４に示すレリーズボタン２、モード切り換えダイヤル４、ズームボタン１２、電源スイッチ１３および操作ボタン群１４を含んでいる。
フロントエンド部１０２は、ＣＤＳ（相関２重サンプリング部）１０２−１、ＡＧＣ（自動利得制御部）１０２−２、Ａ／Ｄ（アナログ−ディジタル）変換部１０２−３およびＴＧ（タイミングジェネレータ）１０２−４を有している。
カメラプロセッサ１０４は、第１の撮像信号処理ブロック１０４−１、第２の撮像信号処理ブロック１０４−２、ＣＰＵ（中央処理部）ブロック１０４−３、ローカルＳＲＡＭ（ローカルスタティックランダムアクセスメモリ）１０４−４、ＵＳＢ処理ブロック１０４−５、シリアル処理ブロック１０４−６、ＪＰＥＧコーデック（ＣＯＤＥＣ）ブロック１０４−７、リサイズ（ＲＥＳＩＺＥ）ブロック１０４−８、ビデオ信号表示ブロック１０４−９およびメモリカードコントローラブロック１０４−１０を有している。
操作部１１０は、図２〜図４に示すレリーズボタン２、モード切り換えダイヤル４、ズームボタン１２、電源スイッチ１３および操作ボタン群１４を含んでいる。
音声記録ユニット１１５は、音声記録回路１１５−１、マイクアンプ１１５−２およびマイク（マイクロフォン）１１５−３を有しており、音声再生ユニット１１６は、音声再生回路１１６−１、オーディオアンプ（オーディオ増幅器）１１６−２およびスピーカ１１６−３を有している。シリアルインタフェース部１２３は、シリアルドライバ回路１２３−１およびシリアルコネクタ１２３−２を有している。
図２に示すように、サブＬＣＤ１、レリーズボタン２およびモード切り換えダイヤル４は、カメラボディの上面に配置されている。サブＬＣＤ１は、例えば、撮影可能枚数等を表示するための表示部として用いられる。レリーズボタン２は、多くの場合、２段階に押下操作することができ、１段目の押下で自動合焦（ＡＦ）動作、そして２段目まで押下すると撮影動作というような動作をさせることができる。一般に、１段目の押下を「半押し」、そして２段目の押下を「全押し」などと称する。モード切り換えダイヤル４は、このディジタルカメラにおける撮影モード、再生モード等の動作モードを切り換えるためのダイヤルである。
図２に示すように、サブＬＣＤ１、レリーズボタン２およびモード切り換えダイヤル４は、カメラボディの上面に配置されている。サブＬＣＤ１は、例えば、撮影可能枚数等を表示するための表示部として用いられる。レリーズボタン２は、多くの場合、２段階に押下操作することができ、１段目の押下で自動合焦（ＡＦ）動作、そして２段目まで押下すると撮影動作というような動作をさせることができる。一般に、１段目の押下を「半押し」、そして２段目の押下を「全押し」などと称する。モード切り換えダイヤル４は、このディジタルカメラにおける撮影モード、再生モード等の動作モードを切り換えるためのダイヤルである。
また、図３に示すように、ストロボ発光部３、測距ユニット５、リモコン受光部６、鏡胴ユニット７および光学ファインダ１１の対物面は、カメラボディの正面側に配置されている。ＳＤカード等のメモリカードを装填するためのメモリカード収納部１５は、カメラボディの物体（被写体）側から見て左側面に配設されている。このメモリカード収納部１５の内部にメモリカードスロット１２１が設けられていて、このメモリカードスロット１２１にメモリカードＭＣを差し込むことによってメモリカードを装填する。
さらに、図４に示すように、ＡＦＬＥＤ８、ストロボＬＥＤ９、ＬＣＤモニタ１０、光学ファインダ１１の接眼部、ズームボタン１２、電源スイッチ１３および操作ボタン群１４は、カメラボディの背面側に配置されている。
操作ボタン群１４は、例えば、再生ボタン、セルフタイマ／削除ボタン、メニュー／オーケーボタン、上／ストロボボタン、下／マクロボタン、左／画像確認ボタン、右ボタン、画像を表示させるディスプレイボタン等を含んでいる。この場合、上／ストロボボタン、下／マクロボタン、左／画像確認ボタンおよび右ボタンは、十字キーに相当する上下左右ボタンを構成する。
さらに、図４に示すように、ＡＦＬＥＤ８、ストロボＬＥＤ９、ＬＣＤモニタ１０、光学ファインダ１１の接眼部、ズームボタン１２、電源スイッチ１３および操作ボタン群１４は、カメラボディの背面側に配置されている。
操作ボタン群１４は、例えば、再生ボタン、セルフタイマ／削除ボタン、メニュー／オーケーボタン、上／ストロボボタン、下／マクロボタン、左／画像確認ボタン、右ボタン、画像を表示させるディスプレイボタン等を含んでいる。この場合、上／ストロボボタン、下／マクロボタン、左／画像確認ボタンおよび右ボタンは、十字キーに相当する上下左右ボタンを構成する。
次に、図１に示したディジタルカメラの制御系の概略について図２〜図４に示した各部をも参照しながら説明する。ここでは、主として本発明の理解に必要な部分について詳細に述べ、本発明の理解のためにさほど重要でない部分については、かならずしも詳細に述べていない。
ストロボ発光部３およびストロボ回路１１４は、自然光などの光が足りない場合に光量を補うために用いられる。すなわち、暗い場所や被写体が暗い場合の撮影においては、カメラプロセッサ１０４のＣＰＵブロック１０４−３からストロボ回路１１４にストロボ発光信号を送信し、ストロボ回路１１４は、ストロボ発光部３を発光させ被写体を照明する。
測距ユニット５は、このディジタルカメラと被写体との間の距離を測るために用いられる。現在、ディジタルカメラでは、ＣＭＯＳ（相補型金属酸化物半導体）撮像素子やＣＣＤ（電荷結合素子）撮像素子等の撮像素子１０１に形成された像のコントラストを検出し、最もコントラストの高い位置にフォーカスレンズ系７−２ａを移動させてフォーカスを合わせるいわゆるＣＣＤ−ＡＦ方式が用いられている。しかしながら、このＣＣＤ−ＡＦ方式は、フォーカスレンズ系７−２ａを少しずつ移動させてコントラストを探して行くためフォーカス動作が遅いという問題があった。そこで、この場合、測距ユニット５を用いて被写体との間の距離情報を常に取得し、この距離情報に基づいてフォーカスレンズ系７−２ａを一気に合焦位置近傍に移動させてフォーカス動作を高速化するようにしている。
ストロボ発光部３およびストロボ回路１１４は、自然光などの光が足りない場合に光量を補うために用いられる。すなわち、暗い場所や被写体が暗い場合の撮影においては、カメラプロセッサ１０４のＣＰＵブロック１０４−３からストロボ回路１１４にストロボ発光信号を送信し、ストロボ回路１１４は、ストロボ発光部３を発光させ被写体を照明する。
測距ユニット５は、このディジタルカメラと被写体との間の距離を測るために用いられる。現在、ディジタルカメラでは、ＣＭＯＳ（相補型金属酸化物半導体）撮像素子やＣＣＤ（電荷結合素子）撮像素子等の撮像素子１０１に形成された像のコントラストを検出し、最もコントラストの高い位置にフォーカスレンズ系７−２ａを移動させてフォーカスを合わせるいわゆるＣＣＤ−ＡＦ方式が用いられている。しかしながら、このＣＣＤ−ＡＦ方式は、フォーカスレンズ系７−２ａを少しずつ移動させてコントラストを探して行くためフォーカス動作が遅いという問題があった。そこで、この場合、測距ユニット５を用いて被写体との間の距離情報を常に取得し、この距離情報に基づいてフォーカスレンズ系７−２ａを一気に合焦位置近傍に移動させてフォーカス動作を高速化するようにしている。
温度センサ１２４は、環境温度を測定するために設けられており、カメラボディの内外の温度を測定し、温度が異常に上昇している場合には、このディジタルカメラの電源を落としたり、このディジタルカメラの制御内容を、温度センサ１２４のデータを参照して適宜変更したりする。
鏡胴ユニット７は、被写体の光学像を所望の変倍率で取り込むための焦点距離可変としてズーム光学系７−１、被写体にピントを合わせるための合焦動作つまりフォーカシングを行うためのフォーカス光学系７−２、被写体光を絞り込むための絞りユニット７−３、撮像素子１０１に対する露光を機械的に開閉するシャッタユニット７−４、そしてこれら各部を作動させるモータを駆動するためのモータドライバ７−５を有している。厳密には、ズームレンズ系７−１ａとフォーカスレンズ系７−２ａの両者でズームレンズ光学系を構成しており、ズームレンズ光学系の一部（場合によっては全部）をフォーカスレンズ系７−２ａとしてフォーカスモータ７−２ｂによって駆動して合焦位置を変化させ、ズームレンズ光学系の全体をズームレンズ系７−１ａとしてズームモータ７−１ｂによって（レンズ群毎の）各部を駆動して焦点距離を変化させる。そして、モータドライバ７−５は、リモコン受光部６からのリモコン入力や操作部１１０の操作入力に基づき、カメラプロセッサ１０４内のＣＰＵブロック１０４−３からの駆動指令により駆動制御される。
鏡胴ユニット７は、被写体の光学像を所望の変倍率で取り込むための焦点距離可変としてズーム光学系７−１、被写体にピントを合わせるための合焦動作つまりフォーカシングを行うためのフォーカス光学系７−２、被写体光を絞り込むための絞りユニット７−３、撮像素子１０１に対する露光を機械的に開閉するシャッタユニット７−４、そしてこれら各部を作動させるモータを駆動するためのモータドライバ７−５を有している。厳密には、ズームレンズ系７−１ａとフォーカスレンズ系７−２ａの両者でズームレンズ光学系を構成しており、ズームレンズ光学系の一部（場合によっては全部）をフォーカスレンズ系７−２ａとしてフォーカスモータ７−２ｂによって駆動して合焦位置を変化させ、ズームレンズ光学系の全体をズームレンズ系７−１ａとしてズームモータ７−１ｂによって（レンズ群毎の）各部を駆動して焦点距離を変化させる。そして、モータドライバ７−５は、リモコン受光部６からのリモコン入力や操作部１１０の操作入力に基づき、カメラプロセッサ１０４内のＣＰＵブロック１０４−３からの駆動指令により駆動制御される。
ＲＯＭ１０８には、ＣＰＵブロック１０４−３にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。操作部１１０の電源スイッチ１３の操作により、このディジタルカメラの電源がオンになると、ＲＯＭ１０８に格納されたプログラムは、メインメモリ（明示的には図示していないが、ＣＰＵブロック１０４−３内に設けられていてもよく、ローカルＳＲＡＭ１０４−４、ＲＡＭ１０７および内蔵メモリ１２０等の一部であってもよい）にロードされ、ＣＰＵブロック（１０４−３）はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的に、ＲＡＭ１０７およびカメラプロセッサ１０４内のローカルＳＲＡＭ１０４−４の少なくとも一部に保存する。また、ＲＯＭ１０８として、書き換え可能なフラッシュメモリ（フラッシュＲＯＭ）を使用するようにすれば、制御プログラムや制御するためのパラメータを変更して不揮発的に保存することが可能となり、機能のバージョンアップ等を容易に行うことが可能となる。
撮像素子１０１は、光学画像を光電変換するためのＣＭＯＳ撮像素子およびＣＣＤ撮像素子等の固体撮像素子が好適である。Ｆ／Ｅ（フロントエンド）部１０２のＣＤＳ１０２−１は、画像ノイズを除去するための相関二重サンプリングを行う。Ｆ／Ｅ部１０２のＡＧＣ１０２−２は、利得調整を行う。Ｆ／Ｅ部１０２のＡ／Ｄ１０２−３は、アナログ−ディジタル信号変換を行う。そして、Ｆ／Ｅ部１０２のＴＧ１０２−４は、第１の撮像信号処理ブロック１０４−１から垂直駆動信号（ＶＤ信号）および水平駆動信号（ＨＤ信号）が供給されてＣＰＵブロック１０４−３によって制御され、撮像素子１０１およびＦ／Ｅ部１０２の駆動タイミング信号を発生する。このＦ／Ｅ部１０２は、全体が一体としてＩＣ化されていてもよく、個別回路で構成されていてもよい。
カメラプロセッサ１０４の第１の撮像信号処理ブロック１０４−１は、撮像素子１０１からの映像出力に基づきＦ／Ｅ部１０２から出力される出力データに対してホワイトバランス調整やガンマ調整を施し、且つ上述のように、Ｆ／Ｅ部１０２にＶＤ信号およびＨＤ信号を供給する。カメラプロセッサ１０４の第２の撮像信号処理ブロック１０４−２は、フィルタリング処理により、ＲＧＢ画像データから輝度／色差データへの変換を行う。カメラプロセッサ１０４のＣＰＵブロック１０４−３は、装置各部の動作を制御する。
カメラプロセッサ１０４の第１の撮像信号処理ブロック１０４−１は、撮像素子１０１からの映像出力に基づきＦ／Ｅ部１０２から出力される出力データに対してホワイトバランス調整やガンマ調整を施し、且つ上述のように、Ｆ／Ｅ部１０２にＶＤ信号およびＨＤ信号を供給する。カメラプロセッサ１０４の第２の撮像信号処理ブロック１０４−２は、フィルタリング処理により、ＲＧＢ画像データから輝度／色差データへの変換を行う。カメラプロセッサ１０４のＣＰＵブロック１０４−３は、装置各部の動作を制御する。
カメラプロセッサ１０４のローカルＳＲＡＭ１０４−４は、制御に必要なデータ等を、一時的に保存する。カメラプロセッサ１０４のＵＳＢブロック１０４−５は、ＰＣ（パーソナルコンピュータ〜いわゆるパソコン）等の外部機器との間でＵＳＢ（ユニバーサルシリアルバス）規格に従ったＵＳＢ通信を行う。
カメラプロセッサ１０４のシリアルブロック１０４−６は、ＰＣ等の外部機器との間でＲＳ−２３２Ｃ規格等に従ったシリアル通信を行う。カメラプロセッサ１０４のＪＰＥＧコーデックブロック１０４−７は、画像データに対してＪＰＥＧ規格に従った圧縮／伸張操作を施す。カメラプロセッサ１０４のリサイズブロック１０４−８は、画像データを補間処理により拡大／縮小して画像データのサイズを変更する。カメラプロセッサ１０４のビデオ信号表示ブロック１０４−９は、画像データを液晶モニタおよびＴＶ（テレビジョン）受像機等の外部表示機器に表示するためのビデオ信号に変換する。カメラプロセッサ１０４のメモリカードコントローラブロック１０４−１０は、撮影された画像データを記録するメモリカードＭＣの書き込み／読み出し制御を行う。
カメラプロセッサ１０４のシリアルブロック１０４−６は、ＰＣ等の外部機器との間でＲＳ−２３２Ｃ規格等に従ったシリアル通信を行う。カメラプロセッサ１０４のＪＰＥＧコーデックブロック１０４−７は、画像データに対してＪＰＥＧ規格に従った圧縮／伸張操作を施す。カメラプロセッサ１０４のリサイズブロック１０４−８は、画像データを補間処理により拡大／縮小して画像データのサイズを変更する。カメラプロセッサ１０４のビデオ信号表示ブロック１０４−９は、画像データを液晶モニタおよびＴＶ（テレビジョン）受像機等の外部表示機器に表示するためのビデオ信号に変換する。カメラプロセッサ１０４のメモリカードコントローラブロック１０４−１０は、撮影された画像データを記録するメモリカードＭＣの書き込み／読み出し制御を行う。
ＳＤＲＡＭ１０３は、上述したカメラプロセッサ１０４において画像データに各種の処理を施す際に、画像データを一時的に保存する。ＳＤＲＡＭ１０３に保存される画像データは、例えば、撮像素子１０１から、Ｆ／Ｅ部１０２を経由して取り込んだ画像データが、第１の撮像信号処理ブロック１０４−１によってホワイトバランス調整やガンマ調整が行われた状態のＲＡＷ−ＲＧＢ画像データ、第２の撮像信号処理ブロック１０４−２によってＲＧＢ−輝度／色差データ変換が行われた状態のＹＣｂＣｒ画像データ（すなわちＹＵＶデータ）およびＪＰＥＧコーデックブロック１０４−７によりＪＰＥＧ圧縮されたＪＰＥＧ画像データ等である。
メモリカードスロット１２１は、着脱可能なメモリカードＭＣを装着するためのコネクタとしてのスロットである。内蔵メモリ１２０は、メモリカードスロット１２１にメモリカードＭＣが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。ＬＣＤドライバ１１７は、ＬＣＤモニタ１０を駆動するドライブ回路であり、ビデオ信号表示ブロック１０４−９から出力されたビデオ信号を、ＬＣＤモニタ１０に表示するための信号に変換する機能を有している。
メモリカードスロット１２１は、着脱可能なメモリカードＭＣを装着するためのコネクタとしてのスロットである。内蔵メモリ１２０は、メモリカードスロット１２１にメモリカードＭＣが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。ＬＣＤドライバ１１７は、ＬＣＤモニタ１０を駆動するドライブ回路であり、ビデオ信号表示ブロック１０４−９から出力されたビデオ信号を、ＬＣＤモニタ１０に表示するための信号に変換する機能を有している。
ＬＣＤモニタ１０は、撮影前に被写体の状態を監視すること、撮影した画像を確認すること、メモリカードＭＣや内蔵メモリ１２０に記録した画像データを表示すること、などのためのモニタ表示に使用する。ビデオアンプ１１８は、ビデオ信号表示ブロック１０４−９から出力されたビデオ信号を、内部インピーダンス７５Ωのビデオ信号にインピーダンス変換するための増幅器であり、ビデオコネクタ１１９は、ＴＶ受像機等の外部表示機器に接続するためのコネクタである。ＵＳＢコネクタ１２２は、ＰＣ等の外部機器とＵＳＢ規格に従った接続を行うためのコネクタである。シリアルドライバ回路１２３−１は、ＰＣ等の外部機器とＲＳ−２３２Ｃ規格等に従ったシリアル通信を行うために、シリアルブロック１０４−６の出力信号を電圧変換するための回路であり、シリアルコネクタ１２３−２は、ＰＣ等の外部機器とＲＳ−２３２Ｃ規格等に従ったシリアル接続を行うためのコネクタである。
サブＣＰＵ１０９は、ＲＯＭおよびＲＡＭ等をワンチップに内蔵したＣＰＵであり、操作部１１０やリモコン受光部６の出力信号を、ユーザの操作情報として、ＣＰＵブロック１０４−３に出力したり、ＣＰＵブロック１０４−３から出力されるカメラの状態情報を、サブＬＣＤ１、ＡＦＬＥＤ８、ストロボＬＥＤ９およびブザー１１３等を制御するための制御信号に変換して、それぞれ出力する。サブＬＣＤ１は、例えば、撮影可能枚数など表示するための表示部であり、サブＬＣＤドライバ１１１は、サブＣＰＵ１０９の出力信号に基づきサブＬＣＤ１を駆動するためのドライブ回路である。ＡＦＬＥＤ８は、撮影時の合焦状態を表示するためのＬＥＤであり、ストロボＬＥＤ９は、ストロボ充電状態を表示するためのＬＥＤである。
サブＣＰＵ１０９は、ＲＯＭおよびＲＡＭ等をワンチップに内蔵したＣＰＵであり、操作部１１０やリモコン受光部６の出力信号を、ユーザの操作情報として、ＣＰＵブロック１０４−３に出力したり、ＣＰＵブロック１０４−３から出力されるカメラの状態情報を、サブＬＣＤ１、ＡＦＬＥＤ８、ストロボＬＥＤ９およびブザー１１３等を制御するための制御信号に変換して、それぞれ出力する。サブＬＣＤ１は、例えば、撮影可能枚数など表示するための表示部であり、サブＬＣＤドライバ１１１は、サブＣＰＵ１０９の出力信号に基づきサブＬＣＤ１を駆動するためのドライブ回路である。ＡＦＬＥＤ８は、撮影時の合焦状態を表示するためのＬＥＤであり、ストロボＬＥＤ９は、ストロボ充電状態を表示するためのＬＥＤである。
なお、これらＡＦＬＥＤ８とストロボＬＥＤ９を、他の表示用途、例えばメモリカードＭＣのアクセス中などの表示用途に使用しても良い。操作部１１０は、ユーザーの操作入力を当該システムに入力するスイッチ等であり、リモコン受光部６は、ユーザーにより操作される図示していないリモコン送信機からのリモコン信号を受信する。
音声記録ユニット１１５は、ユーザーが音声信号を入力するマイク１１５−３、入力された音声信号を増幅するマイクアンプ１１５−２、そして増幅された音声信号を記録する音声記録回路１１５―３から構成されている。音声再生ユニット１１６は、記録された音声信号を取り出してスピーカー１１６−３から出力するための信号に変換する音声再生回路１１６−１、変換された音声信号を増幅し、スピーカー１１６−３を駆動するためのオーディオアンプ１１６−２、そして音声信号に基づく音声を音響出力するスピーカー１１６−３から構成されている。
次に、上述のように構成されたディジタルカメラにおける本発明の特徴となる構成および動作について具体的に説明する。ここでは、本発明を適用したディジタルカメラの一つの実施の形態における動作を説明している。本発明の実施の形態は、ここで説明する実施の形態に限定されることはなく、当業者が容易に想到できる範囲内において、種々に修正または変形して実施することができる。
音声記録ユニット１１５は、ユーザーが音声信号を入力するマイク１１５−３、入力された音声信号を増幅するマイクアンプ１１５−２、そして増幅された音声信号を記録する音声記録回路１１５―３から構成されている。音声再生ユニット１１６は、記録された音声信号を取り出してスピーカー１１６−３から出力するための信号に変換する音声再生回路１１６−１、変換された音声信号を増幅し、スピーカー１１６−３を駆動するためのオーディオアンプ１１６−２、そして音声信号に基づく音声を音響出力するスピーカー１１６−３から構成されている。
次に、上述のように構成されたディジタルカメラにおける本発明の特徴となる構成および動作について具体的に説明する。ここでは、本発明を適用したディジタルカメラの一つの実施の形態における動作を説明している。本発明の実施の形態は、ここで説明する実施の形態に限定されることはなく、当業者が容易に想到できる範囲内において、種々に修正または変形して実施することができる。
〔電子式手ぶれ補正処理〕
図５に、上述したディジタルカメラにおける本発明に特徴的な動作に係る電子式手ぶれ補正処理の基本的な処理手順を示している。以下、図５のフローチャートに従って電子式手ぶれ補正処理を具体的に説明する。
電子式手ぶれ補正を行う場合、ＣＰＵブロック１０４−３は、操作部１１０のレリーズボタン２が押下された（全押し）と判断したら、手ぶれ補正処理をスタートさせ、４枚の画像を連続してＳＤＲＡＭ１０３に取り込む（ステップＳ１１）。ステップＳ１１におけるＳＤＲＡＭ１０３への取り込みが完了したら、ＣＰＵブロック１０４−３は、１枚目に取り込まれた画像を基準画像として２枚目〜４枚目の画像の動き検出を行い（ステップＳ１２）、その結果をもとに画像合成を行って、１枚の画像を生成する（ステップＳ１３）。動き検出および画像合成を行う方法としては、例えば、特許文献１（特開２００７−２２６６４３号）および特許文献３（特開２００６−１５７５６８号）等に開示されているような公知技術を用いることができる。ステップＳ１３によって生成された画像は、内蔵メモリ１２０またはメモリカードスロット１２１に挿入されたメモリカードＭＣに記録する（ステップＳ１４）。
図５に、上述したディジタルカメラにおける本発明に特徴的な動作に係る電子式手ぶれ補正処理の基本的な処理手順を示している。以下、図５のフローチャートに従って電子式手ぶれ補正処理を具体的に説明する。
電子式手ぶれ補正を行う場合、ＣＰＵブロック１０４−３は、操作部１１０のレリーズボタン２が押下された（全押し）と判断したら、手ぶれ補正処理をスタートさせ、４枚の画像を連続してＳＤＲＡＭ１０３に取り込む（ステップＳ１１）。ステップＳ１１におけるＳＤＲＡＭ１０３への取り込みが完了したら、ＣＰＵブロック１０４−３は、１枚目に取り込まれた画像を基準画像として２枚目〜４枚目の画像の動き検出を行い（ステップＳ１２）、その結果をもとに画像合成を行って、１枚の画像を生成する（ステップＳ１３）。動き検出および画像合成を行う方法としては、例えば、特許文献１（特開２００７−２２６６４３号）および特許文献３（特開２００６−１５７５６８号）等に開示されているような公知技術を用いることができる。ステップＳ１３によって生成された画像は、内蔵メモリ１２０またはメモリカードスロット１２１に挿入されたメモリカードＭＣに記録する（ステップＳ１４）。
図６は、画像合成を行う際の撮影領域を模式的に示している。図６に示すように、画像合成前の４枚の画像の領域（被写界視野〜フレーミング範囲）は、それぞれ異なるが、画像合成を行う際には、１枚目に撮影した画像領域Ｆ１が基準となり、他の画像Ｆ２〜Ｆ４と重なっている画像領域が合成される。この場合、すべての領域で４枚合成を行う必要はなく、部分的に１枚〜４枚のいずれかの画像を合成する。図６のハッチング部分は、連続撮影した４枚の画像のうち２枚以上が重なっている部分を示している。これを合成可能面積と定義する。そして、基準画像面積に対する合成可能面積を、合成可能面積率と定義する。画像合成により撮影画像のノイズを低減することができるなどの効果があるため、この合成可能面積が大きいことが望ましい。
なお、図５のフローチャート等では、連続撮影する枚数は４枚としたが、２枚以上であれば何枚としてもかまわない。また、合成可能面積は、２枚以上の画像領域が重なり合う範囲としたが、さらに多くの、例えば、３枚以上、または４枚以上等の、画像領域が重なり合う範囲と定義してもよい。また、基準画像とするのは１枚目の画像としたが、連続撮影したうちの任意の画像を選択するように規定してもかまわない。
なお、図５のフローチャート等では、連続撮影する枚数は４枚としたが、２枚以上であれば何枚としてもかまわない。また、合成可能面積は、２枚以上の画像領域が重なり合う範囲としたが、さらに多くの、例えば、３枚以上、または４枚以上等の、画像領域が重なり合う範囲と定義してもよい。また、基準画像とするのは１枚目の画像としたが、連続撮影したうちの任意の画像を選択するように規定してもかまわない。
〔画像合成単位〕
動き検出には、画像のコーナーやエッジを利用して画像の特徴点抽出を行うが、特徴点抽出の検出単位は、図７に示すように画像全体を２次元にブロック分割したブロック単位で検出および合成を行う。なお、ブロック単位で合成する場合の単位ブロックのサイズが大きすぎるとブロック境界線でブロック間の差が発生し易く、タイル状に見えてしまうため、単位ブロックのサイズは小さいほうがよい。
動き検出には、画像のコーナーやエッジを利用して画像の特徴点抽出を行うが、特徴点抽出の検出単位は、図７に示すように画像全体を２次元にブロック分割したブロック単位で検出および合成を行う。なお、ブロック単位で合成する場合の単位ブロックのサイズが大きすぎるとブロック境界線でブロック間の差が発生し易く、タイル状に見えてしまうため、単位ブロックのサイズは小さいほうがよい。
〔ボケ判定処理〕
画像検出ブロック内にボケ領域があるかどうかの判定方法としては、例えば、特許文献４（特開２００５−１３６７２７号）等に開示されているような公知技術を用いることができる。
図８は、撮影画像のボケ種類を判定する判定処理の手順を示している。具体的には、このボケ判定処理は、例えば図５に示した電子式手ぶれ補正処理のフローチャートにおけるステップＳ１１の４枚の画像を連続して取り込むステップを、図８に示すフローチャートに置き換えればよい。
ユーザーによりレリーズボタン２が押下されると（ステップＳ１１１）、測距ユニット５から被写体の距離情報を得て、距離分布情報を取得する（ステップＳ１１２）。
・距離分布情報の取得（ステップＳ１１２）
ここで、ステップＳ１１２の距離分布情報の取得について、さらに詳細に説明する。この場合、使用する測距ユニット５は、２つのマルチラインセンサが左右一対で配置され、マルチラインセンサ上には各々レンズが搭載され、マルチラインセンサに結像した２つの像の位相差から距離情報を算出する位相差方式によるものとし、マルチラインセンサを用いることによって、３次元空間的に測距可能としている。
画像検出ブロック内にボケ領域があるかどうかの判定方法としては、例えば、特許文献４（特開２００５−１３６７２７号）等に開示されているような公知技術を用いることができる。
図８は、撮影画像のボケ種類を判定する判定処理の手順を示している。具体的には、このボケ判定処理は、例えば図５に示した電子式手ぶれ補正処理のフローチャートにおけるステップＳ１１の４枚の画像を連続して取り込むステップを、図８に示すフローチャートに置き換えればよい。
ユーザーによりレリーズボタン２が押下されると（ステップＳ１１１）、測距ユニット５から被写体の距離情報を得て、距離分布情報を取得する（ステップＳ１１２）。
・距離分布情報の取得（ステップＳ１１２）
ここで、ステップＳ１１２の距離分布情報の取得について、さらに詳細に説明する。この場合、使用する測距ユニット５は、２つのマルチラインセンサが左右一対で配置され、マルチラインセンサ上には各々レンズが搭載され、マルチラインセンサに結像した２つの像の位相差から距離情報を算出する位相差方式によるものとし、マルチラインセンサを用いることによって、３次元空間的に測距可能としている。
この場合の距離情報は、距離分布情報として取得する。距離分布情報は、２つのマルチラインセンサの画像から算出した被写体距離をエリア毎に示したものである。すなわち、図９（ａ）のように配置された被写体、図の場合は３個のコップ、に対して、測距ユニット５はブロック単位で距離情報を算出し、図９（ｂ）のようにブロック毎に距離情報を持たせて、例えば被写体距離に応じて濃度を異ならせている（濃度分け）。カラー情報として処理することができる場合には、距離情報に応じて色分けするようにしてもよい（図９（ｂ）においては、濃度が濃いほど、被写体までの距離が遠い）。このようにして、ブロック毎に被写体距離を確認することが可能である。
・合焦動作（ステップＳ１１３）
次に、ステップＳ１１２で得た距離分布情報に基づいてフォーカスレンズ系７−２ａを合焦位置に移動させる（ステップＳ１１３）。フォーカシングにハイブリット方式を用いる場合には、測距ユニット５による測距情報に加え、撮像素子１０１で得られるコントラスト情報も利用して、さらに適正な合焦位置を得て合焦させる。
次に、ステップＳ１１２で得た距離分布情報に基づいてフォーカスレンズ系７−２ａを合焦位置に移動させる（ステップＳ１１３）。フォーカシングにハイブリット方式を用いる場合には、測距ユニット５による測距情報に加え、撮像素子１０１で得られるコントラスト情報も利用して、さらに適正な合焦位置を得て合焦させる。
・レンズ焦点距離の取得（ステップＳ１１４）
フォーカスレンズ系７−２ａが合焦位置に達したら、レンズ（全系）焦点距離情報を取得する（ステップＳ１１４）。
フォーカスレンズ系７−２ａが合焦位置に達したら、レンズ（全系）焦点距離情報を取得する（ステップＳ１１４）。
・４枚撮影（ステップＳ１１５）
上述したような電子手ぶれ補正を行うために、連続して４枚の画像を撮影する（ステップＳ１１５）。
上述したような電子手ぶれ補正を行うために、連続して４枚の画像を撮影する（ステップＳ１１５）。
・ボケ方向判定（ステップＳ１１６）
レンズ全系の合焦位置から近い側（近接側）のボケを前ボケ、レンズ全系の合焦位置から遠い側（遠方側）のボケを後ボケとして、ボケ方向を判定する（ステップＳ１１６）。すなわち、ステップＳ１１２で得た距離分布情報とステップＳ１１５で得たレンズ焦点距離情報を利用して、レンズ焦点距離に対応する合焦位置を基準として、被写体がレンズに近い側にあるのか、レンズから遠い側にあるのかを判定して、前ボケか後ボケかのボケ方向を特定する。
レンズ全系の合焦位置から近い側（近接側）のボケを前ボケ、レンズ全系の合焦位置から遠い側（遠方側）のボケを後ボケとして、ボケ方向を判定する（ステップＳ１１６）。すなわち、ステップＳ１１２で得た距離分布情報とステップＳ１１５で得たレンズ焦点距離情報を利用して、レンズ焦点距離に対応する合焦位置を基準として、被写体がレンズに近い側にあるのか、レンズから遠い側にあるのかを判定して、前ボケか後ボケかのボケ方向を特定する。
〔画像合成〕
次に、図５のステップＳ１３の画像合成における合成方法をボケ種類によって変更する手順を説明する。この場合、合成領域は、上述したようにブロック単位として、画像合成を行う。
ボケ領域の合成には図１０に示す（１）〜（９）の９つのパターンがあり、次のようにパターンによって合成を制限する。なお、画像合成は、１枚目（基準画像）と２枚目の画像との合成として説明するが、３枚目以降は、合成後画像と３枚目以降画像との合成となる。
次に、図５のステップＳ１３の画像合成における合成方法をボケ種類によって変更する手順を説明する。この場合、合成領域は、上述したようにブロック単位として、画像合成を行う。
ボケ領域の合成には図１０に示す（１）〜（９）の９つのパターンがあり、次のようにパターンによって合成を制限する。なお、画像合成は、１枚目（基準画像）と２枚目の画像との合成として説明するが、３枚目以降は、合成後画像と３枚目以降画像との合成となる。
（１）前ボケ（１枚目 基準画像）＋前ボケ（２枚目）
前ボケ画像と前ボケ画像とを合成する場合は、１枚目の前ボケ画像を有効とし、２枚目の前ボケ画像は合成しない。
（２）前ボケ（１枚目 基準画像）＋ボケ領域でない（非ボケ領域）（２枚目）
前ボケ画像とボケ領域でない非ボケ領域画像とを合成する場合は、１枚目の前ボケ画像を有効とし、２枚目のボケ領域でない非ボケ領域画像は合成しない。
（３）前ボケ（１枚目 基準画像）＋後ボケ（２枚目）
前ボケ画像と後ボケ画像を合成する場合は、１枚目の前ボケ画像を有効とし、２枚目の後ボケ画像は合成しない。
（４）後ボケ（１枚目 基準画像）＋前ボケ（２枚目）
後ボケ画像と前ボケ画像とを合成する場合は、２枚目の前ボケ画像を有効とし、１枚目の後ボケ画像は合成しない。
（５）後ボケ（１枚目 基準画像）＋ボケ領域でない（非ボケ領域）（２枚目）
後ボケ画像とボケ領域でない非ボケ領域画像とを合成する場合は、２枚目のボケ領域でない非ボケ領域画像を有効とし、１枚目の後ボケ画像は合成しない。
前ボケ画像と前ボケ画像とを合成する場合は、１枚目の前ボケ画像を有効とし、２枚目の前ボケ画像は合成しない。
（２）前ボケ（１枚目 基準画像）＋ボケ領域でない（非ボケ領域）（２枚目）
前ボケ画像とボケ領域でない非ボケ領域画像とを合成する場合は、１枚目の前ボケ画像を有効とし、２枚目のボケ領域でない非ボケ領域画像は合成しない。
（３）前ボケ（１枚目 基準画像）＋後ボケ（２枚目）
前ボケ画像と後ボケ画像を合成する場合は、１枚目の前ボケ画像を有効とし、２枚目の後ボケ画像は合成しない。
（４）後ボケ（１枚目 基準画像）＋前ボケ（２枚目）
後ボケ画像と前ボケ画像とを合成する場合は、２枚目の前ボケ画像を有効とし、１枚目の後ボケ画像は合成しない。
（５）後ボケ（１枚目 基準画像）＋ボケ領域でない（非ボケ領域）（２枚目）
後ボケ画像とボケ領域でない非ボケ領域画像とを合成する場合は、２枚目のボケ領域でない非ボケ領域画像を有効とし、１枚目の後ボケ画像は合成しない。
（６）後ボケ（１枚目 基準画像）＋後ボケ（２枚目）
後ボケ画像と後ボケ画像とを合成する場合は、１枚目の後ボケ画像を有効とし、２枚目の後ボケ画像は合成しない。
（７）ボケ領域でない（１枚目 基準画像）＋前ボケ（２枚目）
ボケ領域でない非ボケ領域画像と前ボケ画像とを合成する場合は、２枚目の前ボケ画像を有効とし、１枚目のボケ領域でない非ボケ領域画像は合成しない。
（８）ボケ領域でない（非ボケ領域）（１枚目 基準画像）
＋ボケ領域でない（非ボケ領域）（２枚目）
ボケ領域でない非ボケ領域画像とボケ領域でない非ボケ領域画像とを合成する場合は、１枚目のボケ領域でない非ボケ領域画像を有効とし、２枚目のボケ領域でない非ボケ領域画像は合成しない。
（９）ボケ領域でない（１枚目 基準画像）＋後ボケ（２枚目）
ボケ領域でない非ボケ領域画像と後ボケ画像とを合成する場合は、１枚目のボケ領域でない非ボケ領域画像を有効とし、２枚目のボケ領域でない非ボケ領域画像は合成しない。
後ボケ画像と後ボケ画像とを合成する場合は、１枚目の後ボケ画像を有効とし、２枚目の後ボケ画像は合成しない。
（７）ボケ領域でない（１枚目 基準画像）＋前ボケ（２枚目）
ボケ領域でない非ボケ領域画像と前ボケ画像とを合成する場合は、２枚目の前ボケ画像を有効とし、１枚目のボケ領域でない非ボケ領域画像は合成しない。
（８）ボケ領域でない（非ボケ領域）（１枚目 基準画像）
＋ボケ領域でない（非ボケ領域）（２枚目）
ボケ領域でない非ボケ領域画像とボケ領域でない非ボケ領域画像とを合成する場合は、１枚目のボケ領域でない非ボケ領域画像を有効とし、２枚目のボケ領域でない非ボケ領域画像は合成しない。
（９）ボケ領域でない（１枚目 基準画像）＋後ボケ（２枚目）
ボケ領域でない非ボケ領域画像と後ボケ画像とを合成する場合は、１枚目のボケ領域でない非ボケ領域画像を有効とし、２枚目のボケ領域でない非ボケ領域画像は合成しない。
〔ボケ領域判定が同じ場合〕
例えば、上述したパターン（１）の前ボケ（１枚目 基準画像）＋前ボケ（２枚目）のように、どちらも前ボケ画像の場合には、測距ユニットの距離情報に基づき被写体が近い方の前ボケ画像を残すようにしてもよい。また、パターン（６）の後ボケ（１枚目 基準画像）＋後ボケ（２枚目）のように、後ボケ同士の場合も同様に、測距ユニットの距離情報に基づき被写体が近い方の後ボケ画像を残すようにしてもよい。
例えば、上述したパターン（１）の前ボケ（１枚目 基準画像）＋前ボケ（２枚目）のように、どちらも前ボケ画像の場合には、測距ユニットの距離情報に基づき被写体が近い方の前ボケ画像を残すようにしてもよい。また、パターン（６）の後ボケ（１枚目 基準画像）＋後ボケ（２枚目）のように、後ボケ同士の場合も同様に、測距ユニットの距離情報に基づき被写体が近い方の後ボケ画像を残すようにしてもよい。
〔効果〕
さらに、前ボケ領域画像、ボケ領域でない非ボケ領域画像、そして後ボケ領域画像の順に優先順位を定めることで、レンズに近い側の画像を残すようにしている。レンズに近い側を残す処理は、実際の見た目に近い画像を作成することができるため、電子式手ぶれ補正後の複数枚の合成後画像においても同様に実際の見た目に近い画像とする効果を得ることができる。
さらに、前ボケ領域画像、ボケ領域でない非ボケ領域画像、そして後ボケ領域画像の順に優先順位を定めることで、レンズに近い側の画像を残すようにしている。レンズに近い側を残す処理は、実際の見た目に近い画像を作成することができるため、電子式手ぶれ補正後の複数枚の合成後画像においても同様に実際の見た目に近い画像とする効果を得ることができる。
〔問題の解消〕
ボケ領域判定を行わない従来の方式では、特に、上述したパターン（２）およびパターン（７）で、前ボケ領域の中にボケていない画像が入り込み不自然な画像となるという問題があったが、本発明により前ボケ領域が優先されることによって、ボケ領域の中にボケていない領域が含まれるという問題は解消する。
以上、詳述したようにボケ領域の合成を制限することによって、ボケ領域での不要な合成を防ぐことができ、ボケ領域内にボケていない画像が入り込むことがなくなる。
なお、本発明に係るディジタルカメラ等の撮像装置における画像処理システムは、専用のシステムとして構成する代りに、コンピュータシステムを用いて実現することができる。例えば、コンピュータシステムに上述の動作を実行するためのプログラムを格納した記録媒体から該プログラムをインストールすることにより、上述の処理を実行する画像処理システムを構築するようにしてもよい。インストールによって、当該プログラムは、コンピュータシステム内のフラッシュメモリまたはハードディスク等の不揮発性記録媒体に格納されて、画像処理システムを構成し、実行に供される。
ボケ領域判定を行わない従来の方式では、特に、上述したパターン（２）およびパターン（７）で、前ボケ領域の中にボケていない画像が入り込み不自然な画像となるという問題があったが、本発明により前ボケ領域が優先されることによって、ボケ領域の中にボケていない領域が含まれるという問題は解消する。
以上、詳述したようにボケ領域の合成を制限することによって、ボケ領域での不要な合成を防ぐことができ、ボケ領域内にボケていない画像が入り込むことがなくなる。
なお、本発明に係るディジタルカメラ等の撮像装置における画像処理システムは、専用のシステムとして構成する代りに、コンピュータシステムを用いて実現することができる。例えば、コンピュータシステムに上述の動作を実行するためのプログラムを格納した記録媒体から該プログラムをインストールすることにより、上述の処理を実行する画像処理システムを構築するようにしてもよい。インストールによって、当該プログラムは、コンピュータシステム内のフラッシュメモリまたはハードディスク等の不揮発性記録媒体に格納されて、画像処理システムを構成し、実行に供される。
１ サブ液晶ディスプレイ（サブＬＣＤ）
２ レリーズボタン
３ ストロボ発光部
４ モード切替ダイヤル
５ 測距ユニット
６ リモートコントロール受光部（リモコン受光部）
７ 鏡胴ユニット
８ オートフォーカス表示用発光ダイオード（ＡＦＬＥＤ）
９ ストロボ表示用発光ダイオード（ストロボＬＥＤ）
１０ 液晶ディスプレイモニタ（ＬＣＤモニタ）
１１ 光学ファインダ
１２ ズームボタン
１３ 電源スイッチ
１４ 操作ボタン群
１５ メモリカード収納部
１０１ 撮像素子
１０２ フロントエンド部（Ｆ／Ｅ部）
１０３ ＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）
１０４ カメラプロセッサ
１０７ ＲＡＭ（ランダムアクセスメモリ）
１０８ ＲＯＭ（リードオンリメモリ）
１０９ サブＣＰＵ（サブ中央処理部）
１１０ 操作部
１１１ サブＬＣＤドライバ
１１３ ブザー
１１４ ストロボ回路
１１５ 音声記録ユニット
１１６ 音声再生ユニット
１１７ ＬＣＤドライバ
１１８ ビデオアンプ（ビデオ増幅器）
１１９ ビデオコネクタ
１２０ 内蔵メモリ
１２１ メモリカードスロット
１２２ ＵＳＢ（ユニバーサルシリアルバス）コネクタ
１２３ シリアルインタフェース部
１２４ 温度センサ
７−１ ズーム光学系
７−１ａ ズームレンズ系
７−１ｂ ズームモータ
７−２ フォーカス光学系
７−２ａ フォーカスレンズ系
７−２ｂ フォーカスモータ
７−３ 絞りユニット
７−３ａ 絞り
７−３ｂ 絞りモータ
７−４ シャッタユニット
７−４ａ シャッタ
７−４ｂ シャッタモータ
７−５ モータドライバ
１０２−１ 相関２重サンプリング部（ＣＤＳ）
１０２−２ 自動利得制御部（ＡＧＣ）
１０２−３ Ａ／Ｄ（アナログ−ディジタル）変換部
１０２−４ タイミングジェネレータ（ＴＧ）
１０４−１ 第１の撮像信号処理ブロック
１０４−２ 第２の撮像信号処理ブロック
１０４−３ ＣＰＵ（中央処理部）ブロック
１０４−４ ローカルＳＲＡＭ（ローカルスタティックランダムアクセスメモリ）
１０４−５ ＵＳＢ処理ブロック
１０４−６ シリアル処理ブロック
１０４−７ ＪＰＥＧコーデック（ＣＯＤＥＣ）ブロック
１０４−８ リサイズ（ＲＥＳＩＺＥ）ブロック
１０４−９ ビデオ信号表示ブロック
１０４−１０ メモリカードコントローラブロック
１１５−１ 音声記録回路
１１５−２ マイクアンプ（マイク増幅器）
１１５−３ マイク（マイクロフォン）
１１６−１ 音声再生回路
１１６−２ オーディオアンプ（オーディオ増幅器）
１１６−３ スピーカ
１２３−１ シリアルドライバ回路
１２３−２ シリアルコネクタ
２ レリーズボタン
３ ストロボ発光部
４ モード切替ダイヤル
５ 測距ユニット
６ リモートコントロール受光部（リモコン受光部）
７ 鏡胴ユニット
８ オートフォーカス表示用発光ダイオード（ＡＦＬＥＤ）
９ ストロボ表示用発光ダイオード（ストロボＬＥＤ）
１０ 液晶ディスプレイモニタ（ＬＣＤモニタ）
１１ 光学ファインダ
１２ ズームボタン
１３ 電源スイッチ
１４ 操作ボタン群
１５ メモリカード収納部
１０１ 撮像素子
１０２ フロントエンド部（Ｆ／Ｅ部）
１０３ ＳＤＲＡＭ（シンクロナスダイナミックランダムアクセスメモリ）
１０４ カメラプロセッサ
１０７ ＲＡＭ（ランダムアクセスメモリ）
１０８ ＲＯＭ（リードオンリメモリ）
１０９ サブＣＰＵ（サブ中央処理部）
１１０ 操作部
１１１ サブＬＣＤドライバ
１１３ ブザー
１１４ ストロボ回路
１１５ 音声記録ユニット
１１６ 音声再生ユニット
１１７ ＬＣＤドライバ
１１８ ビデオアンプ（ビデオ増幅器）
１１９ ビデオコネクタ
１２０ 内蔵メモリ
１２１ メモリカードスロット
１２２ ＵＳＢ（ユニバーサルシリアルバス）コネクタ
１２３ シリアルインタフェース部
１２４ 温度センサ
７−１ ズーム光学系
７−１ａ ズームレンズ系
７−１ｂ ズームモータ
７−２ フォーカス光学系
７−２ａ フォーカスレンズ系
７−２ｂ フォーカスモータ
７−３ 絞りユニット
７−３ａ 絞り
７−３ｂ 絞りモータ
７−４ シャッタユニット
７−４ａ シャッタ
７−４ｂ シャッタモータ
７−５ モータドライバ
１０２−１ 相関２重サンプリング部（ＣＤＳ）
１０２−２ 自動利得制御部（ＡＧＣ）
１０２−３ Ａ／Ｄ（アナログ−ディジタル）変換部
１０２−４ タイミングジェネレータ（ＴＧ）
１０４−１ 第１の撮像信号処理ブロック
１０４−２ 第２の撮像信号処理ブロック
１０４−３ ＣＰＵ（中央処理部）ブロック
１０４−４ ローカルＳＲＡＭ（ローカルスタティックランダムアクセスメモリ）
１０４−５ ＵＳＢ処理ブロック
１０４−６ シリアル処理ブロック
１０４−７ ＪＰＥＧコーデック（ＣＯＤＥＣ）ブロック
１０４−８ リサイズ（ＲＥＳＩＺＥ）ブロック
１０４−９ ビデオ信号表示ブロック
１０４−１０ メモリカードコントローラブロック
１１５−１ 音声記録回路
１１５−２ マイクアンプ（マイク増幅器）
１１５−３ マイク（マイクロフォン）
１１６−１ 音声再生回路
１１６−２ オーディオアンプ（オーディオ増幅器）
１１６−３ スピーカ
１２３−１ シリアルドライバ回路
１２３−２ シリアルコネクタ
Claims (15)
- 被写体を撮像して被写体像を得るための撮像手段と、
前記撮像手段を介して連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることを特徴とする撮像装置。 - 前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことを特徴とする請求項１に記載の撮像装置。
- 前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことを特徴とする請求項１に記載の撮像装置。
- 前記撮像装置は、
当該撮像装置と被写体との間の距離を測定し、少なくとも撮影時に当該撮像装置と被写体との間の距離情報を取得する測距手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記測距手段の距離情報に基づいて判定する前後判定手段と、
をさらに含むことを特徴とする請求項１に記載の撮像装置。 - 前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことを特徴とする請求項１〜請求項４のいずれか１項に記載の撮像装置。 - 前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記測距手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることを特徴とする請求項５に記載の撮像装置。 - 撮像機能部を有し、且つ前記撮像機能部として、請求項１〜請求項６のいずれか１項の撮像装置を含むことを特徴とする電子機器。
- 被写体を撮像して画像情報を取得する撮像装置における取得画像を処理するための画像処理システムにおいて、
連続して複数の撮影画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段と、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段と、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段と、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段と、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段と、
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段と
を備えることを特徴とする画像処理システム。 - 前記合成制御手段は、該当ブロックについて合成処理を行わないことで、前記画像合成処理を制限する手段を含むことを特徴とする請求項８に記載の画像処理システム。
- 前記合成制御手段は、該当ブロックについて強制的な合成処理を行うことで、前記画像合成処理を制限する手段を含むことを特徴とする請求項８に記載の画像処理システム。
- 前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記画像処理システムは、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段と、
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段と、
をさらに含むことを特徴とする請求項８に記載の画像処理システム。 - 前記合成制御手段は、
前記前ボケ領域、ボケ領域でない非ボケ領域および前記後ボケ領域のそれぞれに優先順位を付し、これらの領域の異なる領域が合成処理対象となった場合に、合成を行わず前記優先順位の高い方の画像領域を残す優先処理手段を含むことを特徴とする請求項８〜請求項１１のいずれか１項に記載の画像処理システム。 - 前記優先処理手段は、
前記前後判定手段により、合成処理対象が前記前ボケ領域および前記後ボケ領域のうちの同一の領域に属すると判定された場合には、前記距離情報取得手段により取得した前記距離情報が近距離である方に高い優先順位を付す手段であることを特徴とする請求項１２に記載の画像処理システム。 - 被写体を撮像して画像情報を取得する撮像装置による取得画像を処理するための画像処理システムにおいて、
コンピュータを、
連続して複数の撮影画像を取得する画像取得手段、
前記画像取得手段により取得された前記複数の撮影画像のうちの所定の１枚を基準画像として設定する基準画像設定手段、
前記撮影画像の画面を水平方向および垂直方向の２次元にブロック分割したブロック単位で、前記基準画像に対する他の前記撮影画像の位置ずれを検出する位置ずれ検出手段、
前記ブロック単位で、前記位置ずれ検出手段により検出された位置ずれを補償する位置ずれ補償手段、
前記ブロック単位で、前記位置ずれ補償手段により位置ずれが補償された画像を基準画像と加算して合成する合成手段、
処理対象ブロックがボケ領域であるか否かを判定するボケ領域判定手段および
前記ボケ領域判定手段により処理対象のブロックがボケ領域と判定された場合には、前記合成手段における画像合成処理を制限する合成制御手段、
として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。 - 前記撮像装置は、
当該撮像装置と被写体との間の距離を測定する測距手段を具備し、且つ
前記コンピュータ読み取り可能な記録媒体に記録されるプログラムは、
コンピュータを、
撮影時に前記測距手段により当該撮像装置と被写体との間の距離情報を取得する距離情報取得手段および
前記ボケ領域判定手段でボケ領域と判定された処理対象ブロックが、レンズに近い側のボケによる前ボケ領域か、レンズから遠い側のボケによる後ボケ領域かを、前記距離情報取得手段により取得した距離情報に基づいて判定する前後判定手段
として機能させるためのプログラムをさらに含むことを特徴とする請求項１４に記載のコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010207373A JP5641411B2 (ja) | 2010-09-15 | 2010-09-15 | 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010207373A JP5641411B2 (ja) | 2010-09-15 | 2010-09-15 | 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012065125A true JP2012065125A (ja) | 2012-03-29 |
| JP5641411B2 JP5641411B2 (ja) | 2014-12-17 |
Family
ID=46060393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010207373A Expired - Fee Related JP5641411B2 (ja) | 2010-09-15 | 2010-09-15 | 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5641411B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115032341A (zh) * | 2022-06-06 | 2022-09-09 | 青岛理工大学 | 一种主动距离补偿的气体巡检平台及巡检方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005332381A (ja) * | 2004-04-22 | 2005-12-02 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| JP2006270238A (ja) * | 2005-03-22 | 2006-10-05 | Nikon Corp | 画像処理装置、電子カメラ、および画像処理プログラム |
| WO2007032156A1 (ja) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
| JP2007226643A (ja) * | 2006-02-24 | 2007-09-06 | Morpho Inc | 画像処理装置 |
| JP2008193530A (ja) * | 2007-02-06 | 2008-08-21 | Canon Inc | 画像記録装置、画像記録方法、及びプログラム |
| JP2009194896A (ja) * | 2008-01-18 | 2009-08-27 | Sanyo Electric Co Ltd | 画像処理装置及び方法並びに撮像装置 |
| JP2010183127A (ja) * | 2009-02-03 | 2010-08-19 | Sony Corp | 画像処理装置、画像処理方法および撮像装置 |
-
2010
- 2010-09-15 JP JP2010207373A patent/JP5641411B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005332381A (ja) * | 2004-04-22 | 2005-12-02 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| JP2006270238A (ja) * | 2005-03-22 | 2006-10-05 | Nikon Corp | 画像処理装置、電子カメラ、および画像処理プログラム |
| WO2007032156A1 (ja) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
| JP2007226643A (ja) * | 2006-02-24 | 2007-09-06 | Morpho Inc | 画像処理装置 |
| JP2008193530A (ja) * | 2007-02-06 | 2008-08-21 | Canon Inc | 画像記録装置、画像記録方法、及びプログラム |
| JP2009194896A (ja) * | 2008-01-18 | 2009-08-27 | Sanyo Electric Co Ltd | 画像処理装置及び方法並びに撮像装置 |
| JP2010183127A (ja) * | 2009-02-03 | 2010-08-19 | Sony Corp | 画像処理装置、画像処理方法および撮像装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115032341A (zh) * | 2022-06-06 | 2022-09-09 | 青岛理工大学 | 一种主动距离补偿的气体巡检平台及巡检方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5641411B2 (ja) | 2014-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5054583B2 (ja) | 撮像装置 | |
| JP5387949B2 (ja) | 撮像装置、再生表示装置、撮像記録方法および再生表示方法 | |
| EP3217647B1 (en) | Imaging device, imaging method and processing program | |
| JP4943721B2 (ja) | 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置 | |
| JP2012002951A (ja) | 撮像装置、合焦位置検出方法および合焦位置検出プログラム | |
| JP2009188490A (ja) | 画像処理装置およびプログラム | |
| JP2007215091A (ja) | 撮像装置及びそのプログラム | |
| JP5343588B2 (ja) | 撮像装置 | |
| JP2009065573A (ja) | 撮像装置、フォーカス制御方法、フォーカス制御プログラム | |
| JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
| JP2005202064A (ja) | 撮像装置、その合焦方法および記録媒体 | |
| JP2010025985A (ja) | 撮像装置及び方法 | |
| JP2006261929A (ja) | 撮像装置 | |
| JP4855155B2 (ja) | 撮像装置及びこれを用いた撮影方法 | |
| JP6706167B2 (ja) | 撮像装置、画像合成方法、およびプログラム | |
| JP5641411B2 (ja) | 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体 | |
| JP4714561B2 (ja) | 撮像装置および撮像方法 | |
| JP2008072501A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
| JP5418553B2 (ja) | 撮像装置及びこれを用いた撮影方法 | |
| JP2008283477A (ja) | 画像処理装置及び画像処理方法 | |
| JP5123010B2 (ja) | 撮像装置、撮像方法及び撮像装置が備えるコンピュータに撮像方法を実行させるためのプログラム | |
| JP4514138B2 (ja) | 固体撮像素子の駆動方法およびデジタルカメラ | |
| JP2009194469A (ja) | 撮像装置 | |
| JP2009118247A (ja) | 撮影装置 | |
| JP2009044236A (ja) | ホワイトバランス調整装置及びホワイトバランス調整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130718 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141016 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5641411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |