JP2017200028A - 画像劣化検出装置 - Google Patents

Abstract

【課題】偽色検出用画像の撮像条件を揃えることが難しい。【解決手段】画像劣化検出装置を、撮像光学系の光軸と直交する面内又は撮像素子の受光面内に関して、撮像光学系による被写体像と撮像素子の受光面とを相対的に変位させる変位手段と、変位手段による変位状態が第一の変位状態にある期間に第一の露光を行い、該変位状態が該第一の変位状態と異なる第二の変位状態にある期間に該第一の露光時と同一の撮像条件で第二の露光を行う露光手段と、第一の露光で得られた画像信号に基づいて第一の色差信号を生成すると共に、第二の露光で得られた画像信号に基づいて第二の色差信号を生成する信号生成手段と、第一及び第二の色差信号に基づいて撮像画像内に発生する画像劣化の検出を行う検出手段とを備える構成とする。【選択図】図５

Description

本発明は、画像の劣化を検出する画像劣化検出装置に関する。

撮像素子の画素ピッチと同程度以上の高周波成分を含む被写体を撮像すると、偽色（色モアレ）等のモアレが発生して、撮像画像が劣化することが知られている。そこで、この種の偽色を除去するための種々の技術が提案されている。例えば特許文献１に、撮像画像内に発生する偽色を検出することが可能な撮影装置の具体的構成が記載されている。

特許文献１に記載の撮影装置は、合焦状態の被写体を撮像し、次いで、非合焦状態の被写体を撮像する。非合焦状態の撮像画像では、被写体のコントラストが低下して高周波成分が低減されるため、合焦状態の撮像画像に発生していた偽色も低減される。そこで、特許文献１に記載の撮影装置は、合焦状態、非合焦状態の各撮像画像を複数のブロックに分割し、分割されたブロック毎に色差信号の差分値を演算し、差分値の大きいブロックを偽色が発生しているブロックとして検出する。

特開２０１１−１０９４９６号公報

このように、特許文献１に記載の撮影装置では、合焦状態（コントラストが高い被写体）と、非合焦状態（コントラストが低い被写体）とを比較処理で検出することにより、偽色の発生を検出している。しかし、非合焦状態の撮像画像では、合焦状態の撮像画像と比べて、偽色自体が曖昧になってしまうことから、色差信号の差分値が偽色の発生しているブロックにおいても大きくはならない。そのため、特許文献１に記載の撮影装置では、偽色を精度良く検出することが難しい。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像劣化（偽色等）の検出精度を向上させることが可能な画像劣化検出装置を提供することである。

本発明の一実施形態に係る画像劣化検出装置は、撮像光学系の光軸と直交する面内又は撮像素子の受光面内に関して、撮像光学系による被写体像と撮像素子の受光面とを相対的に変位させる変位手段と、変位手段による変位状態が第一の変位状態にある期間に第一の露光を行い、該変位状態が該第一の変位状態と異なる第二の変位状態にある期間に該第一の露光時と同一の撮像条件で第二の露光を行う露光手段と、第一の露光で得られた画像信号に基づいて第一の色差信号を生成すると共に、第二の露光で得られた画像信号に基づいて第二の色差信号を生成する信号生成手段と、第一及び第二の色差信号に基づいて撮像画像内に発生する画像劣化の検出を行う検出手段とを備える。

また、本発明の一実施形態において、撮像条件は、例えば、合焦位置、ズーム位置、ＩＳＯ感度、絞り、焦点距離、露光時間を含む。

また、本発明の一実施形態において、信号生成手段は、第一の色差信号の生成時の画像処理パラメータの設定と同一の画像処理パラメータの設定を用いて、第二の撮像で得られた画像信号に基づく第二の色差信号の生成を行う構成としてもよい。

また、本発明の一実施形態において、画像処理パラメータは、例えば、ホワイトバランス、コントラストを含む。

また、本発明の一実施形態において、第一の変位状態は、例えば、撮像光学系と撮像素子との相対位置が、第一の露光中、変化しない固定状態である。また、第二の変位状態は、例えば、撮像光学系と撮像素子との相対位置が、第二の露光中の少なくとも一部期間で変化している状態である。

また、本発明の一実施形態において、撮像手段は、第一の露光時と同一の撮像条件で第二の露光を複数回行う構成としてもよい。この構成において、信号生成手段は、複数回の第二の露光で得られた画像信号の夫々に基づいて複数画像分の第二の色差信号を生成する。また、検出手段は、第一の色差信号及び複数画像分の第二の色差信号に基づいて撮像画像内に発生する画像劣化の検出を行う。

また、本発明の一実施形態において、検出手段は、第一及び第二の色差信号に基づいて第一の露光による撮像画像内の画像劣化領域を検出する構成としてもよい。また、画像処理装置は、検出手段によって検出された第一の露光による撮像画像内の画像劣化領域の色差信号を、該画像劣化領域に対応する、第二の露光による撮像画像内の領域の色差信号に置き換えることにより、該第一の露光による撮像画像を補正する補正手段を備える構成としてもよい。

本発明の一実施形態によれば、画像劣化（偽色等）の検出に用いる複数の画像の撮像条件を揃えることにより、画像劣化の検出精度を向上させることが可能な画像劣化検出装置が提供される。

本発明の一実施形態に係る撮影装置の構成を示すブロック図である。 本発明の一実施形態に係る撮影装置に備えられるブレ補正装置の構成を概略的に示す図である。 本発明の一実施形態に係る撮影装置に備えられるブレ補正装置の構成を概略的に示す図である。 本発明の一実施形態におけるＬＰＦ駆動の説明を補助する図である。 本発明の一実施形態におけるシステムコントローラによる偽色検出フローを示す図である。

以下、本発明の一実施形態に係る撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。

［撮影装置１全体の構成］
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、システムコントローラ１００、操作部１０２、駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、ブレ補正装置１１２、信号処理回路１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４、ＲＯＭ（Read Only Memory）１２６、ジャイロセンサ１２８、加速度センサ１３０、地磁気センサ１３２及びＧＰＳ（Global Positioning System）センサ１３４を備えている。なお、撮影レンズ１０６は複数枚構成であるが、図１においては便宜上一枚のレンズとして示す。また、撮影レンズ１０６の光軸ＡＸと同じ方向をＺ軸方向と定義し、Ｚ軸方向と直交し且つ互いに直交する二軸方向をそれぞれＸ軸方向（水平方向）、Ｙ軸方向（垂直方向）と定義する。

操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。

システムコントローラ１００は、ＣＰＵ（Central Processing Unit）及びＤＳＰ（Digital Signal Processor）を含む。システムコントローラ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。

レリーズスイッチが操作されると、システムコントローラ１００は、例えば、固体撮像素子１１２ａ（後述の図２参照）により撮像された画像に基づいて計算された測光値や、撮影装置１に内蔵された露出計（不図示）で測定された測光値に基づき適正露出が得られるように、駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。

ＡＥ機能では、絞り及びシャッタ速度に加えてＩＳＯ感度が自動的に設定されてもよい。なお、ＩＳＯ感度の設定変更に伴い、イメージセンサに内蔵されたアンプの増幅率、プリプロセス処理（ノイズ低減、ゲイン調整等）の値、画像処理パラメータ（ホワイトバランス、ノイズリダクション等）の値が変更される。

また、システムコントローラ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、像面位相差検出方式、コントラスト検出方式等が適用される。また、ＡＦモードには、複数の測距エリアを用いた多点測距モード、全画面の距離情報に基づく全画面測距モード等がある。システムコントローラ１００は、ＡＦ結果に基づいて駆動回路１０４を介して撮影レンズ１０６を駆動制御し、撮影レンズ１０６の焦点を調整する。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。

図２及び図３は、ブレ補正装置１１２の構成を概略的に示す図である。図２及び図３に示されるように、ブレ補正装置１１２は、固体撮像素子１１２ａを備えている。被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して固体撮像素子１１２ａの受光面１１２ａａにて受光される。なお、固体撮像素子１１２ａの受光面１１２ａａは、Ｘ軸及びＹ軸を含むＸＹ平面である。固体撮像素子１１２ａは、ベイヤ型画素配置のカラーフィルタを有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。固体撮像素子１１２ａは、受光面１１２ａａ上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１１２ａは、ＣＭＯＳイメージセンサに限らず、ＣＣＤ（Charge Coupled Device）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１１２ａはまた、補色系フィルタを搭載したものであってもよいし、画素毎に何れかのカラーフィルタを配置していれば、ベイヤ配列等の周期的なカラー配列を有するフィルタである必要はない。

信号処理回路１１４は、固体撮像素子１１２ａより入力される画像信号に対してノイズ低減、クランプ、デモザイク（色補間）等の所定のプリプロセス処理を施して、画像処理エンジン１１６に出力する。画像処理エンジン１１６は、信号処理回路１１４より入力される画像信号に対してマトリックス演算、ホワイトバランス、コントラスト、Ｙ／Ｃ分離、ノイズリダクション等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。バッファメモリ１１８は、画像処理エンジン１１６による処理の実行時、処理データの一時的な保存場所として用いられる。また、撮像画像の保存形式は、ＪＰＥＧ形式に限らず、最小限の画像処理（例えばクランプ）しか施されないＲＡＷ形式であってもよい。

カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。

画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、生成された圧縮画像信号（撮像画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。

また、画像処理エンジン１１６は、生成された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮像画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画（ライブビュー）を、ＬＣＤ１２４の表示画面を通じて視認することができる。

画像処理エンジン１１６は、ユーザにより撮像画像の再生操作が行われると、操作により指定された撮像画像データをメモリカード２００又は内蔵メモリより読み出して所定のフォーマットの画像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御することで、被写体の撮像画像がＬＣＤ１２４の表示画面に表示される。

［ブレ補正部材の駆動に関する説明］
ブレ補正装置１１２は、ブレ補正部材を駆動させる。本実施形態において、ブレ補正部材は、固体撮像素子１１２ａである。なお、ブレ補正部材は、固体撮像素子１１２ａに限らず、撮影レンズ１０６内に含まれる一部のレンズを初期位置（同軸位置）から偏心させるなど、（同軸状態での）光軸ＡＸを基準として物理的に動かされることにより、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置をシフトさせることが可能な別の構成であってもよく、又は、これらと固体撮像素子１１２ａのうち２つ以上の部材を組み合わせた構成であってもよい。

ブレ補正装置１１２は、被写体ブレや手ブレによる像ブレを補正するためにブレ補正部材を光軸ＡＸと直交する平面内（すなわち、ＸＹ平面内）で微小に駆動（振動）させるだけでなく、被写体像が画素ピッチ分ぼかされることによる光学的なローパスフィルタ（ＬＰＦ：Low Pass Filter）効果（偽色等のモアレの軽減）が得られるようにブレ補正部材を光軸ＡＸと直交する平面内で微小に駆動（微小回転）させる。以下、説明の便宜上、ブレ補正部材を像ブレ補正で駆動させることを「像ブレ補正駆動」と記し、ブレ補正部材を光学的なＬＰＦと同様の効果が得られるように駆動させることを「ＬＰＦ駆動」と記す。

（像ブレ補正駆動に関する説明）
ジャイロセンサ１２８は、像ブレ補正を制御するための情報を検出するセンサである。具体的には、ジャイロセンサ１２８は、撮影装置１に加わる二軸周り（Ｘ軸周り、Ｙ軸周り）の角速度を検出し、検出された二軸周りの角速度をＸＹ平面内（換言すると、固体撮像素子１１２ａの受光面１１２ａａ内）の像ブレを示すブレ検出信号としてシステムコントローラ１００に出力する。

図２及び図３に示されるように、ブレ補正装置１１２は、撮影装置１が備えるシャーシ等の構造物に固定された固定支持基板１１２ｂを備えている。固定支持基板１１２ｂは、固体撮像素子１１２ａが搭載された可動ステージ１１２ｃをスライド可能に支持している。

可動ステージ１１２ｃと対向する固定支持基板１１２ｂの面上には、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵが取り付けられている。また、固定支持基板１１２ｂには、磁性体であるヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵが取り付けられている。ヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵはそれぞれ、固定支持基板１１２ｂから可動ステージ１１２ｃを回り込んで磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵと対向する位置まで延びた形状を持ち、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵとの間に磁気回路を構成する。また、可動ステージ１１２ｃには、駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが取り付けられている。駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが磁気回路の磁界内において電流を受けることにより、駆動力が発生する。可動ステージ１１２ｃ（固体撮像素子１１２ａ）は、発生した駆動力により、固定支持基板１１２ｂに対してＸＹ平面内で微小に駆動される。

対応する磁石、ヨーク及び駆動用コイルはボイスコイルモータを構成する。以下、便宜上、磁石Ｍ_ＹＲ、ヨークＹ_ＹＲ及び駆動用コイルＣ_ＹＲよりなるボイスコイルモータに符号ＶＣＭ_ＹＲを付し、磁石Ｍ_ＹＬ、ヨークＹ_ＹＬ及び駆動用コイルＣ_ＹＬよりなるボイスコイルモータに符号ＶＣＭ_ＹＬを付し、磁石Ｍ_ＸＤ、ヨークＹ_ＸＤ及び駆動用コイルＣ_ＸＤよりなるボイスコイルモータに符号ＶＣＭ_ＸＤを付し、磁石Ｍ_ＸＵ、ヨークＹ_ＸＵ及び駆動用コイルＣ_ＸＵよりなるボイスコイルモータに符号ＶＣＭ_ＸＵを付す。

各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）は、システムコントローラ１００の制御下でＰＷＭ（Pulse Width Modulation）駆動される。ボイスコイルモータＶＣＭ_ＹＲとＶＣＭ_ＹＬは、固体撮像素子１１２ａの下方であって、水平方向（Ｘ軸方向）に所定の間隔を空けて並べて配置されており、ボイスコイルモータＶＣＭ_ＸＤとＶＣＭ_ＸＵは、固体撮像素子１１２ａの側方であって、垂直方向（Ｙ軸方向）に所定の間隔を空けて並べて配置されている。

固定支持基板１１２ｂ上であって駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵの各近傍位置には、ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵが取り付けられている。ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵはそれぞれ、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵの磁力を検出して、可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸＹ平面内の位置を示す位置検出信号をシステムコントローラ１００に出力する。具体的には、ホール素子Ｈ_ＹＲ及びＨ_ＹＬにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＹ軸方向位置及び傾き（回転）が検出され、ホール素子Ｈ_ＸＤ及びＨ_ＸＵにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸ軸方向位置及び傾き（回転）が検出される。

システムコントローラ１００は、ボイスコイルモータ用のドライバＩＣを内蔵している。システムコントローラ１００は、ジャイロセンサ１２８より出力されるブレ検出信号及びホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵより出力される位置検出信号に基づいて、ドライバＩＣの定格電力（許容電力）を超えない範囲内において各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）に流す電流のバランスを崩さないようにデューティ比を計算する。システムコントローラ１００は、計算されたデューティ比で各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに駆動電流を流し、固体撮像素子１１２ａを像ブレ補正駆動する。これにより、固体撮像素子１１２ａが重力や外乱等に抗して規定の位置に保持されつつ固体撮像素子１１２ａの受光面１１２ａａ上での像ブレが補正（別の言い方によれば、受光面１１２ａａ上での被写体像の入射位置がブレないように固体撮像素子１１２ａの位置が調整）される。

（ＬＰＦ駆動に関する説明）
次に、ＬＰＦ駆動に関する説明を行う。本実施形態において、ブレ補正装置１１２は、ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに所定の駆動電流を流すことにより、一回の露光期間に対して、ＸＹ平面内において所定の軌跡を描くように可動ステージ１１２ｃ（固体撮像素子１１２ａ）を駆動して、被写体像を固体撮像素子１１２ａの検出色（Ｒ、Ｇ又はＢ）の異なる複数の画素に入射させる。これにより、光学的なＬＰＦと同様の効果が得られる。

図４（ａ）、図４（ｂ）は、ＬＰＦ駆動の説明を補助する図である。同図に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上には、複数の画素ＰＩＸが所定の画素ピッチＰでマトリックス状に並べて配置されている。説明の便宜上、同図の各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。

図４（ａ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする正方形軌跡を描くように駆動される例を示す。この正方形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰを一辺とした正方形の閉じた経路とすることができる。図４（ａ）の例では、固体撮像素子１１２ａは、Ｘ軸方向とＹ軸方向とに１画素ピッチＰ単位で交互に且つ正方形経路となるように駆動される。

図４（ｂ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする回転対称な円形軌跡を描くように駆動される例を示す。この円形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰの√２／２倍を半径ｒとする円形の閉じた経路とすることができる。

なお、画素ピッチＰを含む駆動軌跡の情報は、システムコントローラ１００の内部メモリ又はＲＯＭ１２６に予め保持されている。

図４（ａ）（又は図４（ｂ））に例示されるように、露光期間中、固体撮像素子１１２ａが駆動軌跡の情報に基づいて所定の正方形軌跡（又は円形軌跡）を描くように駆動されると、被写体像が４つのカラーフィルタＲ、Ｇ、Ｂ、Ｇ（４つ（二行二列）の画素ＰＩＸ）に均等に入射される。これにより、光学的なＬＰＦと同等の効果が得られる。すなわち、何れのカラーフィルタ（画素ＰＩＸ）に入射された被写体像も、その周辺のカラーフィルタ（画素ＰＩＸ）に必ず入射されるため、恰も光学的なＬＰＦを被写体像が通過したときと同等の効果（偽色等のモアレの軽減）が得られる。

なお、ユーザは、操作部１０２を操作することにより、像ブレ補正駆動、ＬＰＦ駆動のそれぞれのオン／オフを切り替えることができる。

［偽色の検出に関する説明］
次に、本実施形態において撮像画像内に発生する、モアレの一種である偽色を検出する方法について説明する。図５は、システムコントローラ１００により実行される偽色検出フローを示す。偽色検出フローは、例えば、レリーズスイッチが押された時点で開始される。

［図５のＳ１１（状態の判定）］
本処理ステップＳ１１では、撮影装置１が静止状態であるか否かが判定される。例示的には、ジャイロセンサ１２８より入力されるブレ検出信号のうち一定周波数以上の信号成分の振幅が一定期間継続してある閾値以内に収まる場合に静止状態と判定される。撮影装置１の静止状態として、典型的には、撮影装置１が三脚に固定された状態が挙げられる。

なお、静止状態を含めた撮影装置１の姿勢はジャイロセンサ１２８に代えて、加速度センサ１３０、地磁気センサ１３２、ＧＰＳセンサ１３４など、他のセンサより出力される情報を用いて検出されてもよい。また、検出精度を向上させるため、例えばセンサ・フュージョン技術を適用し、これらのセンサより出力される情報が複合的に用いられるようにしてもよい。

撮影装置１が低速シャッタスピード設定下の手持ち撮影状態など、静止状態にない場合は、像ブレによる被写体のボケに起因して偽色がそもそも発生し難い。従って、本実施形態では、撮影装置１が静止状態である（すなわち、偽色が発生しやすい状態である）と判定された場合に限り（Ｓ１１：ＹＥＳ）、撮像画像内の偽色を検出すべく、処理ステップＳ１２（第一画像の撮影）以降が実行される。

撮影装置１が静止状態にない場合は、処理ステップＳ１２（第一画像の撮影）以降が実行されないため、システムコントローラ１００の処理負荷が軽減される。処理ステップＳ１２（第一画像の撮影）以降が実行されない旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。

なお、撮像画像内の偽色の検出を重視したい場合は、撮影装置１が静止状態であるか否かに拘わらず処理ステップＳ１２（第一画像の撮影）以降が実行されてもよい。この場合、処理ステップＳ１２（第一画像の撮影）以降が実行される旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。また、静止状態の判定閾値は撮影装置１に設定されたシャッタスピードに応じて変更されてもよい。

［図５のＳ１２（第一画像の撮影）］
本処理ステップＳ１２では、ユーザによって設定された倍率（ズーム位置）までズームされた被写体の画像（第一画像）がＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影される。

［図５のＳ１３（第一画像撮影時の撮像条件の保存）］
本処理ステップＳ１３では、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の撮影時の撮像条件がバッファメモリ１１８等の所定の記録領域に保存される。保存される撮像条件は、例えば、合焦位置、ズーム位置、ＩＳＯ感度、絞り、焦点距離、露光時間を含む。なお、フォーカシングは、ＡＦに限らずＭＦであってもよい。ＭＦの場合であっても、その合焦位置は撮像条件として保存される。

処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の画像信号は、上述した信号処理（プリプロセス処理、マトリックス演算、ホワイトバランス、コントラスト、Ｙ／Ｃ分離、ノイズリダクション等）が施されて、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換される。以下、説明の便宜上、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の輝度信号Ｙ、色差信号（Ｃｂ、Ｃｒ）を、それぞれ、「第一輝度信号」、「第一色差信号」と記す。

［図５のＳ１４（ＬＰＦ駆動の開始）］
ＬＰＦ駆動には３つのモード（強・中・弱）がある。強モードは、可動ステージ１１２ｃ（固体撮像素子１１２ａ）を最も大きく駆動させるモードであり、偽色の軽減又は除去を優先させるのに適している。弱モードは、可動ステージ１１２ｃを最も小さく駆動させるモードであり、解像感を優先させるのに適している。中モードは、可動ステージ１１２ｃを中程度の大きさで駆動させるモードであり、偽色の軽減又は除去と解像感とのバランスに配慮したものである。

本処理ステップＳ１４では、ユーザにより予め設定された（又は初期設定の）モードでＬＰＦ駆動が開始される。

［図５のＳ１５（第二画像の撮影）］
本処理ステップＳ１５では、処理ステップＳ１３（第一画像撮影時の撮像条件の保存）にて保存された撮像条件が読み出され、ＬＰＦ駆動中、読み出された撮像条件（すなわち第一画像撮影時と同一の撮像条件）で被写体の画像（第二画像）が撮影される。第二画像の撮影が完了すると、例えば、第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知される。なお、撮影時の状況としては、厳密には、第一画像撮影時には固体撮像素子１１２ａが変位しない（ＬＰＦ駆動しない）のに対し、第二画像撮影時には固体撮像素子１１２ａが変位する（ＬＰＦ駆動する）という違いがある。

なお、偽色検出処理の実行に第二画像が複数枚必要な場合、第二画像は複数回撮影される。この場合も、全ての第二画像が第一画像撮影時と同一の撮像条件で撮影される。

また、第一画像を撮影してから第二画像が撮影されるまでの間に、ユーザの操作によって撮像条件が変わってしまった場合には、撮影装置１によって警告（警告音の再生やメッセージ表示）が行われてもよい。また、警告に加えて、偽色検出フローが強制的に中止されてもよい。

［図５のＳ１６（ＬＰＦ駆動の停止）］
本処理ステップＳ１６では、ＬＰＦ駆動が停止される。

処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像の画像信号は、上述した信号処理（プリプロセス処理、マトリックス演算、ホワイトバランス、コントラスト、Ｙ／Ｃ分離、ノイズリダクション等）が施されて、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換される。以下、説明の便宜上、処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像の輝度信号Ｙ、色差信号（Ｃｂ、Ｃｒ）を、それぞれ、「第二輝度信号」、「第二色差信号」と記す。

ここで、第二輝度信号及び第二色差信号の生成時の画像処理パラメータ（ホワイトバランス、コントラスト等）には、第一輝度信号及び第一色差信号の生成時の画像処理パラメータと同一の値が適用される。

［図５のＳ１７（色差信号の差分値の演算）］
本処理ステップＳ１７では、アドレスが同一の画素毎に、第一色差信号と第二色差信号（第二画像が複数回撮影された場合には、第二色差信号の平均値）との差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が演算される。具体的には、本処理ステップＳ１７では、第一色差信号のＣｂ、ＣｒをそれぞれＣｂ１、Ｃｒ１と定義し、これと同一アドレスの第二色差信号のＣｂ、ＣｒをそれぞれＣｂ２、Ｃｒ２と定義した場合に、差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が次式により演算される。
Ｃｂ_ｓｕｂ＝Ｃｂ１−Ｃｂ２
Ｃｒ_ｓｕｂ＝Ｃｒ１−Ｃｒ２

［図５のＳ１８（色差距離情報の演算）］
本処理ステップＳ１８では、アドレスが同一の画素毎に、ＣｂＣｒを軸とする二次元色平面（ＣｂＣｒ平面）内における、第一色差信号と第二色差信号との差分（色差距離情報。以下、「距離情報Saturation__sub」と記す。）が、次式により演算される。
Saturation__sub＝√（Ｃｂ_ｓｕｂ ^２＋Ｃｒ_ｓｕｂ ^２）

説明の便宜上、第一画像で偽色が発生している領域の画素を「偽色発生画素」と記す。第二画像において偽色発生画素と同一アドレスの画素は、第二画像がＬＰＦ駆動中に撮影されていることから、偽色が軽減又は除去されている。そのため、距離情報Saturation__subは、偽色発生画素以外では（理想的には）ゼロであり、偽色が強く発生する偽色発生画素ほど大きくなる。

［図５のＳ１９（輝度信号の差分値の演算）］
本処理ステップＳ１９では、アドレスが同一の画素毎に、第一輝度信号と第二輝度信号（第二画像が複数回撮影された場合には、第二輝度信号の平均値）との差分値Ｙ_ｄｉｆｆが演算される。具体的には、本処理ステップＳ１９では、第一輝度信号をＹ１と定義し、第二輝度信号をＹ２と定義した場合に、差分値Ｙ_ｄｉｆｆが次式により演算される。
Ｙ_ｄｉｆｆ＝｜Ｙ１−Ｙ２｜

［図５のＳ２０（像ブレの判定）］
処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１５（第二画像の撮影）にて撮影された第二画像の少なくとも一方で大きな像ブレ（被写体ブレ）が発生した場合を考える。この場合、画素によっては、第一画像と第二画像とで輝度信号の値が大きく変わると共に、第一色差信号と第二色差信号との差分が大きくなって、偽色が誤検出される虞がある。

そこで、本処理ステップＳ２０では、第一画像と第二画像の少なくとも一方において像ブレが大きく発生したか否かが判定される。例示的には、全有効画素数のうち、第一輝度信号と第二輝度信号との差分値Ｙ_ｄｉｆｆが閾値Ｔ１以上となる画素の数が一定の割合（閾値Ｔ２）以上となる場合には、第一画像と第二画像の少なくとも一方において像ブレが大きく発生したと判定される。

［図５のＳ２１（第二画像の保存）］
本処理ステップＳ２１は、処理ステップＳ２０（像ブレの判定）にて、第一画像と第二画像の少なくとも一方で像ブレが大きく発生したと判定された場合（Ｓ２０：ＹＥＳ）に実行される。本処理ステップＳ２１では、像ブレが大きく偽色が誤検出される可能性が高いため、偽色の検出が行われることなく、ＬＰＦ駆動中に撮影したことによって偽色が軽減又は除去されている第二画像が、撮像画像として、メモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。なお、参考情報として、第一画像及び第三画像（後述）が更に保存されてもよい。

［図５のＳ２２（偽色の判定）］
本処理ステップＳ２２は、処理ステップＳ２０（像ブレの判定）にて、第一画像と第二画像の何れにおいても像ブレが大きく発生していないと判定された場合（Ｓ２０：ＮＯ）に実行される。

本処理ステップＳ２２では、偽色の有無が判定される。

具体的には、まず、第一画像の各画素について偽色発生画素であるか否かが判定される。例示的には、次の条件（１）及び（２）が満たされる場合に、当該画素が偽色発生画素であると判定される。

・条件（１）
上述したように、距離情報Saturation__subが大きいほど第一色差信号と第二色差信号が持つ色情報が異なることから、当該画素が偽色発生画素である可能性が高い。そこで、条件（１）は次のように規定される。
条件（１）：Saturation__sub≧閾値Ｔ３

・条件（２）
条件（２）は、偽色の誤検出による偽色判定の精度劣化を抑えるためのものである。
条件（２）：Ｙ_ｄｉｆｆ≦閾値Ｔ１

次いで、偽色発生画素と判定された画素数（又は全有効画素数のうち偽色発生画素と判定された画素数の割合）が閾値Ｔ４以上である場合、検出された偽色発生画素が多いため、第一画像に偽色が発生していると判定する（Ｓ２２：ＹＥＳ）。当該画素数（又は割合）が閾値Ｔ４未満である場合には、検出された偽色発生画素が少ないため、第一画像に偽色が発生していないと判定する（Ｓ２２：ＮＯ）。

なお、ユーザは、操作部１０２を操作して各閾値を設定変更することにより、偽色発生画素の検出感度や偽色の有無の判定基準を変更することができる。

［図５のＳ２３（第一画像の保存）］
本処理ステップＳ２３は、本処理ステップＳ２２（偽色の判定）にて第一画像に偽色が発生していないと判定された場合（Ｓ２２：ＮＯ）に実行される。本処理ステップＳ２３では、偽色が発生していないと判定された第一画像が、撮像画像として、メモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。すなわち、本処理ステップＳ２３が実行されることにより、偽色が無く（偽色が発生していても極軽度）且つ解像感の高い撮像画像が得られる。なお、参考情報として、第二画像及び第三画像（後述）が更に保存されてもよい。

［図５のＳ２４（画素値の置換）］
本処理ステップＳ２３は、本処理ステップＳ２２（偽色の判定）にて第一画像に偽色が発生していると判定された場合（Ｓ２２：ＹＥＳ）に実行される。本処理ステップＳ２３では、処理ステップＳ２２（偽色の判定）にて偽色発生画素と判定された第一画像内の各画素の色差信号（第一色差信号）の値が、これと同一アドレスを持つ第二画像内の各画素の色差信号（第二色差信号）の値に置き換えられることにより、第一画像が補正される。なお、置換対象の画素には、偽色発生画素だけでなく、その周辺画素を含めてもよい。以下、説明の便宜上、補正後の第一画像を「第三画像」と記す。

［図５のＳ２５（第三画像の保存）］
本処理ステップＳ２５では、第三画像が撮像画像としてメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。すなわち、偽色発生画素が補正されることによって偽色が無く（偽色が発生していても極軽度）且つ補正されなかった画素については高い解像感が維持された撮像画像が得られる。なお、参考情報として、第一画像及び第二画像が更に保存されてもよい。

本実施形態によれば、ＬＰＦ駆動が停止している状態で第一画像の撮影を行うと共にＬＰＦ駆動されている状態で第二画像の撮影を行うことにより、偽色判定に必要なこれらの画像の撮像条件（更には輝度信号及び色差信号の生成時の画像処理パラメータ）を同一に保つことができる。そのため、本実施形態によれば、偽色発生画素の検出精度が向上し、第一画像に対する偽色判定の精度が向上する。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の実施形態では、第二画像の撮影時、ユーザにより予め設定された（又は初期設定の）モードでＬＰＦ駆動が行われている。別の実施形態では、ブラケット撮影（ここでは、ＬＰＦ駆動のモードを弱・中・強の各モードに順に変えて図５の偽色検出フローを行う。）が行われるようにしてもよい。この場合、ユーザは、各フローの実行の結果得られた複数の撮像画像の中から、偽色の抑制と解像度の維持との両立がより良好に達成された撮像画像を選ぶことができる。

１ 撮影装置
１００ システムコントローラ
１０２ 操作部
１０４ 駆動回路
１０６ 撮影レンズ
１０８ 絞り
１１０ シャッタ
１１２ ブレ補正装置
１１２ａ 固体撮像素子
１１２ａａ （固体撮像素子の）受光面
１１２ｂ 固定支持基板
１１２ｃ 可動ステージ
１１４ 信号処理回路
１１６ 画像処理エンジン
１１８ バッファメモリ
１２０ カード用インタフェース
１２２ ＬＣＤ制御回路
１２４ ＬＣＤ
１２６ ＲＯＭ
１２８ ジャイロセンサ
２００ メモリカード
Ｃ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ 駆動用コイル
Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵ ホール素子
Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵ 磁石
ＰＩＸ 画素
ＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ ボイスコイルモータ
Ｙ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵ ヨーク

Claims (7)

1. 撮像光学系の光軸と直交する面内又は撮像素子の受光面内に関して、前記撮像光学系による被写体像と前記撮像素子の受光面とを相対的に変位させる変位手段と、
   前記変位手段による変位状態が第一の変位状態にある期間に第一の露光を行い、該変位状態が該第一の変位状態と異なる第二の変位状態にある期間に該第一の露光時と同一の撮像条件で第二の露光を行う露光手段と、
   前記第一の露光で得られた画像信号に基づいて第一の色差信号を生成すると共に、前記第二の露光で得られた画像信号に基づいて第二の色差信号を生成する信号生成手段と、
   前記第一及び前記第二の色差信号に基づいて撮像画像内に発生する画像劣化の検出を行う検出手段と、
   を備える、
   画像劣化検出装置。
2. 前記撮像条件は、
   合焦位置、ズーム位置、ＩＳＯ感度、絞り、焦点距離、露光時間を含む、
   請求項１に記載の画像劣化検出装置。
3. 前記信号生成手段は、
   前記第一の色差信号の生成時の画像処理パラメータの設定と同一の画像処理パラメータの設定を用いて、前記第二の撮像で得られた画像信号に基づく前記第二の色差信号の生成を行う、
   請求項１又は請求項２に記載の画像劣化検出装置。
4. 前記画像処理パラメータは、
   ホワイトバランス、コントラストを含む、
   請求項３に記載の画像劣化検出装置。
5. 前記第一の変位状態は、
   前記撮像光学系と前記撮像素子との相対位置が、前記第一の露光中、変化しない固定状態であり、
   前記第二の変位状態は、
   前記撮像光学系と前記撮像素子との相対位置が、前記第二の露光中の少なくとも一部期間で変化している状態である、
   請求項１から請求項４の何れか一項に記載の画像劣化検出装置。
6. 前記撮像手段は、
   前記第一の露光時と同一の撮像条件で前記第二の露光を複数回行い、
   前記信号生成手段は、
   複数回の前記第二の露光で得られた画像信号の夫々に基づいて複数画像分の前記第二の色差信号を生成し、
   前記検出手段は、
   前記第一の色差信号及び前記複数画像分の第二の色差信号に基づいて撮像画像内に発生する画像劣化の検出を行う、
   請求項５に記載の画像劣化検出装置。
7. 前記検出手段は、
   前記第一及び前記第二の色差信号に基づいて前記第一の露光による撮像画像内の画像劣化領域を検出し、
   前記画像処理装置は、
   検出された前記第一の露光による撮像画像内の画像劣化領域の色差信号を、該画像劣化領域に対応する、前記第二の露光による撮像画像内の領域の色差信号に置き換えることにより、該第一の露光による撮像画像を補正する補正手段
   を備える、
   請求項１から請求項６の何れか一項に記載の画像劣化検出装置。

Images