JP2017200029A - 画像劣化検出装置 - Google Patents

Abstract

【課題】偽色等の画像劣化を精度良く検出することが難しい。【解決手段】撮像素子により撮像された被写体の画像信号に対する増幅率を設定する増幅率設定手段と、設定された増幅率で画像信号に対する所定の信号処理を行う信号処理手段と、信号処理された画像信号に基づいて撮像画像内に発生する画像劣化の検出を行う検出手段とを備え、検出手段が、増幅率設定手段により設定された増幅率に応じて閾値を設定し、設定された閾値を用いて画像劣化の検出を行うように、画像劣化検出装置を構成する。【選択図】図５

Description

本発明は、画像の劣化を検出する画像劣化検出装置に関する。

撮像素子の画素ピッチと同程度以上の高周波成分を含む被写体を撮像すると、偽色（色モアレ）等のモアレが発生して、撮像画像が劣化することが知られている。そこで、この種の偽色を除去するための種々の技術が提案されている。例えば特許文献１に、撮像画像内に発生する偽色を検出することが可能な撮影装置の具体的構成が記載されている。

特許文献１に記載の撮影装置は、合焦状態の被写体を撮像し、次いで、非合焦状態の被写体を撮像する。非合焦状態の撮像画像では、被写体のコントラストが低下して高周波成分が低減されるため、合焦状態の撮像画像に発生していた偽色も低減される。そこで、特許文献１に記載の撮影装置は、合焦状態、非合焦状態の各撮像画像を複数のブロックに分割し、分割されたブロック毎に色差信号の差分値を演算し、差分値の大きいブロックを偽色が発生しているブロックとして検出する。

特開２０１１−１０９４９６号公報

このように、特許文献１に記載の撮影装置では、合焦状態（コントラストが高い被写体）と、非合焦状態（コントラストが低い被写体）とを比較処理で検出することにより、偽色の発生を検出している。しかし、非合焦状態の撮像画像では、合焦状態の撮像画像と比べて、偽色自体が曖昧になってしまうことから、色差信号の差分値が偽色の発生しているブロックにおいても大きくはならない。そのため、特許文献１に記載の撮影装置では、偽色を精度良く検出することが難しい。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、偽色等の画像劣化の判定の精度の低下を抑えるのに好適な画像劣化検出装置を提供することである。

本発明の一実施形態に係る画像劣化検出装置は、撮像素子により撮像された被写体の画像信号に対する増幅率を設定する増幅率設定手段と、設定された増幅率で画像信号に対する所定の信号処理を行う信号処理手段と、信号処理された画像信号に基づいて撮像画像内に発生する画像劣化の検出を行う検出手段とを備える。検出手段は、増幅率設定手段により設定された増幅率に応じて閾値を設定し、設定された閾値を用いて画像劣化の検出を行う。

また、本発明の一実施形態において、検出手段は、増幅率設定手段により設定された増幅率が高いほど閾値を画像劣化の発生を検出し難くなる値に設定する構成としてもよい。

また、本発明の一実施形態に係る画像劣化検出装置は、被写体の明るさに基づいて撮像時の露光時間を設定する露光時間設定手段を備える構成としてもよい。この場合、増幅率設定手段は、露光時間設定手段により設定された露光時間が一定時間以上になる場合、画像信号に対する増幅率を標準よりも高い増幅率に設定する。

また、本発明の一実施形態に係る画像劣化検出装置は、ＩＳＯ感度を指定するために操作される操作手段を備える構成としてもよい。この場合、増幅率設定手段は、操作手段を介して指定されたＩＳＯ感度に基づいて画像信号に対する増幅率を設定する。

また、本発明の一実施形態において、検出手段は、信号処理手段により生成された少なくとも一対の撮像画像の色差信号に基づいて画像劣化の検出を行う構成としてもよい。

本発明の一実施形態によれば、偽色等の画像劣化の判定の精度の低下を抑えるのに好適な画像劣化検出装置が提供される。

本発明の一実施形態に係る撮影装置の構成を示すブロック図である。 本発明の一実施形態に係る撮影装置に備えられるブレ補正装置の構成を概略的に示す図である。 本発明の一実施形態に係る撮影装置に備えられるブレ補正装置の構成を概略的に示す図である。 本発明の一実施形態におけるＬＰＦ駆動の説明を補助する図である。 本発明の一実施形態におけるシステムコントローラによる偽色検出フローを示す図である。 ＩＳＯ感度とノイズとの関係を示すグラフ（図６（ａ））及びＩＳＯ感度と閾値Ｔ４との関係を示すグラフ（図６（ｂ））である。

以下、本発明の一実施形態に係る撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。

［撮影装置１全体の構成］
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、システムコントローラ１００、操作部１０２、駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、ブレ補正装置１１２、信号処理回路１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４、ＲＯＭ（Read Only Memory）１２６、ジャイロセンサ１２８、加速度センサ１３０、地磁気センサ１３２及びＧＰＳ（Global Positioning System）センサ１３４を備えている。なお、撮影レンズ１０６は複数枚構成であるが、図１においては便宜上一枚のレンズとして示す。また、撮影レンズ１０６の光軸ＡＸと同じ方向をＺ軸方向と定義し、Ｚ軸方向と直交し且つ互いに直交する二軸方向をそれぞれＸ軸方向（水平方向）、Ｙ軸方向（垂直方向）と定義する。

操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。

システムコントローラ１００は、ＣＰＵ（Central Processing Unit）及びＤＳＰ（Digital Signal Processor）を含む。システムコントローラ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。

レリーズスイッチが操作されると、システムコントローラ１００は、例えば、固体撮像素子１１２ａ（後述の図２参照）により撮像された画像に基づいて計算された測光値や、撮影装置１に内蔵された露出計（不図示）で測定された測光値に基づき適正露出が得られるように、駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。

ＡＥ機能では、絞り及びシャッタ速度に加えてＩＳＯ感度が自動的に設定されてもよい。なお、ＩＳＯ感度の設定変更に伴い、イメージセンサに内蔵されたアンプの増幅率、プリプロセス処理（ノイズ低減、ゲイン調整等）の値、画像処理パラメータ（ホワイトバランス、ノイズリダクション等）の値が変更される。

また、システムコントローラ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、像面位相差検出方式、コントラスト検出方式等が適用される。また、ＡＦモードには、複数の測距エリアを用いた多点測距モード、全画面の距離情報に基づく全画面測距モード等がある。システムコントローラ１００は、ＡＦ結果に基づいて駆動回路１０４を介して撮影レンズ１０６を駆動制御し、撮影レンズ１０６の焦点を調整する。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。

図２及び図３は、ブレ補正装置１１２の構成を概略的に示す図である。図２及び図３に示されるように、ブレ補正装置１１２は、固体撮像素子１１２ａを備えている。被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して固体撮像素子１１２ａの受光面１１２ａａにて受光される。なお、固体撮像素子１１２ａの受光面１１２ａａは、Ｘ軸及びＹ軸を含むＸＹ平面である。固体撮像素子１１２ａは、ベイヤ型画素配置のカラーフィルタを有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。固体撮像素子１１２ａは、受光面１１２ａａ上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１１２ａは、ＣＭＯＳイメージセンサに限らず、ＣＣＤ（Charge Coupled Device）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１１２ａはまた、補色系フィルタを搭載したものであってもよいし、画素毎に何れかのカラーフィルタを配置していれば、ベイヤ配列等の周期的なカラー配列を有するフィルタである必要はない。

信号処理回路１１４は、固体撮像素子１１２ａより入力される画像信号に対してノイズ低減、クランプ、デモザイク（色補間）等の所定のプリプロセス処理を施して、画像処理エンジン１１６に出力する。画像処理エンジン１１６は、信号処理回路１１４より入力される画像信号に対してマトリックス演算、ホワイトバランス、コントラスト、Ｙ／Ｃ分離、ノイズリダクション等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。バッファメモリ１１８は、画像処理エンジン１１６による処理の実行時、処理データの一時的な保存場所として用いられる。また、撮像画像の保存形式は、ＪＰＥＧ形式に限らず、最小限の画像処理（例えばクランプ）しか施されないＲＡＷ形式であってもよい。

カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。

画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、生成された圧縮画像信号（撮像画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。

また、画像処理エンジン１１６は、生成された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮像画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画（ライブビュー）を、ＬＣＤ１２４の表示画面を通じて視認することができる。

画像処理エンジン１１６は、ユーザにより撮像画像の再生操作が行われると、操作により指定された撮像画像データをメモリカード２００又は内蔵メモリより読み出して所定のフォーマットの画像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御することで、被写体の撮像画像がＬＣＤ１２４の表示画面に表示される。

［ブレ補正部材の駆動に関する説明］
ブレ補正装置１１２は、ブレ補正部材を駆動させる。本実施形態において、ブレ補正部材は、固体撮像素子１１２ａである。なお、ブレ補正部材は、固体撮像素子１１２ａに限らず、撮影レンズ１０６内に含まれる一部のレンズを初期位置（同軸位置）から偏心させるなど、（同軸状態での）光軸ＡＸを基準として物理的に動かされることにより、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置をシフトさせることが可能な別の構成であってもよく、又は、これらと固体撮像素子１１２ａのうち２つ以上の部材を組み合わせた構成であってもよい。

ブレ補正装置１１２は、被写体ブレや手ブレによる像ブレを補正するためにブレ補正部材を光軸ＡＸと直交する平面内（すなわち、ＸＹ平面内）で微小に駆動（振動）させるだけでなく、被写体像が画素ピッチ分ぼかされることによる光学的なローパスフィルタ（ＬＰＦ：Low Pass Filter）効果（偽色等のモアレの軽減）が得られるようにブレ補正部材を光軸ＡＸと直交する平面内で微小に駆動（微小回転）させる。以下、説明の便宜上、ブレ補正部材を像ブレ補正で駆動させることを「像ブレ補正駆動」と記し、ブレ補正部材を光学的なＬＰＦと同様の効果が得られるように駆動させることを「ＬＰＦ駆動」と記す。

（像ブレ補正駆動に関する説明）
ジャイロセンサ１２８は、像ブレ補正を制御するための情報を検出するセンサである。具体的には、ジャイロセンサ１２８は、撮影装置１に加わる二軸周り（Ｘ軸周り、Ｙ軸周り）の角速度を検出し、検出された二軸周りの角速度をＸＹ平面内（換言すると、固体撮像素子１１２ａの受光面１１２ａａ内）の像ブレを示すブレ検出信号としてシステムコントローラ１００に出力する。

図２及び図３に示されるように、ブレ補正装置１１２は、撮影装置１が備えるシャーシ等の構造物に固定された固定支持基板１１２ｂを備えている。固定支持基板１１２ｂは、固体撮像素子１１２ａが搭載された可動ステージ１１２ｃをスライド可能に支持している。

可動ステージ１１２ｃと対向する固定支持基板１１２ｂの面上には、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵが取り付けられている。また、固定支持基板１１２ｂには、磁性体であるヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵが取り付けられている。ヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵはそれぞれ、固定支持基板１１２ｂから可動ステージ１１２ｃを回り込んで磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵと対向する位置まで延びた形状を持ち、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵとの間に磁気回路を構成する。また、可動ステージ１１２ｃには、駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが取り付けられている。駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが磁気回路の磁界内において電流を受けることにより、駆動力が発生する。可動ステージ１１２ｃ（固体撮像素子１１２ａ）は、発生した駆動力により、固定支持基板１１２ｂに対してＸＹ平面内で微小に駆動される。

対応する磁石、ヨーク及び駆動用コイルはボイスコイルモータを構成する。以下、便宜上、磁石Ｍ_ＹＲ、ヨークＹ_ＹＲ及び駆動用コイルＣ_ＹＲよりなるボイスコイルモータに符号ＶＣＭ_ＹＲを付し、磁石Ｍ_ＹＬ、ヨークＹ_ＹＬ及び駆動用コイルＣ_ＹＬよりなるボイスコイルモータに符号ＶＣＭ_ＹＬを付し、磁石Ｍ_ＸＤ、ヨークＹ_ＸＤ及び駆動用コイルＣ_ＸＤよりなるボイスコイルモータに符号ＶＣＭ_ＸＤを付し、磁石Ｍ_ＸＵ、ヨークＹ_ＸＵ及び駆動用コイルＣ_ＸＵよりなるボイスコイルモータに符号ＶＣＭ_ＸＵを付す。

各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）は、システムコントローラ１００の制御下でＰＷＭ（Pulse Width Modulation）駆動される。ボイスコイルモータＶＣＭ_ＹＲとＶＣＭ_ＹＬは、固体撮像素子１１２ａの下方であって、水平方向（Ｘ軸方向）に所定の間隔を空けて並べて配置されており、ボイスコイルモータＶＣＭ_ＸＤとＶＣＭ_ＸＵは、固体撮像素子１１２ａの側方であって、垂直方向（Ｙ軸方向）に所定の間隔を空けて並べて配置されている。

固定支持基板１１２ｂ上であって駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵの各近傍位置には、ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵが取り付けられている。ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵはそれぞれ、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵの磁力を検出して、可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸＹ平面内の位置を示す位置検出信号をシステムコントローラ１００に出力する。具体的には、ホール素子Ｈ_ＹＲ及びＨ_ＹＬにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＹ軸方向位置及び傾き（回転）が検出され、ホール素子Ｈ_ＸＤ及びＨ_ＸＵにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸ軸方向位置及び傾き（回転）が検出される。

システムコントローラ１００は、ボイスコイルモータ用のドライバＩＣを内蔵している。システムコントローラ１００は、ジャイロセンサ１２８より出力されるブレ検出信号及びホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵより出力される位置検出信号に基づいて、ドライバＩＣの定格電力（許容電力）を超えない範囲内において各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）に流す電流のバランスを崩さないようにデューティ比を計算する。システムコントローラ１００は、計算されたデューティ比で各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに駆動電流を流し、固体撮像素子１１２ａを像ブレ補正駆動する。これにより、固体撮像素子１１２ａが重力や外乱等に抗して規定の位置に保持されつつ固体撮像素子１１２ａの受光面１１２ａａ上での像ブレが補正（別の言い方によれば、受光面１１２ａａ上での被写体像の入射位置がブレないように固体撮像素子１１２ａの位置が調整）される。

（ＬＰＦ駆動に関する説明）
次に、ＬＰＦ駆動に関する説明を行う。本実施形態において、ブレ補正装置１１２は、ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに所定の駆動電流を流すことにより、一回の露光期間に対して、ＸＹ平面内において所定の軌跡を描くように可動ステージ１１２ｃ（固体撮像素子１１２ａ）を駆動して、被写体像を固体撮像素子１１２ａの検出色（Ｒ、Ｇ又はＢ）の異なる複数の画素に入射させる。これにより、光学的なＬＰＦと同様の効果が得られる。

図４（ａ）、図４（ｂ）は、ＬＰＦ駆動の説明を補助する図である。同図に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上には、複数の画素ＰＩＸが所定の画素ピッチＰでマトリックス状に並べて配置されている。説明の便宜上、同図の各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。

図４（ａ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする正方形軌跡を描くように駆動される例を示す。この正方形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰを一辺とした正方形の閉じた経路とすることができる。図４（ａ）の例では、固体撮像素子１１２ａは、Ｘ軸方向とＹ軸方向とに１画素ピッチＰ単位で交互に且つ正方形経路となるように駆動される。

図４（ｂ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする回転対称な円形軌跡を描くように駆動される例を示す。この円形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰの√２／２倍を半径ｒとする円形の閉じた経路とすることができる。

なお、画素ピッチＰを含む駆動軌跡の情報は、システムコントローラ１００の内部メモリ又はＲＯＭ１２６に予め保持されている。

図４（ａ）（又は図４（ｂ））に例示されるように、露光期間中、固体撮像素子１１２ａが駆動軌跡の情報に基づいて所定の正方形軌跡（又は円形軌跡）を描くように駆動されると、被写体像が４つのカラーフィルタＲ、Ｇ、Ｂ、Ｇ（４つ（二行二列）の画素ＰＩＸ）に均等に入射される。これにより、光学的なＬＰＦと同等の効果が得られる。すなわち、何れのカラーフィルタ（画素ＰＩＸ）に入射された被写体像も、その周辺のカラーフィルタ（画素ＰＩＸ）に必ず入射されるため、恰も光学的なＬＰＦを被写体像が通過したときと同等の効果（偽色等のモアレの軽減）が得られる。

なお、ユーザは、操作部１０２を操作することにより、像ブレ補正駆動、ＬＰＦ駆動のそれぞれのオン／オフを切り替えることができる。

［偽色の検出に関する説明］
次に、本実施形態において撮像画像内に発生する、モアレの一種である偽色を検出する方法について説明する。図５は、システムコントローラ１００により実行される偽色検出フローを示す。偽色検出フローは、例えば、レリーズスイッチが押された時点で開始される。

［図５のＳ１１（状態の判定）］
本処理ステップＳ１１では、撮影装置１が静止状態であるか否かが判定される。例示的には、ジャイロセンサ１２８より入力されるブレ検出信号のうち一定周波数以上の信号成分の振幅が一定期間継続してある閾値以内に収まる場合に静止状態と判定される。撮影装置１の静止状態として、典型的には、撮影装置１が三脚に固定された状態が挙げられる。

なお、静止状態を含めた撮影装置１の姿勢はジャイロセンサ１２８に代えて、加速度センサ１３０、地磁気センサ１３２、ＧＰＳセンサ１３４など、他のセンサより出力される情報を用いて検出されてもよい。また、検出精度を向上させるため、例えばセンサ・フュージョン技術を適用し、これらのセンサより出力される情報が複合的に用いられるようにしてもよい。

撮影装置１が低速シャッタスピード設定下の手持ち撮影状態など、静止状態にない場合は、像ブレによる被写体のボケに起因して偽色がそもそも発生し難い。従って、本実施形態では、撮影装置１が静止状態である（すなわち、偽色が発生しやすい状態である）と判定された場合に限り（Ｓ１１：ＹＥＳ）、撮像画像内の偽色を検出すべく、処理ステップＳ１２（第一画像の撮影）以降が実行される。

撮影装置１が静止状態にない場合は、処理ステップＳ１２（第一画像の撮影）以降が実行されないため、システムコントローラ１００の処理負荷が軽減される。処理ステップＳ１２（第一画像の撮影）以降が実行されない旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。

なお、撮像画像内の偽色の検出を重視したい場合は、撮影装置１が静止状態であるか否かに拘わらず処理ステップＳ１２（第一画像の撮影）以降が実行されてもよい。この場合、処理ステップＳ１２（第一画像の撮影）以降が実行される旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。また、静止状態の判定閾値は撮影装置１に設定されたシャッタスピードに応じて変更されてもよい。

［図５のＳ１２（長秒露光の判定）］
本処理ステップＳ１２では、ＡＥ処理において長秒露光（一定時間以上の露光時間（シャッタスピード））が設定されたか否かが判定される。

［図５のＳ１３（ＩＳＯ感度の設定変更）］
本処理ステップＳ１３は、処理ステップＳ１２（長秒露光の判定）にて、ＡＥ処理において長秒露光（例えばＩＳＯ１００において、１／４秒）が設定されたと判定された場合（Ｓ１２：ＹＥＳ）に実行される。本処理ステップＳ１３では、ＩＳＯ感度が標準（例えばＩＳＯ１００）よりも高い値に設定変更される。例示的には、所定の絞り値（例えばＦ４．０）と測光によって求めた被写体輝度（Ｂｖ）に対して、ＡＥ処理によって求められた適正露出値が維持されつつも露光時間（Ｔｖ）が一定時間（例えば１／６０秒）未満となるようにＩＳＯ感度（Ｓｖ）が上げられる。例えば、ＩＳＯ１００で１／４秒なら、ＩＳＯ１６００で１／６０秒となる。なお、総合ランダムノイズの増加を抑えるため、露光時間が一定時間未満となる最低限の段数だけＩＳＯ感度を上げることが好ましい。

総合ランダムノイズは、光ショットノイズと読み出しノイズによって定義される。光ショットノイズは、固体撮像素子１１２ａにおいて光電変換する際に信号電荷に混入するノイズであり、読み出しノイズは、固体撮像素子１１２ａにおいて信号電荷を読み出す際に発生するノイズである。本実施形態ではＩＳＯ感度が一段上がると、光ショットノイズが√２倍に増加すると共に読み出しノイズが２倍に増加するとする。

ＩＳＯ感度が基準（標準）の段数に設定されている場合の光ショットノイズ、読み出しノイズをそれぞれＣ_base、Ｐ_baseと定義し、ＩＳＯ感度の段数をｎ（＝０，１・・・であり、ｎ＝０が基準の段数）と定義した場合に、光ショットノイズＣ、読み出しノイズＰ、総合ランダムノイズＲＮは、それぞれ、下記の式にて示される。
Ｃ＝Ｃ_base×（√２）^ｎ
Ｐ＝Ｐ_base×２^ｎ
ＲＮ＝√（Ｃ^２＋Ｐ^２）

［図５のＳ１４（第一画像の撮影）］
本処理ステップＳ１４は、処理ステップＳ１２（長秒露光の判定）にて、ＡＥ処理において長秒露光が設定されていないと判定された場合（Ｓ１２：ＮＯ）又は長秒露光が設定されていたと判定された場合（Ｓ１２：ＹＥＳ）には、処理ステップＳ１３（ＩＳＯ感度の設定変更）にてＩＳＯ感度が設定変更された後に実行される。本処理ステップＳ１４では、ユーザによって設定された倍率（ズーム位置）までズームされた被写体の画像（第一画像）が適正露出値で且つＡＦ制御による適切なピントで撮影される。前者の場合（処理ステップＳ１２にてＮＯ判定された場合）は、例えば、基準の（又は当初から設定されている）ＩＳＯ感度で撮影が行われ、後者の場合（処理ステップＳ１２にてＹＥＳ判定の後、処理ステップＳ１３の実行後）は、設定変更後のＩＳＯ感度で撮影が行われる。

このように、本実施形態では、ＩＳＯ感度を必要に応じて上げることにより、像ブレによるコントラストの低下で偽色判定の精度が低下するという問題が発生し難くなる。

本処理ステップＳ１４にて撮影された第一画像の画像信号は、上述した信号処理（プリプロセス処理、マトリックス演算、ホワイトバランス、コントラスト、Ｙ／Ｃ分離、ノイズリダクション等）が施されて、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換される。以下、説明の便宜上、本処理ステップＳ１４にて撮影された第一画像の輝度信号Ｙ、色差信号（Ｃｂ、Ｃｒ）を、それぞれ、「第一輝度信号」、「第一色差信号」と記す。

［図５のＳ１５（ＬＰＦ駆動の開始）］
ＬＰＦ駆動には３つのモード（強・中・弱）がある。強モードは、可動ステージ１１２ｃ（固体撮像素子１１２ａ）を最も大きく駆動させるモードであり、偽色の軽減又は除去を優先させるのに適している。弱モードは、可動ステージ１１２ｃを最も小さく駆動させるモードであり、解像感を優先させるのに適している。中モードは、可動ステージ１１２ｃを中程度の大きさで駆動させるモードであり、偽色の軽減又は除去と解像感とのバランスに配慮したものである。

本処理ステップＳ１５では、ユーザにより予め設定された（又は初期設定の）モードでＬＰＦ駆動が開始される。

［図５のＳ１６（第二画像の撮影と変更されたＩＳＯ設定の復帰）］
本処理ステップＳ１６では、ＬＰＦ駆動中、第一画像撮影時と同一の撮像条件で被写体の画像（第二画像）が撮影される。第二画像の撮影が完了すると、例えば、第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知される。また、処理ステップＳ１３（ＩＳＯ感度の設定変更）にてＩＳＯ感度が設定変更されている場合には、ＩＳＯ感度が基準の（当初の）段数に戻される。

［図５のＳ１７（ＬＰＦ駆動の停止）］
本処理ステップＳ１７では、ＬＰＦ駆動が停止される。

処理ステップＳ１６（第二画像の撮影）にて撮影された第二画像の画像信号は、上述した信号処理（プリプロセス処理、マトリックス演算、ホワイトバランス、コントラスト、Ｙ／Ｃ分離、ノイズリダクション等）が施されて、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換される。以下、説明の便宜上、処理ステップＳ１６（第二画像の撮影）にて撮影された第二画像の輝度信号Ｙ、色差信号（Ｃｂ、Ｃｒ）を、それぞれ、「第二輝度信号」、「第二色差信号」と記す。

ここで、第二輝度信号及び第二色差信号の生成時の画像処理パラメータ（ホワイトバランス、コントラスト等）の設定には、第一輝度信号及び第一色差信号の生成時の画像処理パラメータと同一の値（設定）が適用される。

［図５のＳ１８（色差信号の差分値の演算）］
本処理ステップＳ１８では、アドレスが同一の画素毎に、第一色差信号と第二色差信号との差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が演算される。具体的には、本処理ステップＳ１８では、第一色差信号のＣｂ、ＣｒをそれぞれＣｂ１、Ｃｒ１と定義し、これと同一アドレスの第二色差信号のＣｂ、ＣｒをそれぞれＣｂ２、Ｃｒ２と定義した場合に、差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が次式により演算される。
Ｃｂ_ｓｕｂ＝Ｃｂ１−Ｃｂ２
Ｃｒ_ｓｕｂ＝Ｃｒ１−Ｃｒ２

［図５のＳ１９（色差距離情報の演算）］
本処理ステップＳ１９では、アドレスが同一の画素毎に、ＣｂＣｒを軸とする二次元色平面（ＣｂＣｒ平面）内における、第一色差信号と第二色差信号との差分（色差距離情報。以下、「距離情報Saturation__sub」と記す。）が、次式により演算される。
Saturation__sub＝√（Ｃｂ_ｓｕｂ ^２＋Ｃｒ_ｓｕｂ ^２）

説明の便宜上、第一画像で偽色が発生している領域の画素を「偽色発生画素」と記す。第二画像において偽色発生画素と同一アドレスの画素は、第二画像がＬＰＦ駆動中に撮影されていることから、偽色が軽減又は除去されている。そのため、距離情報Saturation__subは、偽色発生画素以外では（理想的には）ゼロであり、偽色が強く発生する偽色発生画素ほど大きくなる。

［図５のＳ２０（輝度信号の差分値の演算）］
本処理ステップＳ２０では、アドレスが同一の画素毎に、第一輝度信号と第二輝度信号との差分値Ｙ_ｄｉｆｆが演算される。具体的には、本処理ステップＳ２０では、第一輝度信号をＹ１と定義し、第二輝度信号をＹ２と定義した場合に、差分値Ｙ_ｄｉｆｆが次式により演算される。
Ｙ_ｄｉｆｆ＝｜Ｙ１−Ｙ２｜

［図５のＳ２１（像ブレの判定）］
処理ステップＳ１４（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１６（第二画像の撮影）にて撮影された第二画像の少なくとも一方で大きな像ブレ（被写体ブレ）が発生した場合を考える。この場合、画素によっては、第一画像と第二画像とで輝度信号の値が大きく変わると共に、第一色差信号と第二色差信号との差分が大きくなって、偽色が誤検出される虞がある。

そこで、本処理ステップＳ２１では、第一画像と第二画像の少なくとも一方において像ブレが大きく発生したか否かが判定される。例示的には、全有効画素数のうち、第一輝度信号と第二輝度信号との差分値Ｙ_ｄｉｆｆが閾値Ｔ１以上となる画素の数が一定の割合（閾値Ｔ２）以上となる場合には、第一画像と第二画像の少なくとも一方において像ブレが大きく発生したと判定される。

［図５のＳ２２（偽色の判定）］
本処理ステップＳ２２は、処理ステップＳ２１（像ブレの判定）にて、第一画像と第二画像の何れにおいても像ブレが大きく発生していないと判定された場合（Ｓ２１：ＮＯ）に実行される。

本処理ステップＳ２２では、偽色の有無が判定される。

具体的には、まず、第一画像の各画素について偽色発生画素であるか否かが判定される。例示的には、次の条件（１）及び（２）が満たされる場合に、当該画素が偽色発生画素であると判定される。

・条件（１）
上述したように、距離情報Saturation__subが大きいほど第一色差信号と第二色差信号が持つ色情報が異なることから、当該画素が偽色発生画素である可能性が高い。そこで、条件（１）は次のように規定される。
条件（１）：Saturation__sub≧閾値Ｔ３

・条件（２）
条件（２）は、偽色の誤検出による偽色判定の精度劣化を抑えるためのものである。
条件（２）：Ｙ_ｄｉｆｆ≦閾値Ｔ１

次いで、偽色発生画素と判定された画素数（又は全有効画素数のうち偽色発生画素と判定された画素数の割合）が閾値Ｔ４以上である場合、検出された偽色発生画素が多いため、第一画像に偽色が発生していると判定する（Ｓ２２：ＹＥＳ）。当該画素数（又は割合）が閾値Ｔ４未満である場合には、検出された偽色発生画素が少ないため、第一画像に偽色が発生していないと判定する（Ｓ２２：ＮＯ）。

ここで、図６（ａ）に、光ショットノイズＣ、読み出しノイズＰ及び総合ランダムノイズＲＮの関係を示す。図６（ａ）に示されるように、ＩＳＯ感度が上がると、ノイズが増加する。増加したノイズ（総合ランダムノイズＲＮ）が画素の出力に重畳されることにより、本来偽色が発生していない画素であっても、本処理ステップＳ２２において偽色発生画素として検出されやすくなる。この結果、偽色発生画素と判定された画素数（又はその割合）が増えて、偽色判定の精度が低下する。例示的には、偽色が発生していないと判定しても差し支えない程度の画像（本来的には偽色発生画素が少ない画像）であっても、偽色発生画素と判定された画素数（又はその割合）が増えたことにより、偽色が発生していると判定される。

そこで、本実施形態では、閾値Ｔ４をＩＳＯ感度の関数として定義している。

図６（ａ）に示されるように、総合ランダムノイズＲＮは、ＩＳＯ感度を横軸（ｘ）とし、各種ノイズを縦軸（ｙ）とした場合、√２を底とする指数関数（ｙ＝（√２）^ｘ）に近似する。そこで、閾値Ｔ４は、総合ランダムノイズＲＮに合わせて、次の関数で表わされる。なお、次式の符号αは、システムコントローラ１００の内部メモリ又はＲＯＭ１２６に記憶された値であり、基準のＩＳＯ感度（ｎ＝０）における閾値Ｔ４と同一の値となっている。また、図６（ｂ）に、ＩＳＯ感度、閾値Ｔ４をそれぞれ横軸、縦軸とした関数のグラフを示す。
Ｔ４＝α×（√２）^ｎ

このように、本実施形態では、ＩＳＯ感度が上げられると、画素の出力に重畳される総合ランダムノイズＲＮに合わせて閾値Ｔ４が高くなるため、ＩＳＯ感度を上げたことに伴う偽色判定の精度の低下が防がれる。

なお、システムコントローラ１００の内部メモリ又はＲＯＭ１２６には、上記の関数に代えて、ＩＳＯ感度毎に異なる閾値Ｔ４を関連付けたテーブルが記憶されていてもよい。

［図５のＳ２３（第三画像の撮影）］
本処理ステップＳ２３は、処理ステップＳ２１（像ブレの判定）にて、第一画像と第二画像の少なくとも一方で像ブレが大きく発生したと判定された場合（Ｓ２１：ＹＥＳ）又は処理ステップＳ２２（偽色の判定）にて、偽色が発生していないと判定された場合（Ｓ２２：ＮＯ）に実行される。本処理ステップＳ２３では、ユーザによって設定された倍率（ズーム位置）までズームされた被写体の画像（第三画像）が適正露出値で且つＡＦ制御による適切なピントで撮影される。なお、第三画像の撮影時、ＩＳＯ感度は、長秒露光であるか否かに拘わらずＡＥ処理により適正な値に設定される。

［図５のＳ２４（第三画像の保存）］
本処理ステップＳ２４では、処理ステップＳ２３（第三画像の撮影）にて撮影された第三画像が撮像画像としてメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。

［図５のＳ２５（ＬＰＦ駆動の開始）］
本処理ステップＳ２５は、本処理ステップＳ２２（偽色の判定）にて偽色が発生していると判定された場合（Ｓ２２：ＹＥＳ）に実行される。本処理ステップＳ２５では、ユーザにより予め設定された（又は初期設定の）モードでＬＰＦ駆動が開始される。

［図５のＳ２６（第四画像の撮影）］
本処理ステップＳ２６では、ＬＰＦ駆動中、ユーザによって設定された倍率（ズーム位置）までズームされた被写体の画像（第四画像）が適正露出値で且つＡＦ制御による適切なピントで撮影される。なお、第四画像の撮影時、ＩＳＯ感度は、長秒露光であるか否かに拘わらずＡＥ処理により適正な値に設定される。

［図５のＳ２７（ＬＰＦ駆動の停止）］
本処理ステップＳ２７では、ＬＰＦ駆動が停止される。

［図５のＳ２８（第四画像の保存）］
本処理ステップＳ２８では、処理ステップＳ２７（第四画像の撮影）にて撮影された第四画像が撮像画像としてメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。

本実施形態によれば、ＩＳＯ感度を必要に応じて上げることにより露光時間が一定時間未満に抑えられるため、偽色検出のための一連の処理に掛かる時間が大幅に長くなるという問題が避けられると共に、像ブレによるコントラストの低下で偽色判定の精度が低下するという問題が発生し難くなる。更に、偽色判定に用いられる閾値Ｔ４をＩＳＯ感度に合わせて変更することにより、ＩＳＯ感度を上げたことに伴う偽色判定の精度の低下が防がれる。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の実施形態では、閾値Ｔ４は、√２を底とする指数関数で表わされる。しかし、光ショットノイズＣや読み出しノイズＰは、回路構成の影響で機種毎に変わる可能性がある。そこで、閾値Ｔ４は、次式の通り、総合ランダムノイズＲＮの最大値ＲＮ_MAXで正規化された関数で表わされるものとしてもよい。なお、次式の符号βは、最大値ＲＮ_MAXと共にシステムコントローラ１００の内部メモリ又はＲＯＭ１２６に記憶された値であり、正規化された総合ランダムノイズＲＮの値を示す。また、次式の符号αは、最も高い段数のＩＳＯ感度（本例ではＩＳＯ２５６００）における閾値Ｔ４と同一の値となっている。

（関数例）

総合ランダムノイズＲＮの値は、最大値ＲＮ_MAXに代えて、最小値ＲＮ_MINで正規化されてもよい。この場合、符合αは、最も低い段数のＩＳＯ感度（本例ではＩＳＯ５０）における閾値Ｔ４と同一の値となる。

表１に、最大値ＲＮ_MAX、最小値ＲＮ_MINのそれぞれで正規化された総合ランダムノイズＲＮの値を例示する。

（表１）
ＩＳＯ感度 β（最大値ＲＮ_MAXで正規化時） β（最小値ＲＮ_MINで正規化時）
５０ ０．０４ １．００
１００ ０．０６ １．４１
２００ ０．０８ ２．００
４００ ０．１２ ２．８３
８００ ０．１７ ４．０１
１６００ ０．２３ ５．６８
３２００ ０．３３ ８．０７
６４００ ０．４８ １１．５１
１２８００ ０．６８ １６．５６
２５６００ １．００ ２４．１８

１ 撮影装置
１００ システムコントローラ
１０２ 操作部
１０４ 駆動回路
１０６ 撮影レンズ
１０８ 絞り
１１０ シャッタ
１１２ ブレ補正装置
１１２ａ 固体撮像素子
１１２ａａ （固体撮像素子の）受光面
１１２ｂ 固定支持基板
１１２ｃ 可動ステージ
１１４ 信号処理回路
１１６ 画像処理エンジン
１１８ バッファメモリ
１２０ カード用インタフェース
１２２ ＬＣＤ制御回路
１２４ ＬＣＤ
１２６ ＲＯＭ
１２８ ジャイロセンサ
２００ メモリカード
Ｃ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ 駆動用コイル
Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵ ホール素子
Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵ 磁石
ＰＩＸ 画素
ＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ ボイスコイルモータ
Ｙ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵ ヨーク

Claims (5)

1. 撮像素子により撮像された被写体の画像信号に対する増幅率を設定する増幅率設定手段と、
   設定された増幅率で前記画像信号に対する所定の信号処理を行う信号処理手段と、
   前記信号処理された画像信号に基づいて撮像画像内に発生する画像劣化の検出を行う検出手段と、
   を備え、
   前記検出手段は、
   前記増幅率設定手段により設定された増幅率に応じて閾値を設定し、
   設定された閾値を用いて前記画像劣化の検出を行う、
   画像劣化検出装置。
2. 前記検出手段は、
   前記増幅率設定手段により設定された増幅率が高いほど、前記閾値を、前記画像劣化の発生を検出し難くなる値に設定する、
   請求項１に記載の画像劣化検出装置。
3. 被写体の明るさに基づいて撮像時の露光時間を設定する露光時間設定手段
   を備え、
   前記増幅率設定手段は、
   前記露光時間設定手段により設定された露光時間が一定時間以上になる場合、前記画像信号に対する増幅率を標準よりも高い増幅率に設定する、
   請求項１又は請求項２に記載の画像劣化検出装置。
4. ＩＳＯ感度を指定するために操作される操作手段
   を備え、
   前記増幅率設定手段は、
   前記操作手段を介して指定されたＩＳＯ感度に基づいて前記画像信号に対する増幅率を設定する、
   請求項１又は請求項２に記載の画像劣化検出装置。
5. 前記検出手段は、
   前記信号処理手段により生成された少なくとも一対の撮像画像の色差信号に基づいて前記画像劣化の検出を行う、
   請求項１から請求項４の何れか一項に記載の画像劣化検出装置。

Images