JP2016143938A - 画像検出装置、画像検出方法及び撮影装置 - Google Patents

Abstract

【課題】偽色等の画像劣化を精度良く検出すること難しい。【解決手段】画像検出装置を、透過波長選択素子付きの撮像素子の画素配置に基づいて撮影光学系内の一部の光学素子と該撮像素子の少なくとも一方を物理的に動かすことにより、該撮像素子の受光面上での被写体像の位置を移動させる移動手段と、被写体像の位置が移動される毎に、撮像素子に取り込まれた被写体像を撮像し、色補間処理を含む所定の信号処理を施して色差信号を生成する信号生成手段と、撮像素子の受光面上での被写体像の位置が互いに異なる少なくとも一対の色差信号に基づいて撮影画像内に発生する画像劣化の検出を行う検出手段と、から構成する。【選択図】図５

Description

本発明は、画像内の画像劣化を検出する画像検出装置及び画像検出方法並びに撮影装置に関する。

撮像素子の画素ピッチと同程度以上の高周波成分を含む被写体を撮像すると、偽色（色モアレ）等のモアレが発生して、撮影画像が劣化することが知られている。そこで、この種の偽色を除去するための種々の技術が提案されている。例えば特許文献１に、撮影画像内に発生する偽色を検出することが可能な撮影装置の具体的構成が記載されている。

特許文献１に記載の撮影装置は、合焦状態の被写体を撮像し、次いで、非合焦状態の被写体を撮像する。非合焦状態の撮影画像では、被写体のコントラストが低下して高周波成分が低減されるため、合焦状態の撮影画像に発生していた偽色も低減される。そこで、特許文献１に記載の撮影装置は、合焦状態の撮影画像の色差信号と非合焦状態の撮影画像の色差信号との差分値をブロック毎に演算し、差分値の大きいブロックを偽色が発生しているブロックとして検出する。

特開２０１１−１０９４９６号公報

このように、特許文献１に記載の撮影装置では、コントラストが高く偽色が発生している被写体と、コントラストが低く偽色の発生が低減された被写体とを比較処理で検出することにより、偽色の発生を検出している。しかし、非合焦状態の撮影画像では、合焦状態の撮影画像と比べて偽色の発生が軽減されるだけであることから、色差信号の差分値が偽色の発生しているブロックにおいても大きくはならない。そのため、特許文献１に記載の撮影装置では、偽色を精度良く検出することが難しい。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像劣化を精度良く検出することが可能な画像検出装置、画像検出方法及び撮影装置を提供することである。

本発明の一実施形態に係る画像検出装置は、撮影光学系を介して所定の画素配置を有する撮像素子に入射される被写体像と該撮像素子とを該撮像素子の受光面方向に相対的に位置移動させる移動手段と、該相対的な位置が異なる状態で被写体像を撮像して色差信号を生成する信号生成手段と、色差信号に基づいて撮影画像内に発生する画像劣化の検出を行う検出手段とを備える。

また、本発明の一実施形態に係る画像検出装置は、透過波長選択素子付きの撮像素子の画素配置に基づいて撮影光学系内の一部の光学素子と該撮像素子の少なくとも一方を物理的に動かすことにより、該撮像素子の受光面上での被写体像の位置を移動させる移動手段と、被写体像の位置が移動される毎に、撮像素子に取り込まれた被写体像を撮像し、色補間処理を含む所定の信号処理を施して色差信号を生成する信号生成手段と、撮像素子の受光面上での被写体像の位置が互いに異なる少なくとも一対の色差信号に基づいて撮影画像内に発生する画像劣化の検出を行う検出手段とを備える。

本発明の一実施形態によれば、撮像素子の受光面上での被写体像の位置を移動させることにより、移動前後の撮影画像において高周波成分を含む領域で異なる色の画像劣化が発生して、撮影画像間の変化が大きくなりやすい。そのため、画像劣化を精度良く検出することが可能となる。

また、本発明の一実施形態において、移動手段は、少なくとも一対の色差信号が持つ色情報が、画像劣化が発生する発生領域で互いに補色の関係となるように、撮像素子の受光面上での被写体像の位置を画素間隔に応じた量だけ移動させる構成としてもよい。

また、本発明の一実施形態において、移動手段は、撮像素子の受光面上での被写体像の位置を画素配置に応じた方向にｎ画素分又は（ｍ＋０．５）画素分（但し、ｎ＝奇数の自然数，ｍ＝０又は奇数の自然数）の距離だけ移動させる構成としてもよい。

また、本発明の一実施形態において、検出手段は、撮像素子の受光面上での被写体像の位置が互いに異なる少なくとも一対の撮影画像について、同一の被写体像が同一アドレスの画素に入射されたものとして処理されるように、一方の撮影画像を構成する各画素のアドレスを被写体像の位置の移動量に応じて変換し、アドレスが変換された一方の撮影画像の色差信号及び他方の撮影画像の色差信号に基づいて画像劣化の検出を画素毎に行う構成としてもよい。

また、本発明の一実施形態において、検出手段は、少なくとも一対の色差信号の差分値と加算値の少なくとも一方を演算し、演算結果に基づいて画像劣化の検出を行う構成としてもよい。

また、本発明の一実施形態において、検出手段は、少なくとも一対の色差信号の差分値を画素毎に演算し、演算された差分値が第一の閾値以上となる画素を画像劣化が発生する発生領域の画素として検出する構成としてもよい。

また、本発明の一実施形態において、検出手段は、少なくとも一対の色差信号の加算値を画素毎に演算し、演算された加算値が第二の閾値以下となる画素を画像劣化が発生する発生領域の画素として検出する構成としてもよい。

また、本発明の一実施形態において、信号生成手段は、所定の信号処理を施すことにより、色差信号と組になる輝度信号を生成し、検出手段は、少なくとも一対の輝度信号にも基づいて画像劣化の検出を行う構成としてもよい。

また、本発明の一実施形態に係る撮影装置は、上記の画像検出装置を有する撮影装置であって、撮影装置が静止状態であるか否かを判定する静止状態判定手段を備えており、静止状態判定手段により撮影装置が静止状態であると判定すると、画像検出装置による画像劣化の検出を行う。

また、本発明の一実施形態に係る撮影装置は、上記の画像検出装置を有する撮影装置であって、該撮影装置の振れを検出する振れ検出手段を備えた構成としてもよい。この場合、移動手段は、振れ検出手段により検出された撮影装置の振れに基づいて撮影光学系内の一部の光学素子と撮像素子の少なくとも一方を物理的に動かすことにより、該撮影装置の振れに起因する像振れを補正する。

また、本発明の一実施形態に係る画像検出方法は、透過波長選択素子付きの撮像素子の画素配置に基づいて撮影光学系内の一部の光学素子と該撮像素子の少なくとも一方を物理的に動かすことにより、該撮像素子の受光面上での被写体像の位置を移動させるステップと、被写体像の位置が移動される毎に、撮像素子に取り込まれた被写体像を撮像し、色補間処理を含む所定の信号処理を施して色差信号を生成するステップと、撮像素子の受光面上での被写体像の位置が互いに異なる少なくとも一対の色差信号に基づいて撮影画像内に発生する画像劣化の検出を行うステップとを含む。

本発明の一実施形態によれば、画像劣化を精度良く検出することが可能な画像検出装置、画像検出方法及び撮影装置が提供される。

本発明の実施形態の撮影装置の構成を示すブロック図である。 本発明の実施形態の撮影装置に備えられる像振れ補正装置の構成を概略的に示す図である。 本発明の実施形態の撮影装置に備えられる像振れ補正装置の構成を概略的に示す図である。 本発明の実施形態におけるＬＰＦ駆動の説明を補助する図である。 本発明の実施形態におけるシステムコントローラによる偽色検出フローを示す図である。 本発明の実施形態において撮影される被写体に関する図である。 本発明の実施形態において撮影される被写体に関する図である。 本発明の実施形態の色空間内においてプロットされる各色差信号を示す図である。 別の実施形態におけるシステムコントローラによる偽色検出フローを示す図である。

以下、本発明の実施形態の撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。

［撮影装置１全体の構成］
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、システムコントローラ１００、操作部１０２、駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、像振れ補正装置１１２、信号処理回路１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４、ＲＯＭ（Read Only Memory）１２６、ジャイロセンサ１２８、加速度センサ１３０、地磁気センサ１３２及びＧＰＳ（Global Positioning System）センサ１３４を備えている。なお、撮影レンズ１０６は複数枚構成であるが、図１においては便宜上一枚のレンズとして示す。また、撮影レンズ１０６の光軸ＡＸと同じ方向をＺ軸方向と定義し、Ｚ軸方向と直交し且つ互いに直交する二軸方向をそれぞれＸ軸方向（水平方向）、Ｙ軸方向（垂直方向）と定義する。

操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。

システムコントローラ１００は、ＣＰＵ（Central Processing Unit）及びＤＳＰ（Digital Signal Processor）を含む。システムコントローラ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。

レリーズスイッチが操作されると、システムコントローラ１００は、例えば、固体撮像素子１１２ａ（後述の図２参照）により撮像された画像に基づいて計算された測光値や、撮影装置１に内蔵された露出計（不図示）で測定された測光値に基づき適正露出が得られるように、駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。より詳細には、絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。また、システムコントローラ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、像面位相差検出方式、コントラスト検出方式等が適用される。また、ＡＦモードには、中央一点の測距エリアを用いた中央一点測距モード、複数の測距エリアを用いた多点測距モード、全画面の距離情報に基づく全画面測距モード等がある。システムコントローラ１００は、ＡＦ結果に基づいて駆動回路１０４を介して撮影レンズ１０６を駆動制御し、撮影レンズ１０６の焦点を調整する。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。

図２及び図３は、像振れ補正装置１１２の構成を概略的に示す図である。図２及び図３に示されるように、像振れ補正装置１１２は、固体撮像素子１１２ａを備えている。被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して固体撮像素子１１２ａの受光面１１２ａａにて受光される。なお、固体撮像素子１１２ａの受光面１１２ａａは、Ｘ軸及びＹ軸を含むＸＹ平面である。固体撮像素子１１２ａは、透過波長選択素子としてベイヤ型画素配置のカラーフィルタを有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１１２ａは、受光面１１２ａａ上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１１２ａは、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１１２ａはまた、補色系フィルタを搭載したものであってもよいし、画素毎に何れかのカラーフィルタを配置していれば、ベイヤ配列等の周期的なカラー配列を有するフィルタである必要はない。

信号処理回路１１４は、固体撮像素子１１２ａより入力される画像信号に対してクランプ、デモザイク（色補間）等の所定の信号処理を施して、画像処理エンジン１１６に出力する。画像処理エンジン１１６は、信号処理回路１１４より入力される画像信号に対してマトリクス演算、Ｙ／Ｃ分離、ホワイトバランス等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。バッファメモリ１１８は、画像処理エンジン１１６による処理の実行時、処理データの一時的な保存場所として用いられる。また、撮影画像の保存形式は、ＪＰＥＧ形式に限らず、最小限の画像処理（例えばクランプ）しか施されないＲＡＷ形式であってもよい。

カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。

画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、生成された圧縮画像信号（撮影画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。

また、画像処理エンジン１１６は、生成された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画（ライブビュー）を、ＬＣＤ１２４の表示画面を通じて視認することができる。

画像処理エンジン１１６は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データをメモリカード２００又は内蔵メモリより読み出して所定のフォーマットの画像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御することで、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。

［振れ補正部材の駆動に関する説明］
像振れ補正装置１１２は、振れ補正部材を駆動させる。本実施形態において、振れ補正部材は、固体撮像素子１１２ａである。なお、振れ補正部材は、固体撮像素子１１２ａに限らず、撮影レンズ１０６内に含まれる一部のレンズなど、光軸ＡＸを基準として物理的に動かされることにより、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置をシフトさせることが可能な別の構成であってもよく、又は、これらと固体撮像素子１１２ａのうち２つ以上の部材を組み合わせた構成であってもよい。

像振れ補正装置１１２は、像振れを補正するために振れ補正部材を光軸ＡＸと直交する平面内（すなわち、ＸＹ平面内）で微小に駆動（振動）させるだけでなく、被写体像が画素ピッチ分ぼかされることによる光学的なローパスフィルタ（ＬＰＦ：Low Pass Filter）効果（偽色等のモアレの軽減）が得られるように振れ補正部材を光軸ＡＸと直交する平面内で微小に駆動（微小回転）させる。以下、説明の便宜上、振れ補正部材を像振れ補正で駆動させることを「像振れ補正駆動」と記し、振れ補正部材を光学的なＬＰＦと同様の効果が得られるように駆動させることを「ＬＰＦ駆動」と記す。

（像振れ補正駆動に関する説明）
ジャイロセンサ１２８は、像振れ補正を制御するための情報を検出するセンサである。具体的には、ジャイロセンサ１２８は、撮影装置１に加わる二軸周り（Ｘ軸周り、Ｙ軸周り）の角速度を検出し、検出された二軸周りの角速度をＸＹ平面内（換言すると、固体撮像素子１１２ａの受光面１１２ａａ内）の振れを示す振れ検出信号としてシステムコントローラ１００に出力する。

図２及び図３に示されるように、像振れ補正装置１１２は、撮影装置１が備えるシャーシ等の構造物に固定された固定支持基板１１２ｂを備えている。固定支持基板１１２ｂは、固体撮像素子１１２ａが搭載された可動ステージ１１２ｃをスライド可能に支持している。

可動ステージ１１２ｃと対向する固定支持基板１１２ｂの面上には、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵが取り付けられている。また、固定支持基板１１２ｂには、磁性体であるヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵが取り付けられている。ヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵはそれぞれ、固定支持基板１１２ｂから可動ステージ１１２ｃを回り込んで磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵと対向する位置まで延びた形状を持ち、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵとの間に磁気回路を構成する。また、可動ステージ１１２ｃには、駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが取り付けられている。駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが磁気回路の磁界内において電流を受けることにより、駆動力が発生する。可動ステージ１１２ｃ（固体撮像素子１１２ａ）は、発生した駆動力により、固定支持基板１１２ｂに対してＸＹ平面内で微小に駆動される。

対応する磁石、ヨーク及び駆動用コイルはボイスコイルモータを構成する。以下、便宜上、磁石Ｍ_ＹＲ、ヨークＹ_ＹＲ及び駆動用コイルＣ_ＹＲよりなるボイスコイルモータに符号ＶＣＭ_ＹＲを付し、磁石Ｍ_ＹＬ、ヨークＹ_ＹＬ及び駆動用コイルＣ_ＹＬよりなるボイスコイルモータに符号ＶＣＭ_ＹＬを付し、磁石Ｍ_ＸＤ、ヨークＹ_ＸＤ及び駆動用コイルＣ_ＸＤよりなるボイスコイルモータに符号ＶＣＭ_ＸＤを付し、磁石Ｍ_ＸＵ、ヨークＹ_ＸＵ及び駆動用コイルＣ_ＸＵよりなるボイスコイルモータに符号ＶＣＭ_ＸＵを付す。

各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）は、システムコントローラ１００の制御下でＰＷＭ（Pulse Width Modulation）駆動される。ボイスコイルモータＶＣＭ_ＹＲとＶＣＭ_ＹＬは、固体撮像素子１１２ａの下方であって、水平方向（Ｘ軸方向）に所定の間隔を空けて並べて配置されており、ボイスコイルモータＶＣＭ_ＸＤとＶＣＭ_ＸＵは、固体撮像素子１１２ａの側方であって、垂直方向（Ｙ軸方向）に所定の間隔を空けて並べて配置されている。

固定支持基板１１２ｂ上であって駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵの各近傍位置には、ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵが取り付けられている。ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵはそれぞれ、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵの磁力を検出して、可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸＹ平面内の位置を示す位置検出信号をシステムコントローラ１００に出力する。具体的には、ホール素子Ｈ_ＹＲ及びＨ_ＹＬにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＹ軸方向位置及び傾き（回転）が検出され、ホール素子Ｈ_ＸＤ及びＨ_ＸＵにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸ軸方向位置及び傾き（回転）が検出される。

システムコントローラ１００は、ボイスコイルモータ用のドライバＩＣを内蔵している。システムコントローラ１００は、ジャイロセンサ１２８より出力される振れ検出信号及びホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵより出力される位置検出信号に基づいて、ドライバＩＣの定格電力（許容電力）を超えない範囲内において各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）に流す電流のバランスを崩さないようにデューティ比を計算する。システムコントローラ１００は、計算されたデューティ比で各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに駆動電流を流し、固体撮像素子１１２ａを像振れ補正駆動する。これにより、固体撮像素子１１２ａが重力や外乱等に抗して規定の位置に保持されつつ固体撮像素子１１２ａの受光面１１２ａａ上での像振れが補正（別の言い方によれば、受光面１１２ａａ上での被写体像の入射位置が振れないように固体撮像素子１１２ａの位置が調整）される。

（ＬＰＦ駆動に関する説明）
次に、ＬＰＦ駆動に関する説明を行う。本実施形態において、像振れ補正装置１１２は、ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに所定の駆動電流を流すことにより、一回の露光期間に対して、ＸＹ平面内において所定の軌跡を描くように可動ステージ１１２ｃ（固体撮像素子１１２ａ）を駆動して、被写体像を固体撮像素子１１２ａの検出色（Ｒ、Ｇ又はＢ）の異なる複数の画素に入射させる。これにより、光学的なＬＰＦと同様の効果が得られる。

図４（ａ）、図４（ｂ）は、ＬＰＦ駆動の説明を補助する図である。同図に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上には、複数の画素ＰＩＸが所定の画素ピッチＰでマトリックス状に並べて配置されている。説明の便宜上、同図の各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。

図４（ａ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする正方形軌跡を描くように駆動される例を示す。この正方形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰを一辺とした正方形の閉じた経路とすることができる。図４（ａ）の例では、固体撮像素子１１２ａは、Ｘ軸方向とＹ軸方向とに１画素ピッチＰ単位で交互に且つ正方形経路となるように駆動される。

図４（ｂ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする回転対称な円形軌跡を描くように駆動される例を示す。この円形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰの√２／２倍を半径ｒとする円形の閉じた経路とすることができる。

なお、画素ピッチＰを含む駆動軌跡の情報は、システムコントローラ１００の内部メモリ又はＲＯＭ１２６に予め保持されている。

図４（ａ）（又は図４（ｂ））に例示されるように、露光期間中、固体撮像素子１１２ａが駆動軌跡の情報に基づいて所定の正方形軌跡（又は円形軌跡）を描くように駆動されると、被写体像が４つのカラーフィルタＲ、Ｇ、Ｂ、Ｇ（４つ（二行二列）の画素ＰＩＸ）に均等に入射される。これにより、光学的なＬＰＦと同等の効果が得られる。すなわち、何れのカラーフィルタ（画素ＰＩＸ）に入射された被写体像も、その周辺のカラーフィルタ（画素ＰＩＸ）に必ず入射されるため、恰も光学的なＬＰＦを被写体像が通過したときと同等の効果（偽色等のモアレの軽減）が得られる。

なお、ユーザは、操作部１０２を操作することにより、像振れ補正駆動、ＬＰＦ駆動のそれぞれのオン／オフを切り替えることができる。

［偽色の検出に関する説明］
次に、本実施形態において撮影画像内に発生する、モアレの一種である偽色を検出する方法について説明する。図５は、システムコントローラ１００により実行される偽色検出フローを示す。図５に示される偽色検出フローは、例えば、レリーズスイッチが押された時点で開始される。

［図５のＳ１１（状態の判定）］
本処理ステップＳ１１では、撮影装置１が静止状態であるか否かが判定される。例示的には、ジャイロセンサ１２８より入力される振れ検出信号のうち一定周波数以上の信号成分の振幅が一定期間継続してある閾値以内に収まる場合に静止状態と判定される。撮影装置１の静止状態として、典型的には、撮影装置１が三脚に固定された状態が挙げられる。なお、静止状態を含めた撮影装置１の姿勢はジャイロセンサ１２８に代えて、加速度センサ１３０、地磁気センサ１３２、ＧＰＳセンサ１３４など、他のセンサより出力される情報を用いて検出されてもよい。また、検出精度を向上させるため、例えばセンサ・フュージョン技術を適用し、これらのセンサより出力される情報が複合的に用いられるようにしてもよい。

撮影装置１が低速シャッタスピード設定下の手持ち撮影状態など、静止状態にない場合は、手振れ（あるいは被写体ぶれ）による被写体のボケに起因して偽色がそもそも発生し難い。従って、本実施形態では、撮影装置１が静止状態である（すなわち、偽色が発生しやすい状態である）と判定された場合に限り（Ｓ１１：ＹＥＳ）、撮影画像内の偽色を検出すべく、処理ステップＳ１２（第一画像の撮影）以降が実行される。撮影装置１が静止状態にない場合は、処理ステップＳ１２（第一画像の撮影）以降が実行されないため、システムコントローラ１００の処理負荷が軽減される。処理ステップＳ１２（第一画像の撮影）以降が実行されない旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。なお、撮影画像内の偽色の検出を重視したい場合は、撮影装置１が静止状態であるか否かに拘わらず処理ステップＳ１２（第一画像の撮影）以降が実行されてもよい。この場合、処理ステップＳ１２（第一画像の撮影）以降が実行される旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。また、静止状態の判定閾値は撮影装置１に設定されたシャッタスピードに応じて変更されてもよい。

［図５のＳ１２（第一画像の撮影）］
図６（ａ）、図７（ａ）は、撮影される被写体の一部であって、それぞれ異なる部分を拡大して示す図である。図６（ａ）に示される被写体は、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同ピッチで明暗が交互に現れる斜め縞模様であり、図７（ａ）に示される被写体は、画素ピッチＰと同ピッチで明暗が交互に現れる縦縞模様である。説明の便宜上、図６（ａ）に示される被写体のうち太実線で囲まれた６×６マスの被写体を「斜め縞被写体６ａ」と記し、図７（ａ）に示される被写体のうち太実線で囲まれた６×６マスの被写体を「縦縞被写体７ａ」と記す。

本処理ステップＳ１２では、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで被写体画像（第一画像）が撮影される。ここでは、斜め縞被写体６ａと縦縞被写体７ａの何れにもピントが合っているものとする。

図６（ｂ）、図７（ｂ）はそれぞれ、固体撮像素子１１２ａの各画素ＰＩＸの取り込まれる斜め縞被写体６ａ、縦縞被写体７ａを模式的に示す図であり、固体撮像素子１１２ａの受光面１１２ａａを被写体側から正面視した図である。図６（ｂ）及び図７（ｂ）では、図４と同様に、各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。図６（ｂ）、図７（ｂ）の各図中、黒塗りの画素ＰＩＸは、縞模様の暗部分を取り込んだことを示し、白塗りの画素ＰＩＸは、縞模様の明部分を取り込んだことを示す。また、説明の便宜上、図６（ｂ）、図７（ｂ）の各図に画素のアドレス（数字１〜８、符号イ〜チ）を付す。なお、厳密には、撮影レンズ１０６の結像作用によって、被写体は上下左右が反転した状態で固体撮像素子１１２ａ上に結像される。一例として、「斜め縞被写体６ａ」の左上角の部分は、固体撮像素子１１２ａ上では右下角の部分として結像する。しかし、本実施形態では、説明の煩雑化を避けるため、「斜め縞被写体６ａ」の左上角の部分は、図６（ｂ）の左上角の部分に対応するものとして説明する。

［図５のＳ１３（固体撮像素子１１２ａのシフト）］
本処理ステップＳ１３では、可動ステージ１１２ｃが駆動されて、固体撮像素子１１２ａが１画素分の距離だけ右方向（図６のＸ軸の矢じり側の方向）にシフトされる。

［図５のＳ１４（第二画像の撮影）］
本処理ステップＳ１４においても、第一画像撮影時のＡＥ制御及びＡＦ制御に基づいて被写体画像（第二画像）が撮影される。第二画像の撮影完了後、第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知されてもよい。

図６（ｃ）、図７（ｃ）はそれぞれ、図６（ｂ）、図７（ｂ）と同様の図であり、固体撮像素子１１２ａの各画素ＰＩＸの取り込まれる斜め縞被写体６ａ、縦縞被写体７ａを模式的に示す。図６、図７の各図（ｂ）、（ｃ）に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置は、処理ステップＳ１３（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量に応じて（受光面１１２ａａ上で左方向に１画素分の距離だけ）シフトする。

附言するに、本処理ステップＳ１４における撮影条件は、処理ステップＳ１２（第一画像の撮影）における撮影時に対して、固体撮像素子１１２ａが１画素分の距離だけ右方向にシフトされた点以外は同一である。そのため、第二画像は、実質的に、第一画像に対して１画素分右方向にシフトした範囲を撮影したものとなっている。図６、図７の各図（ｂ）、（ｃ）から判るように、第二画像において、被写体は、第一画像に対して全体的に１画素分の距離だけ左方向にシフトした位置に写る。

処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の何れの画像信号も、上述した信号処理（クランプ、デモザイク、マトリクス演算、Ｙ／Ｃ分離、ホワイトバランス等）が施されて、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換される。以下、説明の便宜上、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の色差信号（Ｃｂ、Ｃｒ）を「第一色差信号」と記し、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の色差信号（Ｃｂ、Ｃｒ）を「第二色差信号」と記す。また、「注目画素」とは、少なくともデモザイク処理された後の各画像の画素を指すものとする。

［図５のＳ１５（電気的なＬＰＦ処理）］
本実施形態では、詳しくは後述するが、第一色差信号と第二色差信号との信号差分値や信号加算値に基づいて偽色の発生が検出される。しかし、コントラストの高いエッジ部分では、偽色が発生していなくても、第一色差信号と第二色差信号との信号差分値が大きくなることがある。この場合、エッジ部分において偽色が発生していると誤検出される虞がある。また、詳しくは後述するが、信号差分値や信号加算値の演算に用いられる第一色差信号と第二色差信号は、同一の被写体像を写す画素の色差信号ではあるが、処理ステップＳ１３（固体撮像素子１１２ａのシフト）にて固体撮像素子１１２ａがシフトされたことが原因で、それぞれ、アドレスが異なる画素を用いてデモザイク処理されている。そのため、第一色差信号と第二色差信号は、同一の被写体像を写す画素の色差信号であるにも拘わらず色情報が極僅かに異なる場合がある。そこで、本処理ステップＳ１５では、画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）に対してＬＰＦ処理が施される。ＬＰＦ処理によって画像がぼかされることで、エッジ部分における偽色の誤検出が抑えられると共に第一色差信号と第二色差信号との色情報の誤差が抑えられる。

［図５のＳ１６（アドレスの変換）］
本実施形態では、撮影画像内において偽色が発生する偽色発生領域が画素単位で検出される。この場合、偽色の検出精度を向上させるため、同一の被写体像が入射される注目画素同士で信号差分値や信号加算値を演算することが望ましい。そこで、本処理ステップＳ１６では、同一の被写体像が同一アドレスの画素に入射されたものとして処理されるように、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像を構成する各画素のアドレスが、処理ステップＳ１３（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量（換言すると、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置のシフト量）に応じて変換される。

一例として、図６（ｃ）の画素ＰＩＸｂのアドレス（ハ，２）は、被写体像の入射位置のシフト量に応じて右方向に１画素シフトしたときに位置する画素、すなわち、画素ＰＩＸｂと同一の被写体像を取り込む画素ＰＩＸａ（図６（ｂ）参照）と同一のアドレス（ニ，２）に変換される。

［図５のＳ１７（色差信号の差分値の演算）］
斜め縞被写体６ａ及び縦縞被写体７ａは、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同ピッチの高周波成分を含む。そのため、斜め縞被写体６ａ及び縦縞被写体７ａの画像信号が処理ステップＳ１２（第一画像の撮影）、処理ステップＳ１４（第二画像の撮影）においてデモザイク処理されると、偽色が発生する。

具体的には、図６（ｂ）の例では、Ｇ成分の画素ＰＩＸの輝度が高く、Ｒ及びＢ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＧ成分が支配的となって、斜め縞被写体６ａに緑色の偽色が発生する。一方、図６（ｃ）の例では、図６（ｂ）の例とは反対に、Ｒ及びＢ成分の画素ＰＩＸの輝度が高く、Ｇ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲ及びＢ成分が支配的となって、斜め縞被写体６ａに紫色の偽色が発生する。

また、図７（ｂ）の例では、Ｂ成分の画素ＰＩＸの輝度が高く、Ｒ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＢとＧとの混色成分となって、青と緑との中間色（例えばシアン色中心の近傍色）の偽色が発生する。一方、図７（ｃ）の例では、図７（ｂ）の例とは反対に、Ｒ成分の画素ＰＩＸの輝度が高く、Ｂ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲとＧとの混色成分となって、赤と緑の中間色（橙色中心の近傍色）の偽色が発生する。

図８は、Ｃｂ、Ｃｒの二軸で定義される色空間を示す。図８中、符号６ｂは、図６（ｂ）の例において注目画素で発生する緑色の偽色に対応するプロットであり、符号６ｃは、図６（ｃ）の例において注目画素で発生する紫色の偽色に対応するプロットであり、符号７ｂは、図７（ｂ）の例において注目画素で発生する青と緑との中間色の偽色に対応するプロットであり、符号７ｃは、図７（ｃ）の例において注目画素で発生する赤と緑の中間色の偽色に対応するプロットである。下記は、各プロットの座標情報を示す。なお、原点Ｏは座標（０,０）である。
プロット６ｂ：（Ｃｂ，Ｃｒ）＝（−Ｍ，−Ｎ）
プロット６ｃ：（Ｃｂ，Ｃｒ）＝（Ｍ，Ｎ）
プロット７ｂ：（Ｃｂ，Ｃｒ）＝（Ｍ’，−Ｎ’）
プロット７ｃ：（Ｃｂ，Ｃｒ）＝（−Ｍ’＋α，Ｎ’＋β）
但し、Ｍ，Ｎ，Ｍ’，Ｎ’，α，βは何れも正数である。

図８に示されるように、本実施形態では、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同程度の高周波成分の被写体像を取り込んだときに発生する偽色の色自体が、受光面１１２ａａ上での被写体像の入射位置をシフトさせることによって変化することを利用して偽色が発生する箇所（注目画素）を検出している。より詳細には、高周波成分の被写体像が取り込まれる注目画素において、第一色差信号と第二色差信号が持つ色情報が互いに補色の関係となる部分を、偽色が発生する部分であると判断し検出している。

本実施形態では、上記の補色関係を得るべく、受光面１１２ａａ上での被写体像の入射位置が左方向（水平の画素の並び方向）に１画素分シフト（固体撮像素子１１２ａが被写体像に対して右方向に１画素分シフト）されているが、本発明はこれに限らない。シフト方向は、例示的には、右方向（水平の画素の並び方向）であってもよく、又は、上方向（垂直な画素の並び方向）、下方向（垂直な画素の並び方向）、右上、右下、左上、左下の各斜め方向（水平、垂直の各並び方向に対して４５度をなす方向）など、画素配置に応じた他の方向であってもよいし、併用してもよい。また、シフト距離は、例示的には、３画素分、５画素分など、他の奇数画素分の距離であってもよく、また、半画素分又は半画素分＋奇数画素分（例えば１．５画素分、２．５画素分等）であってもよく（すなわち、ｎ画素分又は（ｍ＋０．５）画素分（但し、ｎ＝奇数の自然数，ｍ＝０又は奇数の自然数）の何れかであればよく）、シフト駆動する機構の精度に応じて選択できることもできる。また、シフト距離は、撮影対象の被写体や撮影条件によっては、偶数画素分及びその近傍（例えば１．９〜２．１画素分等）以外の距離であればよい。これらの量（方向及び距離）で受光面１１２ａａ上での被写体像の入射位置がシフトされる場合も、高周波成分の被写体像が取り込まれる（偽色が発生する）注目画素において、第一色差信号と第二色差信号が持つ色情報が互いに補色の関係となることから、偽色の発生が検出できる。

本処理ステップＳ１７では、処理ステップＳ１６（アドレスの変換）におけるアドレス変換後において（以下、同様）、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が演算される。具体的には、本処理ステップＳ１７では、第一色差信号のＣｂ、ＣｒをそれぞれＣｂ１、Ｃｒ１と定義し、これと同一アドレスの第二色差信号のＣｂ、ＣｒをそれぞれＣｂ２、Ｃｒ２と定義した場合に、差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が次式により演算される。
Ｃｂ_ｓｕｂ＝Ｃｂ１−Ｃｂ２
Ｃｒ_ｓｕｂ＝Ｃｒ１−Ｃｒ２

［図５のＳ１８（第一の距離情報の演算）］
本処理ステップＳ１８では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との色空間内での距離（第一の距離情報Saturation__sub）が次式により演算される。
Saturation__sub＝√（Ｃｂ_ｓｕｂ ^２＋Ｃｒ_ｓｕｂ ^２）

第一の距離情報Saturation__subは、図８の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、２√（Ｍ^２＋Ｎ^２）、√｛（２Ｍ’−α）^２＋（２Ｎ’＋β）^２-｝となる。

図８の各プロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が強い補色関係にあるほど第一の距離情報Saturation__subが大きくなり、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）ほど第一の距離情報Saturation__subが小さくなる。すなわち、第一の距離情報Saturation__subは、偽色発生領域でなければ理想的にはゼロであり、偽色が強く発生する偽色発生領域ほど大きくなる。

［図５のＳ１９（色差信号の加算値の演算）］
本処理ステップＳ１９では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算される。

具体的には、本処理ステップＳ１９では、暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）が次式により演算される。
Ｃｂ_ａｄｄ＝Ｃｂ１＋Ｃｂ２
Ｃｒ_ａｄｄ＝Ｃｒ１＋Ｃｒ２

次いで、暫定加算値の平均値（Ｃｂ_ｍｅａｎ，Ｃｒ_ｍｅａｎ）が次式により演算される。
Ｃｂ_ｍｅａｎ＝Ｃｂ_ａｄｄ／２
Ｃｒ_ｍｅａｎ＝Ｃｒ_ａｄｄ／２

次いで、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が次式により演算される。
Ｃｂ’_ａｄｄ＝Ｃｂ_ａｄｄ−Ｃｂ_ｍｅａｎ
Ｃｒ’_ａｄｄ＝Ｃｒ_ａｄｄ−Ｃｒ_ｍｅａｎ

［図５のＳ２０（第二の距離情報の演算）］
本処理ステップＳ２０では、アドレスが同一の注目画素毎に、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）に基づいて色空間内における第二の距離情報Saturation__addが次式により演算される。
Saturation__add＝√（Ｃｂ’_ａｄｄ ^２＋Ｃｒ’_ａｄｄ ^２）

第二の距離情報Saturation__addは、図８の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、ゼロ、√（α^２＋β^２）となる。

ここで、第一、第二の各色差信号は、画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて変化する。しかし、第一、第二の各色差信号が同じように変化するため、色空間内における互いの相対距離（すなわち、第一の距離情報Saturation__sub）は変化が少ない。

一方、第二の距離情報Saturation__addは、第一、第二の各色差信号が画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて色空間の原点Ｏの位置に対して変化すると、大きく変化する。そこで、処理ステップＳ１９（色差信号の加算値の演算）では、第二の距離情報Saturation__addを暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）を用いて即座には演算せず、上記影響による原点Ｏに対する位置の変化を相殺又は軽減すべく（上記影響により、原点Ｏから離れた第一色差信号と第二色差信号との中点を原点Ｏに近付けるべく）、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算されている。

図８の各プロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が補色関係にある場合は、互いの符号が逆となることから加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が小さくなって、第二の距離情報Saturation__addが小さくなる。また、強い補色関係であるほど第二の距離情報Saturation__addが小さくなって、理想的にはゼロとなる。一方、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）場合は、互いの符号が同一となることから、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が大きくなって、第二の距離情報Saturation__addが大きくなる。すなわち、第二の距離情報Saturation__addは、偽色発生領域でなければ大きくなり、偽色発生領域であれば小さくなる。

［図５のＳ２１（輝度信号の差分値の演算）］
説明の便宜上、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の輝度信号Ｙを「第一輝度信号」と記し、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の輝度信号Ｙを「第二輝度信号」と記す。本処理ステップＳ２１では、アドレスが同一の注目画素毎に、第一輝度信号と第二輝度信号との差分値Ｙ_ｄｉｆｆが演算される。具体的には、本処理ステップＳ２１では、第一輝度信号をＹ１と定義し、第二輝度信号をＹ２と定義した場合に、差分値Ｙ_ｄｉｆｆが次式により演算される。
Ｙ_ｄｉｆｆ＝｜Ｙ１−Ｙ２｜

［図５のＳ２２（偽色発生領域の判定）］
本処理ステップＳ２２では、アドレスが同一の注目画素毎に、偽色発生領域であるか否かが判定される。具体的には、次の条件（１）〜（３）が全て満たされる場合に、当該画素が偽色発生領域であると判定される。

・条件（１）
上述したように、第一の距離情報Saturation__subが大きいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該注目画素が偽色発生領域である可能性が高い。そこで、条件（１）は次のように規定される。
条件（１）：Saturation__sub≧閾値Ｔ１

・条件（２）
上述したように、第二の距離情報Saturation__addが小さいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該注目画素が偽色発生領域である可能性が高い。そこで、条件（２）は次のように規定される。
条件（２）：Saturation__add≦閾値Ｔ２

処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の一方だけで大きな像振れが発生した場合を考える。この場合、第一色差信号と第二色差信号との差分が大きくなって、偽色が誤検出される虞がある。そこで、条件（３）は次のように規定される。
条件（３）：Ｙ_ｄｉｆｆ≦閾値Ｔ３

すなわち、差分値Ｙ_ｄｉｆｆが閾値Ｔ３よりも大きい場合は、上記の誤検出の虞があることから、当該注目画素に対する偽色の検出が行われない（当該注目画素が偽色発生領域でないものとして処理される。）。

なお、条件（１）と条件（２）は、当該注目画素が偽色発生領域であるか否かを直接的に判定する条件となっている。そこで、別の実施形態では、条件（１）と条件（２）の少なくとも一方が満たされる場合に、当該注目画素が偽色発生領域であると判定されるようにしてもよい。

また、ユーザは、操作部１０２を操作して閾値Ｔ１〜Ｔ３を設定変更することにより、偽色の検出感度を変更することができる。

［図５のＳ２３（偽色の検出）］
本処理ステップＳ２３では、偽色の有無が検出される。例示的には、処理ステップＳ２２（偽色発生領域の判定）において偽色発生領域と判定された注目画素数（又は全有効画素数のうち偽色発生領域と判定された注目画素の割合）が所定の閾値以上である場合に、偽色有りという検出結果となり（Ｓ２３：ＹＥＳ）、該注目画素数（又は割合）が所定の閾値未満である場合に、偽色無しという検出結果となる（Ｓ２３：ＮＯ）。

［図５のＳ２４（撮影画像の保存）］
本処理ステップＳ２４は、処理ステップＳ２３（偽色の検出）にて偽色無しという検出結果が得られた場合（Ｓ２３：ＮＯ）に実行される。本処理ステップＳ２４では、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像及び処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像について偽色が検出されなかったとして、その少なくとも一方がメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。この時点で撮影動作が完了した旨が撮影者に告知されてもよい。特に、処理ステップＳ１４（第二画像の撮影）で第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知されている場合には、撮影動作が完了したことが撮影者に伝わる。これにより、撮影者は次の作業、例えば撮影装置１の状態（セッティング）の変更に進むことができる。

［図５のＳ２５（ＬＰＦ駆動下での撮像）］
本処理ステップＳ２５は、処理ステップＳ２３（偽色の検出）にて偽色有りという検出結果が得られた場合（Ｓ２３：ＹＥＳ）に実行される。本処理ステップＳ２５では、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像及び処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像について偽色が検出されたことから、ＬＰＦ駆動が実行される。既にＬＰＦ駆動下での撮像が行われていた場合は、より強い光学的なＬＰＦ効果（偽色等のモアレの軽減）が得られるように、固体撮像素子１１２ａの駆動周期（回転周期）や駆動振幅（回転半径）が調整される。すなわち、偽色を軽減するためのより有利な撮影条件に変更される。そのうえで、被写体の撮像（第三画像の撮影）が行われる。つまり、偽色が検出された場合には第三画像の撮影が行われる。そのため、処理ステップＳ１４（第二画像の撮影）にて偽色検出処理を開始する旨が撮影者に告知されている場合、撮影者は第三画像の撮影が完了するまで、撮影装置１の状態（セッティング）を維持することができる。

本実施形態によれば、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置をシフトさせることにより、画素ピッチＰと同程度以上の高周波成分の被写体像が取り込まれた場合に、異なる偽色（互いに補色の関係となる偽色）が発生し、差分の大きい画像が生成される構成となっている。本実施形態によれば、偽色の検出に差分の大きい画像が用いられることから、偽色が精度良く検出される。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の実施形態では、ＬＰＦ駆動を実行することにより、画像全体に対して光学的に偽色の除去を施しているが、本発明はこれに限らない。偽色は、画像処理を用いて除去されてもよい。画像処理の場合は、偽色を画像全体に限らず局所的に（例えば偽色発生領域と判定された注目画素毎に）除去することもできる。また、偽色発生領域を示す情報を第一画像（第二画像）と関連付けて保存しておけば、仮に別端末（コンピューターなど）によって手作業で偽色補正をする場合でも、作業者は、当該情報に基づいて偽色発生領域を容易に発見することができる。そのため、画像全体から偽色発生領域を探す手間が軽減される。

また、上記の実施形態では、固体撮像素子１１２ａ自体をシフトさせることにより、受光面１１２ａａ上での被写体像の入射位置をシフトさせているが、本発明はこれに限らない。例えば、別の振れ補正部材（撮影レンズ１０６内に含まれる一部のレンズなど）を偏心駆動させることにより、受光面１１２ａａ上での被写体像の入射位置をシフトさせてもよく、また、撮影レンズ１０６の光路内に光軸ＡＸに対して垂直よりやや傾けて配置された平行平板を光軸ＡＸ周りに回転させたり、頂角可変プリズム、固体撮像素子１１２ａのカバーガラス（カバーガラスに付着した塵等を除去するための加振機能を備えたもの）等を駆動させたりすることにより、受光面１１２ａａ上での被写体像の入射位置をシフトさせてもよい。

また、上記の実施形態では、処理ステップＳ２２（偽色発生領域の判定）において、閾値Ｔ１〜Ｔ３が各画素に対する全ての判定において不変であるが、本発明はこれに限らない。

例えば、システムコントローラ１００によってＡＦ制御が行われることにより、画像内でピントが合っているとみなせる範囲（合焦エリアであり、例示的には被写界深度に収まる範囲）が求まる。合焦エリア（合焦状態）の被写体はコントラストが高く、高周波成分を含みやすいため、偽色が発生しやすい。一方、合焦エリア外（非合焦状態）の被写体はコントラストが低く、高周波成分を含み難いため、偽色が発生し難い。そこで、処理ステップＳ２２（偽色発生領域の判定）では、演算によって求まった合焦エリア内の画素に対する判定を行う場合と合焦エリア外の画素に対する判定を行う場合とで、閾値Ｔ１〜Ｔ３が異なる値に変更されてもよい。例示的には、合焦エリア内の画素では偽色が発生している（目立つ）可能性が高いことから、検出感度が高くなるような閾値設定（例えば閾値Ｔ１を低い値に設定）を行い、それ以外の画素では偽色が発生している可能性が低い（目立たない）ことから、検出感度が低くなるような閾値設定（例えば閾値Ｔ１を高い値に設定）を行うか、偽色検出の処理自体が省略される。これにより、偽色の検出精度がより一層向上したり、検出速度が向上したりする。

また、上記の実施形態では、一対の画像（処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像）を用いて偽色の検出が行われているが、別の実施形態では、３枚以上の画像を用いて偽色の検出が行われてもよい。

例えば、縦縞被写体７ａに対しては、上記の実施形態のように、処理ステップＳ１３（固体撮像素子１１２ａのシフト）にて固体撮像素子１１２ａを縞の明暗方向（左方向）にシフトさせることにより、補色の関係となる偽色画像が得られやすい。しかし、縦縞被写体７ａに対して固体撮像素子１１２ａを上、下又は斜め方向にシフトさせた場合は、輝度の高い色成分が固体撮像素子１１２ａのシフトの前後で変わり難くなり、補色の関係となる偽色画像が得られ難くなる。そこで、偽色検出の精度をより一層向上させる（別の観点では、検出漏れを防ぐ）ため、図９に示される偽色検出フローが考えられる。図９の偽色検出フローの説明において、図５の偽色検出フローと同様の処理については、適宜簡略又は省略する。

［図９のＳ１１１（状態の判定）］
本処理ステップＳ１１１では、撮影装置１が静止状態であるか否かが判定される。

［図９のＳ１１２（第一画像の撮影）］
本処理ステップＳ１１２は、処理ステップＳ１１１（状態の判定）にて撮影装置１が静止状態であると判定された場合（Ｓ１１１：ＹＥＳ）に実行される。本処理ステップＳ１１２では、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで被写体画像（第一画像）が撮影される。

［図９のＳ１１３（固体撮像素子１１２ａのシフト）］
本処理ステップＳ１１３では、可動ステージ１１２ｃが駆動されて、固体撮像素子１１２ａが１画素分の距離だけ右方向にシフトされる。

［図９のＳ１１４（第二画像の撮影）］
本処理ステップＳ１１４では、第一画像撮影時のＡＥ制御及びＡＦ制御に基づいて被写体画像（第二画像）が撮影される。

［図９のＳ１１５（固体撮像素子１１２ａのシフト）］
本処理ステップＳ１１５では、固体撮像素子１１２ａが処理ステップＳ１１２（第一画像の撮影）での第一画像撮影時の位置に対して、１画素分の距離だけ上方向にシフトされる。

［図９のＳ１１６（第三画像の撮影）］
本処理ステップＳ１１６では、第一画像撮影時のＡＥ制御及びＡＦ制御に基づいて被写体画像（第三画像）が撮影される。

［図９のＳ１１７（固体撮像素子１１２ａのシフト）］
本処理ステップＳ１１７では、固体撮像素子１１２ａが処理ステップＳ１１２（第一画像の撮影）での第一画像撮影時の位置に対して、１画素分の距離だけ斜め左下方向にシフトされる。

［図９のＳ１１８（第四画像の撮影）］
本処理ステップＳ１１８では、第一画像撮影時のＡＥ制御及びＡＦ制御に基づいて適被写体画像（第四画像）が撮影される。

［図９のＳ１１９（電気的なＬＰＦ処理）］
本処理ステップＳ１１９では、偽色の誤検出等を抑えるべく、画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）に対してＬＰＦ処理が施される。

［図９のＳ１２０（アドレスの変換）］
本処理ステップＳ１２０では、処理ステップＳ１１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１１４（第二画像の撮影）にて撮影された第二画像について、同一の被写体像が同一アドレスの画素に入射されたものとして処理されるように、第二画像を構成する各画素のアドレスが、処理ステップＳ１１３（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量（換言すると、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置のシフト量）に応じて変換される。

また、本処理ステップＳ１２０では、処理ステップＳ１１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１１６（第三画像の撮影）にて撮影された第三画像について、同一の被写体像が同一アドレスの画素に入射されたものとして処理されるように、第三画像を構成する各画素のアドレスが、処理ステップＳ１１５（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量（換言すると、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置のシフト量）に応じて変換される。

また、本処理ステップＳ１２０では、処理ステップＳ１１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１１８（第四画像の撮影）にて撮影された第四画像について、同一の被写体像が同一アドレスの画素に入射されたものとして処理されるように、第四画像を構成する各画素のアドレスが、処理ステップＳ１１７（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量（換言すると、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置のシフト量）に応じて変換される。

［図９のＳ１２１（色差信号の差分値の演算）］
説明の便宜上、処理ステップＳ１１２（第一画像の撮影）にて撮影された第一画像の色差信号（Ｃｂ、Ｃｒ）を「第一色差信号」と記し、処理ステップＳ１１４（第二画像の撮影）にて撮影された第二画像の色差信号（Ｃｂ、Ｃｒ）を「第二色差信号」と記し、処理ステップＳ１１６（第三画像の撮影）にて撮影された第三画像の色差信号（Ｃｂ、Ｃｒ）を「第三色差信号」と記し、処理ステップＳ１１８（第四画像の撮影）にて撮影された第四画像の色差信号（Ｃｂ、Ｃｒ）を「第四色差信号」と記す。本処理ステップＳ１２１では、アドレスが同一の画素毎に、第一色差信号と第二色差信号、第一色差信号と第三色差信号、第一色差信号と第四色差信号のそれぞれについて、差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が演算される。

［図９のＳ１２２（第一の距離情報の演算）］
本処理ステップＳ１２２では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号、第一色差信号と第三色差信号、第一色差信号と第四色差信号のそれぞれについて、第一の距離情報Saturation__subが演算される。

［図９のＳ１２３（色差信号の加算値の演算）］
本処理ステップＳ１２３では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号、第一色差信号と第三色差信号、第一色差信号と第四色差信号のそれぞれについて、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算される。

［図９のＳ１２４（第二の距離情報の演算）］
本処理ステップＳ１２４では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号、第一色差信号と第三色差信号、第一色差信号と第四色差信号のそれぞれについて、第二の距離情報Saturation__addが演算される。

［図９のＳ１２５（輝度信号の差分値の演算）］
説明の便宜上、処理ステップＳ１１２（第一画像の撮影）にて撮影された第一画像の輝度信号Ｙを「第一輝度信号」と記し、処理ステップＳ１１４（第二画像の撮影）にて撮影された第二画像の輝度信号Ｙを「第二輝度信号」と記し、処理ステップＳ１１６（第三画像の撮影）にて撮影された第三画像の輝度信号Ｙを「第三輝度信号」と記し、処理ステップＳ１１８（第四画像の撮影）にて撮影された第四画像の輝度信号Ｙを「第四輝度信号」と記す。本処理ステップＳ１２４では、アドレスが同一の注目画素毎に、第一輝度信号と第二輝度信号、第一輝度信号と第三輝度信号、第一輝度信号と第四輝度信号のそれぞれについて、差分値Ｙ_ｄｉｆｆが演算される。

［図９のＳ１２６（偽色発生領域の判定）］
本処理ステップＳ１２６では、アドレスが同一の注目画素毎に、偽色発生領域であるか否かが判定される。具体的には、次の条件（１’）〜（３’）のうち少なくとも１つが満たされる場合に、当該画素が偽色発生領域であると判定される。

・条件（１’）
第一色差信号と第二色差信号における（各撮影時で固体撮像素子１１２ａが左右方向に一画素ずれた位置関係となる場合の）第一の距離情報Saturation__subが閾値Ｔ１’以上であり、且つ第二の距離情報Saturation__addが閾値Ｔ２’以下であり、且つ差分値Ｙ_ｄｉｆｆが閾値Ｔ３’以下であること。

・条件（２’）
第一色差信号と第三色差信号における（各撮影時で固体撮像素子１１２ａが上下方向に一画素ずれた位置関係となる場合の）第一の距離情報Saturation__subが閾値Ｔ１’以上であり、且つ第二の距離情報Saturation__addが閾値Ｔ２’以下であり、且つ差分値Ｙ_ｄｉｆｆが閾値Ｔ３’以下であること。

・条件（３’）
第一色差信号と第四色差信号における（各撮影時で固体撮像素子１１２ａが斜め方向に一画素ずれた位置関係となる場合の）第一の距離情報Saturation__subが閾値Ｔ１’以上であり、且つ第二の距離情報Saturation__addが閾値Ｔ２’以下であり、且つ差分値Ｙ_ｄｉｆｆが閾値Ｔ３’以下であること。

［図９のＳ１２７（偽色の検出）］
本処理ステップＳ１２７では、偽色の有無が検出される。

［図９のＳ１２８（撮影画像の保存）］
本処理ステップＳ１２８は、処理ステップＳ１２７（偽色の検出）にて偽色無しという検出結果が得られた場合（Ｓ１２７：ＮＯ）に実行される。本処理ステップＳ１２８では、処理ステップＳ１１２（第一画像の撮影）にて撮影された第一画像、処理ステップＳ１１４（第二画像の撮影）にて撮影された第二画像、処理ステップＳ１１６（第三画像の撮影）にて撮影された第三画像及び処理ステップＳ１１８（第四画像の撮影）にて撮影された第四画像について偽色が検出されなかったとして、その少なくとも１つがメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。

［図９のＳ１２９（ＬＰＦ駆動下での撮像）］
本処理ステップＳ１２９は、処理ステップＳ１２７（偽色の検出）にて偽色有りという検出結果が得られた場合（Ｓ１２７：ＹＥＳ）に実行される。本処理ステップＳ１２９では、処理ステップＳ１１２（第一画像の撮影）にて撮影された第一画像、処理ステップＳ１１４（第二画像の撮影）にて撮影された第二画像、処理ステップＳ１１６（第三画像の撮影）にて撮影された第三画像及び処理ステップＳ１１８（第四画像の撮影）にて撮影された第四画像の少なくとも１つから偽色が検出されたことから、ＬＰＦ駆動が実行されて、被写体の撮像が行われる。

図９の偽色検出フローによれば、固体撮像素子１１２ａをそれぞれ異なる方向にシフトさせたときの画像の変化（偽色の発生）が判定されるため、被写体内において高周波成分が現れる領域では、少なくとも一対の画像間での変化が大きくなる。そのため、被写体内における高周波成分の出現方向（縦縞被写体７ａであれば明暗が交互する左右方向）に拘わらず、偽色が精度良く検出される。

１ 撮影装置
１００ システムコントローラ
１０２ 操作部
１０４ 駆動回路
１０６ 撮影レンズ
１０８ 絞り
１１０ シャッタ
１１２ 像振れ補正装置
１１２ａ 固体撮像素子
１１２ａａ （固体撮像素子の）受光面
１１２ｂ 固定支持基板
１１２ｃ 可動ステージ
１１４ 信号処理回路
１１６ 画像処理エンジン
１１８ バッファメモリ
１２０ カード用インタフェース
１２２ ＬＣＤ制御回路
１２４ ＬＣＤ
１２６ ＲＯＭ
１２８ ジャイロセンサ
１３０ 加速度センサ
１３２ 地磁気センサ
１３４ ＧＰＳセンサ
２００ メモリカード
Ｃ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ 駆動用コイル
Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵ ホール素子
Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵ 磁石
ＰＩＸ 画素
ＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ ボイスコイルモータ
Ｙ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵ ヨーク

Claims (12)

1. 撮影光学系を介して、所定の画素配置を有する撮像素子に入射される被写体像と、該撮像素子とを、該撮像素子の受光面方向に相対的に位置移動させる移動手段と、
   前記相対的な位置が異なる状態で前記被写体像を撮像して色差信号を生成する信号生成手段と、
   前記色差信号に基づいて撮影画像内に発生する画像劣化の検出を行う検出手段と、
   を備える、
   画像検出装置。
2. 透過波長選択素子付きの撮像素子の画素配置に基づいて撮影光学系内の一部の光学素子と該撮像素子の少なくとも一方を物理的に動かすことにより、該撮像素子の受光面上での被写体像の位置を移動させる移動手段と、
   前記被写体像の位置が移動される毎に、前記撮像素子に取り込まれた被写体像を撮像し、色補間処理を含む所定の信号処理を施して色差信号を生成する信号生成手段と、
   前記撮像素子の受光面上での被写体像の位置が互いに異なる少なくとも一対の色差信号に基づいて撮影画像内に発生する画像劣化の検出を行う検出手段と、
   を備える、
   画像検出装置。
3. 前記移動手段は、
   前記少なくとも一対の色差信号が持つ色情報が、画像劣化が発生する発生領域で互いに補色の関係となるように、前記撮像素子の受光面上での被写体像の位置を画素間隔に応じた量だけ移動させる、
   請求項２に記載の画像検出装置。
4. 前記移動手段は、
   前記撮像素子の受光面上での被写体像の位置を前記画素配置に応じた方向にｎ画素分又は（ｍ＋０．５）画素分（但し、ｎ＝奇数の自然数，ｍ＝０又は奇数の自然数）の距離だけ移動させる、
   請求項３に記載の画像検出装置。
5. 前記検出手段は、
   前記撮像素子の受光面上での被写体像の位置が互いに異なる少なくとも一対の撮影画像について、同一の被写体像が同一アドレスの画素に入射されたものとして処理されるように、一方の撮影画像を構成する各画素のアドレスを前記被写体像の位置の移動量に応じて変換し、
   前記アドレスが変換された一方の撮影画像の色差信号及び他方の撮影画像の色差信号に基づいて画像劣化の検出を画素毎に行う、
   請求項２から請求項４の何れか一項に記載の画像検出装置。
6. 前記検出手段は、
   前記少なくとも一対の色差信号の差分値と加算値の少なくとも一方を演算し、
   演算結果に基づいて画像劣化の検出を行う、
   請求項２から請求項５の何れか一項に記載の画像検出装置。
7. 前記検出手段は、
   前記少なくとも一対の色差信号の差分値を画素毎に演算し、
   演算された差分値が第一の閾値以上となる画素を画像劣化が発生する発生領域の画素として検出する、
   請求項５に記載の画像検出装置。
8. 前記検出手段は、
   前記少なくとも一対の色差信号の加算値を画素毎に演算し、
   演算された加算値が第二の閾値以下となる画素を画像劣化が発生する発生領域の画素として検出する、
   請求項５に記載の画像検出装置。
9. 前記信号生成手段は、
   前記所定の信号処理を施すことにより、前記色差信号と組になる輝度信号を生成し、
   前記検出手段は、
   前記少なくとも一対の輝度信号にも基づいて画像劣化の検出を行う、
   請求項６から請求項８の何れか一項に記載の画像検出装置。
10. 請求項１から請求項９の何れか一項に記載の画像検出装置を有する撮影装置であって、
    前記撮影装置が静止状態であるか否かを判定する静止状態判定手段
    を備え、
    前記静止状態判定手段により前記撮影装置が静止状態であると判定すると、前記画像検出装置による画像劣化の検出を行う、
    撮影装置。
11. 請求項１から請求項９の何れか一項に記載の画像検出装置を有する撮影装置又は請求項１０に記載の撮影装置であって、
    前記撮影装置の振れを検出する振れ検出手段
    を備え、
    前記移動手段は、
    前記振れ検出手段により検出された撮影装置の振れに基づいて前記撮影光学系内の一部の光学素子と前記撮像素子の少なくとも一方を物理的に動かすことにより、該撮影装置の振れに起因する像振れを補正する、
    撮影装置。
12. 透過波長選択素子付きの撮像素子の画素配置に基づいて撮影光学系内の一部の光学素子と該撮像素子の少なくとも一方を物理的に動かすことにより、該撮像素子の受光面上での被写体像の位置を移動させるステップと、
    前記被写体像の位置が移動される毎に、前記撮像素子に取り込まれた被写体像を撮像し、色補間処理を含む所定の信号処理を施して色差信号を生成するステップと、
    前記撮像素子の受光面上での被写体像の位置が互いに異なる少なくとも一対の色差信号に基づいて撮影画像内に発生する画像劣化の検出を行うステップと、
    を含む、
    画像検出方法。

Images