JP2016208064A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】偽色等の画像不良を精度良く検出する。【解決手段】本発明の一実施形態に係る撮像装置は、撮像装置は、固体撮像素子と、固体撮像素子の受光面と被写体像とを相対的に移動させる移動手段と、移動手段による移動前に撮像された第一画像と移動後に撮像された第二画像とで色が変化した色変化領域を検出する色変化領域検出手段と、色変化領域の形態に基づいて、色変化領域の中から画像不良領域を検出する画像不良領域検出手段と、を備える。【選択図】図１２

Description

本発明は、撮像装置及び撮像方法に関する。

撮像素子の画素ピッチと同程度以上の高周波成分を含む被写体を撮像すると、偽色（色モアレ）等のモアレが発生して、撮影画像の画質が劣化することが知られている。そこで、この種の偽色を除去するための種々の技術が提案されている。例えば特許文献１には、撮影画像内に発生する偽色を検出可能な撮影装置の具体的な構成が記載されている。

特許文献１に記載の撮影装置は、合焦状態の被写体を撮像し、次いで、非合焦状態の被写体を撮像する。非合焦状態の撮影画像では、被写体のコントラストが低下して高周波成分が低減されるため、合焦状態の撮影画像に発生していた偽色も低減される。そこで、特許文献１に記載の撮影装置は、画像を横ｎ画素×縦ｎ画素から構成される複数のブロックに分割し、合焦状態の撮影画像と非合焦状態の撮影画像との色差信号の値の差分値をブロック毎に演算し、差分値の大きいブロックを偽色が発生しているブロックとして検出する。

すなわち、特許文献１に記載の撮影装置では、コントラストが高く偽色が発生している画像と、コントラストが低く偽色の発生が低減された画像との比較処理により、偽色の発生を検出している。

特開２０１１−１０９４９６号公報

しかしながら、特許文献１に記載の撮影装置では、偽色の発生の検出をブロック単位で行うため、偽色の補正もブロック単位で行わざるを得ない。その結果、ブロック内の偽色が発生していない画素まで（不適切に）補正されるため、補正を受けるブロック全体としては却って画質が低下してしまうという問題があった。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、補正すべき画像不良を精度良く検出することが可能な撮像装置及び撮像方法を提供することである。

本発明の一実施形態に係る撮像装置は、固体撮像素子と、固体撮像素子の受光面と被写体像とを相対的に移動させる移動手段と、移動手段による移動前に撮像された第一画像と移動後に撮像された第二画像とで色が変化した色変化領域を検出する色変化領域検出手段と、色変化領域の形態に基づいて、色変化領域の中から画像不良領域を検出する画像不良領域検出手段と、を備える。

上記の撮像装置において、画像不良領域検出手段が、色変化領域の形態に基づいて、色変化領域の中から狭小領域を検出する狭小領域検出手段を備え、狭小領域を除く色変化領域を画像不良領域として検出する構成としてもよい。

上記の撮像装置において、狭小領域検出手段が、以下に掲げる色変化領域の形態に関する属性ａから属性ｇの少なくとも一つに基づいて、狭小領域を検出する構成としてもよい。
ａ）長さ
ｂ）幅
ｃ）長さと幅との比
ｄ）第一画像の縦寸法、横寸法又は総画素数と、色変化領域の長さとの比
ｅ）第一画像の縦寸法、横寸法又は総画素数と、色変化領域の幅との比
ｆ）分布形状
ｇ）連続度

上記の撮像装置において、狭小領域検出手段が、線状に連続的に分布した色変化領域を狭小領域として検出する構成としてもよい。

上記の撮像装置において、狭小領域検出手段が、色変化領域検出手段による検出結果を画像情報化した色変化領域画像情報を生成する色変化領域画像情報生成手段を備える構成としてもよい。

上記の撮像装置において、狭小領域検出手段が、色変化領域画像情報の行の画像情報を所定の周期で間引く行間引き処理を行う行間引き手段と、色変化領域画像情報の列の画像情報を所定の周期で間引く列間引き処理を行う列間引き手段と、を備え、行間引き処理と列間引き処理の少なくともいずれかの結果に基づいて、狭小領域を検出する構成としてもよい。

上記の撮像装置において、狭小領域検出手段が、行間引き処理後の色変化領域画像情報に基づいて、色変化領域画像情報を縦方向に縮小した縦縮小画像情報を生成する縦縮小処理手段と、列間引き処理後の色変化領域画像情報に基づいて、色変化領域画像情報を横方向に縮小した横縮小画像情報を生成する横縮小処理手段と、を備えた構成としてもよい。

上記の撮像装置において、画像不良検出手段が、色変化領域画像情報に対して所定の補間処理をした補間画像情報を生成する補間処理手段を備え、狭小領域検出手段が、補間画像情報に基づいて、狭小領域を検出する構成としてもよい。

上記の撮像装置において、色変化領域検出手段が、画素又は隣接する複数の画素からなる画素ブロック（以下「画素等」という。）毎に色の変化を検出する構成としてもよい。

上記の撮像装置において、固体撮像素子が生成した撮像信号に基づいて色差信号を生成する色差信号生成手段を備え、色変化領域検出手段が、第一画像と第二画像との色差信号の値の差分を画素等毎に計算し、差分が所定の閾値以上となる画素等を色変化領域の画素等として検出する構成としてもよい。

上記の撮像装置において、移動手段が、受光面と被写体像とを、受光面と平行な方向に相対的に移動させる構成としてもよい。

上記の撮像装置において、移動手段が、第一画像が撮像された後、第二画像が撮像される前までの期間に、受光面と平行な方向に、ｎ画素分又は（ｍ＋０．５）画素分（但し、ｎは奇数の自然数であり、ｍは０又は奇数の自然数である。）の距離だけ、受光面と被写体像とを相対的に移動させる構成としてもよい。

上記の撮像装置において、移動手段が、第一画像と第二画像の色が、色変化領域において互いに補色の関係となるように、受光面と被写体像とを固体撮像素子の画素間隔に応じた距離だけ移動させる構成としてもよい。

上記の撮像装置において、検出手段が、第一画像における被写体像の位置と第二画像における被写体像の位置が一致するように、移動手段による移動量に応じて第一画像又は第二画像の各画素のアドレスを変換するアドレス変換手段を備える構成としてもよい。

上記の撮像装置において、移動手段が、受光面と被写体像とを、受光面と垂直な方向に相対的に移動させる構成としてもよい。

上記の撮像装置において、撮像装置と被写体とが相対的に静止しているか否かを判定する静止判定手段を備え、静止判定手段により静止していると判定されたときに、第一画像と第二画像の撮影を行う構成としてもよい。

上記の撮像装置において、被写体像を受光面上に結像させる、一つ以上の光学素子を含む撮像光学系と、撮像装置の振れを検出する振れ検出手段と、を備え、移動手段が、振れ検出手段の検出結果に基づいて、一つ以上の光学素子と撮像素子の少なくとも一方を移動させることにより、撮像装置の振れに起因する像振れを補正する構成としてもよい。

本発明の一実施形態に係る撮像方法は、固体撮像素子により第一画像を撮像するステップと、第一画像の撮像後に、固体撮像素子の受光面と被写体像とを相対的に移動させるステップと、移動後に、固体撮像素子により第二画像を撮像するステップと、第一画像と第二画像とで色が変化した色変化領域を検出するステップと、色変化領域の形態に基づいて、色変化領域の中から画像不良領域を検出するステップと、を含む。

本発明の一実施形態によれば、画像不良を精度良く検出することが可能な画像検出装置、画像検出方法及び撮影装置が提供される。

本発明の実施形態の撮影装置の構成を示すブロック図である。 本発明の実施形態の撮影装置に備えられる像振れ補正装置の構成を概略的に示す図である。 本発明の実施形態の撮影装置に備えられる像振れ補正装置の構成を概略的に示す図である。 本発明の実施形態におけるＬＰＦ駆動の説明を補助する図である。 本発明の実施形態におけるシステムコントローラによる偽色検出フローを示す図である。 本発明の実施形態において撮影される被写体に関する図である。 本発明の実施形態において撮影される被写体に関する図である。 第１偽色検出処理の手順を表したフローチャートである。 本発明の実施形態の色空間内においてプロットされる各色差信号を示す図である。 偽色疑い領域が検出され易い画像の例である。 図１０の画像の一部を拡大したものである。 本発明の実施形態の第２偽色検出処理の手順を表したフローチャートである。 本発明の実施形態の偽色疑い領域マップの拡大図である。 本発明の実施形態の間引き処理を説明する図である。 本発明の実施形態の間引き処理を説明する図である。 本発明の実施形態の間引き処理を説明する図である。 本発明の実施形態の間引き処理を説明する図である。 本発明の第２実施形態における第２偽色検出処理の手順を説明したフローチャートである。 本発明の第２実施形態の補間処理を説明する図である。 本発明の第２実施形態の補間処理を説明する図である。

以下、本発明の実施形態の撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。

［撮影装置１全体の構成］
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、システムコントローラ１００、操作部１０２、駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、像振れ補正装置１１２、ＡＦＥ（Analog Front End）１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４、ＲＯＭ（Read Only Memory）１２６、ジャイロセンサ１２８、加速度センサ１３０、地磁気センサ１３２及びＧＰＳ（Global Positioning System）センサ１３４を備えている。なお、撮影レンズ１０６は複数枚構成であるが、図１においては便宜上一枚のレンズとして示す。また、撮影レンズ１０６の光軸ＡＸと同じ方向をＺ軸方向と定義し、Ｚ軸方向と直交し且つ互いに直交する二軸方向をそれぞれＸ軸方向（水平方向）、Ｙ軸方向（垂直方向）と定義する。また、各図の座標軸で示されるように、図１おける左方向をＺ軸正方向、上方向をＹ軸正方向、紙面の裏側から表側に向かう紙面に垂直な方向をＸ軸正方向と定義する。

操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。

システムコントローラ１００は、ＣＰＵ（Central Processing Unit）及びＤＳＰ（Digital Signal Processor）を含む。システムコントローラ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。

レリーズスイッチが操作されると、システムコントローラ１００は、例えば、固体撮像素子１１２ａ（後述の図２参照）により撮像された画像に基づいて計算された測光値や、撮影装置１に内蔵された露出計（不図示）で測定された測光値に基づき適正露出が得られるように、駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。より詳細には、絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。また、システムコントローラ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、像面位相差検出方式、コントラスト検出方式等が適用される。また、ＡＦモードには、中央一点の測距エリアを用いた中央一点測距モード、複数の測距エリアを用いた多点測距モード、全画面の距離情報に基づく全画面測距モード等がある。システムコントローラ１００は、ＡＦ結果に基づいて駆動回路１０４を介して撮影レンズ１０６を駆動制御し、撮影レンズ１０６の焦点を調整する。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。

図２及び図３は、像振れ補正装置１１２の構成を概略的に示す図である。図２及び図３に示されるように、像振れ補正装置１１２は、固体撮像素子１１２ａを備えている。被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して固体撮像素子１１２ａの受光面１１２ａａにて受光される。なお、固体撮像素子１１２ａの受光面１１２ａａは、Ｘ軸及びＹ軸を含むＸＹ平面である。固体撮像素子１１２ａは、透過波長選択素子としてベイヤ型画素配置のカラーフィルタを有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１１２ａは、受光面１１２ａａ上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）のアナログ撮像信号を生成する。

また、固体撮像素子１１２ａは、ＡＦＥ（Analog Front End）を備えており、アナログ撮像信号に対して、相関二重サンプリング（CDS: Correlated Double Sampling）によるノイズ除去や自動利得制御（AGC: Auto Gain Control）等の処理を施した後、アナログ・デジタル変換によりデジタル撮像信号を生成して出力する。なお、固体撮像素子１１２ａは、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１１２ａはまた、補色系カラーフィルタを搭載したものであってもよいし、画素毎に何れかのカラーフィルタを配置していれば、ベイヤ配列等の周期的なカラー配列を有するカラーフィルタである必要はない。

信号処理回路１１４は、固体撮像素子１１２ａより入力されるデジタル撮像信号（ＲＡＷ画像）に対して、オフセット成分を除去して黒レベルを調整するクランプ処理や、欠陥画素の画素値をその周囲の画素の画素値により補正する欠陥補正処理等の信号処理を施して、画像処理エンジン１１６に出力する。画像処理エンジン１１６は、信号処理回路１１４より入力されるデジタル撮像信号に対して同時化処理（デモザイク）を行ってフルカラーの画素値を有する画像信号を生成し、更にこの画像信号に対して、マトリクス演算、ホワイトバランス、Ｙ／Ｃ分離等の所定の信号処理を施して輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットの画像ファイルに変換する。なお、色差信号Ｃｂ、Ｃｒは、撮影画像の色を表わす情報（色情報）である。すなわち、Ｙ／Ｃ分離によって、画像信号から色情報が抽出される。バッファメモリ１１８は、画像処理エンジン１１６による処理の実行時、処理データの一時的な保存場所として用いられる。また、撮影画像の保存形式は、ＪＰＥＧ形式に限らず、各種の画像ファイルフォーマットを採用することができる。また、デモザイク前のＲＡＷ画像を保存することもできる。

カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。

画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、生成された画像ファイル（撮影画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。

また、画像処理エンジン１１６は、生成された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６より入力されるビデオ信号を基にＬＣＤを駆動制御する。これにより、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御下で適正な輝度及び合焦で撮影されたリアルタイムのスルー画（ライブビュー）を、ＬＣＤ１２４の表示画面を通じて視認することができる。

画像処理エンジン１１６は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データをメモリカード２００又は内蔵メモリより読み出してビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６より入力されるビデオ信号を基に液晶を変調制御することで、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。

［振れ補正部材の駆動に関する説明］
像振れ補正装置１１２は、振れ補正部材を駆動させる。本実施形態において、振れ補正部材は、固体撮像素子１１２ａである。なお、振れ補正部材は、固体撮像素子１１２ａに限らず、撮影レンズ１０６又は撮影レンズ１０６内に含まれる一部のレンズや光学素子など、これを光軸ＡＸに対して物理的に動かす（例えば、光軸ＡＸと垂直な方向へ移動させたり、光軸ＡＸと垂直な軸周りに傾けたりする）ことにより、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像（光学像）の位置をシフトさせることが可能な別の構成であってもよく、又は、これらと固体撮像素子１１２ａのうち２つ以上の部材を組み合わせた構成であってもよい。

像振れ補正装置１１２は、像振れを補正するために振れ補正部材を光軸ＡＸと直交する平面内（すなわち、ＸＹ平面内）で駆動（像振れを打ち消すように振動）させることができるだけでなく、固体撮像素子１１２ａの画素ピッチ程度の量だけ振れ補正部材を光軸ＡＸと直交する平面内で微小に駆動（微小回転）させることもできる。この微小駆動を露光期間中に行えば、光学的なローパスフィルタ（ＬＰＦ：Low Pass Filter）のような効果が得られることが知られている。以下、説明の便宜上、振れ補正部材を像振れが軽減するように駆動させることを「像振れ補正駆動」と記し、振れ補正部材を固体撮像素子１１２ａの画素ピッチ程度の量だけ駆動させることを「ＬＰＦ駆動」と記す。

（像振れ補正駆動に関する説明）
ジャイロセンサ１２８は、像振れ補正を制御するための情報を検出するセンサである。具体的には、ジャイロセンサ１２８は、撮影装置１に加わる二軸周り（Ｘ軸周り、Ｙ軸周り）の角速度を検出し、検出された二軸周りの角速度をＸＹ平面内（換言すると、固体撮像素子１１２ａの受光面１１２ａａ内）の振れを示す振れ検出信号としてシステムコントローラ１００に出力する。

図２及び図３に示されるように、像振れ補正装置１１２は、撮影装置１が備えるシャーシ等の構造物に固定された固定支持基板１１２ｂを備えている。固定支持基板１１２ｂは、固体撮像素子１１２ａが搭載された可動ステージ１１２ｃをスライド可能に支持している。

固定支持基板１１２ｂの可動ステージ１１２ｃと対向する面には、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵが取り付けられている。また、固定支持基板１１２ｂには、磁性体であるヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵが取り付けられている。ヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵはそれぞれ、固定支持基板１１２ｂから可動ステージ１１２ｃを回り込んで磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵと対向する位置まで延びた形状を持ち、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵとの間に磁気回路を構成する。また、可動ステージ１１２ｃには、駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが取り付けられている。駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが磁気回路の磁界内において電流を受けることにより、駆動力が発生する。可動ステージ１１２ｃ（固体撮像素子１１２ａ）は、発生した駆動力により、固定支持基板１１２ｂに対してＸＹ平面内で微小に駆動される。

対応する磁石、ヨーク及び駆動用コイルによりボイスコイルモータが構成される。すなわち、磁石Ｍ_ＹＲ、ヨークＹ_ＹＲ及び駆動用コイルＣ_ＹＲによりボイスコイルモータＶＣＭ_ＹＲが構成され、磁石Ｍ_ＹＬ、ヨークＹ_ＹＬ及び駆動用コイルＣ_ＹＬによりボイスコイルモータＶＣＭ_ＹＬが構成され、磁石Ｍ_ＸＤ、ヨークＹ_ＸＤ及び駆動用コイルＣ_ＸＤによりボイスコイルモータＶＣＭ_ＸＤが構成され、磁石Ｍ_ＸＵ、ヨークＹ_ＸＵ及び駆動用コイルＣ_ＸＵによりボイスコイルモータＶＣＭ_ＸＵが構成される。

各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）は、システムコントローラ１００の制御下でＰＷＭ（Pulse Width Modulation）駆動される。ボイスコイルモータＶＣＭ_ＹＲとＶＣＭ_ＹＬは、固体撮像素子１１２ａの下方において、水平方向（Ｘ軸方向）に所定の間隔を空けて並べて配置されており、ボイスコイルモータＶＣＭ_ＸＤとＶＣＭ_ＸＵは、固体撮像素子１１２ａの横に、垂直方向（Ｙ軸方向）に所定の間隔を空けて並べて配置されている。

固定支持基板１１２ｂ上における各駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵの近傍位置には、ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵがそれぞれ取り付けられている。ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵはそれぞれ、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵの磁力を検出して、可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸＹ平面内の位置を示す位置検出信号をシステムコントローラ１００に出力する。具体的には、ホール素子Ｈ_ＹＲ及びＨ_ＹＬにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＹ軸方向位置及び傾き（回転）が検出され、ホール素子Ｈ_ＸＤ及びＨ_ＸＵにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸ軸方向位置及び傾き（回転）が検出される。

システムコントローラ１００は、ボイスコイルモータ用のドライバＩＣを内蔵している。システムコントローラ１００は、ジャイロセンサ１２８より出力される振れ検出信号及びホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵより出力される位置検出信号に基づいて、ドライバＩＣの定格電力（許容電力）を超えない範囲内において、各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）に流す駆動電流のデューティ比を、各駆動電流のバランスを崩さないように計算する。システムコントローラ１００は、計算されたデューティ比で各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに駆動電流を流し、固体撮像素子１１２ａを像振れ補正駆動する。これにより、固体撮像素子１１２ａが重力や外乱等に抗して規定の位置に保持されつつ固体撮像素子１１２ａの受光面１１２ａａ上での像振れが補正される。言い換えれば、受光面１１２ａａ上での被写体像の位置が振れないように固体撮像素子１１２ａの位置が調整される。

（ＬＰＦ駆動に関する説明）
次に、ＬＰＦ駆動について説明する。本実施形態において、像振れ補正装置１１２は、ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに所定の駆動電流を流すことにより、固体撮像素子１１２ａの画素ピッチ程度の量だけ振れ補正部材を光軸ＡＸと直交する平面内で微小に駆動（微小回転）させることができる。一回の露光期間に対して、ＸＹ平面内において所定の軌跡を描くように可動ステージ１１２ｃ（固体撮像素子１１２ａ）を駆動すれば、被写体像の各点が固体撮像素子１１２ａの検出色（Ｒ、Ｇ又はＢ）の異なる複数の画素（色画素）に順次入射する。これにより、次に説明するように光学的なＬＰＦと同様の効果が得られることが知られている。

図４（ａ）、図４（ｂ）は、ＬＰＦ駆動の説明を補助する図である。同図に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上には、複数の画素ＰＩＸが所定の画素ピッチＰでマトリックス状に並べて配置されている。説明の便宜上、同図の各画素ＰＩＸについて、前面に配置されたカラーフィルタの色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。

図４（ａ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする正方形軌跡Ｌｓを描くように駆動される例を示す。この正方形軌跡Ｌｓは、例えば固体撮像素子１１２ａの画素ピッチＰを一辺とした正方形の閉じた経路とすることができる。図４（ａ）の例では、固体撮像素子１１２ａは、Ｘ軸方向とＹ軸方向とに１画素ピッチＰ単位で交互に且つ正方形経路となるように駆動される。

図４（ｂ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする円形軌跡Ｌｃを描くように駆動される例を示す。この円形軌跡Ｌｃは、例えば固体撮像素子１１２ａの各画素の中心を通るように画素ピッチＰの√２／２倍を半径ｒとする円形の閉じた経路とすることができる。

なお、画素ピッチＰを含む駆動軌跡の情報は、システムコントローラ１００の内部メモリ又はＲＯＭ１２６に予め保持されている。

図４（ａ）（又は図４（ｂ））に例示されるように、露光期間中、固体撮像素子１１２ａが駆動軌跡の情報に基づいて所定の正方形軌跡Ｌｓ（又は円形軌跡Ｌｃ）を描くように駆動されると、被写体像の各点が４つのカラーフィルタＲ、Ｇ、Ｂ、Ｇ（４つ（二行二列）の画素ＰＩＸ）に均等に入射する。これにより、光学的なＬＰＦと同等の効果が得られる。すなわち、被写体像の各点が、その周辺にある各色の色画素（画素ＰＩＸ）に略均等に入射するため、あたかも光学的なＬＰＦを被写体像が通過したときと同等の効果が得られる。

なお、ユーザは、操作部１０２を操作することにより、像振れ補正駆動、ＬＰＦ駆動のそれぞれのオン／オフを切り替えることができる。

［偽色の検出に関する説明］
次に、本実施形態における、撮影画像内に発生するモアレの一種である、偽色を検出する方法について説明する。図５は、システムコントローラ１００により実行される偽色検出フローを示す。図５に示される偽色検出フローは、例えば、レリーズスイッチが押された時点で開始される。

［図５のＳ１１（状態の判定）］
本処理ステップＳ１１では、撮影装置１が静止状態であるか否かが判定される。例えば、ジャイロセンサ１２８より入力される振れ検出信号のうち一定周波数以上の信号成分の振幅が一定期間継続してある閾値以下に収まる場合に静止状態と判定される。撮影装置１の静止状態として、典型的には、撮影装置１が三脚に固定された状態が挙げられる。なお、静止状態を含めた撮影装置１の姿勢はジャイロセンサ１２８に代えて、加速度センサ１３０、地磁気センサ１３２、ＧＰＳセンサ１３４など、他のセンサより出力される情報を用いて検出されてもよい。また、検出精度を向上させるため、例えばセンサ・フュージョン技術を適用し、これらのセンサより出力される情報が複合的に用いられるようにしてもよい。

撮影装置１が静止状態にない場合（例えば、低速のシャッタスピードに設定して手持ち撮影をした場合）は、手振れ（あるいは被写体ぶれ）による被写体像のボケに起因して偽色がそもそも発生し難い。従って、本実施形態では、撮影装置１が静止状態である（すなわち、偽色が発生しやすい状態である）と判定された場合に限り（Ｓ１１：ＹＥＳ）、撮影画像内の偽色を検出すべく、処理ステップＳ１２（第一画像の撮影）以降が実行される。撮影装置１が静止状態にない場合は（Ｓ１１：ＮＯ）、処理ステップＳ１２（第一画像の撮影）以降を実行することなく、偽色検出処理が終了する。これにより、偽色の検出の為の無駄な撮影を実行することなく、（図５のフローのＥＮＤの後）先のレリーズスイッチに対する反応として通常の撮影を実行することができる。処理ステップＳ１２（第一画像の撮影）以降が実行されない旨（静止状態ではないので通常の撮影が実行された旨）が、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。なお、撮影画像内の偽色の検出を重視したい場合は、撮影装置１が静止状態であるか否かに拘わらず処理ステップＳ１２（第一画像の撮影）以降が実行されてもよい。この場合、処理ステップＳ１２（第一画像の撮影）以降が実行される旨が、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。また、静止状態の判定閾値は撮影装置１に設定されたシャッタスピードに応じて変更されてもよい。

［図５のＳ１２（第一画像の撮影）］
図６（ａ）、図７（ａ）は、それぞれ撮影される被写体像（光学像）の異なる部分を拡大して示した図である。図６（ａ）に示される被写体像は、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同じピッチで水平方向及び垂直方向に明暗が交互に現れる斜め縞模様であり、図７（ａ）に示される被写体像は、画素ピッチＰと同じピッチで水平方向に明暗が交互に現れる縦縞模様である。以下、図６（ａ）に示される被写体像のうち太実線で囲まれた６×６マスの被写体像を「斜め縞被写体像６ａ」といい、図７（ａ）に示される被写体像のうち太実線で囲まれた６×６マスの被写体像を「縦縞被写体像７ａ」という。

本処理ステップＳ１２では、ＡＥ制御及びＡＦ制御下で、適正な輝度及び合焦で被写体画像（第一画像）が撮影される（露光が完了される）。

図６（ｂ）、図７（ｂ）は、固体撮像素子１１２ａの受光面１１２ａａに結像した斜め縞被写体像６ａ、縦縞被写体像７ａと各画素ＰＩＸとの位置関係をそれぞれ模式的に示した図であり、固体撮像素子１１２ａの受光面１１２ａａを被写体側から正面視した図である。図６（ｂ）及び図７（ｂ）では、図４と同様に、受光素子の前面に配置されたカラーフィルタの色を示す符号（Ｒ、Ｇ、Ｂの何れか１つ）が各画素ＰＩＸに付されている。図６（ｂ）及び図７（ｂ）において、黒塗りの画素ＰＩＸは、縞模様の暗部分が照射されていることを示し、白塗りの画素ＰＩＸは、縞模様の明部分が照射されていることを示す。また、説明の便宜上、図６（ｂ）及び図７（ｂ）において、各画素ＰＩＸにアドレス（数字１〜８、符号イ〜チ）が付されている。

［図５のＳ１３（固体撮像素子１１２ａのシフト）］
第一画像の撮影が完了した後、第ニ画像の撮影が開始される前（非撮影期間中）、本処理ステップＳ１３では、可動ステージ１１２ｃが駆動されて、固体撮像素子１１２ａが１画素分の距離だけＸ軸正方向にシフトされる。

［図５のＳ１４（第二画像の撮影）］
処理ステップＳ１３による固体撮像素子１１２ａの駆動が完了後（固体撮像素子１１２ａが静止後）、本処理ステップＳ１４においても、第一画像撮影時と同じ撮影条件（露光、シャッタースピード、フォーカス等）下で被写体画像（第二画像）が撮影される。第二画像の撮影完了後、第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知されてもよい。

図６（ｃ）、図７（ｃ）は、それぞれ、図６（ｂ）、図７（ｂ）と同様の図であり、第二画像の撮影時（固体撮像素子１１２ａのシフト後）における固体撮像素子１１２ａの受光面１１２ａａに結像した斜め縞被写体像６ａ及び縦縞被写体像７ａと各画素ＰＩＸとの位置関係を模式的に示したものである。図６、図７の各図（ｂ）、（ｃ）に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の位置は、処理ステップＳ１３（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量に応じて、受光面１１２ａａ上でＸ軸負方向（固体撮像素子１１２ａの移動と逆方向に）に１画素分の距離だけシフトする。

なお、本処理ステップＳ１４における撮影条件は、固体撮像素子１１２ａが１画素分の距離だけＸ軸正方向にシフトされる点を除けば、処理ステップＳ１２（第一画像の撮影）における撮影条件と同一である。図６（ｂ）、（ｃ）及び図７（ｂ）、（ｃ）から判るように、第二画像の撮影時において、被写体像は、固体撮像素子１１２ａの受光面１１２ａａに対して、第一画像よりも全体的に１画素分の距離だけＸ軸負方向（固体撮像素子１１２ａのシフトと逆方向）にシフトした位置（画素）に結像する。そのため、第二画像（図６、図７を紙面裏側から見た像）は、実質的に、第一画像に対して１画素分右方向にシフトした範囲を撮影したものとなっている。

処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の画像信号と、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の画像信号は、それぞれＹ／Ｃ分離処理を施されて、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒに変換される。以下、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の色差信号（Ｃｂ、Ｃｒ）を「第一色差信号」といい、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の色差信号（Ｃｂ、Ｃｒ）を「第二色差信号」という。また、以下に説明する「注目画素」に対する処理は、少なくともデモザイク処理された後のフルカラーの画素値を有する画像に対して行われる。

［図５のＳ１５（第１偽色検出処理）］
次に、第一色差信号と第二色差信号との差分（すなわち色差。以下、「色変化」又は「色変化量」ともいう。）に基づいて、偽色が発生している可能性のある画素若しくは画像領域（以下「偽色疑い領域ＤＡ」という。）を抽出する第１偽色検出処理Ｓ１５が行われる。

図８は、第１偽色検出処理Ｓ１５の詳細な手順を表したフローチャートである。

［図８のＳ１５０（アドレス変換処理の要否判断）］
第１偽色検出処理Ｓ１５では、先ず、後述するアドレス変換処理Ｓ１５１を実行すべきか否かが判断される（Ｓ１５０）。アドレス変換処理Ｓ１５１は、第一画像の撮影Ｓ１２と第二画像の撮影Ｓ１４の間に行われる固体撮像素子１１２ａのシフトに伴って生じる、第一画像と第二画像との画素のアドレスの対応関係のずれ（同一の被写体像が写る画素のずれ）を補正する処理である。第一画像及び第二画像の生成過程において、画素のアドレスの対応関係を一定程度変化させる処理が行われていない場合には、アドレス変換処理Ｓ１５１を行うことによって、より適切な偽色の検出が可能になる。

しかしながら、第一画像及び第二画像の生成過程において、画素のアドレスの対応関係を一定程度変化させる処理が行われた場合には、アドレス変換処理を行うことによって、第一画像と第二画像とのアドレスの対応関係が更に崩れて、却って不適切な偽色の検出が行われることになる場合がある。処理１５０では、第一画像及び第二画像の生成過程に応じて、アドレス変換処理Ｓ１５１を実行すべきか否かが判断される。

画素のアドレスの対応関係を一定程度変化させる処理としては、例えば間引き処理を伴うＹ／Ｃ分離処理が挙げられる。例えば、ＹＣｂＣｒ＝４:２:０やＹＣｂＣｒ＝４:２:２等、色差成分を間引いて画像を圧縮するフォーマットを使用したＹ／Ｃ分離処理が行われた場合には、第一画像と第二画像のアドレスの対応関係が崩れているため、アドレス変換処理Ｓ１５１を行っても偽色の検出精度の向上は見込めず、むしろ、アドレス変換処理Ｓ１５１を行わない方が、より適切な偽色の検出が可能となる場合もある。そのため、第一画像及び第二画像の生成過程でアドレスの対応関係を一定程度変化させる処理が行われた場合には、アドレス変換処理Ｓ１５１を省略して、第１偽色検出処理Ｓ１５を高速化させることが望ましい。

本実施形態では、間引き処理を伴わないＹＣｂＣｒ＝４:４:４のフォーマットに基づいてＹ／Ｃ分離処理が行われた場合に、アドレス変換処理Ｓ１５１を実行すべき（Ｓ１５０：ＹＥＳ）と判定される。また、色差成分の間引き処理を伴うＹＣｂＣｒ＝４:２:０又はＹＣｂＣｒ＝４:２:２のフォーマットに基づいてＹ／Ｃ分離処理が行われた場合に、アドレス変換処理Ｓ１５１を実行すべきではない（Ｓ１５０：ＮＯ）と判定される。

なお、本実施形態では、Ｙ／Ｃ分離処理の方式に基づいてアドレス変換処理の要否判定Ｓ１５０が行われるが、本発明はこの構成に限定されない。例えば、デモザイク処理等、画素のアドレスの対応関係を一定程度変化させ得るその他の処理の方式や有無に基づいてアドレス変換処理の要否判定Ｓ１５０を行うこともできる。

［図８のＳ１５１（アドレスの変換）］
本実施形態では、撮影画像内において補正すべき偽色が発生している画像領域（後述する「偽色発生領域ＦＡ」）が画素単位で検出される。この場合、偽色の検出精度を向上させるため、同一の被写体像が入射される画素間で色の変化量を演算することが望ましい。そこで、本処理ステップＳ１５１では、同一の被写体像が同一アドレスの画素に入射されたものとして処理されるように、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像を構成する各画素のアドレスが、処理ステップＳ１３（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量（換言すると、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の位置のシフト量）に応じて変換される。

一例として、固体撮像素子１１２ａがシフトされた後を示した図６（ｃ）の画素ＰＩＸｂのアドレス（ハ，２）は、シフト前に同じ位置にあった右隣の（Ｘ軸正方向側に隣接する）画素、すなわち、シフト後の画素ＰＩＸｂと同一の被写体像（暗部）をシフト前に取り込む画素ＰＩＸａ（図６（ｂ）参照）のアドレス（ニ，２）に変換される。

［図８のＳ１５２（色差信号の差分値〔色変化量〕の演算）］
斜め縞被写体像６ａ及び縦縞被写体像７ａは、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同じピッチの高周波成分を含む。そのため、斜め縞被写体像６ａ又は縦縞被写体像７ａの画像信号が処理ステップＳ１２（第一画像の撮影）、処理ステップＳ１４（第二画像の撮影）においてデモザイク処理されると、斜め縞被写体像６ａ及び縦縞被写体像７ａのそれぞれには偽色が発生する。

具体的には、図６（ｂ）の例では、Ｇ成分の画素ＰＩＸの輝度が高く、Ｒ及びＢ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＧ成分が支配的となって、斜め縞被写体像６ａに緑色の偽色が発生する。一方、図６（ｃ）の例では、図６（ｂ）の例とは反対に、Ｒ及びＢ成分の画素ＰＩＸの輝度が高く、Ｇ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲ及びＢ成分が支配的となって、斜め縞被写体像６ａに紫色の偽色が発生する。

また、図７（ｂ）の例では、Ｂ成分の画素ＰＩＸの輝度が高く、Ｒ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＢとＧとの混色成分となって、青と緑との中間色（例えばシアン色）の偽色が発生する。一方、図７（ｃ）の例では、図７（ｂ）の例とは反対に、Ｒ成分の画素ＰＩＸの輝度が高く、Ｂ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲとＧとの混色成分となって、赤と緑の中間色（例えば橙色）の偽色が発生する。

図９は、Ｃｂ、Ｃｒの二軸で定義される色空間を示す。図９中、符号６ｂは、図６（ｂ）の例において発生する緑色の偽色に対応するプロットであり、符号６ｃは、図６（ｃ）の例において発生する紫色の偽色に対応するプロットであり、符号７ｂは、図７（ｂ）の例において発生する青と緑との中間色の偽色に対応するプロットであり、符号７ｃは、図７（ｃ）の例において発生する赤と緑の中間色の偽色に対応するプロットである。各プロットの座標情報を以下に示す。なお、原点Ｏは座標（０,０）である。
プロット６ｂ：（Ｃｂ，Ｃｒ）＝（−Ｍ，−Ｎ）
プロット６ｃ：（Ｃｂ，Ｃｒ）＝（Ｍ，Ｎ）
プロット７ｂ：（Ｃｂ，Ｃｒ）＝（Ｍ’，−Ｎ’）
プロット７ｃ：（Ｃｂ，Ｃｒ）＝（−Ｍ’＋α，Ｎ’＋β）
但し、Ｍ，Ｎ，Ｍ’，Ｎ’，α，βは何れも正数である。

図９に示されるように、本実施形態では、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同程度の高周波成分の被写体像を取り込んだときに発生する偽色の色自体が、受光面１１２ａａ上での被写体像の位置をシフトさせることによって変化することを利用して偽色疑い領域ＤＡを検出している。より詳細には、高周波成分の被写体像が取り込まれる画素において、第一色差信号と第二色差信号が持つ色情報が互いに異なる部分（より具体的には、互いに補色の関係となる部分）を、偽色疑い領域ＤＡとして検出している（色変化領域検出手段）。

本実施形態では、上記の補色関係を得るべく、受光面１１２ａａ上での被写体像の位置が左方向（水平の画素の並び方向）に１画素分シフト（固体撮像素子１１２ａが被写体像に対してＸ軸方向に１画素分シフト）されているが、本発明はこれに限らない。シフト方向は、例えば、Ｘ軸方向（水平の画素の並び方向）であってもよく、又は、Ｙ軸正方向（垂直な画素の並び方向）、Ｙ軸負方向（垂直な画素の並び方向）、右上、右下、左上、左下の各斜め方向（水平、垂直の各並び方向に対して４５度をなす方向）など、画素配置に応じた他の方向であってもよいし、併用してもよい。また、シフト距離は、例えば、３画素分、５画素分など、他の奇数画素分の距離であってもよく、また、半画素分又は半画素分＋奇数画素分（例えば１．５画素分、２．５画素分等）であってもよく（すなわち、ｎ画素分又は（ｍ＋０．５）画素分（但し、ｎ＝奇数の自然数，ｍ＝０又は奇数の自然数）の何れかであればよく）、シフト駆動する機構の精度に応じて選択できることもできる。また、シフト距離は、撮影対象の被写体や撮影条件によっては、偶数画素分及びその近傍（例えば１．９〜２．１画素分等）以外の距離であればよい。これらの量（方向及び距離）で受光面１１２ａａ上での被写体像の位置がシフトされる場合も、高周波成分の被写体像が取り込まれる（偽色が発生する）画素において、第一色差信号と第二色差信号が持つ色情報が互いに補色の関係となることから、偽色疑い領域ＤＡを検出することができる。

本処理ステップＳ１５２では、処理ステップＳ１５１（アドレスの変換）におけるアドレス変換後において（以下、同様）、アドレス毎に、第一色差信号と第二色差信号との差分値（色変化量）（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が演算される。具体的には、本処理ステップＳ１５２では、第一色差信号のＣｂ、ＣｒをそれぞれＣｂ１、Ｃｒ１と定義し、これと同一アドレスの第二色差信号のＣｂ、ＣｒをそれぞれＣｂ２、Ｃｒ２と定義した場合に、差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が次式により演算される。
Ｃｂ_ｓｕｂ＝Ｃｂ１−Ｃｂ２
Ｃｒ_ｓｕｂ＝Ｃｒ１−Ｃｒ２

［図８のＳ１５３（第一の距離情報の演算）］
本処理ステップＳ１５３では、画素毎に、第一色差信号と第二色差信号との色空間内での距離（第一の距離情報Saturation__sub）が次式により演算される。
Saturation__sub＝√（Ｃｂ_ｓｕｂ ^２＋Ｃｒ_ｓｕｂ ^２）

第一の距離情報Saturation__subは、図９の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、２√（Ｍ^２＋Ｎ^２）、√｛（２Ｍ’−α）^２＋（２Ｎ’＋β）^２-｝となる。

図９の各プロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が強い補色関係にあるほど第一の距離情報Saturation__subが大きくなり、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）ほど第一の距離情報Saturation__subが小さくなる。すなわち、第一の距離情報Saturation__subは、偽色が発生している領域でなければ理想的にはゼロであり、偽色が強く発生している領域ほど大きくなる。

［図８のＳ１５４（色差信号の加算値の演算）］
本処理ステップＳ１５４では、アドレス毎に、第一色差信号と第二色差信号との加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算される。

具体的には、本処理ステップＳ１５４では、暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）が次式により演算される。
Ｃｂ_ａｄｄ＝Ｃｂ１＋Ｃｂ２
Ｃｒ_ａｄｄ＝Ｃｒ１＋Ｃｒ２

次いで、オフセット値（Ｃｂ_ｏｆｆ，Ｃｒ_ｏｆｆ）が次式により演算される。
Ｃｂ_ｏｆｆ＝（Ｃｂ１＋Ｃｂ２）／２
Ｃｒ_ｏｆｆ＝（Ｃｒ１＋Ｃｒ２）／２

次いで、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が次式により演算される。
Ｃｂ’_ａｄｄ＝Ｃｂ_ａｄｄ−Ｃｂ_ｏｆｆ＝（Ｃｂ１＋Ｃｂ２）／２
Ｃｒ’_ａｄｄ＝Ｃｒ_ａｄｄ−Ｃｒ_ｏｆｆ＝（Ｃｒ１＋Ｃｒ２）／２

［図８のＳ１５５（第二の距離情報の演算）］
本処理ステップＳ１５５では、アドレス毎に、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）に基づいて色空間内における第二の距離情報Saturation__addが次式により演算される。
Saturation__add＝√（Ｃｂ’_ａｄｄ ^２＋Ｃｒ’_ａｄｄ ^２）

第二の距離情報Saturation__addは、図９の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、ゼロ、√（α^２＋β^２）となる。

ここで、第一、第二の各色差信号は、画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて変化する。しかし、第一、第二の各色差信号が同じように変化するため、色空間内における互いの相対距離（すなわち、第一の距離情報Saturation__sub）は変化が少ない。

一方、第二の距離情報Saturation__addは、第一、第二の各色差信号が画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて色空間の原点Ｏの位置に対して変化すると、大きく変化する。そこで、処理ステップＳ１５４（色差信号の加算値の演算）では、第二の距離情報Saturation__addを暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）を用いて即座には演算せず、上記影響による原点Ｏに対する位置の変化を相殺又は軽減すべく（上記影響により、原点Ｏから離れた第一色差信号と第二色差信号との中点を原点Ｏに近付けるべく）、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算されている。

図９の各プロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が補色関係にある場合は、互いの符号が逆となることから加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が小さくなって、第二の距離情報Saturation__addが小さくなる。また、強い補色関係であるほど第二の距離情報Saturation__addが小さくなって、理想的にはゼロとなる。一方、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）場合は、互いの符号が同一となることから、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が大きくなって、第二の距離情報Saturation__addが大きくなる。すなわち、第二の距離情報Saturation__addは、偽色が発生している領域でなければ大きくなり、偽色が発生している領域であれば小さくなる。

［図８のＳ１５６（輝度信号の差分値〔輝度変化量〕の演算）］
以下、処理ステップＳ１２（第一画像の撮影）において撮影された第一画像の輝度信号Ｙを「第一輝度信号Ｙ１」といい、処理ステップＳ１４（第二画像の撮影）において撮影された第二画像の輝度信号Ｙを「第二輝度信号Ｙ２」という。本処理ステップＳ１５６では、アドレス毎に、第一輝度信号と第二輝度信号との差分値（輝度変化量）Ｙ_ｄｉｆｆが演算される。具体的には、次式により差分値Ｙ_ｄｉｆｆが演算される。
Ｙ_ｄｉｆｆ＝｜Ｙ１−Ｙ２｜

［図８のＳ１５７（偽色疑い領域の判定）］
本処理ステップＳ１５７では、アドレス毎に、偽色疑い領域ＤＡであるか否かの判定（一次判定）が行われる。具体的には、次の条件（１）〜（３）が全て満たされる場合に、当該画素が偽色疑い領域であると判定され、一つでも満たされない条件がある場合には偽色疑い領域ＤＡではないと判定される。

・条件（１）
上述したように、第一の距離情報Saturation__subが大きいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該画素が偽色疑い領域である可能性が高い。そこで、条件（１）は次のように規定される。
条件（１）：Saturation__sub≧閾値Ｔ１

・条件（２）
上述したように、第二の距離情報Saturation__addが小さいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該画素が偽色疑い領域である可能性が高い。そこで、条件（２）は次のように規定される。
条件（２）：Saturation__add≦閾値Ｔ２

・条件（３）
処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の一方だけで大きな像振れが発生した場合を考える。この場合、第一色差信号と第二色差信号との差分が大きくなって、偽色が誤検出される虞がある。そこで、条件（３）は次のように規定される。
条件（３）：Ｙ_ｄｉｆｆ≦閾値Ｔ３

すなわち、差分値Ｙ_ｄｉｆｆが閾値Ｔ３よりも大きい場合は、上記の誤検出の虞があることから、当該画素に対する偽色の検出が行われない（当該画素が偽色疑い領域ではないものとして処理される。）。

なお、条件（１）と条件（２）は、当該画素が偽色疑い領域であるか否かを直接的に判定する条件となっている。そこで、別の実施形態では、条件（１）と条件（２）の少なくとも一方が満たされる場合に、当該画素が偽色疑い領域であると判定されるようにしてもよい。

また、ユーザは、操作部１０２を操作して閾値Ｔ１〜Ｔ３を設定変更することにより、偽色の検出感度を変更することができる。

［図５のＳ１６（第２偽色検出処理）］
図１０は、以上で説明した第１偽色検出処理Ｓ１５によって、偽色疑い領域ＤＡが検出され易い画像８の例である。画像８には、パーソナルコンピュータのディスプレイ８１やポスター８２が写されている。ディスプレイ８１の画面８１ａには、周期的に配列された微細な画素が設けられているため、画面８１ａが写される画像８の領域には広い範囲で偽色が発生し易い。このような広がりを有する（後述する狭小領域ではない）偽色疑い領域ＤＡは、偽色修正処理によって画質が向上する可能性が高い（すなわち補正するべき補正対象領域と考えられる）。

図１１は、図１０における破線の枠８３で囲まれた部分（ポスター８２の縁８２ａの一部）を拡大した図である。ポスター８２の縁８２ａ等のくっきりとした（コントラストの高い）輪郭の領域では、輪郭を挟んで画像８の色が急激に変化するため、上述した第一画像と第二画像を撮影した場合、第一色差信号と第二色差信号との差分（すなわち、第一画像と第二画像との色の違い）が大きくなる場合がある。本発明者の研究により、この現象は、Ｙ／Ｃ分離処理において色差成分を間引いて画像を圧縮した場合（例えば、ＹＣｂＣｒ＝４:２:０やＹＣｂＣｒ＝４:２:２等のフォーマットを使用した場合）に発生し易いことが判明している。このような輪郭や縁などの狭小領域（以下、輪郭の領域と言う）では、色差の差分が大きくなって偽色疑い領域ＤＡとして検出されても、偽色による画質の劣化が目立たないことが多く、実際は補正すべき偽色が発生しているわけではない可能性が高い。従ってこのような輪郭の領域に対して、検出されたまま偽色補正処理を掛けると、輪郭がぼやけて逆に画質が低下したと感じられる。また輪郭でなくても、狭い範囲で大きな色差の差分が発生している領域に対して、検出されたまま偽色補正処理を掛けた場合にも、逆に画質が低下したと感じられる。そのため、輪郭の領域（狭小領域）は、偽色発生領域ＦＡ（すなわち補正するべき補正対象領域）と判定しない方がよいのである。

以下に説明する第２偽色検出処理Ｓ１６は、第１偽色検出処理Ｓ１５において偽色疑い領域ＤＡと判定された画素から輪郭の領域を抽出し、抽出された輪郭の領域を偽色疑い領域から除外（偽色発生領域ではないと判定）して補正対象から除外し、輪郭の領域以外の偽色疑い領域ＤＡを偽色発生領域ＦＡ（補正対象領域）と判定する処理である。

図１２は、第２偽色検出処理Ｓ１６の詳細な手順を表したフローチャートである。

［図１２のＳ１６１（偽色疑い領域マップ生成）］
本処理ステップＳ１６１では、第１偽色検出処理Ｓ１５の結果に基づいて、偽色疑い領域マップＤＭが生成される。偽色疑い領域マップＤＭとは、第１偽色検出処理Ｓ１５（直接には、偽色疑い領域の判定処理Ｓ１５７）において偽色疑い領域ＤＡであると判定された画素ＰＩＸの画素値を「１」とし、偽色疑い領域ＤＡではないと判定された画素ＰＩＸの画素値を「０」とした、偽色判定用の２値の画像データ化（画像情報化）したものである。

図１３は、偽色疑い領域マップＤＭの拡大図である。図１３（ａ）は、面状に連続的に広がった分布を有する偽色疑い領域ＤＡａの付近を拡大したものであり、図１３（ｂ）は、線状に連続的に広がった分布を有する偽色疑い領域ＤＡｂの付近を拡大したものである。図１３（ａ）に示される偽色疑い領域ＤＡａは、面状に（少なくとも短手方向にも一定の幅を有して二次元的に）連続的に分布している。このように面状に分布する色変化の領域は、目立ち易く、画質に悪影響を与え易い。一方、図１３（ｂ）に示される偽色疑い領域ＤＡｂは、線状に細長く連続的に分布している。このように線状に分布する色変化の領域は、被写体自体の輪郭線等であり偽色ではない可能性が高い。仮に偽色であったとしても、領域が狭い為目立ち難く、画質に悪影響を与え難いので、これを無視して補正しない方が良い。そのため、第２偽色検出処理Ｓ１６では、図１３（ｂ）に示されるような線状に細長く連続的に分布する色変化の領域（輪郭の領域）が抽出され、偽色疑い領域ＤＡ（偽色発生領域ＦＡ）から排除される。

［図１２のＳ１６２（間引き処理）］
以下、偽色疑い領域ＤＡｂ等の線状の色変化領域を抽出するための具体的な方法について説明する。線状の色変化領域を抽出する方法には様々なものが考えられるが、本実施形態では、次に説明する間引き処理Ｓ１６２を利用した方法が採用される。

図１４〜１７は、間引き処理Ｓ１６２を説明する図である。図１４〜１７の上段の各図（ａ）は、それぞれ間引き処理Ｓ１６２を行う前の偽色疑い領域マップＤＭの拡大図（偽色疑い領域ＤＡｂ付近を拡大したもの）である。また、図１４〜１７の中段の各図（ｂ）は、間引き読み出しされた偽色疑い領域マップＤＭである。そして、図１４〜１７の下段の各図（ｃ）は、間引き読み出し後の縮小マップ生成処理によって生成される間引きマップ（縮小マップ）ＤＭＲ（後述する行間引きマップ［縦縮小マップ］ＤＭＲ１及び列間引きマップ［横縮小マップ］ＤＭＲ２）である。なお、本実施形態の間引き処理Ｓ１６２は、間引き後の画像データ（間引きマップＤＭＲ）を生成する縮小画像生成処理（縮小処理）を含んでいるが、縮小画像生成処理は必ずしも行われなくてもよい。

本実施形態の間引き処理Ｓ１６２は、具体的には、偽色疑い領域マップＤＭの行又は列を周期的に間引く処理である。間引いた行又は列を詰め、偽色疑い領域マップＤＭを縦方向又は横方向に縮小する処理（縮小処理、収縮処理）をすれば、間引き後の画像（間引きマップ［縮小マップ］ＤＭＲ）が得られる。間引きマップＤＭＲをＬＣＤ１２４に表示させることで、間引き後の画像を確認することもできる。

間引き処理Ｓ１６２には、偽色疑い領域マップＤＭの行を間引く行間引き処理Ｓ１６２１と、偽色疑い領域マップＤＭの列を間引く列間引き処理Ｓ１６２２とが含まれ、これらが適宜実行される。

図１４は、行間引き処理Ｓ１６２１を行う前後の偽色疑い領域マップＤＭ（行間引きマップＤＭＲ１）を示した図である。本実施形態では、偽色疑い領域マップＤＭにおいて２行置きに配置された太枠で囲まれた、…第３ｊ行（ｊは正の整数）、第３ｊ＋３行、第３ｊ＋６行…（すなわち、第３ｍ行［ｍは正の整数］と表現される行）を残して、それらの間に２行ずつ連続して配置された…第３ｊ＋１行と第３ｊ＋２行、第３ｊ＋４行と第３ｊ＋５行…（すなわち、第３ｍ＋１行又は第３ｍ＋２行）が間引かれる。その後、縮小処理をすれば、偽色疑い領域マップＤＭが縦方向に縮小された行間引きマップ（縦縮小マップ）ＤＭＲ１が生成される。図１４に示されるように、偽色疑い領域マップＤＭに含まれていた偽色疑い領域ＤＡｂは、行間引き処理Ｓ１６２１によって消滅している。縮小処理によって生成される画像データ（行間引きマップＤＭＲ１）からも偽色疑い領域ＤＡｂが消滅したことが確認できる。

図１５は、図１４と同じく行間引き処理Ｓ１６２１を行う前後の偽色疑い領域マップＤＭを示した図であるが、図１４の例とは異なる行に偽色疑い領域ＤＡｂが存在する偽色疑い領域マップＤＭを示したものである。上述した図１４の例では、偽色疑い領域ＤＡｂは、行間引き処理Ｓ１６２１によって間引かれる第３ｊ＋５行に存在するため、行間引き処理Ｓ１６２１によって消滅した。一方、図１５の例では、偽色疑い領域ＤＡｂは、行間引き処理Ｓ１６２１によって間引かれずに残る第３ｊ＋３行に存在するため、図１５（ｂ）に示されるように、行間引き小処理Ｓ１６２１によっても消滅せずに残り、行間引き偽色疑い領域ＤＡｂ１として行間引きマップＤＭＲ１上に残されていることが確認できる。したがって、第３ｍ行を残す行間引き処理Ｓ１６２１の結果のみに基づいて偽色疑い領域ＤＡｂが輪郭の領域であるか否かを判定すると、偽色疑い領域ＤＡｂの発生位置によって判定結果が変動する（すなわち、誤判定が生じる）ことになる。

そこで、本実施形態では、第３ｍ行を残す行間引き処理Ｓ１６２１ａと、第３ｍ＋１行を残す行間引き処理Ｓ１６２１ｂと、第３ｍ＋２行を残す行間引き処理Ｓ１６２１ｃの計３回の行間引き処理Ｓ１６２１を順次行い、そのうち少なくとも１回の行間引き処理Ｓ１６２１によって偽色疑い領域ＤＡｂが消滅すれば、当該偽色疑い領域ＤＡｂは消滅したと判定される。これにより、偽色疑い領域ＤＡｂの発生位置による誤判定が防止される。また、後述する列間引き処理Ｓ１６２２においても同様の処理が行われる。

図１６は、列間引き処理Ｓ１６２２を行う前後の偽色疑い領域マップＤＭ（列間引きマップＤＭＲ２）を示した図である。本実施形態では、偽色疑い領域マップＤＭにおいて２列置きに配置された太枠で囲まれた、…第３ｉ列（ｉは正の整数）、第３ｉ＋３列、第３ｉ＋６列…（すなわち、第３ｎ列［ｎは正の整数］と表現される列）を残して、それらの間に２列ずつ連続して配置された…第３ｉ＋１列と第３ｉ＋２列、第３ｉ＋４列と第３ｉ＋５列…（すなわち、第３ｎ＋１列又は第３ｎ＋２列）が間引かれ、列間引きマップＤＭＲ２が生成される。列間引きマップＤＭＲ２には、偽色疑い領域ＤＡｂが列間引き処理Ｓ１６２２によって横方向に縮小された列間引き偽色疑い領域ＤＡｂ２が含まれている。

図１７は、図１６と同じく列間引き処理Ｓ１６２２を行う前後の偽色疑い領域マップＤＭを示した図であるが、図１６の例とは異なり、略連続的に（厳密には不連続に）分布する偽色疑い領域ＤＡｂ´が存在する偽色疑い領域マップＤＭの例を示したものである。図１７（ａ）に示された偽色疑い領域ＤＡｂ´は、第３ｊ＋５行の第３ｉ列から第３ｉ＋６列にかけて略連続的に分布しているが、厳密には、その中途に偽色疑い領域ＤＡｂ´ではない３つの画素（３ｉ＋２，３ｊ＋５）、（３ｉ＋４，３ｊ＋５）及び（３ｉ＋５，３ｊ＋５）を挿んで不連続（飛び石状）に分布している。

しかし、図１７（ｃ）に示された列間引きマップＤＭＲ２では、一つの連続した列間引き偽色疑い領域ＤＡｂ２´が形成されている。本処理ステップＳ１６１では、列間引きマップＤＭＲ２（又は行間引きマップＤＭＲ１）において連続（隣接）する偽色疑い領域の画素の間は、偽色疑い領域マップＤＭ上においても一つの連続した偽色疑い領域ＤＡｂ´が形成されているものとみなされる。具体的には、図１７の例では、図１７（ｃ）においては連続する偽色疑い領域ＤＡｂ´の画素（３ｉ，３ｊ＋５）と（３ｉ＋３，３ｊ＋５）との間に挟まれた偽色が発生していない画素（３ｉ＋２，３ｊ＋５）が、偽色疑い領域ＤＡｂ´の画素と見做される。同様に、図１７（ｃ）においては連続する偽色疑い領域ＤＡｂ´の画素（３ｉ＋３，３ｊ＋５）と（３ｉ＋６，３ｊ＋５）との間に挟まれた偽色が発生していない画素（３ｉ＋４，３ｊ＋５）、（３ｉ＋５，３ｊ＋５）が、偽色疑い領域ＤＡｂ´の画素と見做される。

これにより、偽色疑い領域ＤＡｂ´の分布に僅かに不連続な箇所があっても、偽色疑い領域ＤＡｂ´のインターバルが所定長（具体的には、間引き処理Ｓ１６２において間引かれる行又は列の幅。言い換えれば、間引かれずに残される行又は列の間隔。）以下であれば、偽色疑い領域ＤＡｂ´の分布が連続しているものと見做されるため、輪郭領域の判定をより適切に行うことが可能になっている。すなわち、間引き処理Ｓ１６２において間引かれる行又は列の幅の設定により、許容される偽色疑い領域ＤＡｂ´の分布の連続度を設定することができる。なお、本実施形態では、偽色疑い領域ＤＡｂ´の分布の連続度が偽色疑い領域ＤＡｂ´のインターバルによって評価されているが、他の尺度を使用して偽色疑い領域ＤＡｂ´の分布の連続度を評価してもよい。例えば、偽色疑い領域ＤＡｂ´が分布する範囲（図１７の例では、（３ｉ，３ｊ＋５）から（３ｉ＋６，３ｊ＋５）までの範囲）に占める偽色疑い領域ＤＡｂ´の画素の比率（すなわち、偽色疑い領域ＤＡｂ´の画素の粗密）によっても偽色疑い領域ＤＡｂ´の分布の連続度を評価することができる。また、以上では間引き後に縮小処理をしたものとして連続度を説明したが、実際には縮小処理しなくても縮小処理をしたものと仮定して演算することで、連続度を判定することが可能である。

なお、本実施形態では、間引き処理Ｓ１６２における間引きの幅が２行（列）に設定されているが、撮影画像の画素数等に応じて間引きの幅を１行（列）又は３行（列）以上の値に設定することもできる。また、縮小処理Ｓ１６２における間引きの幅や周期（あるいは、間引かずに残す行又は列の幅）をユーザが設定できるようにしてもよい。

図１４〜１７に示された例のように、線状に細長く連続的に分布する偽色疑い領域ＤＡｂは、行間引き処理Ｓ１６２１又は列間引き処理Ｓ１６２２によって消滅又は減少する（正確には、各マップＤＭ、ＤＭＲ１、ＤＭＲ２の全画素数に対して各偽色疑い領域ＤＡｂ、ＤＡｂ１、ＤＡｂ２の画素数が占める比率が減少する）。一方、面状に連続的に分布する偽色疑い領域ＤＡａ（図１３）は、行間引き処理Ｓ１６２１及び列間引き処理Ｓ１６２２のいずれによっても消滅しない。従って、間引き処理Ｓ１６２（行間引き処理Ｓ１６２１及び列間引き処理Ｓ１６２２）によって偽色疑い領域ＤＡが消滅（又はその比率が減少）するか否かに基づいて、偽色疑い領域ＤＡが輪郭の領域であるか否かを判定することができる。

［図１２のＳ１６３（輪郭領域（狭小領域）の判定）］
本処理ステップＳ１６３では、間引き処理Ｓ１６２による偽色疑い領域ＤＡ（ＤＡａ、ＤＡｂ）の消滅又はその比率の減少の有無に基づいて、偽色疑い領域ＤＡが線状に細長く連続して分布する領域（すなわち、輪郭の領域）であるか否かが判定される。具体的には、列間引き処理Ｓ１６２１又は行間引き処理Ｓ１６２２によって消滅又は比率が減少した偽色疑い領域ＤＡは輪郭の領域と判定され、列間引き処理Ｓ１６２１及び行間引き処理Ｓ１６２２のいずれによっても消滅又はその比率が減少しない偽色疑い領域ＤＡは輪郭の領域ではないと判定される。なお、本処理ステップＳ１６３は、全ての偽色疑い領域ＤＡに対して行われる。

［図１２のＳ１６４（輪郭領域（狭小領域）の除外）］
次に、処理ステップＳ１６４では、処理ステップＳ１６３において輪郭の領域と判定された偽色疑い領域マップＤＭの画素の画素値が「０」に変更され、偽色疑い領域ＤＡから除外される。

［図１２のＳ１６５（偽色発生領域の判定）］
そして、処理ステップＳ１６４の完了後に画素値が「１」となる画素が、最終的に偽色発生領域ＦＡの画素と判定され、第２偽色検出処理Ｓ１６が完了する。

［図５のＳ１７（補正対象領域の検出）］
本処理ステップＳ１７では、補正対象領域の有無が検出される。例えば、処理ステップＳ１６５（偽色発生領域ＦＡの判定）において偽色発生領域ＦＡと判定された画素数（又は全有効画素数のうち偽色発生領域ＦＡと判定された画素の比率）が所定の閾値以上（例えば１０％以上）である場合に、補正対象領域有りという検出結果となり（Ｓ１７：ＹＥＳ）、偽色発生領域ＦＡと判定された画素数（又は比率）が所定の閾値未満である場合に、補正対象領域無しという検出結果となる（Ｓ１７：ＮＯ）。

［図５のＳ１８（撮影画像の保存）］
本処理ステップＳ１８は、処理ステップＳ１７（補正対象領域の検出）にて補正対象領域無しという検出結果が得られた場合（Ｓ１７：ＮＯ）に実行される。本処理ステップＳ１８では、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像及び処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像について補正対象領域が検出されなかったとして、その少なくとも一方がメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。この時点で撮影動作が完了した旨が撮影者に告知されてもよい。特に、処理ステップＳ１４（第二画像の撮影）で第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知されている場合には、撮影動作が完了したことが撮影者に伝わる。これにより、撮影者は次の作業、例えば撮影装置１の状態（セッティング）の変更に進むことができる。

［図５のＳ１９（補正対象領域に対する処理）］
本処理ステップＳ１９は、処理ステップＳ１７（補正対象領域の検出）にて補正対象領域有りという検出結果が得られた場合（Ｓ１７：ＹＥＳ）に実行される。本処理ステップＳ１９では、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像及び処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像について偽色が検出されたことから、検出された偽色発生領域ＦＡ（補正対象領域）の画素位置を、第一画像と第ニ画像の少なくとも一方と紐づけてメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。これにより、例えば後にＰＣ等で偽色発生領域ＦＡの位置を容易に再検出し、公知の画像処理によって、偽色が発生する画素に対してのみ精密に補正することができる。もちろん、撮影装置１に十分な画像処理能力が備わっている場合には、直後に画像処理しても良い。

本実施形態によれば、被写体像の位置が固体撮像素子１１２ａの画素ピッチＰ分だけ異なる２枚の画像（第一画像、第二画像）を撮影し、画素ピッチＰと同程度以上の高周波成分の被写体像が取り込まれた場合に、２枚の画像で色相の異なる偽色が発生し、偽色が発生した箇所において２枚の画像の色差の差分が大きくなる構成となっている。本実施形態によれば、偽色の検出に色差の差分の大きい画像が用いられることから、偽色が精度良く検出される。

また、本実施形態によれば、画質に与える影響が少ない輪郭の領域で発生する偽色疑い領域（第一画像と第二画像との色差の差分が大きな領域）を偽色と判定する領域（偽色発生領域ＦＡ）から除外することにより、必要最小限の補正すべき領域（偽色発生領域ＦＡ）を検出し、補正することができるので、より高い画質の写真を撮影することが可能になる。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

上記の実施形態では、偽色疑い領域マップＤＭに対する間引き処理Ｓ１６２の結果に基づいて偽色発生領域ＦＡの検出が行われる構成が採用されているが、次に説明する本発明の第２実施形態のように、偽色疑い領域マップＤＭに対する補間処理の結果に基づいて偽色発生領域ＦＡの検出を行う構成としてもよい。

［第２実施形態］
図１８は、本発明の第２実施形態における第２偽色検出処理Ｓ１６の手順を説明したフローチャートである。

なお、以下の第２実施形態の説明では、第１実施形態との相違点を中心に説明する。また、実質的に同一の構成又は実質的に同一の機能を有する構成については同一又は類似の符号を付し、重複する説明を省略する。

本発明の第２実施形態は、第２偽色検出処理Ｓ１６のみが上述した第１実施形態と相違する。具体的には、第２実施形態では、第１実施形態の間引き処理１６２に替えて補間処理１６２ａが行われる。また、輪郭判定処理Ｓ１６３では、補間処理１６２ａの結果に基づいて輪郭の領域（又は狭小領域）か否かが判定されるため、具体的な判定基準は第１実施形態とは異なったものとなる。

補間処理１６２ａには、最近傍補間（Nearest neighbor）法、双一次補間（Bilinear）法、双三次補間（Bicubic）法、ランツォシュ（Lanczos）法等の各種の方式を使用することができる。

図１９は、補間処理１６２ａを説明する図である。図１９（ａ）は、補間処理１６２ａを行う前の偽色疑い領域マップＤＭの拡大図であり、線状に連続的に広がった分布を有する偽色疑い領域ＤＡｂを含んでいる。図１９（ｂ）は、補間処理１６２ａ後の偽色疑い領域マップ（補間画像情報）ＤＭｉの拡大図であり、補間処理１６２ａ後の偽色疑い領域ＤＡｂｉを含んでいる。

補間処理１６２ａ前の偽色疑い領域マップＤＭは、上述したように「０」と「１」の値からなる２値の画像データであり、偽色疑い領域ＤＡｂの画素は画素値「１」を有し、それ以外の画素は画素値「０」を有している。

補間処理１６２ａ後の偽色疑い領域マップＤＭｉは、「０」、「１」又は０から１までの小数値を画素値とする。

輪郭領域（狭小領域）判定処理Ｓ１６３では、補間処理１６２ａ後の偽色疑い領域マップＤＭｉにおいて、画素値が所定の閾値（例えば、０．８）未満の小数値となる画素を輪郭領域ＤＡｂｉＬの画素と判定し、画素値が所定の閾値以上となる画素を非輪郭領域（非狭小領域）ＤＡｂｉＤ（すなわち、偽色発生領域ＦＡ）の画素と判定する。

線状の偽色疑い領域ＤＡｂは、隣接する８画素のうち６乃至７画素が画素値「０」の画素である。そのため、補間処理１６２ａ後の偽色疑い領域ＤＡｂｉの画素は、全て閾値未満の画素値を有し、輪郭領域（狭小領域）ＤＡｂｉＬと判定され（Ｓ１６３）、偽色発生領域ＦＡから除外される（Ｓ１６４）。

図２０は、面状に連続的に広がった分布を有する偽色疑い領域ＤＡａに対して補間処理Ｓ１６２ａを施した場合について説明する図である。図２０（ａ）は、補間処理１６２ａ前の偽色疑い領域マップＤＭの偽色疑い領域ＤＡａ付近を拡大した図であり、図２０（ｂ）は、補間処理１６２ａ後の偽色疑い領域マップ（補間マップ）ＤＭｉの拡大図であり、補間処理１６２ａ後の偽色疑い領域ＤＡａｉを含んでいる。

面状の偽色疑い領域ＤＡａの外周部の画素は、隣接する８画素のうち３乃至５画素が画素値「０」の画素である。そのため、補間処理１６２ａ後の偽色疑い領域ＤＡａｉの外周部の画素は、全て閾値未満の画素値を有し、輪郭領域（狭小領域）ＤＡａｉＬと判定され（Ｓ１６３）、偽色発生領域ＦＡから除外される（Ｓ１６４）。

また、偽色疑い領域ＤＡａの内側の画素は、隣接する８画素の全てが画素値「１」の画素である。そのため、補間処理１６２ａ後の偽色疑い領域ＤＡａｉの内側の画素は、全て閾値以上の画素値を有し、非輪郭領域（非狭小領域）ＤＡａｉＤと判定され（Ｓ１６３）、偽色発生領域ＦＡとして判定される（Ｓ１６４、Ｓ１６５）。

なお、上記の各実施形態の説明では、補正対象から除外すべき偽色領域として、１方向において幅の狭い（すなわち、線状に連続的に分布した）形態を有する輪郭領域に着目した。輪郭領域以外にも、例えば２方向において幅の狭い（すなわち、点状の）形態を有する狭小の偽色領域も補正をしない方が良好な画質が得られる場合が多く、上記各実施形態でも点状の狭小領域が補正対象領域から除外される。

［その他の変形例］
上記の実施形態では、偽色疑い領域マップＤＭにおける偽色疑い領域ＤＡの縦方向及び横方向の連続度に基づいて、偽色疑い領域ＤＡが輪郭の領域か否かが判定されるが、偽色疑い領域ＤＡの他の属性に基づいて判定を行うこともできる。例えば、以下の属性ａ）〜ｆ）に基づいて輪郭の領域（狭小領域）を判別することができる。なお、以下の属性ａ）〜ｆ）を単独で判定基準に用いても良いし、これら（及び属性「連続度」）の二つ以上を組み合わせて判定基準に用いてもよい。
ａ）長さ（長手方向の寸法）
例えば、偽色疑い領域ＤＡの長手方向における寸法が所定の閾値以上であることを、輪郭領域の一つの判定基準とすることができる。
ｂ）幅（短手方向の寸法）
例えば、偽色疑い領域ＤＡの短手方向における寸法が所定の閾値以下であることを、輪郭領域の一つの判定基準とすることができる。
ｃ）長さと幅の比（アスペクト比）
例えば、偽色疑い領域ＤＡの長手方向における寸法（長さ）と短手方向における寸法（幅）との比（アスペクト比）が所定の閾値以上であることを、輪郭の領域の一つの判定基準とすることができる。
ｄ）偽色疑い領域マップＤＭの全幅、全高又は全画素数に対する、劣化不良疑い領域の長さ（すなわち、画像サイズを考慮した劣化不良疑い領域の相対的な長さ）を輪郭の領域と判定するための一つの判定基準とすることができる。
ｅ）偽色疑い領域マップＤＭの全幅、全高又は全画素数に対する、劣化不良疑い領域の長さ幅（すなわち、画像サイズを考慮した劣化不良疑い領域の相対的な幅）を輪郭の領域と判定するための一つの判定基準とすることができる。
ｆ）分布形状
偽色疑い領域ＤＡの分布形状の特徴を輪郭領域の一つの判定基準とすることができる。例えば、パターン認識によって偽色疑い領域ＤＡの分布形状が「線」に分類されるか否かに基づいて、輪郭領域か否かを判定することもできる。また、原画像（第一画像）から輪郭を抽出して、原画像の輪郭と偽色疑い領域ＤＡの分布形状とを比較して、両者の一致率が所定の閾値以上である場合に輪郭の領域（狭小領域）と判定する構成としてもよい。

上記の実施形態では、偽色は画像処理を用いて除去されている。本実施形態によれば、偽色領域は画素単位で精密に検出することができるので、画像処理により偽色を局所的に（例えば偽色発生領域ＦＡと判定された注目画素毎に）除去（画像処理）することもできる。また、偽色発生領域ＦＡを示す情報を第一画像（又は第二画像）と関連付けて保存しておけば、仮に別端末（コンピューターなど）によって手作業で偽色補正をする場合でも、作業者は、当該情報に基づいて偽色発生領域ＦＡを容易に発見することができる。そのため、画像全体から偽色発生領域ＦＡを探す手間が軽減される。以上から本発明による検出結果を最も有効に利用する実施形態と言えるが、本発明はこれに限らない。例えば偽色発生領域ＦＡが所定量検出された場合、露光期間中にＬＰＦ駆動を実行して再撮影することにより、画像全体に対して一律処理にはなるが、簡易に偽色の存在しない良好な画像を得ることも可能である。

また、上記の実施形態では、固体撮像素子１１２ａ自体をシフトさせることにより、受光面１１２ａａ上での被写体像の位置をシフトさせているが、本発明はこれに限らない。例えば、別の振れ補正部材（撮影レンズ１０６内に含まれる一部のレンズなど）を偏心駆動させることにより、受光面１１２ａａ上での被写体像の位置をシフトさせてもよく、また、撮影レンズ１０６の光路内に光軸ＡＸに対して垂直よりやや傾けて配置された平行平板を光軸ＡＸ周りに回転させたり、頂角可変プリズム、固体撮像素子１１２ａのカバーガラス（カバーガラスに付着した塵等を除去するための加振機能を備えたもの）等を駆動させたりすることにより、受光面１１２ａａ上での被写体像の位置をシフトさせてもよい。

また、上記の実施形態では、処理ステップＳ１５７（偽色疑い領域の判定）において、閾値Ｔ１〜Ｔ３が各画素に対する全ての判定において不変であるが、本発明はこれに限らない。

例えば、システムコントローラ１００によってＡＦ制御が行われることにより、画像内で合焦しているとみなせる領域（合焦エリアであり、例えば被写界深度に収まる範囲）が求まる。合焦エリア（合焦状態）の被写体はコントラストが高く、高周波成分を含みやすいため、偽色が発生しやすい。一方、合焦エリア外（非合焦状態）の被写体はコントラストが低く、高周波成分を含み難いため、偽色が発生し難い。そこで、処理ステップＳ１５７（偽色疑い領域の判定）では、演算によって求まった合焦エリア内の画素に対する判定を行う場合と合焦エリア外の画素に対する判定を行う場合とで、閾値Ｔ１〜Ｔ３が異なる値に変更されてもよい。例えば、合焦エリア内の画素では偽色が発生している（目立つ）可能性が高いことから、検出感度が高くなるような閾値設定（例えば閾値Ｔ１を低い値に設定）を行い、それ以外の画素では偽色が発生している可能性が低い（目立たない）ことから、検出感度が低くなるような閾値設定（例えば閾値Ｔ１を高い値に設定）を行うか、偽色検出の処理自体が省略される。これにより、偽色の検出精度がより一層向上したり、検出速度が向上したりする。

また、上記の実施形態では、一対の画像（処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像）を用いて偽色の検出が行われているが、別の実施形態では、３枚以上の画像を用いて偽色の検出が行われてもよい。

また、上記の実施形態では、処理ステップＳ１３（固体撮像素子１１２ａのシフト）において、固体撮像素子１１２ａがＸ軸正方向にシフトされるが、本発明はこの構成に限定されない。例えば、処理ステップＳ１３において固体撮像素子１１２ａを斜め方向(例えば、Ｘ軸方向及びＹ軸方向にそれぞれ１画素分ずつ)シフトする構成としてもよい。また、Ｘ軸に対して４５°以外の方向にシフトする（例えばＸ軸方向に１画素分、Ｙ軸方向に２画素分シフトする）構成を採用することもできる。

また、上記の実施形態では、固体撮像素子１１２ａの受光面上に被写体像が結像する位置を受光面と平行にシフトさせることで、受光面と被写体の光学像とを相対的に移動させて、それによって偽色の発生状態を変化させているが、本発明はこの構成に限定されない。例えば、合焦時に偽色が発生しやすいことを利用して、撮像素子１１２ａ又は撮影レンズ１０６を光軸方向に移動させて、合焦状態を変化させることによって偽色の発生状態を変化させる構成としてもよい。

また、上記の実施形態では、第１偽色検出処理Ｓ１５において、偽色疑い領域ＤＡであるか否かの２値の検出結果を生成する構成が採用されているが、本発明はこの構成に限定されない。例えば、各画素で偽色が発生している可能性に応じた多値（例えば、百分率）の検出結果を生成する構成としてもよい。その場合、第１偽色検出処理Ｓ１５による多値の検出結果を要素とする偽色疑い領域マップＤＭを生成することができる。

また、上記の実施形態では、偽色が発生している領域であるか否かが画素毎に判定されているが、隣接する複数の画素からなる画素ブロック（例えば、縦５画素×横６画素）単位で偽色が発生している領域か否かを判定する構成としてもよい。

また、上記の実施形態では、処理ステップＳ１７（偽色の検出）において偽色有りという検出結果が得られた場合に、処理ステップＳ１９（ＬＰＦ駆動下での撮像）によって新たな画像が撮影されるが、処理ステップＳ１９の撮影を行う代わりに、例えば第一画像に対して電気的なＬＰＦ処理やスムージング等の画像処理を施すことによって、偽色を補正する構成としてもよい。この場合、第一画像全体に対して補正を行ってもよいし、偽色発生領域ＦＡやその周囲の画素に限定して補正を行ってもよい。

１ 撮影装置
１００ システムコントローラ
１０２ 操作部
１０４ 駆動回路
１０６ 撮影レンズ
１０８ 絞り
１１０ シャッタ
１１２ 像振れ補正装置
１１４ 信号処理回路
１１６ 画像処理エンジン
１２８ ジャイロセンサ
１３０ 加速度センサ
１３２ 地磁気センサ
１３４ ＧＰＳセンサ

Claims (18)

1. 固体撮像素子と、
   前記固体撮像素子の受光面と被写体像とを相対的に移動させる移動手段と、
   前記移動手段による移動前に撮像された第一画像と移動後に撮像された第二画像とで色が変化した色変化領域を検出する色変化領域検出手段と、
   前記色変化領域の形態に基づいて、該色変化領域の中から画像不良領域を検出する画像不良領域検出手段と、
   を備えた、撮像装置。
2. 前記画像不良領域検出手段が、
   前記色変化領域の形態に基づいて、該色変化領域の中から狭小領域を検出する狭小領域検出手段を備え、
   前記狭小領域を除く前記色変化領域を画像不良領域として検出する、
   請求項１に記載の撮像装置。
3. 前記狭小領域検出手段が、
   以下に掲げる前記色変化領域の形態に関する属性ａから属性ｇの少なくとも一つに基づいて、前記狭小領域を検出する、
   ａ）長さ
   ｂ）幅
   ｃ）長さと幅との比
   ｄ）前記第一画像の縦寸法、横寸法又は総画素数と、前記色変化領域の長さとの比
   ｅ）前記第一画像の縦寸法、横寸法又は総画素数と、前記色変化領域の幅との比
   ｆ）分布形状
   ｇ）連続度
   請求項２に記載の撮像装置。
4. 前記狭小領域検出手段が、
   線状に連続的に分布した前記色変化領域を前記狭小領域として検出する、
   請求項２又は請求項３に記載の撮像装置。
5. 前記狭小領域検出手段が、
   該色変化領域検出手段による検出結果を画像情報化した色変化領域画像情報を生成する色変化領域画像情報生成手段を備える、
   請求項２から請求項４のいずれか一項に記載の撮像装置。
6. 前記狭小領域検出手段が、
   前記色変化領域画像情報の行の画像情報を所定の周期で間引く行間引き処理を行う行間引き手段と、
   前記色変化領域画像情報の列の画像情報を所定の周期で間引く列間引き処理を行う列間引き手段と、を備え、
   前記行間引き処理と前記列間引き処理の少なくともいずれかの結果に基づいて、前記狭小領域を検出する、
   請求項５に記載の撮像装置。
7. 前記狭小領域検出手段が、
   前記行間引き処理後の色変化領域画像情報に基づいて、該色変化領域画像情報を縦方向に縮小した縦縮小画像情報を生成する縦縮小処理手段と、
   前記列間引き処理後の色変化領域画像情報に基づいて、該色変化領域画像情報を横方向に縮小した横縮小画像情報を生成する横縮小処理手段と、を備えた、
   請求項５に記載の撮像装置。
8. 前記画像不良検出手段が、
   前記色変化領域画像情報に対して所定の補間処理をした補間画像情報を生成する補間処理手段を備え、
   前記狭小領域検出手段が、
   前記補間画像情報に基づいて、前記狭小領域を検出する、
   請求項５に記載の撮像装置。
9. 前記色変化領域検出手段が、画素又は隣接する複数の画素からなる画素ブロック（以下「画素等」という。）毎に前記色の変化を検出する、
   請求項１から請求項８のいずれか一項に記載の撮像装置。
10. 前記固体撮像素子が生成した撮像信号に基づいて色差信号を生成する色差信号生成手段を備え、
    前記色変化領域検出手段が、
    前記第一画像と前記第二画像との色差信号の値の差分を前記画素等毎に計算し、該差分が所定の閾値以上となる前記画素等を前記色変化領域の前記画素等として検出する、
    請求項９に記載の撮像装置。
11. 前記移動手段が、
    前記受光面と前記被写体像とを、該受光面と平行な方向に相対的に移動させる、
    請求項１から請求項１０のいずれか一項に記載の撮像装置。
12. 前記移動手段が、
    前記第一画像が撮像された後、前記第二画像が撮像される前までの期間に、前記受光面と平行な方向に、ｎ画素分又は（ｍ＋０．５）画素分（但し、ｎは奇数の自然数であり、ｍは０又は奇数の自然数である。）の距離だけ、前記受光面と前記被写体像とを相対的に移動させる、
    請求項１１に記載の撮像装置。
13. 前記移動手段が、
    前記第一画像と前記第二画像の色が、前記色変化領域において互いに補色の関係となるように、前記受光面と前記被写体像とを前記固体撮像素子の画素間隔に応じた距離だけ移動させる、
    請求項１１又は請求項１２に記載の撮像装置。
14. 前記検出手段が、
    前記第一画像における前記被写体像の位置と前記第二画像における前記被写体像の位置が一致するように、前記移動手段による移動量に応じて前記第一画像又は前記第二画像の各画素のアドレスを変換するアドレス変換手段を備える、
    請求項１１から請求項１３のいずれか一項に記載の撮像装置。
15. 前記移動手段が、
    前記受光面と前記被写体像とを、該受光面と垂直な方向に相対的に移動させる、
    請求項１から請求項１０のいずれか一項に記載の撮像装置。
16. 前記撮像装置と被写体とが相対的に静止しているか否かを判定する静止判定手段を備え、
    前記静止判定手段により静止していると判定されたときに、前記第一画像と第二画像の撮影を行う、
    請求項１から請求項１５のいずれか一項に記載の撮像装置。
17. 前記被写体像を前記受光面上に結像させる、一つ以上の光学素子を含む撮像光学系と、
    前記撮像装置の振れを検出する振れ検出手段と、
    を備え、
    前記移動手段が、
    前記振れ検出手段の検出結果に基づいて、一つ以上の前記光学素子と前記撮像素子の少なくとも一方を移動させることにより、前記撮像装置の振れに起因する像振れを補正する、
    請求項１から請求項１６のいずれか一項に記載の撮像装置。
18. 固体撮像素子により第一画像を撮像するステップと、
    前記第一画像の撮像後に、前記固体撮像素子の受光面と被写体像とを相対的に移動させるステップと、
    前記移動後に、前記固体撮像素子により第二画像を撮像するステップと、
    前記第一画像と前記第二画像とで色が変化した色変化領域を検出するステップと、
    前記色変化領域の形態に基づいて、該色変化領域の中から画像不良領域を検出するステップと、
    を含む、撮像方法。