JP2018148526A - 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】被写体の構造の影響を排して精度よくゴーストを検出できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】撮像装置は、ベイヤ配列構造の固体撮像素子から出力される画像データの所定の画像領域毎に、Ｇｒ画素の画素値の平均値又は積算値である第１の値とＧｂ画素の画素値の平均値又は積算値である第２の値とを算出する算出部２２２１と、複数の画像領域について算出部２２２１で算出された複数の第１の値のそれぞれが表す第１の重心と複数の第２の値のそれぞれが表す第２の重心とを一致させるように、複数の第１の値及び複数の第２の値を用いて補間演算を実施する補間演算部２３４１と、補間演算部２３４１により補間された第１の値と第２の値との差分を求めるＧ段差検出部２３４２とを備える。
【選択図】図１

Description

本発明は、撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに関する。

デジタルカメラ等の撮像装置の分野においてゴーストと呼ばれる現象が発生することが知られている。ゴーストは、レンズ内で内面反射した光等のゴースト光が撮像素子によって撮像されてしまうことにより発生する。特に、ベイヤ配列構造の撮像素子を有する撮像装置において発生したゴーストは、偽色の原因ともなる。

ベイヤ配列構造の撮像素子を有する撮像装置においてゴーストが発生すると、本来は同一レベルとなるべきＧｒ画素の画素値とＧｂ画素の画素値との間に差が生じる。このＧｒ画素の画素値とＧｂ画素の画素値との差分からゴーストの有無を判定することができる。さらに、特許文献１の撮像装置は、Ｇｒ画素の画素値の平均値とＧｂ画素の画素値の平均値との差分からゴーストの有無を判定している。平均値を求めることによって、微細な被写体の構造（エッジ構造）によって生じるＧｒ画素の画素値とＧｂ画素の画素値との間の差を抑制することができる。

特開２０１２−９９１９号公報

ベイヤ配列構造の撮像素子では、Ｇｒ画素とＧｂ画素とは、ずれた位置に配置されている。このため、Ｇｒ画素の画素値の平均値が表す重心とＧｂ画素の画素値の平均値が表す重心とは一致していない。このため、単に平均値を求めただけでは、被写体の構造によってはエッジ構造によって生じるＧｒ画素の画素値とＧｂ画素の画素値との間の差を抑制しきれない場合がある。

本発明は、前記の事情に鑑みてなされたものであり、被写体の構造の影響を排して精度よくゴーストを検出できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、水平方向にＲ画素及びＧｒ画素が交互に配列されたラインと、水平方向にＢ画素及びＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、前記固体撮像素子から出力される画像データの所定の画像領域毎に、前記Ｇｒ画素の画素値の平均値又は積算値である第１の値と前記Ｇｂ画素の画素値の平均値又は積算値である第２の値とを算出する算出部と、複数の前記画像領域について前記算出部で算出された複数の前記第１の値のそれぞれが表す第１の重心と複数の前記第２の値のそれぞれが表す第２の重心とを一致させるように、複数の前記１の値及び複数の前記第２の値を用いて補間演算を実施する補間演算部と、前記補間演算部により補間された前記第１の値と前記第２の値との差分を求めるＧ段差検出部とを具備する。

前記の目的を達成するために、本発明の第２の態様の画像処理装置は、水平方向にＲ画素及びＧｒ画素が交互に配列されたラインと、水平方向にＢ画素及びＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Ｇｒ画素の画素値の平均値又は積算値である第１の値と前記Ｇｂ画素の画素値の平均値又は積算値である第２の値とを算出する算出部と、複数の前記画像領域について前記算出部で算出された複数の前記第１の値のそれぞれが表す第１の重心と複数の前記第２の値のそれぞれが表す第２の重心とを一致させるように、複数の前記１の値及び複数の前記第２の値を用いて補間演算を実施する補間演算部と、前記補間演算部により補間された前記第１の値と前記第２の値との差分を求めるＧ段差検出部とを具備する。

前記の目的を達成するために、本発明の第３の態様の画像処理方法は、水平方向にＲ画素及びＧｒ画素が交互に配列されたラインと、水平方向にＢ画素及びＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Ｇｒ画素の画素値の平均値又は積算値である第１の値と前記Ｇｂ画素の画素値の平均値又は積算値である第２の値とを算出することと、複数の前記画像領域について算出された複数の前記第１の値のそれぞれが表す第１の重心と複数の前記第２の値のそれぞれが表す第２の重心とを一致させるように、複数の前記１の値及び複数の前記第２の値を用いて補間演算を実施することと、前記補間演算により補間された前記第１の値と前記第２の値との差分を求めることとを具備する。

前記の目的を達成するために、本発明の第４の態様の画像処理プログラムは、水平方向にＲ画素及びＧｒ画素が交互に配列されたラインと、水平方向にＢ画素及びＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Ｇｒ画素の画素値の平均値又は積算値である第１の値と前記Ｇｂ画素の画素値の平均値又は積算値である第２の値とを算出することと、複数の前記画像領域について算出された複数の前記第１の値のそれぞれが表す第１の重心と複数の前記第２の値のそれぞれが表す第２の重心とを一致させるように、複数の前記１の値及び複数の前記第２の値を用いて補間演算を実施することと、前記補間演算により補間された前記第１の値と前記第２の値との差分を求めることとをコンピュータに実行させる。

本発明によれば、被写体の構造の影響を排して精度よくゴーストを検出できる撮像装置、画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の一実施形態に係る撮像装置の一例としてのカメラシステムの一例の構成を示すブロック図である。 本発明の一実施形態における画像データの分割について示した図である。 重心Ｇｒ１、Ｇｂ１、Ｇｒ２、Ｇｂ２の位置関係について示した図である。 図３において補間演算が実施された後の重心の移動を示した図である。 画像領域Ｒ１の先頭色がＲであるときの画像領域Ｒ２のずらし方について示した図である。 画像領域Ｒ１の先頭色がＲである場合において画像領域Ｒ１に対して水平方向及び垂直方向に２画素ずつ右上方向にずらした位置を画像領域Ｒ２としたときの、重心Ｇｒ１、重心Ｇｂ１、重心Ｇｒ２、重心Ｇｂ２の位置関係を示す図である。 図６において補間演算が実施された後の重心の移動を示した図である。 カメラシステムのスチル画像記録時の動作を示すフローチャートである。 カメラシステムのスチル画像記録時の動作を示すフローチャートである。 カメラシステムの動画記録時の動作を示すフローチャートである。 カメラシステムの動画記録時の動作を示すフローチャートである。 ４つのパターンで分割を行うときの４つの画像領域の位置関係を示した図である。 ４つのパターンで分割を行うときの４つの画像領域の位置関係を示した図である。 ４つの画像領域で得られる第１の値及び第２の値が表す８つの重心の位置関係を示した図である。 図１１において補間演算が実施された後の重心の移動を示した図である。 一部のＧｒ画素及びＧｂ画素の位置に位相差検出画素を配置した撮像素子の例である。 一部の画素行に位相差検出画素を配置した撮像素子の例である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の一例としてのカメラシステムの構成を示すブロック図である。図１に示すカメラシステム１は、交換式レンズ１００と、カメラ本体２００とを有している。交換式レンズ１００は、カメラ本体２００に着脱されるように構成されている。交換式レンズ１００がカメラ本体２００に装着されたときに、交換式レンズ１００とカメラ本体２００とが通信自在に接続される。なお、カメラシステム１は、必ずしもレンズ交換式のカメラシステムでなくてよい。例えば、カメラシステム１は、レンズ一体型のカメラシステムであってもよい。

交換式レンズ１００は、撮影レンズ１０２と、絞り１０４と、ドライバ１０６と、レンズマイクロコンピュータ１０８と、Ｆｌａｓｈメモリ１１０とを有している。

撮影レンズ１０２は、被写体からの光束をカメラ本体２００の撮像素子２０６に結像させるための光学系である。撮影レンズ１０２は、フォーカスレンズを含む単一又は複数のレンズを有している。撮影レンズ１０２は、ズームレンズを含んでいてもよい。絞り１０４は、撮影レンズ１０２の光軸上に配置され、その口径が可変に構成されている。絞り１０４は、撮影レンズ１０２を通過して撮像素子２０６に入射する被写体からの光束を規制する。ドライバ１０６は、レンズマイクロコンピュータ１０８からの制御信号に基づいて、撮影レンズ１０２のフォーカスレンズを駆動したり、絞り１０４を駆動したりする。

レンズマイクロコンピュータ１０８は、カメラ本体２００に設けられたインターフェイス（Ｉ/Ｆ）２０２を介してカメラ本体２００のマイクロコンピュータ２３４と通信自在に構成されている。このレンズマイクロコンピュータ１０８は、マイクロコンピュータ２３４の制御の下、Ｆｌａｓｈメモリ１１０に記憶されているプログラムに従ってドライバ１０６の制御を行う。また、レンズマイクロコンピュータ１０８は、Ｉ/Ｆ２０２を介してＦｌａｓｈメモリ１１０に記憶されているレンズ情報等の各種の情報をマイクロコンピュータ２３４に送信することも行う。レンズマイクロコンピュータ１０８は、必ずしもマイクロコンピュータとして構成されている必要はなく、ＡＳＩＣ、ＦＰＧＡ等によって構成されていてもよい。

Ｆｌａｓｈメモリ１１０は、交換式レンズ１００の動作に必要なプログラムを記憶している。また、Ｆｌａｓｈメモリ１１０は、交換式レンズ１００に関するレンズ情報を記憶している。レンズ情報は、例えば撮影レンズ１０２の焦点距離の情報や収差の情報を含む。

カメラ本体２００は、Ｉ/Ｆ２０２と、シャッタ２０４と、撮像素子２０６と、撮像素子ドライバ２０８と、アナログ処理部２１０と、アナログデジタル（Ａ/Ｄ）変換部２１２と、バス２１４と、ＳＤＲＡＭ２１６と、ＡＥ処理部２１８と、ＡＦ処理部２２０と、第１の画像処理部２２２と、第２の画像処理部２２４と、表示ドライバ２２６と、表示部２２８と、メモリインターフェース（Ｉ/Ｆ）２３０と、記録媒体２３２と、マイクロコンピュータ２３４と、Ｆｌａｓｈメモリ２３６と、操作部２３８とを有する。ここで、カメラ本体２００の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもハードウェアによって構成されている必要はなく、ソフトウェアによって構成されていてもよい。また、カメラ本体２００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。

シャッタ２０４は、開閉自在に構成され、撮像素子２０６への被写体からの光束の入射時間（撮像素子２０６の露出時間）を調節する。シャッタ２０４としては、例えばフォーカルプレーンシャッタが採用される。シャッタ２０４は、マイクロコンピュータ２３４からの制御信号に基づいて駆動される。

撮像素子２０６は、撮影レンズ１０２の光軸上であって、シャッタ２０４の後方で、かつ、撮影レンズ１０２によって被写体からの光束が結像される位置に配置されている。撮像素子２０６は、ベイヤ配列構造のカラーフィルタを有する固体撮像素子である。ベイヤ配列構造は、水平方向にＲ画素及びＧｒ画素が交互に配列されたラインと、水平方向にＢ画素及びＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるカラーフィルタの配列構造のことを言う。このような撮像素子２０６は、被写界を撮像して画像信号を生成する。撮像素子ドライバ２０８は、撮像素子２０６を駆動する。また、撮像素子ドライバ２０８は、撮像素子２０６で生成された画像信号の読み出しを制御する。

アナログ処理部２１０は、撮像素子２０６から読み出された画像信号に対して増幅処理等のアナログ処理を行う。Ａ/Ｄ変換部２１２は、アナログ処理部２１０から出力された画像信号を、デジタル形式の画像データに変換する。

バス２１４は、Ａ/Ｄ変換部２１２、ＳＤＲＡＭ２１６、ＡＥ処理部２１８、ＡＦ処理部２２０、第１の画像処理部２２２、第２の画像処理部２２４、表示ドライバ２２６、メモリＩ/Ｆ２３０に接続され、これらのブロックで発生した各種のデータを転送するための転送路として機能する。

ＳＤＲＡＭ２１６は、電気的に書き換えできるメモリであり、Ａ/Ｄ変換部２１２、第１の画像処理部２２２又は第２の画像処理部２２４から出力された画像データ、ＡＥ処理部２１８、ＡＦ処理部２２０又はマイクロコンピュータ２３４における処理データといった各種データを一時的に記憶する。なお、一時記憶用としてＤＲＡＭが用いられてもよい。

ＡＥ処理部２１８は、自動露出（ＡＥ）処理を行う。具体的には、ＡＥ処理部２１８は、画像データにおける被写体輝度を表すＡＥ評価値に基づいて撮影条件（絞り値及びシャッタ速度値）を設定する。

ＡＦ処理部２２０は、自動ピント調節（ＡＦ）処理を行う。具体的には、ＡＦ処理部２２０は、画像データ等から取得される焦点情報に基づいて撮影レンズ１０２に含まれるフォーカスレンズの駆動を制御する。焦点情報は、例えば画像データから算出されるＡＦ評価値（コントラスト値）である。また、撮像素子２０６が焦点検出画素を有している構成の場合には、焦点情報は、焦点検出画素の出力から算出されるデフォーカス量であってもよい。

第１の画像処理部２２２は、ＡＥ処理のためのＡＥ評価値、ＡＦ処理のためのＡＦ評価値、ＡＷＢ（オートホワイトバランスモード）におけるホワイトバランスゲイン算出のための情報取得といった、撮影のための基本的な処理を行うために必要となる情報を取得するための画像処理を行う。ＡＥ評価値は、例えば所定の画像領域毎の画像データの同色画素の画素値の平均値を算出する又は積算値を算出することによって得られる。ＡＦ評価値は、例えばＨＰＦ（ハイパスフィルタ）処理によって抽出される画像データの高周波成分の所定の画像領域（ＡＥ評価値を算出する画像領域と一致していてもしていなくてもよい）毎の積算値を算出することによって得られる。ホワイトバランスゲイン算出のための情報は、例えば所定の画像領域毎の画像データの同色画素の画素値の平均値を算出する又は積算値を算出することや、撮影レンズ１０２の分光透過率特性及び撮像素子２０６の分光感度特性等を用いて得られる。

本実施形態における第１の画像処理部２２２は、算出部２２２１を有している。算出部２２２１は、画像データの所定の画像領域毎に、Ｇｒ画素の画素値の平均値又は積算値である第１の値とＧｂ画素の画素値の平均値又は積算値である第２の値とを算出する。算出部２２２１で算出された第１の値及び第２の値は、後で説明するゴースト判定に用いられる。前述したように、ＡＥ評価値やＡＷＢにおけるホワイトバランスゲインの算出においても画素値の平均値又は積算値を算出する処理が行われる。このため、算出部２２２１は、ＡＥ評価値やＡＷＢにおけるホワイトバランスゲインの算出部と兼用されてもよい。勿論、算出部２２２１は、ＡＥ評価値やＡＷＢにおけるホワイトバランスゲインの算出部とは別個に設けられていてもよい。

第２の画像処理部２２４は、基本画像処理部２２４１を有する。基本画像処理部２２４１は、画像の表示や記録のために必要な基本画像処理を画像データに対して施す。この基本画像処理は、例えば、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正処理、デモザイク処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理、圧縮処理を含む。また、第２の画像処理部２２４の基本画像処理部２２４１は、さらに、ゴースト対策用の画像処理を行うことができるように構成されていてもよい。ゴースト対策用の画像処理としては、例えばゴーストの発生している画素の画素値をその周辺の同色の画素の画素値を用いて補間する処理が挙げられる。ゴースト対策用の画像処理部は、基本画像処理部２２４１と別に設けられていてもよい。

表示ドライバ２２６は、第２の画像処理部２２４によって処理された画像データに基づく画像を表示部２２８に表示させるために表示部２２８を駆動する。表示部２２８は、例えば液晶ディスプレイや有機ＥＬディスプレイといった表示部であって、例えばカメラ本体２００の背面に配置される。表示部２２８は、表示ドライバ２２６によって駆動され、各種の画像を表示する。ここで、表示部２２８は、必ずしもカメラ本体２００に設けられている必要はない。表示部２２８は、例えば、カメラ本体２００と通信自在に接続されたＴＶモニタ等であってもよい。

メモリＩ/Ｆ２３０は、記録媒体２３２からバス２１４へのデータ転送及びバス２１４から記録媒体２３２へのデータ転送を仲介する。記録媒体２３２は、例えばＦｌａｓｈメモリであり、カメラ本体２００に内蔵されるか又は装填されるように構成されている。記録媒体２３２は、第２の画像処理部２２４によって処理された画像データを所定の形式の画像ファイルとして記録する。

マイクロコンピュータ２３４は、Ｆｌａｓｈメモリ２３６に記憶されているプログラムに従ってカメラ本体２００の各ブロックの制御を行う制御部である。マイクロコンピュータ２３４は、必ずしもマイクロコンピュータとして構成されている必要はなく、ＡＳＩＣ、ＦＰＧＡ等によって構成されていてもよい。

本実施形態におけるマイクロコンピュータ２３４は、補間演算部２３４１と、Ｇ段差検出部２３４２としての機能を有している。補間演算部２３４１は、算出部２２２１で算出された第１の値が表す重心と第２の値が表す重心とを一致させるように第１の値と第２の値とを用いて補間演算を実施する。Ｇ段差検出部２３４２は、補間演算部２３４１によって補間された第１の値と第２の値との差分であるＧ段差を算出することによって、ゴーストの有無を判定する。補間演算部２３４１及びＧ段差検出部２３４２の詳細については後で説明する。

Ｆｌａｓｈメモリ２３６は、カメラ本体２００の動作に必要なプログラムを記憶している。また、Ｆｌａｓｈメモリ２３６は、カメラ本体２００の各種の処理に必要な情報を記憶している。この情報は、例えば画像処理のパラメータの情報を含む。

操作部２３８は、カメラ本体２００の電源をオン、オフするための電源ボタン、静止画の撮影指示を行うレリーズボタン、動画記録を開始させるための動画開始ボタン、動画記録を終了させるための動画終了ボタン、撮影、記録された静止画、動画を再生指示する再生ボタン、カメラ本体２００の各種設定値、モードの変更、設定の指示を行うメニューボタンといった各種の操作ボタン及び、前記各種操作ボタンの操作と同様の機能を果たすタッチパネル等の各種の操作部材が含まれる。操作部２３８は、各種の操作部材の操作状態を検知し、検知結果を示す信号をマイクロコンピュータ２３４に出力する。

次に、本実施形態におけるゴースト判定の基本的な考え方について説明する。本実施形態において、算出部２２２１は、ゴーストを判定するのに当たり、まず、撮像素子２０６を介して得られた画像データを第１のパターンで複数の画像領域に分割する。例えば、算出部２２２１は、図２に示すように画像データを６画素×６画素の画像領域Ｒ１の単位に分割する。なお、画像領域Ｒ１の大きさは適宜に設定され得るものであって、必ずしも６画素×６画素でなくてよい。また、図２では、画像領域Ｒ１の先頭色（左上端の画素の色）はＧｒであるが、画像領域Ｒ１の先頭色はＧｒでなくてもよい。第１のパターンによる分割の後、算出部２２２１は、画像領域Ｒ１毎にＧｒ画素の画素値の平均値又は積算値（第１の値）及びＧｂ画素の画素値の平均値又は積算値（第２の値）を算出する。

続いて、算出部２２２１は、画像データを第２のパターンで複数の画像領域に分割する。第２のパターンでは、算出部２２２１は、画像データを画像領域Ｒ１と同じ大きさ及び同じ色配置を有する画像領域であって、画像領域Ｒ１とは異なる位置にある画像領域Ｒ２の単位に分割する。例えば、算出部２２２１は、図２に示すように画像データを画像領域Ｒ１に対して水平方向及び垂直方向に２画素ずつ右下方向にずれた位置にある画像領域Ｒ２の単位に分割する。なお、ずらし量については必ずしも２画素でなくてもよく、４画素、６画素等であってもよい。しかしながら、画像領域Ｒ１と画像領域Ｒ２との距離が近いほうが、ゴースト判定の際の被写体の構造の影響をより抑制することができる。このため、画像領域Ｒ２は、画像領域Ｒ１に対して最小の画素数、すなわち２画素ずらされるように分割されることが望ましい。第２のパターンによる分割の後、算出部２２２１は、画像領域Ｒ２毎にＧｒ画素の画素値の平均値又は積算値（第１の値）及びＧｂ画素の画素値の平均値又は積算値（第２の値）を算出する。

画像領域Ｒ１についての第１の値は、画像領域Ｒ１におけるＧｒ画素の画素値の平均値又は積算値である。したがって、画像領域Ｒ１についての第１の値は、画像領域Ｒ１におけるＧｒ画素の重心の位置に値を持つと考えることができる。同様に、画像領域Ｒ１についての第２の値は、画像領域Ｒ１におけるＧｂ画素の重心の位置に値を持つと考えることができ、画像領域Ｒ２についての第１の値は、画像領域Ｒ２におけるＧｒ画素の重心の位置に値を持つと考えることができ、画像領域Ｒ２についての第２の値は、画像領域Ｒ２におけるＧｂ画素の重心の位置に値を持つと考えることができる。これらの４つの重心の位置関係は、図３に示すものとなる。図３に示すように、画像領域Ｒ１についての第１の値が表す重心Ｇｒ１と画像領域Ｒ１についての第２の値が表す重心Ｇｂ１とはずれている。同様に、画像領域Ｒ２についての第１の値が表す重心Ｇｒ２と画像領域Ｒ２についての第２の値が表す重心Ｇｂ２とはずれている。これらの重心のずれにより、第１の値及び第２の値の間には、被写体の構造の影響による差が生じ得る。なお、重心のずれが大きくなるほど、被写体の構造の影響は大きくなる。被写体の構造の影響による差が生じてしまうと、ゴーストの誤判定に繋がる。

そこで、本実施形態では、第１の値が表す重心と第２の値が表す重心とを一致させるように画像領域Ｒ１についての第１の値及び第２の値と画像領域Ｒ２についての第１の値及び第２の値を用いて補間演算を実施する。具体的には、補間演算部２３４１は、以下の（式１）の演算を実施する。
Ｉｇｒ＝（１×Ｖｇｒ１＋３×Ｖｇｒ２）／４
Ｉｇｂ＝（３×Ｖｇｂ１＋１×Ｖｇｂ２）／４ （式１）
ここで、Ｉｇｒは補間演算後の第１の値（第１の補間値）であり、Ｖｇｒ１は画像領域Ｒ１についての第１の値であり、Ｖｇｒ２は画像領域Ｒ２についての第１の値である。また、Ｉｇｂは補間演算後の第２の値（第２の補間値）であり、Ｖｇｂ１は画像領域Ｒ１についての第２の値であり、Ｖｇｂ２は画像領域Ｒ２についての第２の値である。

図４は、補間演算が実施された後の重心の移動を示した図である。（式１）に示す補間演算によって得られる第１の補間値Ｉｇｒが表す位置（補間位置）は、図４のＩの位置になる。同様に、（式１）に示す補間演算によって得られる第２の補間値Ｉｇｂが表す位置（補間位置）も、図４のＩの位置になる。すなわち、第１の補間値が表す重心と第２の補間値が表す重心は一致する。重心の位置が一致していればＧｒ画素とＧｂ画素とで被写体の構造の影響は同じになる。これにより、正しくゴースト判定を行うことができる。

補間演算部２３４１による補間演算の実施後、Ｇ段差検出部２３４２は、補間演算により得られた第１の補間値Ｉｇｒと第２の補間値Ｉｇｂとの差分（Ｇ段差）を算出する。Ｇｒ画素とＧｂ画素とに被写体の構造の影響がないとすると、通常、近接しているＧｒ画素の画素値とＧｂ画素の値とはほぼ同じ値になる。したがって、Ｇｒ画素の平均値又は積算値である第１の値とＧｂ画素の平均値又は積算値である第２の値との差分であるＧ段差は小さな値になる。一方、撮像素子２０６にゴースト光が入射すると、Ｇｒ画素の画素値とＧｂ画素の画素値とには大きな差が生じる。したがって、Ｇｒ画素の平均値又は積算値である第１の値とＧｂ画素の平均値又は積算値である第２の値との差分であるＧ段差も大きな値になる。このような関係から、Ｇ段差の大きさによってゴーストの有無を判定することができる。

ここで、図２の例では、画像領域Ｒ２は、画像領域Ｒ１に対して水平方向及び垂直方向に２画素ずつ右下方向にずらされている。これは、第１の値が表す重心Ｇｒ１に対して第２の値が表す重心Ｇｂ１が右下方向にずれるためである。画像領域Ｒ１の先頭色によっては、画像領域Ｒ２のずらし方向を変える必要がある。

図５は、画像領域Ｒ１の先頭色がＲであるときの画像領域Ｒ２のずらし方について示した図である。画像領域Ｒ１の先頭色がＲであるとき、画像領域Ｒ１における第１の値が表す重心Ｇｒ１に対して第２の値が表す重心Ｇｂ１は右上方向にずれる。このため、画像領域Ｒ２を画像領域Ｒ１に対して右下方向にずらした位置にしてしまうと、重心Ｇｒ１、Ｇｂ１、Ｇｒ２、Ｇｂ２は同一直線上に並ばない。この場合、補間演算によって重心を一致させることはできない。画像領域Ｒ１の先頭色がＲである場合において重心Ｇｒ１、Ｇｂ１、Ｇｒ２、Ｇｂ２を同一直線上に並べるようにするためには、例えば、図５に示すように、画像領域Ｒ１に対して水平方向及び垂直方向に２画素ずつ右上方向にずらした位置を画像領域Ｒ２とすればよい。一般には、画像領域Ｒ１の先頭色がＧｒ又はＧｂのときには、画像領域Ｒ２は右下（左上）にずらした位置とすればよく、画像領域Ｒ１の先頭色がＲ又はＢのときには、画像領域Ｒ２は右上（左下）にずらした位置とすればよい。

図６は、画像領域Ｒ１の先頭色がＲである場合において画像領域Ｒ１に対して水平方向及び垂直方向に２画素ずつ右上方向にずらした位置を画像領域Ｒ２としたときの、重心Ｇｒ１、重心Ｇｂ１、重心Ｇｒ２、重心Ｇｂ２の位置関係を示す図である。画像領域Ｒ１に対して画像領域Ｒ２を右上方向にずらすことで、重心Ｇｒ１、Ｇｂ１、Ｇｒ２、Ｇｂ２は同一直線上に並ぶ。重心Ｇｒ１、Ｇｂ１、Ｇｒ２、Ｇｂ２が図６のような位置関係となるとき、補間演算部２３４１は、以下の（式２）の演算を実施する。
Ｉｇｒ＝（３×Ｖｇｒ１＋１×Ｖｇｒ２）／４
Ｉｇｂ＝（１×Ｖｇｂ１＋３×Ｖｇｂ２）／４ （式２）

図７は、図６において補間演算が実施された後の重心の移動を示した図である。（式２）に示す補間演算によって得られる第１の補間値Ｉｇｒが表す位置（補間位置）は、図７のＩの位置になる。同様に、（式２）に示す補間演算によって得られる第２の補間値Ｉｇｂが表す位置（補間位置）も、図７のＩの位置になる。すなわち、第１の補間値が表す重心と第２の補間値が表す重心は一致する。

以下、本実施形態の撮像装置の動作を説明する。図８Ａ及び図８Ｂは、カメラシステム１のスチル画像記録時の動作を示すフローチャートである。図８Ａ及び図８Ｂの動作は、主にマイクロコンピュータ２３４によって制御される。

図８Ａ及び図８Ｂの動作は、例えばカメラ本体２００がスチル画像記録モードで起動されたときに開始される。ステップＳ１において、マイクロコンピュータ２３４は、ライブビュー用の画像を取得するために、撮像素子ドライバ２０８を介して撮像素子２０６を所定のフレームレートで駆動する。撮像素子２０６で得られた画像信号は、アナログ処理部２１０においてアナログ処理される。アナログ処理部２１０においてアナログ処理された画像信号は、Ａ/Ｄ変換部２１２においてデジタル信号である画像データに変換される。Ａ/Ｄ変換部２１２において得られた画像データは、第１の画像処理部２２２を経由してＳＤＲＡＭ２１６に記憶される。

ステップＳ２において、マイクロコンピュータ２３４は、ライブビュー用の画像の取得動作によって得られた画像データに対して基本画像処理を行うように第２の画像処理部２２４に対して指示する。この指示を受けて、第２の画像処理部２２４は、基本画像処理部２２４１により、ＳＤＲＡＭ２１６に記憶された画像データに対する基本画像処理を行う。ここでの基本画像処理は、表示部２２８への表示に必要な画像処理であって、例えばＯＢ減算処理、ＷＢ補正処理、デモザイク処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理を含む。基本画像処理の後、マイクロコンピュータ２３４は、表示ドライバ２２６に対してライブビュー表示を指示する。この指示を受けて、表示ドライバ２２６は、撮像素子２０６を介して逐次に得られ、第２の画像処理部２２４で逐次に処理された画像データを表示部２２８に入力する。表示部２２８は、入力された画像データに基づいてライブビューを表示する。

ステップＳ３において、第１の画像処理部２２２は、算出部２２２１により、ライブビュー用の画像の取得動作によって得られた画像データを第１のパターンで分割する。そして、第１の画像処理部２２２は、算出部２２２１により、画像領域Ｒ１毎に例えばＧｒ画素の画素値の平均値（第１の値）及びＧｂ画素の画素値の平均値（第２の値）を算出する。前述したように、ステップＳ３においては、第１の値及び第２の値として、Ｇｒ画素の画素値の積算値及びＧｂ画素の画素値の積算値が算出されてもよい。また、ステップＳ３の処理は、ライブビュー画像の取得動作中、すなわちＡ/Ｄ変換部２１２から第１の画像処理部２２２に画像データが入力されるときに行われてもよい。

ステップＳ４において、第１の画像処理部２２２は、画像領域Ｒ１の先頭色がＲ又はＢであるか否かを判定する。ステップＳ４において、画像領域Ｒ１の先頭色がＲ又はＢであると判定されたときに、処理はステップＳ５に移行する。ステップＳ４において、画像領域Ｒ１の先頭色がＲ又はＢでない、すなわちＧｒ又はＧｂであると判定されたときに、処理はステップＳ６に移行する。

ステップＳ５において、第１の画像処理部２２２は、第１のパターンに対して水平方向及び垂直方向に２画素ずつ右上方向にずらしたパターンを第２のパターンとする。ステップＳ６において、第１の画像処理部２２２は、第１のパターンに対して水平方向及び垂直方向に２画素ずつ右下方向にずらしたパターンを第２のパターンとする。ステップＳ５又はステップＳ６の後、処理はステップＳ７に移行する。

ステップＳ７において、第１の画像処理部２２２は、算出部２２２１により、ライブビュー用の画像の取得動作によって得られた画像データを第２のパターンで分割する。そして、第１の画像処理部２２２は、算出部２２２１により、画像領域Ｒ２毎に例えばＧｒ画素の画素値の平均値（第１の値）及びＧｂ画素の画素値の平均値（第２の値）を算出する。ステップＳ３において、Ｇｒ画素の画素値の積算値及びＧｂ画素の画素値の積算値が算出されているときには、ステップＳ７においても、Ｇｒ画素の画素値の積算値及びＧｂ画素の画素値の積算値が算出される。

ステップＳ８において、マイクロコンピュータ２３４は、補間演算部２３４１により、対となる画像領域毎に補間演算を実施する。補間演算部２３４１は、画像領域Ｒ１の先頭色がＧｒ又はＢであるときには（式１）の演算を実施し、画像領域Ｒ１の先頭色がＲ又はＧｂであるときには（式２）の演算を実施する。これにより、Ｇｒ画素の画素値の平均値が表す重心とＧｂ画素の画素値の平均値が表す重心とが一致する。

ステップＳ９において、マイクロコンピュータ２３４は、Ｇ段差検出部２３４２により、補間演算によって得られた第１の補間値Ｉｇｒと第２の補間値Ｉｇｂとの差分（Ｇ段差）を対となる画像領域毎に算出する。

ステップＳ１０において、マイクロコンピュータ２３４は、画像領域毎に算出した第１の補間値Ｉｇｒと第２の補間値Ｉｇｂとの差分（Ｇ段差）の平均値（積算値でもよい）がスレッシュ以上であるか否かを判定する。このスレッシュは、ゴーストの有無を判定するためのスレッシュであって適宜に設定される。ステップＳ１０において、第１の補間値Ｉｇｒと第２の補間値Ｉｇｂとの差分の平均値がスレッシュ以上であると判定されたときには、処理はステップＳ１１に移行する。ステップＳ１０において、第１の補間値Ｉｇｒと第２の補間値Ｉｇｂとの差分の平均値がスレッシュ以上でないと判定されたときには、処理はステップＳ１２に移行する。

ステップＳ１１において、マイクロコンピュータ２３４は、現状、ゴーストが発生していると判定し、ゴーストありフラグをセットする。ステップＳ１２において、マイクロコンピュータ２３４は、現状、ゴーストが発生していないと判定し、ゴーストなしフラグをセットする。ステップＳ１１又はステップＳ１２の後、処理はステップＳ１３に移行する。

ステップＳ１３において、マイクロコンピュータ２３４は、ユーザによってレリーズボタンが押下されたか否かを判定する。ステップＳ１３において、レリーズボタンが押下されたと判定されたときに、処理はステップＳ１４に移行する。ステップＳ１３において、レリーズボタンが押下されていないと判定されたときに、処理はステップＳ２２に移行する。

ステップＳ１４において、マイクロコンピュータ２３４は、スチル画像の記録のために、撮像素子ドライバ２０８を介して撮像素子２０６を駆動する。スチル画像の記録においては、撮像素子２０６は、ＡＥ処理部２１８で設定された撮影条件（シャッタ速度値）に応じて駆動される。撮像素子２０６で得られた画像信号は、アナログ処理部２１０においてアナログ処理される。アナログ処理部２１０においてアナログ処理された画像信号は、Ａ/Ｄ変換部２１２においてデジタル信号である画像データに変換される。Ａ/Ｄ変換部２１２において得られた画像データは、第１の画像処理部２２２を経由してＳＤＲＡＭ２１６に記憶される。

ステップＳ１５において、マイクロコンピュータ２３４は、ゴーストありであるか否かを判定する。この判定は、ゴーストありフラグがセットされているか否かによって判定される。ステップＳ１５において、ゴーストありであると判定されたときには、処理はステップＳ１６に移行する。ステップＳ１５において、ゴーストなしであると判定されたときには、処理はステップＳ１９に移行する。

ステップＳ１６において、マイクロコンピュータ２３４は、現在、取得されたスチル画像にゴーストが発生していることを示す警告を例えば表示部２２８に表示させる。ステップＳ１６の警告は、例えばメッセージを表示させることで行われる。なお、警告は、必ずしも表示部２２８に表示させる必要はなく、表示部２２８とは別の表示部に表示させてもよい。この他、警告は、表示以外の手法で行われてもよい。

ステップＳ１７において、マイクロコンピュータ２３４は、ゴースト対策用の画像処理を含む基本画像処理を行うように第２の画像処理部２２４に対して指示する。この指示を受けて、第２の画像処理部２２４は、基本画像処理部２２４１により、ＳＤＲＡＭ２１６に記憶された画像データに対してゴースト対策用の画像処理を含む基本画像処理を行う。その後、処理はステップＳ１８に移行する。ステップＳ１７での基本画像処理は、記録媒体２３２へのスチル画像の記録に必要な画像処理であって、ゴースト対策用の画像処理に加えて、例えば、ＯＢ減算処理、ＷＢ補正処理、デモザイク処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理、スチル画像圧縮処理を含む。

ここで、ゴースト対策用の画像処理において、基本画像処理部２２４１は、Ｇ段差の大きさに応じて画像処理パラメータを変えるように構成されていてもよい。すなわち、Ｇ段差が大きいほど強いゴーストが発生していると考えることができるので、Ｇ段差が大きいほどゴーストの対策効果を大きくするように画像処理パラメータを変えてもよい。

また、ユーザが意図的にゴーストを発生させている可能性もあるので、ステップＳ１７の処理に先立って、ゴースト対策用の画像処理を行うか否かをユーザに選択させる処理が設けられていてもよい。この場合、ゴースト対策用の画像処理を行うことがユーザによって選択されたときに、ステップＳ１７の処理が行われる。また、ステップＳ１７のゴース対策用の画像処理は省略されてもよい。

ステップＳ１８において、マイクロコンピュータ２３４は、ゴーストありフラグをスチル画像の付随情報であるＥｘｉｆ情報に記録する。その後、処理はステップＳ２１に移行する。

ステップＳ１５においてゴーストなしと判定されたときのステップＳ１９において、マイクロコンピュータ２３４は、ゴースト対策用の画像処理を含まない通常の基本画像処理を行うように第２の画像処理部２２４に対して指示する。この指示を受けて、第２の画像処理部２２４は、基本画像処理部２２４１により、ＳＤＲＡＭ２１６に記憶された画像データに対してゴースト対策用の画像処理を含まない通常の基本画像処理を行う。その後、処理はステップＳ２０に移行する。ステップＳ１９での基本画像処理は、ゴースト対策用の画像処理を除いて、ステップＳ１７で説明したスチル画像の記録のための基本画像処理と同様である。

ステップＳ２０において、マイクロコンピュータ２３４は、ゴーストなしフラグをスチル画像の付随情報であるＥｘｉｆ情報に記録する。その後、処理はステップＳ２１に移行する。

ステップＳ２１において、マイクロコンピュータ２３４は、画像処理されたスチル画像にＥｘｉｆ情報を付与してスチル画像ファイルを生成し、生成したスチル画像ファイルをメモリＩ/Ｆ２３０を介して記録媒体２３２に記録する。その後、処理は、ステップＳ１に戻る。

ステップＳ１３においてレリーズボタンが押下されていないと判定されたときのステップＳ２２において、マイクロコンピュータ２３４は、ユーザによって電源ボタンが押下されたか否かを判定する。ステップＳ２２において、電源ボタンが押下されたと判定されたときに、マイクロコンピュータ２３４は、カメラ本体２００の電源をオフする。その後、図８Ａ及び図８Ｂの処理は終了する。ステップＳ２２において、電源ボタンが押下されていないと判定されたときに、処理はステップＳ１に戻る。

ここで、図８Ａ及び図８Ｂに示す動作においては、ライブビューの表示時におけるゴースト判定の結果をスチル画像の記録時において利用している。これにより、スチル画像の記録に要する時間を短縮することができる。一方で、スチル画像の記録に要する時間を長くすることができるのであれば、スチル記録用の画像データそのものを使用してゴースト判定が行われてもよい。この場合、ライブビュー表示時におけるゴースト判定を省略するようにしてもよい。

図９Ａ及び図９Ｂは、カメラシステム１の動画記録時の動作を示すフローチャートである。図９Ａ及び図９Ｂの動作は、主にマイクロコンピュータ２３４によって制御される。なお、図９Ａ及び図９Ｂにおいて、図８Ａ及び図８Ｂと同様の動作については適宜に説明を省略する。

図９Ａ及び図９Ｂの動作は、例えばカメラ本体２００が動画記録モードで起動されたときに開始される。ステップＳ１０１において、マイクロコンピュータ２３４は、ライブビュー用の画像を取得するために、撮像素子ドライバ２０８を介して撮像素子２０６を所定のフレームレートで駆動する。

ステップＳ１０２において、マイクロコンピュータ２３４は、ライブビューを表示するための処理を行う。この処理は、図８ＡのステップＳ２の処理と同様である。したがって、説明を省略する。

ステップＳ１０３−Ｓ１１２で示す処理（処理群１）は、図８ＡのステップＳ３−Ｓ１２で示す処理と同様である。したがって、説明を省略する。本実施形態では、動画記録モードのライブビューの表示時においてもゴースト判定が行われる。

ゴースト判定が完了した後のステップＳ１１３において、マイクロコンピュータ２３４は、ユーザによって動画開始ボタンが押下されたか否かを判定する。ステップＳ１１３において、動画開始ボタンが押下されたと判定されたときに、処理はステップＳ１１４に移行する。ステップＳ１１３において、動画開始ボタンが押下されていないと判定されたときに、処理はステップＳ１２３に移行する。

ステップＳ１１４において、マイクロコンピュータ２３４は、動画フレームの記録のために、撮像素子ドライバ２０８を介して撮像素子２０６を駆動する。動画記録においては、撮像素子２０６は、所定のフレームレートで駆動される。撮像素子２０６で得られた画像信号は、アナログ処理部２１０においてアナログ処理される。アナログ処理部２１０においてアナログ処理された画像信号は、Ａ/Ｄ変換部２１２においてデジタル信号である画像データに変換される。Ａ/Ｄ変換部２１２において得られた画像データは、第１の画像処理部２２２を経由してＳＤＲＡＭ２１６に記憶される。

ステップＳ１１５において、マイクロコンピュータ２３４は、直前のゴースト判定でゴーストありであるか否かを判定する。直前のゴースト判定とは、動画開始ボタンの押下直後であればライブビューの表示時に行われるゴースト判定であり、その後は１フレーム前の動画フレームの生成中に行われるゴースト判定である。なお、ステップＳ１１５における判定は、ゴーストありフラグがセットされているか否かによって判定される。ステップＳ１１５において、直前のゴースト判定でゴーストありであると判定されたときには、処理はステップＳ１１６に移行する。ステップＳ１１５において、直前のゴースト判定でゴーストなしであると判定されたときには、処理はステップＳ１１８に移行する。

ステップＳ１１６において、マイクロコンピュータ２３４は、現在、ゴーストが発生していることを示す警告を例えば表示部２２８に表示させる。ステップＳ１１６の警告は、例えばメッセージを表示させることで行われる。なお、警告は、必ずしも表示部２２８に表示させる必要はなく、表示部２２８とは別の表示部に表示させてもよい。この他、警告は、表示以外の手法で行われてもよい。

ステップＳ１１７において、マイクロコンピュータ２３４は、ゴースト対策用の画像処理を含む基本画像処理を行うように第２の画像処理部２２４に対して指示する。この指示を受けて、第２の画像処理部２２４は、基本画像処理部２２４１により、ＳＤＲＡＭ２１６に記憶された画像データに対してゴースト対策用の画像処理を含む基本画像処理を行う。その後、処理はステップＳ１１９に移行する。ステップＳ１１７での基本画像処理は、記録媒体２３２への動画の記録に必要な画像処理であって、ゴースト対策用の画像処理に加えて、例えば、ＯＢ減算処理、ＷＢ補正処理、デモザイク処理、色変換処理、ガンマ変換処理、ノイズ低減処理、拡大縮小処理、動画圧縮処理を含む。

ここで、ゴースト対策用の画像処理において、基本画像処理部２２４１は、Ｇ段差の大きさに応じて画像処理パラメータを変えるように構成されていてもよい。すなわち、Ｇ段差が大きいほど強いゴーストが発生していると考えることができるので、Ｇ段差が大きいほどゴーストの対策効果を大きくするように画像処理パラメータを変えてもよい。

また、ユーザが意図的にゴーストを発生させている可能性もあるので、ステップＳ１１７の処理に先立って、ゴースト対策用の画像処理を行うか否かをユーザに選択させる処理が設けられていてもよい。この場合、ゴースト対策用の画像処理を行うことがユーザによって選択されたときに、ステップＳ１１７の処理が行われる。また、ステップＳ１１７のゴースト対策用の画像処理は省略されてもよい。

ステップＳ１１５においてゴーストなしと判定されたときのステップＳ１１８において、マイクロコンピュータ２３４は、ゴースト対策用の画像処理を含まない通常の基本画像処理を行うように第２の画像処理部２２４に対して指示する。この指示を受けて、第２の画像処理部２２４は、基本画像処理部２２４１により、ＳＤＲＡＭ２１６に記憶された画像データに対してゴースト対策用の画像処理を含まない通常の基本画像処理を行う。その後、処理はステップＳ１１９に移行する。ステップＳ１１８での基本画像処理は、ゴースト対策用の画像処理を除いて、ステップＳ１１７で説明した動画の記録のための基本画像処理と同様である。

ステップＳ１１９において、マイクロコンピュータ２３４は、処理群１で示したゴースト判定を実施する。すなわち、動画記録モードでは、動画の記録中においてもゴースト判定が実施される。これにより、動画の記録中であってもゴーストの有無の情報を更新することができる。

ステップＳ１２０において、マイクロコンピュータ２３４は、基本画像処理によって得られた動画フレームを例えばＳＤＲＡＭ２１６に記憶させる。

ステップＳ１２１において、マイクロコンピュータ２３４は、ユーザによって動画終了ボタンが押下されたか否かを判定する。ステップＳ１２１において、動画終了ボタンが押下されていないと判定されたときに、処理はステップＳ１１４に戻る。この場合、次の動画フレームを生成するための処理が行われる。ステップＳ１２１において、動画終了ボタンが押下されたと判定されたときに、処理はステップＳ１２２に移行する。

ステップＳ１２２において、マイクロコンピュータ２３４は、ＳＤＲＡＭ２１６に記憶させた動画フレームから動画ファイルを生成する。そして、マイクロコンピュータ２３４は、生成した動画ファイルのヘッダにゴーストありフラグ又はゴーストなしフラグを記録する。ゴーストありフラグ又はゴーストなしフラグは、例えば動画フレームのフレーム番号と対応付けて記録される。動画ファイルの生成後、マイクロコンピュータ２３４は、生成した動画ファイルをメモリＩ/Ｆ２３０を介して記録媒体２３２に記録する。その後、処理は、ステップＳ１０１に戻る。

ステップＳ１１３において動画開始ボタンが押下されていないと判定されたときのステップＳ１２３おいて、マイクロコンピュータ２３４は、ユーザによって電源ボタンが押下されたか否かを判定する。ステップＳ１２３において、電源ボタンが押下されたと判定されたときに、マイクロコンピュータ２３４は、カメラ本体２００の電源をオフする。その後、図９Ａ及び図９Ｂの処理は終了する。ステップＳ１２３において、電源ボタンが押下されていないと判定されたときに、処理はステップＳ１０１に戻る。

ここで、図９Ａ及び図９Ｂに示す動作においては、ライブビューの表示時におけるゴースト判定の結果を動画開始ボタンの押下直後において利用している。これにより、動画の記録に要する時間を短縮することができる。一方で、動画フレームの記録に要する時間を長くすることができるのであれば、すべての動画フレームの生成時において記録用の画像データそのものを使用してゴースト判定が行われてもよい。この場合、ライブビュー表示時におけるゴースト判定を省略するようにしてもよい。

以上説明したように本実施形態では、ゴースト判定の際に、画像データを第１のパターンと第１のパターンとは異なる第２のパターンとで画像領域の単位に分割し、それぞれのパターンで分割した画像領域毎にＧｒ画素の画素値の平均値又は積算値である第１の値及びＧｂ画素の画素値の平均値又は積算値である第２の値が算出される。そして、第１の値が表す重心と第２の値が表す重心とを一致させるように補間演算が実施される。これにより、第１の値及び第２の値に対する被写体の構造の影響を抑制することができる。このため、ゴースト判定を精度よく行うことができる。

また、本実施形態では、第１のパターンでの分割による画像領域の先頭色に応じて第２のパターンを設定している。これにより、第１のパターンの設定に応じた適切な補間演算を実施することができる。

［変形例１］
以下、本実施形態の変形例を説明する。前述した実施形態では、算出部は、Ａ/Ｄ変換部２１２からの画像データを処理する第１の画像処理部２２２に設けられている。しかしながら、算出部は、例えば第２の画像処理部２２４に設けられていてもよいし、第１の画像処理部２２２及び第２の画像処理部２２４とは別個に設けられていてもよい。また、マイクロコンピュータ２３４によって算出部と同様の機能が実現されてもよい。

また、前述した実施形態では、補間演算部及びＧ段差検出部は、マイクロコンピュータ２３４において実行される機能であるとしている。しかしながら、補間演算部及びＧ段差検出部は、マイクロコンピュータ２３４とは別個に設けられていてもよい。例えば、補間演算部及びＧ段差検出部は、第１の画像処理部２２２又は第２の画像処理部２２４に設けられていてもよいし、第１の画像処理部２２２及び第２の画像処理部２２４とは別個に設けられていてもよい。

［変形例２］
前述した実施形態では、２つの画像領域Ｒ１、Ｒ２についての第１の値及び第２の値から補間演算を実施している。この場合、画像領域Ｒ１の先頭色に応じて画像領域Ｒ２のずらし方向を変える必要が生じる。変形例２は、異なる４つのパターンで分割した４つの画像領域を利用することで画像領域のずらし方向の判定を不要とした例である。

図１０Ａ及び図１０Ｂは、４つのパターンで分割するときの４つの画像領域の位置関係を示した図である。ここで、図１０Ａで示す画素と図１０Ｂで示す画素とは同一の位置にあるものとする。図１０Ａ及び図１０Ｂに示すように、画像領域Ｒ１に対し、画像領域Ｒ２は右方向に２画素ずれており、画像領域Ｒ３が下方向に２画素ずれており、画像領域Ｒ４は右下方向に２画素ずつずれている。このようにして画像領域の単位での分割が行われるように、４つの異なるパターンでの分割が行われる。ここで、図１０Ａ及び図１０Ｂの分割の場合には画像領域Ｒ１の先頭色によって、画像領域Ｒ２、Ｒ３、Ｒ４についての分割のパターンを変える必要はない。また、２つの画像領域の場合と同様に、画像領域Ｒ１に対する他の画像領域のずらし量については、２画素でなくてもよい。

図１１は、４つの画像領域で得られる第１の値及び第２の値が表す８つの重心の位置関係を示した図である。ここで、重心Ｇｒ１は、画像領域Ｒ１について算出された第１の値が表す重心であり、重心Ｇｂ１は、画像領域Ｒ１について算出された第２の値が表す重心である。同様に、重心Ｇｒ２は、画像領域Ｒ２について算出された第１の値が表す重心であり、重心Ｇｂ２は、画像領域Ｒ２について算出された第２の値が表す重心である。また、重心Ｇｒ３は、画像領域Ｒ３について算出された第１の値が表す重心であり、重心Ｇｂ３は、画像領域Ｒ３について算出された第２の値が表す重心である。また、重心Ｇｒ４は、画像領域Ｒ４について算出された第１の値が表す重心であり、重心Ｇｂ４は、画像領域Ｒ４について算出された第２の値が表す重心である。重心Ｇｒ１、Ｇｂ１、Ｇｒ２、Ｇｂ２、Ｇｒ３、Ｇｂ３、Ｇｒ４、Ｇｂ４が図１１のような位置関係となるとき、補間演算部２３４１は、以下の（式３）の演算を実施する。
Ｉｇｒ＝（３×Ｖｇｒ１＋１×Ｖｇｒ２＋９×Ｖｇｒ３＋３×Ｖｇｒ４）／１６
Ｉｇｂ＝（３×Ｖｇｂ１＋９×Ｖｇｂ２＋１×Ｖｇｂ３＋３×Ｖｇｂ４）／１６
（式３）
ここで、Ｉｇｒは補間演算後の第１の値（第１の補間値）であり、Ｖｇｒ１は画像領域Ｒ１についての第１の値であり、Ｖｇｒ２は画像領域Ｒ２についての第１の値であり、Ｖｇｒ３は画像領域Ｒ３についての第１の値であり、Ｖｇｒ４は画像領域Ｒ４についての第１の値である。また、Ｉｇｂは補間演算後の第２の値（第２の補間値）であり、Ｖｇｂ１は画像領域Ｒ１についての第２の値であり、Ｖｇｂ２は画像領域Ｒ２についての第２の値であり、Ｖｇｂ３は画像領域Ｒ３についての第２の値であり、Ｖｇｂ４は画像領域Ｒ４についての第２の値である。

図１２は、図１１において補間演算が実施された後の重心の移動を示した図である。（式３）に示す補間演算によって得られる第１の補間値Ｉｇｒが表す位置（補間位置）は、図１２のＩの位置になる。同様に、（式３）に示す補間演算によって得られる第２の補間値Ｉｇｂが表す位置（補間位置）も、図１２のＩの位置になる。すなわち、第１の補間値が表す重心と第２の補間値が表す重心は一致する。

以上説明した変形例２によれば、１つの画像領域の先頭色によって他の画像領域についての分割のパターンを変更する必要はない。

［変形例３］
近年の撮像素子は、位相差検出画素を有していることがある。位相差検出画素は、位相差を検出することができるように、例えば一部の領域が遮光された画素である。位相差検出画素の配置の仕方は、画面内のどの位置の焦点状態を検出するかによって変わる。例えば、図１３Ａは、一部のＧｒ画素及びＧｂ画素の位置に位相差検出画素ＡＦを配置した撮像素子の例である。図１３Ｂは、一部の画素行に位相差検出画素ＡＦを配置した撮像素子の例である。

ここで、位相差検出画素と位相差検出画素ではない通常の画素とでは、同じ量の光の入射に対して異なる画像信号を出力する。このため、位相差検出画素がゴースト判定に用いられてしまうと、位相差検出画素と通常の画素との画像信号の差がＧ段差として現れてしまう。このようなＧ段差によってゴースト判定が行われると、誤判断のもとになる。

したがって、変形例３では、画像領域内のＧｒ画素又はＧｂ画素の位置に位相差検出画素が配置されている場合には、その位相差検出画素の画素値が除かれて第１の値又は第２の値が算出される。これにより、ゴースト判定の精度をより高めることができる。

なお、変形例３では、通常の画素とは異なる画素の例として位相差検出画素を例示したが、変形例３の技術は、通常の画素とは異なる画素信号を出力する各種の構造の画素に対して適用され得る。

［その他の変形例］
前述した実施形態では、撮像装置の適用例としてデジタルカメラ等のカメラシステムを例示している。これに対し、本実施形態の技術は、ベイヤ配列構造の固体撮像素子を有する各種の撮像装置に対して適用することができる。例えば、本実施形態の技術は、内視鏡、顕微鏡、監視カメラ等の各種の撮像装置に対しても適用することができる。さらに、本実施形態におけるゴースト判定は、画像データがベイヤ配列構造の固体撮像素子を介して得られたものであれば実施され得る。このため、本実施形態の技術は、撮像素子を有しておらず、ベイヤ配列構造の固体撮像素子を介して得られた画像データが入力される画像処理装置に対しても適用することができる。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、前述した実施形態による各処理は、マイクロコンピュータ２３４に実行させることができる画像処理プログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、マイクロコンピュータ２３４は、この外部記憶装置の記憶媒体に記憶された画像処理プログラムを読み込み、この読み込んだ画像処理プログラムによって動作が制御されることにより、前述した処理を実行することができる。

１ カメラシステム、１００ 交換式レンズ、１０２ 撮影レンズ、１０４ 絞り、１０６ ドライバ、１０８ レンズマイクロコンピュータ、１１０ Ｆｌａｓｈメモリ、２００ カメラ本体、２０２ インターフェイス（Ｉ/Ｆ）、２０４ シャッタ、２０６ 撮像素子、２０８ 撮像素子ドライバ、２１０ アナログ処理部、２１２ アナログデジタル（Ａ/Ｄ）変換部、２１４ バス、２１６ ＳＤＲＡＭ、２１８ ＡＥ処理部、２２０ ＡＦ処理部、２２２ 第１の画像処理部、２２４ 第２の画像処理部、２２６ 表示ドライバ、２２８ 表示部、２３０ メモリインターフェース（Ｉ/Ｆ）、２３２ 記録媒体、２３４ マイクロコンピュータ、２３６ Ｆｌａｓｈメモリ、２３８ 操作部、２２２１ 算出部、２２４１ 基本画像処理部、２３４１ 補間演算部、２３４２ Ｇ段差検出部。

Claims (8)

1. 水平方向にＲ画素及びＧｒ画素が交互に配列されたラインと、水平方向にＢ画素及びＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を有する撮像装置であって、
   前記固体撮像素子から出力される画像データの所定の画像領域毎に、前記Ｇｒ画素の画素値の平均値又は積算値である第１の値と前記Ｇｂ画素の画素値の平均値又は積算値である第２の値とを算出する算出部と、
   複数の前記画像領域について前記算出部で算出された複数の前記第１の値のそれぞれが表す第１の重心と複数の前記第２の値のそれぞれが表す第２の重心とを一致させるように、複数の前記１の値及び複数の前記第２の値を用いて補間演算を実施する補間演算部と、
   前記補間演算部により補間された前記第１の値と前記第２の値との差分を求めるＧ段差検出部と、
   を具備する撮像装置。
2. 前記算出部は、水平方向及び垂直方向に２画素ずつずれた位置関係にある２つの前記画像領域について２つの前記第１の値及び２つの前記第２の値を算出する、
   請求項１に記載の撮像装置。
3. 前記算出部は、２つの前記画像領域のうちの１つの前記画像領域の先頭色に従ってもう１つの前記画像領域のずらし方向を決める、
   請求項２に記載の撮像装置。
4. 前記算出部は、４つの前記画像領域について４つの前記第１の値及び４つの前記第２の値を算出し、
   ４つの前記画像領域のうちの１つ目の前記画像領域に対し、２つ目の前記画像領域は水平方向に２画素ずれており、３つ目の前記画像領域は垂直方向に２画素ずれており、４つ目の前記画像領域は水平方向及び垂直方向に２画素ずつずれている、
   請求項１に記載の撮像装置。
5. 前記算出部は、前記画像領域内の前記Ｇｒ画素の位置に通常のＧｒ画素と異なる画素がある場合又は前記Ｇｂ画素の位置に通常のＧｂ画素と異なる画素がある場合に、前記異なる画素を除外して前記第１の値及び前記第２の値を算出する、
   請求項１に記載の撮像装置。
6. 水平方向にＲ画素及びＧｒ画素が交互に配列されたラインと、水平方向にＢ画素及びＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Ｇｒ画素の画素値の平均値又は積算値である第１の値と前記Ｇｂ画素の画素値の平均値又は積算値である第２の値とを算出する算出部と、
   複数の前記画像領域について前記算出部で算出された複数の前記第１の値のそれぞれが表す第１の重心と複数の前記第２の値のそれぞれが表す第２の重心とを一致させるように、複数の前記１の値及び複数の前記第２の値を用いて補間演算を実施する補間演算部と、
   前記補間演算部により補間された前記第１の値と前記第２の値との差分を求めるＧ段差検出部と、
   を具備する画像処理装置。
7. 水平方向にＲ画素及びＧｒ画素が交互に配列されたラインと、水平方向にＢ画素及びＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Ｇｒ画素の画素値の平均値又は積算値である第１の値と前記Ｇｂ画素の画素値の平均値又は積算値である第２の値とを算出することと、
   複数の前記画像領域について算出された複数の前記第１の値のそれぞれが表す第１の重心と複数の前記第２の値のそれぞれが表す第２の重心とを一致させるように、複数の前記１の値及び複数の前記第２の値を用いて補間演算を実施することと、
   前記補間演算により補間された前記第１の値と前記第２の値との差分を求めることと、
   を具備する画像処理方法。
8. 水平方向にＲ画素及びＧｒ画素が交互に配列されたラインと、水平方向にＢ画素及びＧｂ画素が交互に配列されたラインとが垂直方向に交互に配置されるベイヤ配列構造の固体撮像素子を介して得られた画像データの所定の画像領域毎に、前記Ｇｒ画素の画素値の平均値又は積算値である第１の値と前記Ｇｂ画素の画素値の平均値又は積算値である第２の値とを算出することと、
   複数の前記画像領域について算出された複数の前記第１の値のそれぞれが表す第１の重心と複数の前記第２の値のそれぞれが表す第２の重心とを一致させるように、複数の前記１の値及び複数の前記第２の値を用いて補間演算を実施することと、
   前記補間演算により補間された前記第１の値と前記第２の値との差分を求めることと、
   をコンピュータに実行させるための画像処理プログラム。