JP2008054206A - ゴースト検出装置およびその関連技術 - Google Patents

Abstract

【課題】太陽などの明るい光源に起因して生じるゴーストを防止するために、レンズ表面に反射防止膜をコーティングしたり、レンズ構成物を黒く塗装したり、レンズ間の距離を十分にとりレンズ表面への侵入を防止する従来技術では、近年のカメラの小型化、撮像光学系の小型化の要請からレンズ間距離を十分に確保することが難しく、また反射防止膜コーティングや塗装はカメラコストを上昇させる。
【解決手段】フォーカスレンズ５を介して撮像素子６でとらえた画像について、撮像素子に対するフォーカスレンズの合焦位置でのフォーカス画像と合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理回路１６と、差分処理回路による差分処理画像からゴーストを検出するゴースト検出回路１７と、フォーカスレンズ駆動回路１０を制御するとともに、差分処理回路およびゴースト検出回路を制御するゴースト検出制御回路１５を備える。
【選択図】図１

Description

本発明は、デジタルスチルカメラやムービーカメラなどの撮像装置の撮像光学系で生じるゴーストを電気的に検出するゴースト検出装置に関する。また、撮像装置、ゴースト検出用または撮像装置用の半導体集積回路に関する。

デジタルスチルカメラやムービーカメラなどの撮像装置は、一般に複数のレンズやプリズムから構成された撮像光学系をもっている。被写体に太陽や電球などの明るい光源が含まれている場合、図２０（ａ），（ｂ）に示すように、その光源の光がレンズ表面や撮像光学系の構造物（ねじ、鏡筒、絞りなど）や撮像素子の表面で反射し、その反射光の像が撮像素子上に結像することがある。この現象は、一般にゴーストと呼ばれる（図２１参照）。通常、太陽などの光源を中心に絞りの形状のゴーストが発生したり、構造物の反射がゴーストとなる場合が多い。特に被写体の暗い部分で発生するゴーストは目立ち、非常に見苦しい像となってしまう。

このようなゴーストを防止するために、レンズ表面に反射防止膜をコーティングしたり、レンズの構造物を黒く塗装したり、レンズ間距離を十分にとること等により、レンズ表面への反射光の侵入を防止することが従来から行なわれている。しかし、近年、カメラの小型化、撮像光学系の小型化が進み、レンズ間距離を十分に確保することが難しくなっている。また反射防止膜のコーティングや黒の塗装はカメラの価格を上昇させる。

この問題を解決するために電子的にフレアを除去する電子式フレア補正装置が考案されている（例えば、特許文献１参照）。フレアはゴーストに類似の現象であるが、ゴーストが像を結ぶのに対して、フレアは像を結ばない。特許文献１においては、あらかじめ画面内の強い光源に対して発生する基準フレアを記憶しておき、光源検出手段を用いて光源を検出した後、記憶した基準フレアから予測フレアを生成し、それを元画像から減算することでフレアを補正している。しかし、特許文献１の技術をゴースト補正に適用するとしても、ゴーストが発生する条件は多種多様であり、予測ゴーストが正確に実際のゴーストに一致する訳ではなく、精度の高い補正は困難である。
特許第３３７２２０９号公報（第２−４頁、第１−８図）

上述のように、撮像光学系で発生するゴーストを撮像光学系のみで防止することは、小型化や低廉化の観点から支障を伴うものとなる。また、従来の電子式のゴースト補正技術では、ゴーストを正確に検出することができない。

本発明は、このような事情に鑑みて創作したものであり、被写体内の強い光で発生するゴーストを正確に検出できるゴースト検出装置を提供することを目的としている。また、撮像光学系の小型化や低廉化を妨げることなく、ゴースト補正を高精度に実現できる撮像装置を提供することを目的としている。

一般的なゴーストの特性として、次のものが挙げられる。

（１）構造物によるゴーストは、フォーカスレンズを移動させると移動し、場合によっては消失する。

（２）特に絞りによるゴースト（絞りゴースト）は、画面内に太陽等の高輝度な光源（主光源）がある場合に発生し、ズームレンズを広角（wide）方向に移動させると、主光源に向かって接近するように移動し、さらには主光源に含まれ消失する場合もある。

（３）画面内に主光源がある場合に発生する絞りゴーストは、画面から主光源がなくなると同時に消失する。

（４）主光源がない場合は、絞りゴーストを含め構造物ゴーストは発生しない。

フォーカスレンズやズームレンズや雲台（三脚上の回転変位機構）等を駆動すると、撮像画面内で画像が動くことになるが、この動きが被写体とゴーストとで異なる。この相違を利用してゴーストの検出を行う。

本発明によるゴースト検出装置は、
フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理手段と、
前記差分処理手段による差分処理画像からゴーストを検出するゴースト検出手段と、
フォーカスレンズ駆動回路を制御するとともに、前記差分処理手段および前記ゴースト検出手段を制御するゴースト検出制御手段とを備えたものである。

上記構成のゴースト検出装置に対応するゴースト検出用半導体集積回路は、
フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理回路と、
前記差分処理回路による差分処理画像からゴーストを検出するゴースト検出回路と、
フォーカスレンズ駆動回路を制御するとともに、前記差分処理回路および前記ゴースト検出回路を制御するゴースト検出制御回路とを備えたものである。

上記の構成においては、ゴースト検出制御手段は、フォーカスレンズ駆動回路を制御して、フォーカスレンズを合焦位置に移動させ、合焦位置での画像をフォーカス画像として取り込むとともに、フォーカスレンズを合焦位置から変位させた位置での画像をデフォーカス画像として取り込む。さらに、ゴースト検出制御手段は差分処理手段を制御してフォーカス画像とデフォーカス画像との差分をとり、その結果の差分処理画像をゴースト検出手段に渡す。ゴースト検出手段は、受け取った差分処理画像について上記の特性を踏まえてゴースト検出を行い、その結果をゴースト検出制御手段に通知する。ゴースト検出の通知を受けたゴースト検出制御手段は、差分処理手段による差分処理画像をゴースト像として捕捉する。

この発明によれば、被写体内で強い光が生じている場合に、従来技術のようにあらかじめ補正用の基準フレアを撮像し記憶しておくのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とデフォーカス画像の差分をとり、その差分処理画像からゴースト検出を行うので、従来の電子式ゴースト検出装置よりもゴーストの検出精度が高いものとなる。

上記構成において、前記ゴースト検出手段は、画像領域をブロック分割し、個々のブロックでの前記差分処理画像に基づいて前記ゴーストの検出を行うように構成されているという態様がある。

また、上記構成において、前記ゴースト検出手段は、前記差分処理画像について個々のブロックにおいて所定の閾値以上となる画素差分値の画素数が所定の画素数閾値以上の場合に、そのブロックにゴーストありと判断するという態様がある。

画像領域を複数のブロックに分割して、ブロック単位でゴースト有無を判定することにより、ゴースト検出の精度を上げることができる。その際に、個々のブロックで画素差分値が閾値以上かを判断し、閾値以上の画素差分値をもつ画素がどれくらい多いのかを判定する。そのような閾値以上の画素差分値の画素数が画素数閾値以上であれば、そのブロックにゴーストありと判断する。こうすることにより、高いゴースト検出精度をもたせることができる。

また、本発明によるゴースト検出装置は、
ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正手段と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正手段によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出手段、前記倍率補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの方向と前記主光源検出手段による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御手段とを備えたものである。

上記構成のゴースト検出装置に対応するゴースト検出用半導体集積回路は、
ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正回路と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正回路によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出回路、前記倍率補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの方向と前記主光源検出回路による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御回路とを備えたものである。

上記の構成においては、主光源検出手段が合焦位置でのフォーカス画像に主光源が含まれていないと判断したときはゴーストなしと決定でき、ゴーストなしの検出を高速に実現する。フォーカス画像に主光源が含まれているときには、ズームレンズを移動させたときの変位画像をとり、フォーカス画像との比較を行う上での規格化のために倍率補正手段は変位画像の像倍率を調整して、像倍率を変位画像とフォーカス画像とで同じにする。その上で、動きベクトル検出手段はフォーカス画像と変位画像との相関関係から両画像間の動きベクトルを求める。さらに、ゴースト検出制御手段は主光源の位置と動きベクトルとの相関関係から絞りゴーストの有無を判定する。

この発明によれば、被写体内で強い光が生じている場合に、従来技術のようにあらかじめ補正用の基準フレアを撮像し記憶しておくのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像と変位画像で主光源を検出し、両者の比較から動きベクトルを求め、主光源の位置と動きベクトルとの相関関係で絞りゴーストを検出するので、従来の電子式ゴースト補正装置よりもゴーストの検出精度が高いものとなる。

上記の構成における前記動きベクトル検出手段については、ブロックマッチング法により前記動きベクトルを検出するように構成されているという態様がある。また上記の構成における前記ゴースト検出制御手段については、前記ズームレンズを移動させた場合に前記動きベクトルが発生し、かつ前記動きベクトルの方向が前記主光源に向かっている場合に対象となる動領域をゴーストと判定するように構成されているという態様がある。このようにすることにより、ゴースト判定の精度を高めることができる。

また、本発明によるゴースト検出装置は、
フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正手段と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正手段によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出手段、前記位置補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの大きさと前記主光源検出手段による前記主光源の有無とからゴーストを検出するゴースト検出制御手段とを備えたものである。

上記構成のゴースト検出装置に対応するゴースト検出用半導体集積回路は、
フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正回路と、
前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正回路によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出回路、前記位置補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの大きさと前記主光源検出回路による前記主光源の有無とからゴーストを検出するゴースト検出制御回路とを備えたものである。

上記の構成においては、主光源検出手段が合焦位置でのフォーカス画像に主光源が含まれているときに、雲台を変位させ、そのときの変位画像をとり、フォーカス画像との比較を行う上での規格化のために位置補正手段は変位画像の位置を補正して、変位画像とフォーカス画像とで位置合わせを行う。その上で、動きベクトル検出手段はフォーカス画像と変位画像との相関関係から両画像間の動きベクトルを求める。さらに、ゴースト検出制御手段は主光源の位置と動きベクトルとの相関関係から絞りゴーストの有無を判定する。

この発明によれば、被写体内で強い光が生じている場合に、従来技術のようにあらかじめ補正用の基準フレアを撮像し記憶しておくのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像と変位画像で主光源を検出し、両者の比較から動きベクトルを求め、主光源の位置と動きベクトルとの相関関係で絞りゴーストを検出するので、従来の電子式ゴースト補正装置よりもゴーストの検出精度が高いものとなる。

また、上記のいずれかのゴースト検出装置において、さらに、ゴーストありと判断した場合にゴースト検出を外部に通知するゴースト発生通知手段を備えるという態様がある。これにより、警報器（ＬＥＤや電子ブザーなど）を介してゴースト検出をユーザに知らせることができる。

また、本発明による撮像装置は、上記のいずれかのゴースト検出装置と、前記ゴースト検出制御手段によって制御され、前記ゴースト検出装置がゴースト検出したときに前記フォーカス画像から前記ゴースト検出装置が検出したゴースト像を減算して前記フォーカス画像のゴーストを補正するゴースト補正手段とを備えたものである。

また、本発明による撮像装置用半導体集積回路は、上記のいずれかのゴースト検出用半導体集積回路と、前記ゴースト検出制御回路によって制御され、前記ゴースト検出用半導体集積回路がゴースト検出したときに前記フォーカス画像から前記ゴースト検出用半導体集積回路が検出したゴースト像を減算して前記フォーカス画像のゴーストを補正するゴースト補正回路とを備えたものである。

本発明によれば、被写体内で強い光が生じている場合に、従来技術のようにあらかじめ補正用の基準フレアを撮像し記憶しておくのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とデフォーカス画像または変位画像との差分をとり、その差分処理画像からゴーストを検出するので、従来の電子式ゴースト検出装置よりもゴーストの検出精度が高いものとなる。

そして、ゴースト補正においてレンズ間距離を短縮化したり反射防止膜をコーティングするのではなく、電子的にゴースト補正を行うので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。

以下、本発明にかかわるゴースト検出装置を備えた撮像装置の実施の形態について図面に基づいて詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、ゴースト検出を行うのにフォーカスレンズの動作を利用するものである。

図１は本発明の実施の形態１における撮像装置の構成を示すブロック図である。図１において、１は被写体、２はズームレンズ、３は絞り、４は手ぶれ補正レンズ、５はフォーカスレンズ、６は撮像素子（イメージセンサ）、７は増幅器、８は信号処理回路、９はＡＦ（オートフォーカス）回路、１０はフォーカスレンズ駆動回路、１１は絞り制御回路、１２は撮像素子駆動回路、１３はズームレンズ駆動回路、１４は手ぶれ補正レンズ駆動回路、１５はゴースト検出制御回路、１６は差分処理回路、１７はゴースト検出回路、１８はゴースト発生通知回路、３０はフレームメモリ管理回路、４０はフレームメモリである。

被写体１からの光は、ズームレンズ２、絞り３、手ぶれ補正レンズ４、フォーカスレンズ５を通して撮像素子６の光電変換面に結像する。撮像素子６の出力は増幅器７を介して絞り制御回路１１と撮像素子駆動回路１２に入力されるとともに、信号処理回路８に入力される。適正なレベルの増幅器出力が得られるように、増幅器７の出力に応じて、絞り制御回路１１は絞り３を制御し、撮像素子駆動回路１２は撮像素子６の露出時間を制御するように機能し、適切な露光状態を得るように構成されている。

ゴースト検出制御回路１５は、ゴースト検出およびゴースト補正の処理に際して、信号処理回路８、ＡＦ回路９、差分処理回路１６、ゴースト検出回路１７、ゴースト発生通知回路１８およびゴースト補正回路５０を制御するように構成されている。

信号処理回路８は、撮像素子６からの画像データ（ＲＧＢまたは補色）を増幅器７を介して入力し、輝度（Ｙ）と色差信号（Ｃｒ，Ｃｂ）に変換する。また信号処理回路８は、ゴースト検出制御回路１５からの画像データ取得の指令を受けると、その指令を受けた直後の１フレーム分の画像データをフレームメモリ管理回路３０を介してフレームメモリ４０に格納するように構成されている。画像データ取得のタイミングは、撮像素子駆動回路１２の垂直同期信号等から判定するようになっている。

ＡＦ回路９は、信号処理回路８が処理した画像データの輝度成分等から周波数特性等を検出し、入力画像がユーザ指定の画面内被写体に合焦しているかを判定し、合焦していない場合は、フォーカスレンズ駆動回路１２を制御してフォーカスレンズ５を移動させながら合焦判定を行い、フォーカスレンズ５を合焦位置に移動させる。その処理は、カメラのシャッタ半押し状態や押下状態などの外部トリガ信号等により開始される。

フォーカスレンズ駆動回路１０は、ゴースト検出制御回路１５からＡＦ回路９を介してフォーカスレンズ５についての移動の方向（望遠（tele）側または広角（wide）側）と移動量を指示する情報を受け、フォーカスレンズ５を移動させる機能を有している。フォーカスレンズ５を移動させて停止する位置は、レンズ構成により図２のように離散的に存在している。

ズームレンズ駆動回路１３は、ゴースト検出制御回路１５からＡＦ回路９を介してズームレンズ２についての移動の方向（tele側またはwide側）と移動量を指示する情報を受け、ズームレンズ２を移動させる機能を有している。ズームレンズ２を移動させて停止する位置は、レンズ駆動部の構成により図３のように離散的に存在している。

ゴースト検出制御回路１５は、フォーカスレンズ５の合焦位置での画像であるフォーカス画像を取得すべくＡＦ回路９および信号処理回路８を制御する。また、フォーカスレンズ５を合焦位置からずらせた非合焦位置での画像であるデフォーカス画像を取得すべくＡＦ回路９および信号処理回路８を制御する。

フレームメモリ管理回路３０は、１フレーム分のフォーカス画像およびデフォーカス画像の画像データのそれぞれをフレームメモリ４０のフォーカス画像領域ａおよびデフォーカス画像領域ｂに格納する機能を有している。

差分処理回路１６は、ゴースト検出制御回路１５からの指令により、フレームメモリ４０のフォーカス画像領域ａから読み出したフォーカス画像とデフォーカス画像領域ｂから読み出したデフォーカス画像について、同一座標位置の各画素値の差分処理を行い、その差分結果を差分処理画像としてフレームメモリ管理回路３０を介して差分処理画像領域ｃに格納する機能を有している。

ゴースト検出回路１７は、差分処理画像領域ｃから差分処理画像を読み出し、差分処理画像をブロック単位に領域分割し、そのブロック単位で画素差分値が所定の閾値を超えることとなる画素の数を検出し、その画素数が所定の画素数閾値以上であるブロックを検出し、そのブロックの位置情報をゴースト検出制御回路１５に送出する機能を有している。ゴースト検出制御回路１５は、ゴースト検出回路１７からのゴースト検出の通知があったときは、差分処理回路１６における差分処理画像をゴースト像として捕捉し、そのゴースト像の画像データをゴースト補正回路５０に渡すようになっている。ゴースト補正回路５０は、元のフォーカス画像からゴースト像を減算することにより、ゴーストの補正を行う機能を有している。

次に、上記のように構成された本実施の形態の撮像装置の動作の概要を図４を用いて説明する。動作の要点を述べると、フォーカス画像とデフォーカス画像の差分をとり、得られた差分処理画像を判定画像としてゴースト像の有無判定を行い、ゴースト像があると判断したときには、フォーカス画像からゴースト像を減算することにより、ゴーストの補正を行う。

すなわち、ゴースト検出制御回路１５は、ＡＦ回路９の制御を介してフォーカスレンズ駆動回路１０を制御し、フォーカスレンズ５を合焦位置まで移動させる。フォーカスレンズ５の合焦位置での１フレーム分の出力画像が撮像素子６によって取得され、これがフォーカス画像として信号処理回路８を介してフレームメモリ４０内のフォーカス画像領域ａに格納される。次いで、フォーカスレンズ５を合焦位置からずらせるために、ゴースト検出制御回路１５はフォーカスレンズ移動回路１０を制御し、非合焦位置でのデフォーカス画像をデフォーカス画像領域ｂに格納する。さらに、差分処理回路１６を制御して、フォーカス画像領域ａから読み出したフォーカス画像とデフォーカス画像領域ｂから読み出したデフォーカス画像において、同一座標位置の各画素値の差分処理を行い、その差分結果を差分処理画像として差分処理画像領域ｃに格納する。さらに、ゴースト検出回路１７を制御し、差分処理画像領域ｃから差分処理画像を読み出し、差分処理画像をブロック単位に領域分割し、そのブロック単位で画素差分値が所定の閾値を超えることとなる画素の数を検出し、その画素数が所定の画素数閾値以上であるブロックを検出し、そのブロックでの差分処理画像をゴースト像とする。そして、ゴースト補正回路５０は、元のフォーカス画像からゴースト像を減算することにより、ゴーストの補正を行う。ゴースト発生通知回路１８は、出力端子を介して外部の警報器（ＬＥＤや電子ブザーなど）を動作させ、ユーザにゴースト検出を知らせる。

より詳しい動作は次のとおりである。これを図５の処理手順例を表したフローチャートに従って説明する。

まず、ＡＦ回路９がシャッタ半押し等による外部トリガ信号を受けると（Ｓ１）、ＡＦ回路９はフォーカスレンズ５についての移動の方向（tele側またはwide側）と移動量を指示する情報をフォーカスレンズ駆動回路１０に与える（Ｓ２）。これにより、フォーカスレンズ駆動回路１０はフォーカスレンズ５を合焦位置に向けて移動させる（Ｓ３）。そして、フォーカスレンズ５の合焦位置の検出処理を行う（Ｓ４）。フォーカスレンズ５の合焦位置の検出処理が終了し、合焦位置へのフォーカスレンズ５の移動が完了すると（Ｓ４）、ゴースト検出制御回路１５は信号処理回路８を制御し（Ｓ５）、信号処理回路８はその直後の１フレーム分の撮像素子６からの画像データをフォーカス画像としてフレームメモリ管理回路３０を介してフレームメモリ４０内のフォーカス画像領域ａに格納する（Ｓ６）。この格納を終えると、フレームメモリ管理回路３０はその旨をゴースト検出制御回路１５に通知する。この通知を受けたゴースト検出制御回路１５はフォーカスレンズ移動回路１０に対して、デフォーカス画像を取得するための移動方向（tele側またはwide側）と移動量の情報を送信する（Ｓ７）。フォーカスレンズ駆動回路１０が受信した移動量分のフォーカスレンズ５の移動を完了すると（Ｓ８〜Ｓ９）、その旨をゴースト検出制御回路１５に通知する。すると、ゴースト検出制御回路１５は信号処理回路８を制御し（Ｓ１０）、信号処理回路８はその直後の１フレーム分の撮像素子６からの画像データをデフォーカス画像としてフレームメモリ管理回路３０を介してデフォーカス画像領域ｂに格納する（Ｓ１１）。この格納を終えると、フレームメモリ管理回路３０はその旨をゴースト検出制御回路１５に通知する。

続いて、ゴースト検出制御回路１５は差分処理回路１６を起動し（Ｓ１２）、差分処理回路１６はフレームメモリ管理回路３０を制御する。フレームメモリ管理回路３０はフォーカス画像領域ａ内のフォーカス画像とデフォーカス画像領域ｂ内のデフォーカス画像を読み出し、各画像の同一座標位置の各画素同士に対して差分処理を行う（Ｓ１３）。その差分結果の差分処理画像は、フレームメモリ管理回路３０を介して差分処理画像領域ｃに格納される（Ｓ１４）。この差分処理画像に表れる像がフォーカス画像から消失した像になる。

差分処理の終了後、ゴースト検出制御回路１５はゴースト検出回路１７を起動し、ゴースト検出回路１７はフレームメモリ管理回路３０を介して差分処理画像領域ｃ内の差分処理画像を読み出し、差分処理画像をブロック単位に領域分割し、そのブロック単位で画素差分値が所定の閾値を超えることとなる画素の数を検出し、その画素数が所定の画素数閾値以上であるブロックを検出する（Ｓ１５〜Ｓ１６）。その画素数閾値を超えるブロックが存在しない場合は、ゴースト検出回路１７は合焦位置において構成物ゴーストが存在しないと判断し、処理を終了する（Ｓ１９）。画素数閾値を超えるブロックが存在するときは、そのブロックでのフォーカス画像とデフォーカス画像の差分をとり（Ｓ１７）、その画素差分値が所定の閾値以下かを判断し（Ｓ１８）、以下であれば合焦位置において構成物ゴーストが存在しないと判断し、処理を終了する（Ｓ１９）。しかし、以下でなければ、ゴースト検出回路１７ゴーストありと判断し、ゴーストありと判断したブロックの位置のデータをゴースト検出制御回路１５に送信する（Ｓ２０）。なお、このあと、ゴースト検出制御回路１５は、ゴースト発生通知回路１８を介して外部の警報器を動作させる。また、差分処理画像をゴースト像としてゴースト補正回路５０に出力し、ゴースト補正回路５０は元のフォーカス画像からゴースト像を減算することにより、ゴーストの補正を行う。

本実施の形態によれば、被写体内で強い光が生じている場合に、従来技術のように常に決まった一定の補正を行うのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とデフォーカス画像の差分をとり、その差分処理画像からゴーストを検出するのでゴーストの検出精度が高いものとなる。そして、その高精度検出のゴースト像を減算してフォーカス画像のゴーストを補正するので、高精度なゴースト補正を実現することができ、きれいな撮影画像が得られる。電子的なゴースト補正であるので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。

（実施の形態２）
本発明の実施の形態２は、現フレーム画像と前フレーム画像との差分から動きベクトルを捕捉し、フレーム更新したときの動きベクトルの変化からゴースト検出を行うものである。

図６は本発明の実施の形態２における撮像装置の構成を示すブロック図である。図６において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、次のとおりである。１９は主光源検出回路、２０は輪郭画像生成回路、２１は倍率補正回路、２２は動きベクトル検出回路、２３は最大値検出回路である。また、フレームメモリ４０において、ｄは前フレーム画像領域、ｅは現フレーム画像領域、ｆは現フレーム倍率補正画像領域、ｇは前フレーム輪郭画像領域、ｈは現フレーム輪郭画像領域、ｉは最大値画像領域、ｊは差分画像領域である。その他の構成については、実施の形態１と同様であるので、説明を省略する。

フレームメモリ管理回路３０は、フレームメモリ４０に対してメモリ領域の確保と画像データの入出力処理を行う。すなわち、フレームメモリ管理回路３０は、信号処理回路８からのＡＦ回路９の処理によるフォーカスレンズ５の合焦位置でのフォーカス画像（先頭フレーム画像）をフレームメモリ４０に格納する。また、ズームレンズ２を移動した位置での画像（現フレーム画像および前フレーム画像）を格納する。さらに、輪郭画像生成回路２０による前フレームおよび現フレームの輪郭画像、倍率補正回路２１による現フレームの倍率補正画像、差分処理回路１６による差分処理画像を格納する。

輪郭画像生成回路２０は、入力画像に対し輪郭成分検出のためのフィルタ処理を施し、検出した輪郭成分データをフレームメモリ４０に格納する。

倍率補正回路２１は、現フレーム画像を前フレーム画像の倍率と同等にするために補間処理等を用いて拡大処理を行う。ズームレンズ２をwide側へシフトさせるときは、現フレーム画像は前フレーム画像に比べて画像が縮小する。例えば、前フレーム画像の倍率が４倍で現フレーム画像の倍率が２倍である場合、現フレーム画像内の被写体は前フレーム画像の同一被写体に比べ像が１／２倍になっている。そこで、現フレームについて補間処理を用いて２倍の拡大処理を行う。出力画像はフレームメモリ４０の倍率補正画像領域ｆに格納する。

主光源検出回路１９は、信号処理回路８から出力される各フレーム画像に対しての入力画像からゴーストの原因となる強い光源（主光源）の有無検出を行うとともに、主光源がある場合には、その位置・明るさ・色の情報を取得する。

動きベクトル検出回路２２は、フレームメモリ４０内の現フレーム輪郭画像と前フレーム輪郭画像を利用し、前フレーム輪郭画像に対しブロック分割を施し、そのブロック毎に現フレーム輪郭画像のどこの部分に類似しているかを検出し、その現フレームの類似位置と前フレームブロックのずれを動きベクトルとして検出する。類似の判定には、一般的なマッチング法のように、前フレームブロックと現フレーム画像の差分値が最小となる位置を探索するものを用いてもよい。ただし、処理対象画像は倍率補正が施された画像であるため、前フレームと現フレームの画像サイズが異なるが、各フレーム位置関係は各画像の中央が一致しているものとして処理を行う。また、現フレームの主光源位置方向に向かう動きベクトルの有無の検出を行う。

差分処理回路１６はゴースト検出制御回路１５によって制御され、フレームメモリ４０内の現フレーム画像と前フレーム画像の同一座標にある画素同士に対して差分処理を行う。

ゴースト検出制御回路１５は、信号処理回路８、ＡＦ回路９、ズームレンズ駆動回路１３、差分処理回路１６、ゴースト発生通知回路１８、主光源検出回路１９、輪郭画像生成回路２０、倍率補正回路２１、動きベクトル検出回路２２、最大値検出回路２３およびゴースト補正回路５０を制御する。

次に、上記のように構成された本実施の形態の撮像装置の動作の概要を図７、図８を用いて説明する。

フォーカスレンズ５の合焦状態で取得した１フレーム分の画像を前フレーム画像として前フレーム画像領域ｄに格納する。主光源検出回路１９により前フレーム画像における主光源の有無とその位置を検出する。主光源がないと判断した場合は、ゴーストは存在しないとして、ゴースト検出の処理を停止する。前フレーム画像での主光源なし検出のみでゴーストなしの判定が容易に行われる。一方、前フレーム画像内に主光源が存在すると判断した場合は、輪郭画像生成回路２０によって前フレーム画像の輪郭強調を行い、輪郭成分データを前フレーム輪郭画像領域ｇに格納する。

次いで、ズームレンズ２をwide側へ所定量だけ移動させ、停止した位置で取得した１フレーム分の画像を現フレーム画像として現フレーム画像領域ｅに格納する。そして、倍率補正回路２１によって現フレーム画像を前フレーム画像と同等の倍率に拡大し、その倍率補正画像を倍率補正画像領域ｆに格納する。そして、輪郭画像生成回路２０によって倍率補正画像の輪郭強調を行い、輪郭成分データを現フレーム輪郭画像領域ｈに格納する。

続いて、動きベクトル検出回路２２によってブロック単位で前フレーム輪郭画像と現フレーム輪郭画像の比較を行い、両者のずれを動きベクトルとして検出する。そして、主光源検出回路１９によって現フレーム画像における主光源の有無や位置を検出する。主光源がないと判断した場合は、wide側の絞りゴーストは存在しないとし、処理を停止する。主光源があるときは、主光源に向かう方向の動きベクトルを抽出する。これはブロック単位で行う。次いで、現フレーム画像を前フレーム画像として更新し、その上で、ズームレンズ２をwide側へ所定量だけ移動した上での上記した一連の処理を、主光源に向かう方向の動きベクトルが存在しなくなるまで繰り返す。つまり、主光源に向かう方向の動きベクトルをトレースする。

主光源に向かう方向の動きベクトルが存在しなくなったとき、ゴーストがなくなるに至ったものとする。移動像の消失検出は以下のように行う。最大値検出回路２３により現フレーム輪郭画像上の移動像注目範囲と、前フレーム輪郭画像上の移動像注目範囲を動きベクトルだけずらした範囲とを読み出し（図８参照）、同一座標の画素値を比較し、大きい値を最大値画像領域ｉに格納する。さらに、差分処理回路１６によって最大値画像領域ｉ内の画素データとその最大値画像領域ｉ内に格納されているデータの範囲に対応する前フレーム輪郭画像領域ｇ内の画素データに対して差分処理を行い、差分値が閾値上の画素数をカウントする。上記対象のすべての画素に対し差分処理が終了すると、差分処理回路１６は差分値が閾値以上だった画素数をゴースト検出制御回路１５に送信する。閾値より小さかった場合は、移動像の消失つまりゴーストがないと判定する。画素数が所定の閾値以上の場合は、移動像注目範囲の中心と主光源位置との距離を演算し、ある所定の値以下か否かの判定処理に移行する。このように、移動像の消失確認を行うことによってゴーストの検出精度を高めることができる。上記処理により、フォーカス画像内にレンズ内の絞りによるゴーストが発生しているか否かの検出を行うことができる。ゴーストが存在しているときは、主光源の輝度値とゴーストの輝度値との合算で最大値が大きくなる。したがって、最大値との差分が大きくなればゴーストの可能性が高くなり、差分が閾値以下であればゴーストなしとする。また、主光源に向かう方向の動きベクトルがなくなった状態で、距離が小さいということはゴーストの可能性が高くなり、距離が大きいということであればゴーストなしとする。

本実施の形態によれば、ズームレンズ２を駆動することにより絞りゴーストの検出を行うので、従来の電子式ゴースト補正装置より精度の高い絞りゴースト検出を行うことができる。

より詳しい動作は次のとおりである。これを図９および図１０のフローチャートに従って説明する。

まず、ＡＦ回路９が外部トリガ信号を受けると（Ｓ２１）、ＡＦ回路９はフォーカスレンズ５についての移動の方向と移動量を指示する情報をフォーカスレンズ駆動回路１０に与える（Ｓ２２）。これにより、フォーカスレンズ駆動回路１０はフォーカスレンズ５を合焦位置に向けて移動させる（Ｓ２３）。そして、フォーカスレンズ５の合焦位置の検出処理を行う（Ｓ２４）。フォーカスレンズ５の合焦位置の検出処理が終了し、合焦位置へのフォーカスレンズ５の移動が完了すると（Ｓ２４）、ゴースト検出制御回路１５は信号処理回路８を制御し（Ｓ２５）、信号処理回路８はその直後の１フレーム分の撮像素子６からの画像をフォーカス画像として前フレーム画像領域ｄに格納する（Ｓ２６）。次いで、ゴースト検出制御回路１５は主光源検出回路１９を制御して前フレーム画像を読み出し、主光源の有無とその位置を検出する（Ｓ２７〜Ｓ２９）。主光源が存在しないときはゴーストが存在しないと判定し、ゴースト検出処理を停止する（Ｓ６６）。このとき、ゴースト検出制御回路１５はゴースト発生通知回路１８に対しゴーストの有無情報を送信し、ゴースト発生通知回路１８はカメラ操作ユーザや、ゴースト補正回路５０に対してゴースト位置検出処理の終了とフォーカス画像内にゴーストが存在しないことを通知する。この処理により、フォーカス画像内の主光源の有無検出のみで容易にゴーストが存在しないことの判定を行うことができる。

一方、前フレーム画像内に主光源が存在すると判断した場合は、ゴースト検出制御回路１５は輪郭画像生成回路２０を制御して前フレーム画像に対して輪郭強調成分の検出処理を行い（Ｓ３０）、得られた輪郭成分データを前フレーム輪郭画像領域ｇに格納する（Ｓ３１）。

続いて、ゴースト検出制御回路１５はズームレンズ駆動回路１３に対して移動方向（wide側）と移動量の情報を送信する（Ｓ３２）。ズームレンズ駆動回路１３が受信した移動量分のズームレンズ２の移動を完了すると（Ｓ３３〜Ｓ３４）、ゴースト検出制御回路１５は信号処理回路８を制御し（Ｓ３５）、信号処理回路８はその直後の１フレーム分の撮像素子６からの画像を現フレーム画像として現フレーム画像領域ｅに格納する（Ｓ３６）。この格納を終えると、ゴースト検出制御回路１５は倍率補正回路２１を制御し（Ｓ３７）、倍率補正回路２１は現フレーム画像を読み出し、前フレーム画像と同等の倍率に拡大した画像を生成するために補間処理を行い（Ｓ３８）、補間処理を行った画像を倍率補正画像領域ｆに格納する（Ｓ３９）。

次いで、ゴースト検出制御回路１５は輪郭画像生成回路２０を制御し、倍率補正画像領域ｆから画像を読み出し、輪郭強調成分の検出処理を行い（Ｓ４０）、得られた輪郭成分データを現フレーム輪郭画像領域ｈに格納する（Ｓ４１）。

次いで、ゴースト検出制御回路１５は動きベクトル検出回路２２を制御し、動きベクトル検出回路２２は前フレーム輪郭画像領域ｇをブロック単位に領域分割し、分割された各ブロックが現フレーム輪郭画像のどの箇所に類似するかの探索処理を行い、前フレーム輪郭画像のブロック位置と現フレーム輪郭画像の類似位置とのずれを、前フレーム輪郭画像のブロックの位置を探索始点とする動きベクトルとして検出する（Ｓ４３）。そして、前フレーム輪郭画像内のすべてのブロックに対して動きベクトルと探索始点を検出し終えると（Ｓ４４）、ゴースト検出制御回路１５は主光源検出回路１９を制御し（Ｓ４５）、現フレーム画像から主光源の有無や位置を検出し、その情報を格納する（Ｓ４６）。

主光源検出回路１９が主光源は存在しないと判断した場合は（Ｓ４７）、ゴースト検出制御回路１５はwide側の絞りゴーストは存在しないと判定し、ゴースト検出処理を停止する（Ｓ６７）。

一方、主光源検出回路１９が主光源は存在すると判断した場合は、ゴースト検出制御回路１５は主光源検出回路１９から主光源の位置を取得し、動きベクトル検出回路２２に格納されている各ブロックの動きベクトルの方向と探索始点から主光源位置へ向かう方向とを比較する（Ｓ４８）。

方向が一致していると判定された各ブロックに対して移動像番号を付与し、前フレーム輪郭画像のブロックと類似すると判定された現フレーム輪郭画像上の位置座標と範囲が対応する現フレーム画像上の位置座標と範囲を演算し、その演算結果を移動像注目範囲情報として記録するとともに（Ｓ４９）、前フレーム画像のブロック位置座標を移動元ブロックとして記録する（Ｓ５０〜Ｓ５１）。すべてのブロックに対して移動像注目範囲情報の記録処理が終了すると（Ｓ５２）、ゴースト検出制御回路１５はフレームメモリ管理回路３０に対し領域交換の処理を行わせ、現フレーム画像領域ｅを前フレーム画像領域ｄとして交換する（Ｓ５３）。

次いで、ゴースト検出制御回路１５はステップＳ３０に制御を戻し、移動像注目範囲の動きベクトルの方向と探索始点から主光源位置へ向かう方向とが一致しないと判定されるまで上記のＳ３０〜Ｓ４７の処理を繰り返す。

移動像注目範囲の動きベクトルの方向と探索始点から主光源位置へ向かう方向とが一致しない移動像注目範囲があった場合には、ステップＳ５４以下の移動像消失の確認へと処理を進める。なお、ここで、移動像消失の確認について、ステップＳ６０以下から始めて前フレーム画像の移動像注目範囲の中心と主光源位置との距離を演算し、この距離が所定値以下か否かを判定するのでもよい。ただし、ここでは、絞りゴーストの検出精度を高めるために以下の移動像消失の確認へと処理を進める。

ゴースト検出制御回路１５は最大値検出回路２３を制御し（Ｓ５４）、最大値検出回路２３は現フレーム輪郭画像上の移動像注目範囲と前フレーム輪郭画像上の移動像注目範囲を動きベクトル分ずらした範囲とを読み出し（図８参照）、同一座標の画素値を比較し、大きい値を選択して最大値画像とし（Ｓ５５）、最大値画像領域ｉに格納する（Ｓ５６）。どちらかの領域しか画素値が存在しない場合は、存在する画素値を採用する。両フレームの輪郭画像画素データが存在しない場合は、処理を行わず、結果を出力しない。

次いで、ゴースト検出制御回路１５は差分処理回路１６を制御し、差分処理回路１６は最大値画像領域ｉ内の現フレーム画素データとそのデータ範囲に対応する前フレーム輪郭画像領域ｇ内の画素データとの差分処理を行い、差分値が閾値上の画素数をカウントする（Ｓ５７）。上記対象のすべての画素に対し差分処理が終了すると（Ｓ５８）、差分処理回路１６はゴースト検出制御回路１５に対して差分値が閾値以上となった画素の画素数を送信する。ゴースト検出制御回路１５は差分値が閾値以上となった画素の画素数を画素数閾値以上あるかを判断し（Ｓ５９）、画素数閾値より小さかった場合は、移動像消失がないと判定し（Ｓ６３）、ゴースト検出制御回路１５内に記録されている移動像番号に関連する情報の削除処理に移行する（Ｓ６４）。

一方、差分値が閾値以上となった画素の画素数が画素数閾値以上の場合は（Ｓ５９）、移動像注目範囲の中心と主光源位置との距離を演算し、所定値以下か否かの判定処理に移行する（Ｓ６０）。すなわち、ゴースト検出制御回路１５は主光源検出回路１９にある主光源座標と、前フレーム上の移動像注目範囲の中心座標を演算し、それぞれの座標を基に前フレーム画像の移動像注目範囲の中心と主光源位置との距離を演算し、その距離が所定値以下か否かを判定する（Ｓ６０）。距離が所定値以下の場合は、ゴースト発生通知回路１８に移動元ブロックとゴースト検知信号を出力する（Ｓ６１）。距離が所定値より大きい場合は、移動像番号の移動像注目範囲にゴーストは存在しないと判断し（Ｓ６３）、ゴースト検出制御回路１５内に記録されている移動像番号に関連する情報（図１１）を削除する（Ｓ６４）。

上記の処理をゴースト検出制御回路１５内に格納している移動像番号が存在しなくなるまで繰り返す（Ｓ６５）。移動像番号が残っているときは、ステップＳ４８に処理を戻し、移動像注目範囲の動きベクトルの方向と探索始点から主光源位置へ向かう方向とが一致しないと判定した他の移動像注目範囲に対し、ステップＳ５４〜Ｓ６４の処理を繰り返す。

以上のように本実施の形態によれば、フォーカス画像内に絞り３によるゴーストが発生しているか否かの検出を、ズームレンズ２のwide側への移動に伴う移動像の消失確認を通じて行っている。すなわち、従来技術のように常に決まった一定の補正を行うのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とズーム移動の画像の差分をとり、その差分処理画像からゴーストを検出するのでゴーストの検出精度が高いものとなる。そして、その高精度検出のゴースト像を減算してフォーカス画像のゴーストを補正するので、高精度なゴースト補正を実現することができ、きれいな撮影画像が得られる。電子的なゴースト補正であるので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。

（実施の形態３）
上述の実施の形態２がズームレンズ２の移動方向をwide側に設定しているのに対して、本発明の実施の形態３はズームレンズ２の移動方向をtele側に設定するものである。本実施の形態の撮像装置の構成は、実施の形態２の場合の図６の構成と同様である。

図１２、図１３は本実施の形態の動作の概要を示す。図１４、図１５は本実施の形態の動作を示すフローチャートである。

ステップＴ２１からステップＴ４７までは実施の形態２の場合の図９のステップＳ２１からステップＳ４７までと同じである。ただし、ステップＴ３２〜Ｔ３４において、ズームレンズ駆動回路１３によりズームレンズ２を移動する方向はtele側である。また、ステップＴ３８において、倍率補正回路２１が現フレーム画像に対して行う補間処理は縮小処理となっている（図１２参照）。

主光源検出回路１９が主光源は存在すると判定した場合において（Ｔ４７）、ゴースト検出制御回路１５は主光源検出回路１９から主光源の位置を取得し、動きベクトル検出回路２２における各ブロックの動きベクトルの大きさを演算し（Ｔ４８）、動きベクトルの大きさが所定の閾値以上であるブロックに対して移動像番号を付与し、前フレーム輪郭画像のブロックと類似する現フレーム輪郭画像上の位置座標と範囲が対応する現フレーム画像上の位置座標と範囲を演算し、その演算結果を移動像注目範囲情報として記録するとともに（Ｔ４９）、前フレーム画像のブロック位置座標を移動元ブロックとして記録する（Ｔ５０〜Ｔ５１）。すべてのブロックに対して移動像注目範囲情報の記録処理が終了すると（Ｔ５２）、ゴースト検出制御回路１５はフレームメモリ管理回路３０に対し領域交換の処理を行わせ、現フレーム画像領域ｅを前フレーム画像領域ｄとして交換する（Ｔ５３）。

次いで、ゴースト検出制御回路１５はステップＴ３０に制御を戻し、主光源検出回路１９が現フレーム画像に対して主光源が存在しないと判定するまで、上記のＴ３０〜Ｔ４７の処理を繰り返す。

動きベクトルの大きさが所定の閾値以上でない場合は（Ｔ４８）、絞りゴーストがないと判定し（Ｔ５４）、ゴースト検出制御回路１５内に記録されている移動像番号に関連する情報の削除処理に移行し（Ｔ５５）、ステップＴ５２に戻る。

主光源検出回路１９が現フレーム画像に対して主光源が存在しないと判定した場合は、ステップＴ７４以下の移動像消失の確認へと処理を進める。ステップＴ７４〜Ｔ８８は、実施の形態２の場合の図１０のステップＳ５４〜Ｓ６８と同様である。すなわち、最大値検出回路２３による処理からゴースト検出制御回路１５内に記録されている移動像番号に関連する情報（図１３（ｂ））の削除を行う処理までを行う。ただし、実施の形態２でのステップＳ６０の前フレーム画像の移動像注目範囲の中心と主光源位置との距離を演算は行わない。

移動像注目範囲の動きベクトルの大きさが所定の閾値以上あると判定した他の移動像注目範囲に対し、上記と同様の最大値検出回路２３の処理を行う。

上記の処理をゴースト検出制御回路１５内に格納している移動像番号が存在しなくなるまで繰り返す。

以上のように本実施の形態によれば、フォーカス画像内に絞り３によるゴーストが発生しているか否かの検出をズームレンズ２のtele側への移動に伴う移動像の消失確認を通じて行っている。すなわち、従来技術のように常に決まった一定の補正を行うのではなく、現に撮像している個別の被写体像そのものにおいて、適応的・動的にフォーカス画像とズーム移動の画像の差分をとり、その差分処理画像からゴーストを検出するのでゴーストの検出精度が高いものとなる。そして、その高精度検出のゴースト像を減算してフォーカス画像のゴーストを補正するので、高精度なゴースト補正を実現することができ、きれいな撮影画像が得られる。電子的なゴースト補正であるので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。

（実施の形態４）
本発明の実施の形態４の特徴は、雲台を制御することにある。

図１７は本発明の実施の形態４における撮像装置の構成を示すブロック図である。図１７において、実施の形態２の図６におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、次のとおりである。２４は位置補正回路、２５は雲台駆動回路、２６は撮影方向調整用の雲台（三脚上の回転変位機構）である。雲台駆動回路２５は、ゴースト検出制御回路１５から回転角度と回転方向の情報を受け、雲台２６を回転させるように構成されている。位置補正回路２４は、現フレーム画像を前フレーム画像の位置（座標）と同等にするために平行移動処理を用いて位置補正を行うものである。例えば、前フレーム画像と現フレーム画像の位置が雲台２６の回転角度θに対して画像の内容が所定の方向にａ画素ずれる場合は、現フレーム画像内の被写体は前フレーム画像の同一被写体に比べ像が所定の方向にａ画素ずれているため、平行移動処理を用いてその所定方向と逆方向にａ画素分移動させる。出力画像はフレームメモリ４０の現フレーム位置補正画像領域ｆ′に格納する。雲台駆動回路２５、位置補正回路２４はゴースト検出制御回路１５によって制御されるように構成されている。その他の構成については、実施の形態２と同様であるので、説明を省略する。

次に、上記のように構成された本実施の形態の撮像装置の動作を図１７の動作概要図および図１８、図１９のフローチャートを用いて説明する。

ステップＰ２１からステップＰ８８のうち、ステップＰ３２〜Ｐ３４とステップＰ３７〜Ｐ３９を除いて、実施の形態３の場合の図１４、図１５のステップＴ２１からステップＴ８８までと同じである。

ステップＰ３２において、ゴースト検出制御回路１５は雲台駆動回路２５に対して回転方向と回転量の情報を送信する。雲台駆動回路２５が受信した情報分の雲台２６の回転を完了すると（Ｐ３３〜Ｐ３４）、ゴースト検出制御回路１５は信号処理回路８を制御し、信号処理回路８はその直後の１フレーム分の画像データをフレームメモリ管理回路３０を介してフレームメモリ４０内の現フレーム画像領域ｅに格納する（Ｐ３６）。次いで、ゴースト検出制御回路１５は位置補正回路２４を制御し、位置補正回路２４は現フレーム画像領域ｅから現フレーム画像を読み出し、前フレーム画像と同等の位置に平行移動した画像を生成するために補正処理を行い（Ｐ３８。図１７参照）、補間処理を行った画像を現フレーム位置補正画像領域ｆ′に格納する。以降の処理は実施の形態３の場合と同様であるので説明を省略する。

本実施の形態によれば、雲台２６の制御を通じてゴースト検出を行うもので、実施の形態３の場合と同様に、適応的・動的にフォーカス画像と変位画像の差分をとり、その差分処理画像からゴーストを検出するのでゴーストの検出精度が高いものとなる。そして、その高精度検出のゴースト像を減算してフォーカス画像のゴーストを補正するので、高精度なゴースト補正を実現することができ、きれいな撮影画像が得られる。電子的なゴースト補正であるので、撮像光学系の小型化を通じての撮像装置の小型化およびコストダウンにも有利となる。また、雲台２６の制御を行うので、検出した主光源の位置と画面の端までの距離が最小である方向に移動することにより、処理時間の短縮に貢献することができる。

本発明は、デジタルスチルカメラやムービーカメラなどの撮像装置において、ゴースト検出ならびにゴースト補正を高精度に行う技術として有用である。

本発明の実施の形態１における撮像装置の構成を示すブロック図 本発明の実施の形態１におけるフォーカスレンズの移動位置の説明図 本発明の実施の形態１におけるズームレンズの移動位置の説明図 本発明の実施の形態１における撮像装置の動作概要図 本発明の実施の形態１における撮像装置の動作を示すフローチャート 本発明の実施の形態２における撮像装置の構成を示すブロック図 本発明の実施の形態２における撮像装置の動作概要図（その１） 本発明の実施の形態２における撮像装置の動作概要図（その２） 本発明の実施の形態２における撮像装置の動作を示すフローチャート（その１） 本発明の実施の形態２における撮像装置の動作を示すフローチャート（その２） 本発明の実施の形態２における移動像番号に対する管理情報の説明図 本発明の実施の形態３における撮像装置の動作概要図（その１） 本発明の実施の形態３における撮像装置の動作概要図（その２） 本発明の実施の形態３における撮像装置の動作を示すフローチャート（その１） 本発明の実施の形態３における撮像装置の動作を示すフローチャート（その２） 本発明の実施の形態４における撮像装置の構成を示すブロック図 本発明の実施の形態４における撮像装置の動作概要図 本発明の実施の形態４における撮像装置の動作を示すフローチャート（その１） 本発明の実施の形態４における撮像装置の動作を示すフローチャート（その２） ゴースト発生原理図 取得画像におけるゴーストと主光源の説明図

符号の説明

１ 被写体
２ ズームレンズ
３ 絞り
４ 手ぶれ補正レンズ
５ フォーカスレンズ
６ 撮像素子（イメージセンサ）
７ 増幅器
８ 信号処理回路
９ ＡＦ（オートフォーカス）回路
１０ フォーカスレンズ駆動回路
１１ 絞り制御回路
１２ 撮像素子駆動回路
１３ ズームレンズ駆動回路
１４ 手ぶれ補正レンズ駆動回路
１５ ゴースト検出制御回路
１６ 差分処理回路
１７ ゴースト検出回路
１８ ゴースト発生通知回路
１９ 主光源検出回路
２０ 輪郭画像生成回路
２１ 倍率補正回路
２２ 動きベクトル検出回路
２３ 最大値検出回路
２４ 位置補正回路
２５ 雲台駆動回路
２６ 撮影方向調整用の雲台
３０ フレームメモリ管理回路
４０ フレームメモリ
ａ フォーカス画像領域
ｂ デフォーカス画像領域
ｃ 差分処理画像領域
ｄ 前フレーム画像領域
ｅ 現フレーム画像領域
ｆ 現フレーム倍率補正画像領域
ｆ′ 現フレーム位置補正画像領域
ｇ 前フレーム輪郭画像領域
ｈ 現フレーム輪郭画像領域
ｉ 最大値画像領域
ｊ 差分画像領域

Claims (13)

1. フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理手段と、
   前記差分処理手段による差分処理画像からゴーストを検出するゴースト検出手段と、
   フォーカスレンズ駆動回路を制御するとともに、前記差分処理手段および前記ゴースト検出手段を制御するゴースト検出制御手段とを備えたゴースト検出装置。
2. 前記ゴースト検出手段は、画像領域をブロック分割し、個々のブロックでの前記差分処理画像に基づいて前記ゴーストの検出を行うように構成されている請求項１に記載のゴースト検出装置。
3. 前記ゴースト検出手段は、前記差分処理画像について個々のブロックにおいて所定の閾値以上となる画素差分値の画素数が所定の画素数閾値以上の場合に、そのブロックにゴーストありと判断する請求項２に記載のゴースト検出装置。
4. ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
   前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正手段と、
   前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正手段によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
   ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出手段、前記倍率補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの方向と前記主光源検出手段による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御手段とを備えたゴースト検出装置。
5. 前記動きベクトル検出手段は、ブロックマッチング法により前記動きベクトルを検出する請求項４記載のゴースト検出装置。
6. 前記ゴースト検出制御手段は、前記ズームレンズを移動させた場合に前記動きベクトルが発生し、かつ前記動きベクトルの方向が前記主光源に向かっている場合に対象となる動領域をゴーストと判定する請求項４または請求項５に記載のゴースト検出装置。
7. フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出手段と、
   撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正手段と、
   前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正手段によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出手段と、
   フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出手段、前記位置補正手段および前記動きベクトル検出手段を制御し、前記動きベクトル検出手段による前記動きベクトルの大きさと前記主光源検出手段による前記主光源の有無とからゴーストを検出するゴースト検出制御手段とを備えたゴースト検出装置。
8. さらに、ゴーストありと判断した場合にゴースト検出を外部に通知するゴースト発生通知手段を備えた請求項１から請求項７までのいずれかに記載のゴースト検出装置。
9. フォーカスレンズを介して撮像素子でとらえた画像について、前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記合焦位置から変位した位置でのデフォーカス画像の差分をとる差分処理回路と、
   前記差分処理回路による差分処理画像からゴーストを検出するゴースト検出回路と、
   フォーカスレンズ駆動回路を制御するとともに、前記差分処理回路および前記ゴースト検出回路を制御するゴースト検出制御回路とを備えたゴースト検出用半導体集積回路。
10. ズームレンズおよびフォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
    前記ズームレンズを変位させてレンズの画角を変更した場合のフレームの像倍率を補正する倍率補正回路と、
    前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記倍率補正回路によって像倍率が補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
    ズームレンズ駆動回路、フォーカスレンズ駆動回路、前記主光源検出回路、前記倍率補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの方向と前記主光源検出回路による前記主光源の位置との相関関係からゴーストを検出するゴースト検出制御回路とを備えたゴースト検出用半導体集積回路。
11. フォーカスレンズを介して撮像素子でとらえた画像に含まれる主光源を検出する主光源検出回路と、
    撮影方向調整用の雲台を回転させた場合のフレームの画像のずれの補正を行う位置補正回路と、
    前記撮像素子に対する前記フォーカスレンズの合焦位置でのフォーカス画像と前記位置補正回路によって補正されたフレームの画像との相関関係から動きベクトルを検出する動きベクトル検出回路と、
    フォーカスレンズ駆動回路、雲台駆動回路、前記主光源検出回路、前記位置補正回路および前記動きベクトル検出回路を制御し、前記動きベクトル検出回路による前記動きベクトルの大きさと前記主光源検出回路による前記主光源の有無とからゴーストを検出するゴースト検出制御回路とを備えたゴースト検出用半導体集積回路。
12. 請求項１から請求項８までのいずれかに記載のゴースト検出装置と、
    前記ゴースト検出制御手段によって制御され、前記ゴースト検出装置がゴースト検出したときに前記フォーカス画像から前記ゴースト検出装置が検出したゴースト像を減算して前記フォーカス画像のゴーストを補正するゴースト補正手段とを備えた撮像装置。
13. 請求項９から請求項１１までのいずれかに記載のゴースト検出用半導体集積回路と、
    前記ゴースト検出制御回路によって制御され、前記ゴースト検出用半導体集積回路がゴースト検出したときに前記フォーカス画像から前記ゴースト検出用半導体集積回路が検出したゴースト像を減算して前記フォーカス画像のゴーストを補正するゴースト補正回路とを備えた撮像装置用半導体集積回路。

Images