JP2008072416A

JP2008072416A - 撮像装置および撮像方法

Info

Publication number: JP2008072416A
Application number: JP2006248881A
Authority: JP
Inventors: Yoshiharu Gotanda; 芳治五反田
Original assignee: Samsung Techwin Co Ltd
Current assignee: Hanwha Techwin Co Ltd
Priority date: 2006-09-14
Filing date: 2006-09-14
Publication date: 2008-03-27
Anticipated expiration: 2026-09-14
Also published as: KR100861514B1; JP4695571B2; KR20080024946A

Abstract

【課題】ゴミの付着位置を明示することによってゴミの除去作業を簡便化できる、撮像装置を提供すること。
【解決手段】絞り付きレンズユニット１０２の絞り１０６を変化させて、連続して複数の画像の撮影を行うＣＣＤ素子１１０と、複数の画像から一の画像を選択し、撮像素子のゴミの有無を判別する暫定ゴミ候補抽出部１５１と、ゴミが付着していると思われる撮像素子の画素の位置を取得する暫定ゴミ位置抽出部１５２と、複数の画像の、一の画像と異なる他の画像から、画素の位置の信号レベルを比較し、信号レベルが所定値以上異なる場合に画素の位置にゴミが付着しているものとするゴミ認定部１５４と、ゴミ認定部で認定したゴミの付着位置を表示させるゴミ表示部１５６と、を含むことを特徴とする、撮像装置が提供される。
【選択図】図１

Description

本発明は、撮像装置および撮像方法に関する。

ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）素子やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）素子等の固体撮像素子を用いて、静止画像や動画像を撮影する撮像装置が広く普及している。ＣＣＤ素子やＣＭＯＳ素子を用いた撮像装置においても、従来の銀塩カメラと同様に、レンズを着脱して、状況に応じたレンズを用いることができる撮像装置が、数多く市場に出回っている。

しかし、このようなレンズが着脱可能なレンズ交換式の撮像装置においては、レンズを交換する際に、撮像素子上にゴミや埃（以下、これらを「ゴミ」と総称する）が付着するおそれがある。撮像素子上にゴミが付着した状態で撮影を行ってしまうと、ゴミが付着した撮像素子の画素には光が入射しないため、その部分が暗く写ってしまい、画像に不良が生じる問題がある。

付着したゴミの存在は撮影時には認知しづらく、撮影後に画像をパーソナルコンピュータ等で表示したり、プリンタ等の印刷装置で印刷したりした際に初めて気付くことが多い。また、撮像素子に付着したゴミは目で見えない微小な大きさのものである場合が多く、撮像素子のどの部位に付着したものなのかの判別は困難である。さらに、付着したゴミを取り除こうと無理やり不用意な作業をしてしまうと、撮像素子の前に備えられたローパスフィルタを損傷してしまうおそれもある。

そこで、撮影した画像を解析し、撮像素子に付着したゴミの有無やゴミの位置を検出して、撮影者がゴミの除去を容易にできるようにする技術が知られている（特許文献１〜３参照）。

特許３４６１４８２号公報特開２００１−１５７０８７号公報特開２００５−３４１３８１号公報

しかし、特許文献１に示した方法では、撮像素子に付着したゴミだけではなく、光電変換機能を失った、いわゆる画素欠陥もゴミが付着した場合と同様にゴミとして認知してしまう。画像欠陥は付着ゴミと異なり、除去作業を行っても意味が無く、除去作業を行うことでかえって撮像素子（ローパスフィルタ）に損傷を与えるきっかけとなる問題があった。

また、特許文献２に示した方法では、撮影画像に表示されたゴミの位置は、撮像素子面上に実際に付着したゴミの位置と異なっているため、ゴミの場所を判別することは難しく、撮像素子上のゴミが付着している位置とは異なった位置に対して除去作業を行うことで、この方法においてもかえって撮像素子（ローパスフィルタ）に損傷を与えるきっかけとなる問題があった。

また、特許文献３に示した方法は、撮影画像において、撮影された画像のうちの同一箇所が連続して所定の信号レベルよりも低い場合に、その箇所をゴミの付着箇所として判断しているが、この方法では、連続する機会が稀である事を期待しているため、ゴミの検出精度に問題があり、また特許文献１と同様に、画素欠陥との区別が困難である問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像素子に付着したゴミの検出精度を向上させ、ゴミの付着位置を明示することによってゴミの除去作業を簡便化できる、新規かつ改良された撮像装置および撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、被写体からの入射光の光量を調整する絞り機構部を含むレンズユニットと、レンズユニットを介して結像面上に結像される被写体の像を連続的に画像データとして順次出力する撮像部と、撮像部による連続撮像時に、絞り機構部の絞り値を変化させて被写体からの入射光の光量を調整する絞り制御部と、撮像部から順次出力される画像データのうち、絞り値が異なる少なくとも２以上の画像データに基づいて、結像面上に異物が付着されているか否かを予測する異物付着予測部と、を含むことを特徴とする、撮像装置が提供される。

かかる構成によれば、レンズユニットは被写体からの映像光を入射し、撮像部はレンズユニットを介して結像面上に結像される被写体の像を、撮像素子を用いて連続的に画像データとして順次出力し、絞り制御部はレンズユニットに含まれる絞り機構部の絞り値を変化させて被写体からの入射光の光量を調整し、異物付着予測部は撮像部から順次出力される画像データのうち、絞り値が異なる少なくとも２以上の画像データに基づいて、結像面上に異物が付着されているか否かを予測する。その結果、連続的に撮影した絞り値が異なる少なくとも２以上の画像データを分析することによって、撮像素子に付着したゴミの検出精度を向上させることができる。

上記撮像装置は、異物付着予測部の予測結果に基づいて、異物の付着が予測される結像面上の画素位置を検出する画素位置検出部と、結像面上の画素位置に対応する各画像データの輝度レベルを比較して、所定の閾値以上の差が生じた場合に画素位置に異物が付着していると判定する異物判定部と、を含んでもよい。かかる構成によれば、画素位置検出部は異物付着予測部の予測結果に基づいて、異物の付着が予測される結像面上の画素位置を検出し、異物判定部は各画像データの輝度レベルを比較して、所定の閾値以上の差が生じた場合に画素位置に異物が付着していると判定する。その結果、各画像データの輝度レベルを比較することによって撮像素子に付着したゴミの検出精度を向上させることができる。

異物判定部は、撮像素子に含まれるカラーフィルタの構成色毎に、各画像データ全体の輝度レベルの平均値を算出し、当該各画像データにおける結像面上の画素位置の輝度レベルがいずれも平均値を下回る場合に、当該画素位置に異物が付着していると判定してもよい。かかる構成によれば、異物判定部は各画像データにおける結像面上の画素位置の輝度レベルがいずれも平均値を下回る場合に、当該画素位置に異物が付着していると判定する。その結果、所定の条件を満たす連続した画素を暫定的に異物が付着している画素として抽出するので、異物が付着している画素と単なる画素欠陥とを区別することができる。

異物付着予測部は、撮像部から順次出力される画像データのうち、絞り機構部の絞り値が最も大きいときの入射光から得られた画像データを選択してもよい。かかる構成によれば、異物付着予測部は撮像部から順次出力される画像データのうち、絞り機構部の絞り値が最も大きいときの入射光から得られた画像データを選択する。その結果、異物が付着している画素の検出精度を向上させることができる。

上記撮像装置は、異物判定部による判定結果を表示する表示部を含んでもよい。かかる構成によれば、表示部は異物判定手段による判定結果を表示する。その結果、異物の付着結果を明示することによって、ゴミの除去作業を簡便化することができる。

表示部は、異物の付着位置を、当該結像面上の撮像領域に対応して表示してもよい。かかる構成によれば、表示部は異物の付着位置を、当該結像面上の撮像領域に対応して表示する。その結果、表示された位置と実際の異物の付着位置とが対応しているため、異物の除去作業をより簡便化することができる。

また、上記課題を解決するために、本発明の別の観点によれば、被写体からの入射光の光量を調整する絞り機構部を含むレンズユニットを用いて、レンズユニットを介して結像面上に結像される被写体の像を連続的に画像データとして順次出力する撮像ステップと、撮像ステップにおける連続撮像時に、絞り機構部の絞り値を変化させて被写体からの入射光の光量を調整する絞り制御ステップと、撮像ステップで順次出力される画像データのうち、絞り値が異なる少なくとも２以上の画像データに基づいて、結像面上に異物が付着されているか否かを予測する異物付着予測ステップと、を含むことを特徴とする、撮像方法が提供される。

かかる方法によれば、撮像ステップは被写体からの映像光を入射するレンズユニットを介して結像面上に結像される被写体の像を連続的に画像データとして順次出力し、絞り制御ステップはレンズユニットに含まれる絞り機構部の絞り値を変化させて被写体からの入射光の光量を調整し、異物付着予測ステップは撮像部から順次出力される画像データのうち、絞り値が異なる少なくとも２以上の画像データに基づいて、結像面上に異物が付着されているか否かを予測する。その結果、連続的に撮影した絞り値が異なる少なくとも２以上の画像データを分析することによって、撮像素子に付着したゴミの検出精度を向上させることができる。

上記撮像方法は、異物付着予測ステップでの予測結果に基づいて、異物の付着が予測される結像面上の画素位置を検出する画素位置検出ステップと、結像面上の画素位置に対応する各画像データの輝度レベルを比較して、所定の閾値以上の差が生じた場合に画素位置に異物が付着していると判定する異物判定ステップと、を含んでもよい。かかる方法によれば、画素位置検出ステップは異物付着予測ステップでの予測結果に基づいて、異物の付着が予測される結像面上の画素位置を検出し、異物判定ステップは各画像データの輝度レベルを比較して、所定の閾値以上の差が生じた場合に画素位置に異物が付着していると判定する。その結果、連続的に撮影した各画像データの輝度レベルを比較することによって撮像素子に付着したゴミの検出精度を向上させることができる。

異物判定ステップでは、撮像素子に含まれるカラーフィルタの構成色毎に、各画像データ全体の輝度レベルの平均値を算出し、各画像データにおける結像面上の画素位置の輝度レベルがいずれも平均値を下回る場合に、当該画素位置に異物が付着していると判定してもよい。かかる方法によれば、異物判定ステップでは各画像データにおける結像面上の画素位置の輝度レベルがいずれも平均値を下回る場合に、当該画素位置に異物が付着していると判定する。その結果、所定の条件を満たす連続した画素を暫定的に異物が付着している画素として抽出するので、異物が付着している画素と単なる画素欠陥とを区別することができる。

異物付着予測ステップでは、撮像ステップにおいて順次出力される画像データのうち、絞り機構部の絞り値が最も大きいときの入射光から得られた画像データを選択してもよい。かかる方法によれば、異物付着予測ステップでは撮像ステップにおいて順次出力される画像データのうち、絞り機構部の絞り値が最も大きいときの入射光から得られた画像データを選択する。その結果、異物が付着している画素の検出精度を向上させることができる。

上記撮像方法は、異物判定ステップによる判定結果を表示する表示ステップを含んでもよい。かかる方法によれば、表示ステップは異物判定ステップによる判定結果を表示する。その結果、ゴミの付着位置を明示することによって、ゴミの除去作業を簡便化することができる。

表示ステップでは、異物の付着位置を、当該結像面上の撮像領域に対応して表示してもよい。かかる方法によれば、表示ステップでは異物の付着位置を、当該結像面上の撮像領域に対応して表示する。その結果、表示された位置と実際の異物の付着位置とが対応しているため、異物の除去作業をより簡便化することができる。

以上説明したように本発明によれば、ゴミの付着位置を明示してゴミの除去作業を簡便化できる、新規かつ改良された撮像装置および撮像方法を提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
まず、本発明の第１の実施形態にかかる撮像装置および撮像方法について説明する。

図１は、本発明の第１の実施形態にかかる撮像装置について説明する説明図である。以下、図１を用いて本発明の第１の実施形態にかかる撮像装置について説明する。

撮像装置１００は、本発明の第１の実施形態にかかる撮像装置である。撮像装置１００は、レンズユニット１０２を装着可能な構造となっている。なお、撮像装置１００で本発明の第１の実施形態にかかる撮像方法を用いてゴミの検査を行う際には、レンズユニット１０２に光拡散レンズキャップ１０４を装着してもよい。光拡散レンズキャップ１０４を用いることで被写体から入射される光が拡散し、より効果的にゴミの検出を行うことができる。

以上、図１を本発明の第１の実施形態にかかる撮像装置について説明した。次に、本発明の第１の実施形態にかかる撮像装置の構成について説明する。

図２は、本発明の第１の実施形態にかかる撮像装置の構成について説明する説明図である。以下、図２を用いて第１の実施形態にかかる撮像装置の構成について説明する。

図２に示したように、本発明の第１の実施形態にかかる撮像装置１００は、ＣＣＤ素子１１０と、アンプ一体型のＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）回路１１２と、Ａ／Ｄ変換器１１４と、画像入力コントローラ１１６と、画像信号処理部１１８と、圧縮処理部１２０と、ビデオエンコーダ１２２と、画像表示部１２４と、タイミングジェネレータ１２６と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１２８と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１３０と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３２と、メディアコントローラ１３４と、記録メディア１３６と、モータドライバ１３８と、シャッタボタン１４０と、操作部１４２と、を含んで構成される。

また、本発明の第１の実施形態にかかる撮像装置１００が装着可能なレンズユニット１０２は、絞り１０６と、駆動装置１０８と、を含んでいる。

絞り１０６は、画像を撮影する際にＣＣＤ素子１１０に入射される光量の調節を行う。絞り１０６の制御は、駆動装置１０８によって行われる。本実施形態においては、絞りの範囲はＡＶ（ＡｐｅｒｔｕｒｅＶａｌｕｅ）３〜ＡＶ７（Ｆ２．８〜Ｆ１１）の間で調整が可能である。なお、本発明においては絞りの範囲はこれに限られない。

ＣＣＤ素子１１０は、本発明の撮像素子の一例であり、レンズユニット１０２から入射された光を電気信号に変換するための素子である。本実施形態においては電子シャッタによって入射光を制御して、電気信号を取り出す時間を調節しているが，メカシャッタを用いて入射光を制御して、電気信号を取り出す時間を調節してもよい。本発明の第１の実施形態においては、レンズユニット１０２およびＣＣＤ素子１１０で撮像部を構成する。

本実施形態では撮像素子としてＣＣＤ素子１１０を用いているが、本発明は係る例に限定されず、撮像素子としてＣＣＤ素子１１０の代わりにＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）素子を用いてもよく、またその他のイメージセンサを用いてもよい。ＣＭＯＳ素子は、ＣＣＤ素子よりも高速に被写体の映像光を電気信号に変換できるので、被写体を撮影してから画像表示部１２４に画像を表示するまでの時間を短縮することができる。

ＣＤＳ回路１１２は，ＣＣＤ素子１１０から出力された電気信号の雑音を除去する、サンプリング回路の一種であるＣＤＳ回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではＣＤＳ回路とアンプとが一体となった回路を用いて撮像装置１００を構成しているが、ＣＤＳ回路とアンプとを別々の回路で構成してもよい。

Ａ／Ｄ変換器１１４は，ＣＣＤ素子１１０で生成された電気信号をデジタル信号に変換して，画像の生データ（画像データ）を生成するものである。

画像入力コントローラ１１６は，Ａ／Ｄ変換器１１４で生成された画像の生データ（画像データ）のＲＡＭ１３２への入力を制御するものである。

画像信号処理部１１８は，Ａ／Ｄ変換器１１４で生成された画像の生データに対して、光量のゲイン補正やホワイトバランスの調整を行うものである。

圧縮処理部１２０は、Ａ／Ｄ変換器１１４で生成された画像を、適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は、可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）形式やＪＰＥＧ２０００形式に変換してもよい。

画像表示部１２４は、撮影操作を行う前のライブビュー表示や、撮影した画像の表示等を行う。画像の表示の他に、撮像装置１００の各種設定画面の表示を行ってもよい。画像データや撮像装置１００の各種情報の画像表示部１２４への表示は，ビデオエンコーダ１２２を介して行われる。画像表示部１２４として、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）を用いてもよい。

タイミングジェネレータ１２６は、ＣＣＤ素子１１０にタイミング信号を入力する。タイミングジェネレータ１２６からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ１２６からのタイミング信号によりＣＣＤ素子１１０の駆動が制御され，ＣＣＤ素子１１０が駆動する時間内に被写体からの映像光を入射することで，画像データの基となる電気信号が生成される。

ＣＰＵ１２８は、ＣＣＤ素子１１０やＣＤＳ回路１１２などに対して信号系の命令を行ったり、操作部１４２の操作に対する操作系の命令を行ったりする。本実施形態においては、ＣＰＵを１つだけ含んでいるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うようにしてもよい。

ＲＯＭ１３０は、撮像装置１００を制御するためのプログラムが格納されているものである。

ＲＡＭ１３２は、撮影した画像を一時的に記憶するものである。ＲＡＭ１３２への画像の読み書きは画像入力コントローラ１１６によって制御される。ＲＡＭ１３２として、ＳＲＡＭ（ＳｔａｔｉｃＲＡＭ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲＡＭ）、ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤＲＡＭ）、ＦｅＲＡＭ（ＦｅｒｒｏｅｌｅｃｔｒｉｃＲＡＭ）、ＭＲＡＭ（ＭａｇｎｅｔｏｒｅｓｉｓｔｉｖｅＲＡＭ）などを用いてもよい。

記録メディア１３６は、撮影した画像を記録するものである。記録メディア１３６への入出力は、メディアコントローラ１３４によって制御される。記録メディア１３６には，フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。

モータドライバ１３８は、レンズユニット１０２に含まれる絞り１０６を動作させる駆動装置１０８の制御を行う。モータドライバ１３８を介して絞り１０６を動作させることで、被写体の光の量の調節を行う。

シャッタボタン１４０は、撮影操作を行うためのものであり、半押し状態（以下，シャッタボタン１４０の半押し状態のことを「Ｓ１状態」とも称する）で被写体を合焦し、全押し状態（以下，シャッタボタン１４０の全押し状態の事を「Ｓ２状態」とも称する）で被写体の撮像を行う。

操作部１４２は、撮像装置１００の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。操作部１４２に配置される部材には，電源ボタン、撮影モードや撮影ドライブモードの選択を行う十字キーおよび選択ボタン等が配置される。

以上、図２を用いて、本発明の第１の実施形態にかかる撮像装置の構成について説明した。次に、本発明の第１の実施形態にかかる撮像装置のＣＰＵの構成について説明する。

図３は、本発明の第１の実施形態にかかるＣＰＵの構成について説明する説明図である。以下、図３を用いて本発明の第１の実施形態にかかる撮像装置のＣＰＵの構成について説明する。

図３に示したように、本発明の第１の実施形態にかかるＣＰＵ１２８は、暫定ゴミ候補抽出部１５１と、暫定ゴミ位置抽出部１５２と、ゴミ認定部１５４と、ゴミ表示部１５６と、適正ＡＥ算出部１５８を含んで構成される。

暫定ゴミ候補抽出部１５１は、本発明の異物付着予測部の一例であり、撮影した画像を解析することでＣＣＤ素子１１０上にゴミが付着しているかどうかを判別し、ゴミが付着していると判別した箇所を暫定ゴミ候補として抽出するものである。

暫定ゴミ位置抽出部１５２は、本発明の画素位置検出部の一例であり、撮影した画像の中から、ゴミが付着していることが予測されるＣＣＤ素子１１０上の画素位置を取得する。撮影した画像の中からゴミと思われる部位を抽出する方法については後述する。

ゴミ認定部１５４は、本発明の異物判定部の一例であり、暫定ゴミ位置抽出部１５２で抽出したゴミが付着していることが予測される部位から、実際にゴミが付着している部位を認定する。ゴミが付着している部位を認定する方法については後述する。

ゴミ表示部１５６は、ゴミ認定部１５４で認定したゴミが付着している部位を、画像表示部１２４に表示させるものである。ゴミが付着している部位を画像表示部１２４に表示させる際には、ＣＣＤ素子１１０に実際にゴミが付着している位置に対応した場所に表示させるようにしてもよい。

適正ＡＥ算出部１５８は、被写体の撮影を行う際に、撮像装置１００で自動露光を行い、ＥＶ（ＥｘｐｏｓｕｒｅＶａｌｕｅ）値を取得する。取得したＥＶ値に基づいて、適正な露光時間およびシャッタ速度の組が決まる。ＥＶ値は、絞り値がＦ１、シャッタ速度が１秒の時に適切な露出が得られる光量をＥＶ＝０とし、絞り値やシャッタ速度を変化させることでＥＶ値が変化する。ＥＶ値は、Ｆを絞り値、Ｔをシャッタ速度として、ＥＶ＝ｌｏｇ_２（Ｆ^２／Ｔ）で求めることができる。従って、同じ絞り値ではシャッタ速度が高速になればなる程、ＥＶ値が上昇し、同じシャッタ速度では絞り値を大きくすればする程、ＥＶ値が上昇する。

以上、図３を用いて本発明の第１の実施形態にかかるＣＰＵについて説明した。次に、本発明の第１の実施形態にかかる撮像方法について説明する。

図４は、本発明の第１の実施形態にかかる撮像方法について説明する流れ図である。以下、図４を用いて本発明の第１の実施形態にかかる撮像方法について説明する。

まず、操作部１４２を操作して、撮影モードをゴミ撮影モードに設定する。ゴミ撮影モードに設定して撮影を行うことで、ＣＣＤ素子１１０に付着したゴミの検出を行う。撮影モードをゴミ撮影モードに設定すると、シャッタボタン１４０が押されているかどうかをＣＰＵ１２８で判断する（ステップＳ１１０）。シャッタボタン１４０が押されていなければステップＳ１１０に戻り、シャッタボタン１４０の押下判断処理を繰り返す。一方、シャッタボタン１４０が押されていれば、適正ＡＥ算出部１５８が、適正ＡＥ算出部１５８シャッタ速度および絞りを決定するために測光処理を行って、適正露出となる露出値ＥＶ０を求める（ステップＳ１２０）。測光処理を行った結果、露出値がゴミ撮影モードにおける適切な露出連動範囲内にあるかどうかを判別する（ステップＳ１３０）。

本実施形態においては、ゴミの検出に影響が出ないためのシャッタ速度の範囲は、ＴＶ５〜ＴＶ１０（１／３２秒〜１／１０２４秒）の範囲に予め定められている。また、本実施形態においては、絞り１０６の絞りの最小変動幅をＡＶ２としている。従って、本実施形態においては、ゴミ撮影モードにおける露出連動範囲は１０（ＡＶ３＋ＡＶ２＋ＴＶ５）〜１６（ＡＶ８−ＡＶ２＋ＴＶ１０）となり、適正露出となる露出値ＥＶ０の範囲は、ゴミ撮影モードにおける露出連動範囲から１０≦ＥＶ０≦１６となる。従って、ＥＶ０＜１０またはＥＶ０＞１６の場合には、ゴミ撮影不可として露出が範囲外である旨を画像表示部１２４に表示し（ステップＳ２４０）、処理を終了する。なお、シャッタ速度の範囲と絞りの最小変動幅はかかる例に限られない。

測光処理を行った結果、露出値ＥＶ０の範囲が１０≦ＥＶ０≦１６であった場合、絞り値とシャッタ速度を求める。最初に、絞りを開いた場合の撮影（以下、絞りを開いた場合の撮影を「第１の撮影」とも称する）を行うために、絞り値とシャッタ速度を求める（ステップＳ１４０）。絞り値とシャッタ速度はプログラム線図を用いて算出する。図５は、本実施形態にかかる、絞りを開いた場合の絞り値とシャッタ速度の算出に用いるプログラム線図の一例を示す説明図である。例えば、測光処理を行った結果、露出値ＥＶ０が１０であった場合には、シャッタ速度ＴＶを７（１／１２８秒）、絞り値ＡＶを３（Ｆ２．８）に設定する。また、測光処理を行った結果、複数のシャッタ速度と絞り値を取りうる露出値であった場合には、図５に示したプログラム線図の黒丸の箇所を採用する。例えば、露出値ＥＶ０が１３であった場合には、シャッタ速度ＴＶを１０（１／１０２４秒）、絞り値ＡＶを３（Ｆ２．８）に設定する。

シャッタ速度と絞り値の算出が終わると、算出したシャッタ速度と絞り値を用いて第１の撮影を行う（ステップＳ１５０）。第１の撮影によって撮影した画像（以下、第１の撮影によって撮影した画像を「第１の画像」とも称する）はＲＡＭ１３２に一時的に保存する。

第１の撮影が完了すると、続いて絞りを絞った場合の撮影（以下、絞りを絞った場合の撮影を「第２の撮影」とも称する）を行うために、絞り値とシャッタ速度を求める（ステップＳ１６０）。絞り値とシャッタ速度は、第１の撮影時と同様にプログラム線図を用いて算出する。図６は、絞りを絞った場合の絞り値とシャッタ速度の算出に用いるプログラム線図の一例を示す説明図である。例えば、測光処理を行った結果、露出値ＥＶ０が１０であった場合には、シャッタ速度ＴＶを５（１／３２秒）、絞り値ＡＶを５（Ｆ５．６）に設定する。また、第１の撮影のときと同様に、測光処理を行った結果、複数のシャッタ速度と絞り値を取りうる露出値であった場合には、図６に示したプログラム線図の黒丸の箇所を採用する。例えば、露出値ＥＶ０が１２であった場合には、シャッタ速度ＴＶを７（１／１２８秒）、絞り値ＡＶを５（Ｆ５．６）に設定する。

シャッタ速度と絞り値の算出が終わると、算出したシャッタ速度と絞り値を用いて第２の撮影を行う（ステップＳ１７０）。第２の撮影によって撮影した画像（以下、第２の撮影によって撮影した画像を「第２の画像」とも称する）も、第１の画像同様にＲＡＭ１３２に一時的に保存する。

このように、絞りを開いた場合と絞った場合の撮影を行う理由は、撮像素子に付着したゴミの判別を容易にするためである。図７は、本発明の第１の実施形態にかかる、撮像素子にゴミが付着した場合に撮影を行った場合の撮影画像の一例を示す説明図である。図７の（ａ）は、絞りを絞って撮影した場合の画像の一例を示し、図７の（ｂ）は絞りを開放して撮影した場合の画像の一例を示す。

絞りを開いた状態で撮影を行うと、合焦している（ピントが合っている）被写体以外はボケた感じに映り、絞りを絞った状態で撮影を行うと、合焦している被写体以外もはっきりと映る。撮像素子にゴミが付着していた場合も同様で、絞りを絞った状態で撮影を行うと、図７の（ａ）のように撮像素子に付着したゴミもはっきりと映り、絞りを開いた状態で撮影を行うと、図７の（ｂ）のように撮像素子に付着したゴミはボケた感じに映る。本実施形態においては、このような２種類の画像を用いて、ゴミが付着している場所の特定を行う。

ここで、第１の撮影および第２の撮影は同じ対象に対して行う。また、撮影する対象は、ゴミの抽出精度を向上させるために、白色や灰色等の明るい色を有するものであることが望ましい。

第２の撮影が終了すると、暫定ゴミ位置抽出部１５２が、撮影した第２の画像から、ゴミが付着していることが予測される画素位置を取得する暫定ゴミ抽出処理を行う（ステップＳ１８０）。以下、本発明の第１の実施形態にかかる暫定ゴミ抽出処理について詳細に説明する。

本発明の第１の実施形態においては、暫定ゴミの抽出は、ステップＳ１７０で撮影した第２の画像を分析することによって行う。最初に第２の画像を分析して暫定ゴミ候補を抽出する処理を行い、続いて暫定ゴミ候補の抽出結果から、連続的な位置にある暫定ゴミ候補を暫定ゴミとして抽出する処理を行う。本発明の第１の実施形態においては、暫定ゴミ候補の抽出は暫定ゴミ候補抽出部１５１が行い、暫定ゴミの抽出は暫定ゴミ位置抽出部１５２が行う。

図８は、本発明の第１の実施形態にかかるＣＣＤ素子１１０のカラーフィルタの配列について説明する説明図である。図８に示したように、本発明の第１の実施形態にかかるＣＣＤ素子１１０のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの原色を有し、その配列はベイヤー方式である。

図９は、本発明の第１の実施形態にかかる暫定ゴミ候補抽出処理について説明する流れ図であり、図４の暫定ゴミ候補抽出処理（ステップＳ１７５）について詳細に説明するものである。以下、図９を用いて本発明の第１の実施形態にかかる暫定ゴミ候補抽出処理について説明する。

最初に、絞り１０６を絞って撮影した第２の画像を分析して、ゴミの有無およびゴミが付着していると思われる位置を求める。まず、ＣＣＤ素子１１０のカラーフィルタ各色の平均信号レベルを算出する（ステップＳ２１０）。算出したＲＧＢ各色の平均値を、それぞれＲ_ａｖ、Ｇ_ａｖ、Ｂ_ａｖとする。

各色の平均値の算出が完了すると、続いて各画素の信号レベルと、算出した各画素に対応する各色の画素内平均信号レベルとをＣＣＤ素子１１０上の全ての画素において比較する。そして、各画素の信号レベルと平均信号レベルとの差が所定の値以上であれば、その画素にはゴミが付着していることが予測されると判断し、暫定ゴミ候補として抽出する。

本発明の第１の実施形態においては、まず暫定ゴミ位置抽出部１５２が変数の初期化を行う（ステップＳ２２０）。本実施形態においては、暫定ゴミ位置抽出部１５２はｎおよびｃｏｕｎｔの２種類の変数を初期化する。変数ｎは画素の番号を示し、変数ｃｏｕｎｔは暫定ゴミ候補とみなされた画素の数を示す。ｎの値の範囲は０〜全画素数−１である。次に、ｎの値がＣＣＤ素子１１０の全画素の数を下回っているかどうかを判断する（ステップＳ２３０）。ｎの値がＣＣＤ素子１１０の全画素の数未満である場合には、その画素が暫定ゴミであるかどうかを判断する（ステップＳ２４０）。具体的には、例えば、そのｎの値に該当する画素の信号レベルが、その画素に対応する各色の画素内平均信号レベルより所定の値以上下回っているかどうかを判断する。

本発明の第１の実施形態においては、以下の数式１〜数式３に示した式によって、各画素の信号レベルがその画素の色に対応する画素内平均信号レベルより所定の値以上下回っているかどうか判断する。カラーフィルタの色がＲの場合は数式１によって、カラーフィルタの色がＢの場合は数式２によって、カラーフィルタの色がＧの場合は数式３によって判断する。

本発明の第１の実施形態においては、当該画素の信号レベルが当該画素の色に対応する画素内平均信号レベルより所定の値以上下回っていた場合には、その画素を暫定ゴミ候補として抽出する。本実施形態においては、暫定ゴミ位置抽出部１５２はそのときの変数ｎの値を記録するために、配列変数ＤＤ［ｃｏｕｎｔ］に記録する（ステップＳ２５０）。そして、変数ｃｏｕｎｔの値を１つ増加させて（ステップＳ２６０）、さらに変数ｎの値を１つ増加させる（ステップＳ２７０）。一方、当該画素の信号レベルが当該画素の色に対応する画素内平均信号レベルより所定の値以上下回っていない場合には、直接ステップＳ２７０の処理に移動する。

暫定ゴミ位置抽出部１５２は、上記の一連の処理を全ての画素に対して行い、ステップＳ２３０においてｎの値がＣＣＤ素子１１０の全画素の数を下回っていない場合、すなわちｎの値が全画素の数と等しくなった場合には処理を終了する。

以上、図９を用いて本発明の第１の実施形態にかかる暫定ゴミ候補の抽出処理について説明した。次に、本発明の第１の実施形態にかかる暫定ゴミの抽出処理について説明する。

図１０は、本発明の第１の実施形態にかかる暫定ゴミの抽出処理について説明する流れ図であり、図４の暫定ゴミ抽出処理（ステップＳ１８０）について詳細に説明するものである。以下、図１０を用いて本発明の第１の実施形態にかかる暫定ゴミの抽出処理について説明する。

本発明の第１の実施形態にかかる暫定ゴミの抽出処理においては、最初に暫定ゴミ位置抽出部１５２が変数ｋ、ｃｃ、ｃｏｕｎｔ、ｇｒｏｕｐ、ｃｇを初期化する（ステップＳ３１０）。続いて、変数ｋの値が取得した暫定ゴミ候補の数未満であるかどうかを判断する（ステップＳ３１２）。変数ｋの値が取得した暫定ゴミ候補の数未満であった場合には、さらに変数ｃｃの数が取得した暫定ゴミ候補の数未満であるかどうかを判断する（ステップＳ３１４）。

暫定ゴミ位置抽出部１５２は、変数ｃｃの数が取得した暫定ゴミ候補の数未満であった場合には、暫定ゴミ候補の抽出処理で暫定ゴミ候補として抽出した画素と隣接した位置に暫定ゴミ候補が存在するかどうかを判断する。本発明の第１の実施形態においては、隣接した位置に暫定ゴミ候補があるかどうかの判断は、具体的には、配列変数ＤＤ［ｋ］とＤＤ［ｃｃ］が隣接しているかどうかによって行う（ステップＳ３１６）。配列変数ＤＤ［ｋ］とＤＤ［ｃｃ］が隣接していなければ、暫定ゴミ位置抽出部１５２は変数ｃｃの値を１つ増加させて（ステップＳ３１８）、再度変数ｃｃの数が取得した暫定ゴミ候補の数未満であるかどうかを判断した（ステップＳ３１４）後に、配列変数ＤＤ［ｋ］とＤＤ［ｃｃ］が隣接しているかどうかの処理を行う。

そして、暫定ゴミ候補として抽出した画素と隣接した位置に暫定ゴミ候補が存在した場合には、暫定ゴミ位置抽出部１５２はその画素を暫定ゴミとして記録する。本発明の第１の実施形態においては、具体的には、配列変数ＤＤ［ｋ］とＤＤ［ｃｃ］が隣接していた場合には、その際の変数ｋの値を配列変数ＤＵＳＴ［ｃｏｕｎｔ］に記録する（ステップＳ３２０）。

暫定ゴミ位置抽出部１５２は、暫定ゴミとして画素を記録すると、記録した画素をさらに暫定ゴミの集合単位に記録する。具体的には、本発明の第１の実施形態においては、暫定ゴミ位置抽出部１５２は変数ｋの値が変数ｃｃの値より大きいかどうかを判断する（ステップＳ３３２）。判断の結果、変数ｋの値が変数ｃｃの値より大きい場合には、暫定ゴミ位置抽出部１５２は配列変数ＣＤ［ｃｏｕｎｔ］にＣＤ［ｃｃ］の値を格納し（ステップＳ３２４）、変数ｋの値が変数ｃｃの値以下の場合には、配列変数ＣＤ［ｃｏｕｎｔ］に変数ｇｒｏｕｐの値を格納し、変数ｇｒｏｕｐの値を１つ増加させる（ステップＳ３２６）。そして、暫定ゴミ位置抽出部１５２は変数ｃｏｕｎｔの値を１つ増加し（ステップＳ３２８）、さらに変数ｋの値を１つ増加させて変数ｃｃの値を０に初期化する（ステップＳ３３０）。暫定ゴミ位置抽出部１５２は、変数ｋの値を１つ増加させて変数ｃｃの値を０に初期化すると、ステップＳ３１２に戻って変数ｋの値が暫定ゴミ候補の数より少ないかどうかを判断する。

なお、上記ステップＳ３１４において、変数ｃｃの数が取得した暫定ゴミ候補の数以上であった場合には、直接ステップＳ３３０に移り、変数ｋの値を１つ増加させて変数ｃｃの値を０に初期化する。

このように、暫定ゴミ位置抽出部１５２が、上記ステップＳ３１２からステップＳ３３０までの処理を、変数ｋの値が暫定ゴミ候補の数以上になるまで繰り返すことで、暫定ゴミの位置と数を算出することができる。

暫定ゴミ位置抽出部１５２で暫定ゴミの位置と数を検出すると、次に、暫定ゴミ位置抽出部１５２で同一の暫定ゴミとみなした部位に含まれる画素の数を算出する。本発明の第１の実施形態においては、最初に暫定ゴミ位置抽出部１５２が変数ｃｃ、ｃｇ、ｋを初期化する（ステップＳ３３２）。変数を初期化すると、変数ｃｇの値がｇｒｏｕｐ−１未満であるかどうかを暫定ゴミ位置抽出部１５２で判断する（ステップＳ３３４）。暫定ゴミ位置抽出部１５２での判断の結果、変数ｃｇの値がｇｒｏｕｐ−１未満であった場合には、さらに変数ｋの値がｃｏｕｎｔ−１未満であるかどうかを暫定ゴミ位置抽出部１５２で判断する（ステップＳ３３６）。変数ｋの値がｃｏｕｎｔ−１未満であった場合には、さらに配列変数ＣＤ［ｋ］の値がｃｇと一致しているかどうかを暫定ゴミ位置抽出部１５２で判断する（ステップＳ３４０）。ＣＤ［ｋ］の値がｃｇと一致している場合には、暫定ゴミ位置抽出部１５２が変数ｃｃの値を１つ増加させて（ステップＳ３４２）、さらに変数ｋの値を１増加させる（ステップＳ３４４）。一方、配列変数ＣＤ［ｋ］の値がｃｇと一致していない場合には、直接ステップＳ３４４に移って、暫定ゴミ位置抽出部１５２が変数ｋの値を１増加させる。変数ｋの値を１増加させると、ステップＳ３３６に戻って、変数ｋの値がｃｏｕｎｔ−１未満であるかどうかを暫定ゴミ位置抽出部１５２で判断する。

そして、上記ステップＳ３３６において、変数ｋの値がｃｏｕｎｔ−１以上である場合には、暫定ゴミ位置抽出部１５２が配列変数ＮＤ０［ｃｇ］に変数ｃｃの値を格納する。このときの変数ｃｃの値は、１つの暫定ゴミに含まれる画素の数である。従って、配列変数ＮＤ０［］には１つの暫定ゴミにおける画素の数が格納されることになる。そして、暫定ゴミ位置抽出部１５２は配列変数ＮＤ０［ｃｇ］に変数ｃｃの値を格納するとともに、変数ｃｇの値を１つ増加させて、変数ｃｃの値を０に初期化する（ステップＳ３３８）。

この一連の処理を、暫定ゴミ位置抽出部１５２が、変数ｃｇの値がｇｒｏｕｐ−１以上になるまで繰り返し、ステップＳ３３４において変数ｃｇの値がｇｒｏｕｐ−１以上になった場合には処理を終了する。

以上、図１０を用いて本発明の第１の実施形態にかかる暫定ゴミの抽出処理について説明した。なお、本発明における暫定ゴミの抽出処理は、かかる例に限定されない。

暫定ゴミを抽出すると、抽出した暫定ゴミの情報を用いて、暫定ゴミの抽出に使用した画像とは別の画像を分析して、抽出した暫定ゴミをゴミとして認定するゴミ認定処理を行う。本発明の第１の実施形態においては、ゴミ認定部１５４が、第１の撮影で撮影した第１の画像を分析することによってゴミの認定を行う。

図１１は、本発明の第１の実施形態にかかるゴミ認定処理について説明する流れ図であり、図４のゴミ認定処理（ステップＳ１９０）について詳細に説明するものである。。以下、図１１を用いて本発明の第１の実施形態にかかるゴミ認定処理について説明する。

まず、ゴミ認定部１５４が第１の画像のＲ、Ｇ、Ｂ各色の平均信号レベルを算出する（ステップＳ４１０）。平均信号レベルの算出は、暫定ゴミ候補抽出処理で行った算出方法を用いる。Ｒ、Ｇ、Ｂ各色の平均信号レベルを算出すると、ゴミ認定部１５４がゴミ認定処理で使用する各変数の初期化を行う（ステップＳ４１２）。本発明の第１の実施形態にかかるゴミ認定処理においては、変数ｋ、ｃ、ｇ、ｎおよびｃｏｕｎｔの５種類の変数を用意し、変数ｋ、ｃ、ｇについては０で初期化し、変数ｃｏｕｎｔについては暫定ゴミ抽出処理で抽出した暫定ゴミの数で初期化する。

第１の画像のＲ、Ｇ、Ｂ各色の平均信号レベルを算出すると、ゴミ認定部１５４が、第２の画像において暫定ゴミとみなした画素と同位置にある第１の画像の画素に対して、暫定ゴミ抽出処理における上記数式１〜数式３の数式に基づいて、当該画素の信号レベルが第１の画像のＲ、Ｇ、Ｂ各色の平均信号レベルより所定の値以上下回っているかどうかを判断する処理を行う。

本発明の第１の実施形態においては、具体的には、まず変数ｇの値がｃｏｕｎｔ−１の値未満であるかどうかを、ゴミ認定部１５４が判断する（ステップＳ４１４）。変数ｇの値がｃｏｕｎｔ−１の値未満である場合には、続いて変数ｇの値が配列変数ＣＤ［ｋ］の値に等しいかどうかを、ゴミ認定部１５４が確認する（ステップＳ４１６）。変数ｇの値が配列変数ＣＤ［ｋ］の値未満である場合には、ゴミ認定部１５４が配列変数ＤＵＳＴ［ｋ］の値を変数ｎに格納する（ステップＳ４１８）。そして、変数ｋの値がｃｏｕｎｔ−１未満かどうか確認し（ステップＳ４２０）、変数ｋの値がｃｏｕｎｔ−１未満である場合には、さらに配列変数Ｐ２［ｎ］が、数式１〜数式３に示す条件を満たしているかどうかをゴミ認定部１５４が判断する（ステップＳ４２２）。ここで、配列変数Ｐ２［］は第１の撮影で撮影した第１の画像の各画素における信号レベルを示す。そして、配列変数Ｐ２［ｎ］が、数式１〜数式３を満たしていた場合には、ゴミ認定部１５４が変数ｃの値を１つ増加させて（ステップＳ４２４）、さらに変数ｋの値を１つ増加させて（ステップＳ４２６）、上記ステップＳ４１６の変数ｇの値が配列変数ＣＤ［ｋ］の値未満かどうかを確認する処理に戻る。

なお、上記ステップＳ４１６において、変数ｇの値が配列変数ＣＤ［ｋ］の値と異なっている場合および上記ステップＳ４２２で配列変数Ｐ２［ｎ］が、数式１〜数式３に示す条件を満たしていない場合には、ステップＳ４２６に移動して、ゴミ認定部１５４が変数ｋの値を１つ増加させる。

また、上記ステップＳ４２０において、変数ｋの値がｃｏｕｎｔ−１以上である場合には、配列変数ＮＤ１［ｋ］に変数ｃの値を格納する（ステップＳ４２８）。ここで、配列変数ＮＤ１［］は１つの暫定ゴミに含まれる画素の数を示す。従って、配列変数ＮＤ１［］には１つの暫定ゴミにおける画素の数が格納されることになる。そして、変数ｇの値を１つ増加させて（ステップＳ４３０）、上記ステップＳ４１４に戻って変数ｇの値がｃｏｕｎｔ−１の値未満であるかどうかを判断する。

これら一連の処理を、変数ｇの値がｃｏｕｎｔ−１の値以上になるまでゴミ認定部１５４が繰り返すことで、１つの暫定ゴミに含まれる画素の数を求めることが出来る。そして、ステップＳ４１４において変数ｇの値がｃｏｕｎｔ−１の値以上になると、１つの暫定ゴミに含まれる画素の数を求める処理を終了する。

この様に求めた１つの暫定ゴミに含まれる画素の数を、第１の画像と第２の画像との間における同一の暫定ゴミ抽出箇所で比較する。そして、第２の画像の所定の暫定ゴミに含まれる画素と、第１の画像の同一箇所の暫定ゴミに含まれる画素との間に、所定の値以上画素数の差異があれば、その箇所には撮像素子にゴミが付着しているものとみなし、ゴミ認定部１５４が当該暫定ゴミをゴミとして認定する。

ゴミ認定部１５４は、暫定ゴミをゴミとして認定すると、認定した画像上のゴミの位置を記憶する。本発明の第１の実施形態においては、１つのゴミと認定された画素の集合から中心となる画素のＸ座標およびＹ座標を求め、それぞれＸｃ、Ｙｃとして記憶する。

以上、本発明の第１の実施形態にかかるゴミ認定処理について説明した。なお、本発明におけるゴミ認定処理は、かかる例に限定されない。

ゴミ認定処理で撮像素子にゴミが付着していると認められると、ゴミの存在を撮像装置１００の使用者に通知し、ゴミ清掃モードに移行する。ゴミの除去作業を行わせるゴミ清掃モードへは、ゴミ認定処理が終わると強制的に移行してもよく、ゴミ認定処理が終わった後に移行するかどうかを使用者に選択させてもよい。以下、本発明の第１の実施形態にかかるゴミ清掃モードについて説明する。

図１２は、本発明の第１の実施形態にかかるゴミ清掃モードの流れについて説明する流れ図である。以下、図１２を用いて本発明の第１の実施形態にかかるゴミ清掃モードの流れについて説明する。

ゴミ清掃モードにおいては、最初にゴミの清掃を容易にするためにＣＣＤ素子１１０の前面のシャッタを全開にする（ステップＳ５１０）。続いて、ゴミ認定処理で認定したゴミの位置を算出する（ステップＳ５２０）。ゴミ認定処理においては画像上のゴミの位置を算出したので、画像上のゴミ位置から撮像素子面上のゴミ位置へ変換し、変換した撮像素子面上のゴミ位置に対応する箇所にゴミが存在する旨の付着情報の表示を行う（ステップＳ５３０）。本発明の第１の実施形態においては、撮像素子面上のゴミ位置への変換およびゴミの付着情報の表示はゴミ表示部１５６が行い、ゴミの付着情報は画像表示部１２４に表示する。ゴミの付着情報は、例えば記号で表示してもよく、アイコンやキャラクタで表示してもよい。

本発明の第１の実施形態においては、画像上のゴミ位置から変換した撮像素子面上のゴミ位置に対応する、画像表示部１２４の座標（Ｘｄ、Ｙｄ）への変換は以下のように行う。ここで、Ｈｄは画像表示部１２４の表示水平ドット数、Ｖｄは画像表示部１２４の表示垂直ドット数、Ｈは画像データの水平画素数、Ｖは画像データの垂直画素数を示す。
Ｘｄ＝Ｘｃ×Ｈｄ／Ｈ
Ｙｄ＝Ｖｄ−（Ｙｃ×Ｖｄ／Ｖ）

図１３は、本発明の第１の実施形態にかかる、撮像素子の一例であるＣＣＤ素子１１０にゴミが付着した状態で画像を撮影した場合の撮影画像を画像表示部１２４に表示した際の一例を示す説明図であり、図１４は、本発明の第１の実施形態にかかる、位置変換後のゴミ位置を画像表示部１２４に表示した場合の画像の一例を示す説明図である。本発明の第１の実施形態においては、ＣＣＤ素子１１０の３箇所にゴミが付着した場合について説明する。

図１３に示したように、撮影画像では３箇所にゴミ１６０が付着している。ＣＣＤ素子１１０における撮像面上においては、実際にゴミが付着している箇所は上下対称の位置になる。従って、撮影画像におけるゴミ位置と上下対象となるように、画像表示部１２４に表示する画像に、ゴミの付着情報としてアイコンやキャラクタを重ねて表示する。

このように、ゴミ認定部１５４が撮像素子面上のゴミ位置を求め、ゴミ表示部１５６が画像表示部１２４にゴミの位置を分かりやすく指し示すことで、撮像装置１００の使用者は、表示された位置に対してブロワ等を用いることによって、ゴミの除去作業を容易に行うことができる。撮像装置１００は、使用者に対して清掃が完了したかどうかの確認を促し（ステップＳ５４０）、清掃が完了していれば処理を終了し、完了していなければ清掃が完了したかどうかの確認を促し続ける。

以上、図１２を用いて本発明の第１の実施形態にかかるゴミ清掃モードの流れについて説明した。

なお、上記の撮像方法はコンピュータプログラムによって実行されてもよい。ＣＰＵ１２８が、ＲＯＭ１３０の内部に記録されたコンピュータプログラムを呼び出すことによって、上記の撮像方法を実行してもよい。

以上、本発明の第１の実施形態にかかる撮像装置および撮像方法によれば、絞りの異なる画像を比較してゴミの位置の検出を行うことで、撮像素子に付着したゴミの検出精度が向上する。また、ゴミの検出精度が向上することで、不用意な除去作業が減り、撮像素子の前面の光学ローパスフィルタが損傷する事態が減少する。さらに、ゴミの付着位置を表示することで、撮像装置の使用者に対して清掃作業の容易化を図ることができる。

（第２の実施形態）
本発明の第１の実施形態においては、絞りの異なる画像を比較することでゴミの位置の検出を行い、ゴミの付着位置を表示することで、撮像装置の使用者に対して清掃作業の容易化を図ることができる撮像装置および撮像方法について説明した。本発明の第２の実施形態においては、撮像素子を内蔵したレンズにおいて、第１の実施形態同様に、絞りの異なる画像を比較することで、撮像素子にゴミが付着していないかどうかを検査することができる検査装置および撮像方法について説明する。

図１５は、本発明の第２の実施形態の概要について説明する説明図である。以下、図１５を用いて本発明の第２の実施形態について説明する。

図１５に示したように、本発明の第２の実施形態は、撮像装置２００と、撮像素子を内蔵したレンズユニット２０２とを含んで構成される。撮像装置２００は、本発明の撮像装置の一例である。撮像素子としては、ＣＣＤ素子であっても、ＣＭＯＳ素子であってもよく、またその他のイメージセンサであってもよい。レンズユニット２０２の内部には、第１の実施形態同様に絞りが内蔵されている。検査装置２００とレンズユニット２０２とは、接続ケーブル２０４で接続される。

なお、本発明の第２の実施形態にかかる撮像方法を用いてゴミの検査を行う際には、第１の実施形態同様に、レンズユニット２０２に光拡散レンズキャップ１０４を装着してもよい。光拡散レンズキャップ１０４を用いることで被写体から入射される光が拡散し、より効果的にゴミの検出を行うことができる。

本発明の第２の実施形態にかかる検査装置２００の構成は、本発明の第１の実施形態にかかる撮像装置１００と同様の構成を有するため、詳細な説明は割愛する。しかし、本発明の第１の実施形態にかかる撮像装置１００は、撮像素子の一例であるＣＣＤ素子１１０を含んだ構成を有していたが、本発明の第２の実施形態においては、撮像素子はレンズユニット２０２に内蔵されているため、検査装置２００に撮像素子を含める必要は無い。

以上、図１５を用いて本発明の第２の実施形態の概要について説明した。

本発明の第２の実施形態にかかる撮像方法は、第１の実施形態同様に、絞りを変化させて絞りの異なる第１の画像および第２の画像を撮影し、画像を分析することによってゴミの位置を認定する。そして、撮像素子にゴミが付着していると認められた場合には、検査装置２００の表示部２１０にゴミが付着している旨を表示する。

ここで、第１の撮影および第２の撮影は、第１の実施形態同様に同じ対象に対して行う。また、撮影する対象は、ゴミの抽出精度を向上させるために、白色や灰色等の明るい色を有するものであることが望ましい。

図１６および図１７は、本発明の第２の実施形態にかかる検査装置による検査結果の一例について示す説明図である。図１６は、本発明の第２の実施形態にかかる、レンズユニット２０２の内部に備えられた撮像素子にゴミが付着していない場合の検査結果の一例を示す説明図であり、図１７は、本発明の第２の実施形態にかかる、レンズユニット２０２の内部に備えられた撮像素子にゴミが付着していた場合の検査結果の一例を示す説明図である。

図１６に示したように、レンズユニット２０２の内部に備えられた撮像素子にゴミが付着していない場合は、表示部２１０に、ゴミが付着していない旨の表示を行い、図１７に示したように、レンズユニット２０２の内部に備えられた撮像素子にゴミが付着していた場合は、検査装置２００は、表示部２１０にゴミが付着している旨の表示を行う。検査装置２００は、撮像素子にゴミが付着していた場合には、ゴミが付着している旨の表示に併せてゴミが付着している場所を表示してもよい。ゴミが付着している場所を表示することで、撮像素子に付着したゴミの除去作業の容易化を図ることができる。

以上説明したように、本発明の第２の実施形態にかかる検査装置および撮像方法によれば、撮像素子を内蔵したレンズにおいて、第１の実施形態同様に、絞りの異なる画像を撮影し、両者を比較することで、撮像素子にゴミが付着していないかどうかを検査することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記第１及び第２の実施形態では、絞り値が異なる２枚の画像を撮影し、その２枚の画像を比較することによって撮像素子へのゴミの付着の有無を判断していたが、本発明はかかる例に限定されない。例えば、３枚以上の絞り値が異なる画像を撮影し、それらを比較することによって撮像素子へのゴミの付着の有無を判断してもよい。

本発明の第１の実施形態にかかる撮像装置について説明する説明図である。本発明の第１の実施形態にかかる撮像装置の構成について説明する説明図である。本発明の第１の実施形態にかかるＣＰＵの構成について説明する説明図である。本発明の第１の実施形態にかかる撮像方法について説明する流れ図である。本実施形態にかかる、絞りを開いた場合の絞り値とシャッタ速度の算出に用いるプログラム線図の一例を示す説明図である。絞りを絞った場合の絞り値とシャッタ速度の算出に用いるプログラム線図の一例を示す説明図である。本発明の第１の実施形態にかかる、撮像素子にゴミが付着した場合に撮影を行った場合の撮影画像の一例を示す説明図である。本発明の第１の実施形態にかかるカラーフィルタの配列について説明する説明図である。本発明の第１の実施形態にかかる暫定ゴミ候補抽出処理について説明する流れ図である。本発明の第１の実施形態にかかる暫定ゴミの抽出処理について説明する流れ図である。本発明の第１の実施形態にかかるゴミ認定処理について説明する流れ図である。本発明の第１の実施形態にかかるゴミ清掃モードの流れについて説明する流れ図である。本発明の第１の実施形態にかかる、ゴミが付着した状態で画像を撮影した場合の撮影画像の表示例を示す説明図である。本発明の第１の実施形態にかかる、ゴミ位置を表示した場合の画像の一例を示す説明図である。本発明の第２の実施形態の概要について説明する説明図である。本発明の第２の実施形態にかかる、撮像素子にゴミが付着していない場合の検査結果の一例を示す説明図である。本発明の第２の実施形態にかかる、撮像素子にゴミが付着していた場合の検査結果の一例を示す説明図である。

符号の説明

１００撮像装置
１０２、２０２レンズユニット
１０４レンズキャップ
１０６絞り
１１０ＣＣＤ素子
１２８ＣＰＵ
１３０ＲＯＭ
１３２ＲＡＭ
１５１暫定ゴミ候補抽出部
１５２暫定ゴミ位置抽出部
１５４ゴミ認定部
１５６ゴミ表示部
１５８適正ＡＥ算出部
２００検査装置

Claims

被写体からの入射光の光量を調整する絞り機構部を含むレンズユニットと、
前記レンズユニットを介して結像面上に結像される前記被写体の像を連続的に画像データとして順次出力する撮像部と、
前記撮像部による連続撮像時に、前記絞り機構部の絞り値を変化させて前記被写体からの入射光の光量を調整する絞り制御部と、
前記撮像部から順次出力される前記画像データのうち、前記絞り値が異なる少なくとも２以上の画像データに基づいて、前記結像面上に異物が付着されているか否かを予測する異物付着予測部と、
を含むことを特徴とする、撮像装置。
前記異物付着予測部の予測結果に基づいて、前記異物の付着が予測される前記結像面上の画素位置を検出する画素位置検出部と、
前記結像面上の画素位置に対応する各前記画像データの輝度レベルを比較して、所定の閾値以上の差が生じた場合に前記画素位置に前記異物が付着していると判定する異物判定部と、
を含むことを特徴とする、請求項１に記載の撮像装置。
前記異物判定部は、前記撮像素子に含まれるカラーフィルタの構成色毎に、各前記画像データ全体の輝度レベルの平均値を算出し、当該各画像データにおける前記結像面上の画素位置の輝度レベルがいずれも前記平均値を下回る場合に、当該画素位置に前記異物が付着していると判定することを特徴とする、請求項２に記載の撮像装置。
前記異物付着予測部は、前記撮像部から順次出力される前記画像データのうち、前記絞り機構部の絞り値が最も大きいときの前記入射光から得られた画像データを選択することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
前記異物判定部による判定結果を表示する表示部を含むことを特徴とする、請求項２〜４のいずれかに記載の撮像装置。
前記表示部は、前記異物の付着位置を、当該結像面上の撮像領域に対応して表示することを特徴とする、請求項５に記載の撮像装置。
被写体からの入射光の光量を調整する絞り機構部を含むレンズユニットを用いて、前記レンズユニットを介して結像面上に結像される前記被写体の像を連続的に画像データとして順次出力する撮像ステップと、
前記撮像ステップにおける連続撮像時に、前記絞り機構部の絞り値を変化させて前記被写体からの入射光の光量を調整する絞り制御ステップと、
前記撮像ステップで順次出力される前記画像データのうち、前記絞り値が異なる少なくとも２以上の画像データに基づいて、前記結像面上に異物が付着されているか否かを予測する異物付着予測ステップと、
を含むことを特徴とする、撮像方法。
前記異物付着予測ステップでの予測結果に基づいて、前記異物の付着が予測される前記結像面上の画素位置を検出する画素位置検出ステップと、
前記結像面上の画素位置に対応する各前記画像データの輝度レベルを比較して、所定の閾値以上の差が生じた場合に前記画素位置に前記異物が付着していると判定する異物判定ステップと、
を含むことを特徴とする、請求項７に記載の撮像方法。
前記異物判定ステップでは、前記撮像素子に含まれるカラーフィルタの構成色毎に、各画像データ全体の輝度レベルの平均値を算出し、前記各画像データにおける前記結像面上の画素位置の輝度レベルがいずれも前記平均値を下回る場合に、当該画素位置に異物が付着していると判定することを特徴とする、請求項８に記載の撮像方法。
前記異物付着予測ステップでは、前記撮像ステップにおいて順次出力される前記画像データのうち、前記絞り機構部の絞り値が最も大きいときの前記入射光から得られた画像データを選択することを特徴とする、請求項７〜９のいずれかに記載の撮像方法。
前記異物判定ステップによる判定結果を表示する表示ステップを含むことを特徴とする、請求項８〜１０のいずれかに記載の撮像装置。
前記表示ステップでは、前記異物の付着位置を、当該結像面上の撮像領域に対応して表示することを特徴とする請求項１１に記載の撮像方法。