JP2010103706A - 撮像装置及びその制御方法及びプログラム及び画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】動画記録時において電子ズームを用いて撮影した動画像に対しても、ゴミ除去処理を行うことを可能とする。
【解決手段】被写体像を光電変換する撮像素子を備え、撮像素子からの出力信号に基づいて画像信号を生成する撮像部と、画像信号の一部を切り出して拡大する電子ズーム処理を行う電子ズーム処理部と、撮像素子の前方に配置された光学素子の表面に付着した異物の像を含む異物検出用画像から、少なくとも異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出部と、異物情報を画像ファイルに記録する異物情報記録部と、電子ズーム処理部における電子ズームのズーム倍率を画像ファイルに記録するズーム倍率記録部とを備える。
【選択図】図１４

Description

本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置における、撮像素子の前方に配置された光学ローパスフィルタ等の表面に付着した異物による画質劣化を抑制する技術に関し、特に動画撮影時の異物による画質劣化を抑制する技術に関する。

レンズ交換式のデジタルカメラでは、レンズをカメラ本体から取り外した際にカメラ本体の内部に空気中に浮遊する埃などが侵入する可能性がある。またカメラ内部には、例えばシャッタ機構等の機械的に動作する各種の機構部が配設されており、これらの機構部が動作することにより、カメラ本体内で金属片などのゴミ等が発生する場合もある。

このようなゴミや埃などの異物がデジタルカメラの撮像部を構成する光学素子である撮像素子の前方に配置された光学ローパスフィルタの表面等に付着すると、その異物は撮影された画像に影となって写り込んでしまい、撮影画像の品位を低下させてしまう。

銀塩フィルムを使用したカメラでは、画像を撮影する度にフィルムが送られるため、同じ異物が連続して画像の同じ位置に写り込むことは極めて稀である。しかしデジタルカメラでは、撮影毎にフィルムのコマを送るような動きが発生しないため、撮影画像の同じ位置に連続して同じ異物が写り込んでしまうという問題がある。

このような問題点を解決するため、異物が写り込んだ画素をその画素の周囲の画素の信号を利用するなどして補正する方法が考えられる。そのような画素を補正する技術として、例えば特許文献１（特開平６−１０５２４１号公報）には、撮像素子の画素欠陥を補正するための画像欠陥補正方法が提案されている。また特許文献２（特開２００４−２４２１５８号公報）には、画素欠陥の位置情報の設定を簡略化するために、ゴミ取得モードで撮影した画像ファイルの拡張子などを通常画像と異ならせることが提案されている。このようにすることで、ＰＣ（パーソナルコンピュータ）側でゴミ情報画像を自動判別し、その情報を用いて補正対象画像を補正する。

また近年、動画情報をデジタルデータとして取り扱い、蓄積・伝送に用いるために、高圧縮率かつ高画質で符号化する技術が提案され広く普及している。

Ｍｏｔｉｏｎ ＪＰＥＧ方式は、静止画符号化（例えば、ＪＰＥＧ（JointPhotographic Coding Experts Group）符号化）を各フレームに適応させることで符号化する。ＪＰＥＧ符号化は、基本的には静止画に対する符号化方式であるが、高速処理させることにより動画にも対応させる製品も出てきている。

ＪＰＥＧ方式の概略を簡単に説明する。画像データを所定の大きさのブロック（例えば、８×８画素よりなるブロック）に分割し、そのブロック毎に２次元離散コサイン変換を行ない、その変換係数を線形又は非線形に量子化する。量子化された変換係数を次のようにハフマン符号化（可変長符号化）する。即ち、変換係数の直流成分に関しては、近傍ブロックの直流成分との差分値をハフマン符号化し、交流成分についてはジグザグ・スキャンにより低周波数成分から高周波数成分へとシリアル化する。そして、値が０の無効成分の連続する個数とそれに続く有効な成分の値との組に対してハフマン符号化を実行する。

一方、更なる高圧縮率、高画質を目指した符号化方式としてＨ．２６４（ＭＰＥＧ４−Ｐａｒｔ１０ ＡＶＣ）がある。このＨ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式と比較して、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている（非特許文献１参照）。

図１６は、Ｈ．２６４方式で画像データを圧縮する画像処理装置の構成を示す図である。

図１６において、入力された画像データは、マクロブロックに分けられ、減算部４０１に送られる。減算部４０１は、画像データと予測値との差分を求めて、整数ＤＣＴ（Discrete Cosine Transform）変換部４０２に出力する。整数ＤＣＴ変換部４０２は、入力されたデータを整数ＤＣＴ変換して量子化部４０３に出力する。量子化部４０３は、入力されたデータを量子化する。量子化されたデータの一方は、差分画像データとしてエントロピー符号化部４１５に送られる。もう一方は、逆量子化部４０４で逆量子化された後、逆整数ＤＣＴ変換部４０５で逆整数ＤＣＴ変換される。逆整数ＤＣＴ変換されたデータは、加算部４０６で予測値が加えられる。これにより、画像が復元される。

復元された画像の一方は、イントラ（フレーム内）予測のためのフレームメモリ４０７に送られる。他方は、デブロッキングフィルター４０９でデブロッキングフィルター処理が行われた後、インター（フレーム間）予測のためのフレームメモリ４１０に送られる。イントラ予測のためのフレームメモリ４０７内の画像は、イントラ予測部４０８でのイントラ予測で使用される。このイントラ予測では、同一ピクチャ内で、既に符号化されたブロックの隣接画素の値を予測値として用いる。

インター予測のためのフレームメモリ４１０内の画像は、後述するように、複数のピクチャで構成される。これら複数のピクチャは、「Ｌｉｓｔ０」と「Ｌｉｓｔ１」の２つのリストに分けられる。２つのリストに分けられた複数のピクチャは、インター予測部４１１でのインター予測で使用される。インター予測がなされた後に、メモリコントローラ４１３によって、内部の画像が更新される。インター予測部４１１で行われるインター予測では、フレームの異なる画像データに対して動き検出部４１２で行われた動き検出の結果に基づく最適な動きベクトルを用いて、予測画像を決定する。

イントラ予測とインター予測の結果、最適な予測結果が選択部４１４で選択される。また、上記の動きベクトルは、エントロピー符号化部４１５に送られ、上記の差分画像データと共に符号化される。こうして出力ビットストリームが形成される。

ここで、Ｈ．２６４方式のインター予測について、図１７乃至図２０を参照して詳細に説明する。

Ｈ．２６４方式のインター予測では、複数のピクチャを予測に用いることができる。このため、参照ピクチャを特定するためにリストを２つ（「Ｌｉｓｔ０」及び「Ｌｉｓｔ１」）用意する。各リストには最大５枚の参照ピクチャが割り当てられるようにしている。

Ｐピクチャでは「Ｌｉｓｔ０」のみを使用して、主に前方向予測を行う。Ｂピクチャでは「Ｌｉｓｔ０」及び「Ｌｉｓｔ１」を用いて、双方向予測（または前方あるいは後方のみの予測）を行う。すなわち、「Ｌｉｓｔ０」には主に前方向予測のためのピクチャが割り当てられ、「Ｌｉｓｔ１」には主に後方向予測のためのピクチャが収められる。

図１７に、符号化の際に使用される参照リストの例を示す。ここでは、Ｉピクチャ、Ｐピクチャ及びＢピクチャの割合が、標準的な場合を例に挙げて説明する。すなわち、Ｉピクチャが１５フレーム間隔、Ｐピクチャが３フレーム間隔、その間のＢピクチャが２フレーム間隔である場合で説明する。図１７において、１００１は、表示順に並べた画像データを示す。画像データ１００１の四角の中にはピクチャの種類と表示順を示す番号を記入してある。例えば、ピクチャＩ１５は表示順が１５番目のＩピクチャであり、イントラ予測のみを行う。ピクチャＰ１８は表示順が１８番目のＰピクチャであり、前方向予測のみを行う。ピクチャＢ１６は表示順が１６番目のＢピクチャであり、双方向予測を行う。

符号化を行う順序は表示順序と異なり、予測を行う順となる。すなわち、図１７では、符号化を行う順序は、「Ｉ１５、Ｐ１８、Ｂ１６、Ｂ１７、Ｐ２１、Ｂ１９、Ｂ２０、…」となる。

また、図１７において、１００２は、参照リスト（Ｌｉｓｔ０）を示す。この参照リスト（Ｌｉｓｔ０）１００２には、一旦符号化され復号化されたピクチャが収められている。例えば、ピクチャＰ２１（表示順が２１番目のＰピクチャ）でインター予測を行う場合、参照リスト（Ｌｉｓｔ０）１００２内の既に符号化が終わって復号化されたピクチャを参照する。図１７に示す例では、ピクチャＰ０６、Ｐ０９、Ｐ１２、Ｉ１５、Ｐ１８が参照リスト１００２に収められている。

インター予測では、マクロブロック毎に、この参照リスト（Ｌｉｓｔ０）１００２中の参照ピクチャ内から最適な予測値をもつ動きベクトルを求め、符号化する。参照リスト（Ｌｉｓｔ０）１００２内のピクチャは、参照ピクチャ番号が順に与えられ、区別される（図示した番号とは別に与えられる）。

ピクチャＰ２１の符号化が終わると、こんどは新たにピクチャＰ２１が復号化され参照リスト（Ｌｉｓｔ０）１００２に追加される。参照リスト（Ｌｉｓｔ０）１００２から、最も古い参照ピクチャ（ここではピクチャＰ０６）が除去される。この後符号化は、ピクチャＢ１９、Ｂ２０と行われ、ピクチャＰ２４へと続く。このときの参照リスト（Ｌｉｓｔ０）１００２の様子を図１８に示す。

図１９に、参照リストの変化の様子をピクチャ毎に示す。

図１９では、上から順番にピクチャが符号化されるようにしている。また、符号化中のピクチャと、その符号化中のピクチャに対する参照リスト（Ｌｉｓｔ０及びＬｉｓｔ１）の内容を示している。図１９に示す様に、Ｐピクチャ（またはＩピクチャ）が符号化されると、参照リスト（Ｌｉｓｔ０及びＬｉｓｔ１）が更新され、参照リスト（Ｌｉｓｔ０及びＬｉｓｔ１）中の最も古いピクチャが除去される。この例では、参照リスト（Ｌｉｓｔ１）は１つのピクチャしか持っていない。これは、後方向予測のために参照するピクチャの数を多くすると、復号までのバッファ量が増えてしまうためである。すなわち、符号化中のピクチャとあまりに離れたところにある後方のピクチャの参照を避けたためである。

ここで挙げた例では、参照に用いるピクチャを、Ｉピクチャ及びＰピクチャとし、Ｉピクチャ及びＰピクチャの全てを参照リスト（Ｌｉｓｔ０及びＬｉｓｔ１）に順次加えている。また、後方向予測のために参照リスト（Ｌｉｓｔ１）で使うピクチャはＰピクチャだけとした。以上のようにしたのは、通常最もよく用いられるであろうピクチャの構成であるからである。ただし、このような参照リストにおけるピクチャの構成は、最も良く使用されるであろう一例に過ぎず、Ｈ．２６４自体は、参照リストの構成に、より高い自由度を持っている。

例えば、Ｉピクチャ及びＰピクチャの全てを参照リストに加える必要は無く、またＢピクチャを参照リストに加えることも可能である。また明示的に指示されるまで参照リストにとどまる長期参照リストも定義されている。図２０に、Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す。Ｂピクチャを参照リストに加える場合、通常、全てのＢピクチャを符号化する度に、符号化したピクチャを参照リストに追加することが考えられる。

これらの符号化方式を利用して動画像を記録可能としたコンパクトデジタルカメラも開発、製品化されており、ユーザーはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。

従来よりデジタルビデオカメラなどの撮像装置においては、電子ズームを搭載するのが一般的である。電子ズームとは撮像素子から読み出された画像信号を間引き、或いは撮像素子から間欠的に画像信号を読み出した後、この画像信号から補間信号を生成し、この補間信号を当該画像信号に内挿入することにより被写体の像倍率を電子的に拡大する機能である。これにより、任意倍率で拡大された画像を得ることができる。

例えば、図６（ａ）で、６１が撮像素子の撮影画面であり、その中の斜線部分６２の画像信号を図６（ｂ）に示すように、撮影画面６１と同じ大きさに拡大する。電子処理により拡大画像を得るので、電子ズームと呼ぶ。電子ズームでは、任意の拡大率を選択でき、拡大率を連続的に変化させることも容易である。

任意の拡大率では、出力の走査線は、撮像素子の出力から得られる走査線と走査線の中間に位置することになるので、相互の距離の比と所定の重み付けの下で上下の信号を内挿補間する。これにより、拡大による画質劣化をある程度抑制できるが、電子ズームのみで、ある程度の画質を確保しつつ、６倍、８倍、１０倍といった一般的なズーム比を実現するのは、困難である。従って、現状では、光学ズームと電子ズームを併用している。

光学ズームと電子ズームを併用することにより、小型軽量でズーム倍率の大きなズームレンズシステムを実現することができる。このようなシステムでは、小さいズーム倍率から大きいズーム倍率に変化させるいわゆるズームアップを行う際には、始めは電子ズームでの拡大率を１倍にして、すなわち電子ズームでの拡大を行わずに、光学ズームのみでズーム倍率を変化させる。そして、光学ズームがテレ端に達した後に、電子ズームを用いてズーム倍率を変化させるようにしている。

また、大きいズーム倍率から小さいズーム倍率に変化させるいわゆるズームダウンを行う際には、始めは電子ズームのみでズーム倍率を変化させ、電子ズームでの拡大率が１倍に達した後に、光学ズームを用いてズーム倍率を変化させるようにしている。

さらに、近年では、半導体技術の向上により、Ｈ．２６４などのフォーマットにて規定された画素数（例えばＨＤ解像度）よりもはるかに画素数の多い撮像素子を採用し、このような多画素の撮像素子から間欠的に画像信号を読み出すことによりフォーマットに規定された画素数の画像信号を生成し、より高画質な画像を記録する装置も提案されている。

この種の撮像装置における電子ズームの技術として、例えば特許文献３（特開２００７−２２１２７３号公報）には、電子ズーム動作時の画質の劣化を抑制する方法が提案されている。
特開平６−１０５２４１号公報 特開２００４−２４２１５８号公報 特開２００７−２２１２７３号公報 ISO/IEC 14496-10,"Advanced Video Coding"

このような状況の中で、近年では、コンパクトタイプのデジタルカメラのみならず、レンズ交換式のデジタルカメラにおいても、より高画素、高精細な動画像を記録したいニーズも高まっている。しかし、すでに述べたように、レンズ交換式のデジタルカメラではさまざまな要因で撮像素子の表面にゴミが付着するため、そのまま動画記録を行うと、動画再生中、常に同じ位置にゴミが写ってしまう可能性があった。

レンズ交換式のデジタルカメラにおける従来のゴミ除去方法では、ゴミ除去に必要な情報（例えばゴミの位置及び大きさの情報）と画像データとを記録しておき、後にパソコンなどに画像を取り込んで画像処理によりゴミを除去していた。すなわち、記録される画像データにはゴミが写り込んでいることになる。静止画ではゴミを除去する作業は一枚ごとになるが、動画では記録された時間すべてにわたりゴミ除去を行わなければならず非常に時間のかかる作業となる。

また、動画撮影を行う際には、電子ズームを用いて画像を拡大することが一般的に行われている。しかし、電子ズームによる拡大を行うと、電子ズームのそれぞれの倍率（電子ズームＯＦＦの時の電子ズームの倍率を１倍とみなす）において画角（撮像素子の有効画素領域）が異なってしまう。そのため、ゴミ除去に必要な位置及び大きさの情報が実際に画像に写りこんでいるゴミの位置及び大きさと一致しなくなるため、うまくゴミ補正処理を行うことができないという問題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、動画記録時において電子ズームを用いて撮影した動画像に対しても、ゴミ除去処理を行うことを可能とすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて画像信号を生成する撮像手段と、前記画像信号の一部を切り出して拡大する電子ズーム処理を行う電子ズーム処理手段と、前記撮像素子の前方に配置された光学素子の表面に付着した異物の像を含む異物検出用画像から、少なくとも異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出手段と、前記異物情報を画像ファイルに記録する異物情報記録手段と、前記電子ズーム処理手段における電子ズームのズーム倍率を前記画像ファイルに記録するズーム倍率記録手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて画像信号を生成する撮像手段を有する撮像装置を制御する方法であって、前記画像信号の一部を切り出して拡大する電子ズーム処理を行う電子ズーム処理工程と、前記撮像素子の前方に配置された光学素子の表面に付着した異物の像を含む異物検出用画像から、少なくとも異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出工程と、前記異物情報を動画像ファイルに記録する異物情報記録工程と、前記電子ズーム処理工程における電子ズームのズーム倍率を前記動画像ファイルに記録するズーム倍率記録工程と、を備えることを特徴とする。

また、本発明に係わる画像処理装置は、撮影時に撮像素子の前方に配置された光学素子の表面に付着した異物の位置及び大きさの情報を含む情報である異物情報および撮影時の電子ズームのズーム倍率が記録される画像ファイルを処理する画像処理装置であって、前記異物情報と、前記電子ズームのズーム倍率とを用いて、前記異物の位置及び大きさを前記電子ズームを行った画像における異物の位置及び大きさに変換し、変換した異物の位置及び大きさに基づいて、前記電子ズームを行った画像における異物の像を画像処理により除去する異物除去手段を備えることを特徴とする。

また、本発明に係わる画像処理方法は、撮影時に撮像素子の前方に配置された光学素子の表面に付着した異物の位置及び大きさの情報を含む情報である異物情報および撮影時の電子ズームのズーム倍率が記録される画像ファイルを処理する画像処理方法であって、前記異物情報と、前記電子ズームのズーム倍率とを用いて、前記異物の位置及び大きさを前記電子ズームを行った画像における異物の位置及び大きさに変換し、変換した異物の位置及び大きさに基づいて、前記電子ズームを行った画像における異物の像を画像処理により除去する異物除去工程を備えることを特徴とする。

本発明によれば、動画記録時に電子ズームを用いて撮影した動画像に対しても、ゴミ除去処理を行うことが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態における画像処理機能を有する撮像装置の構成を示すブロック図である。本実施形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルスチルカメラを例に挙げて説明する。なお撮像装置としては、他にレンズ交換が可能なデジタルビデオカメラ等にも、本発明を適用することが可能である。

図１に示すように、本実施形態の撮像装置は、主にカメラ本体１００と、交換レンズタイプのレンズユニット３００とを備えて構成されている。

レンズユニット３００において、３１０は複数のレンズから成る撮像レンズ、３１２は絞り、３０６はレンズユニット３００をカメラ本体１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインターフェース、３２２はレンズユニット３００をカメラ本体１００と電気的に接続するコネクタである。

コネクタ３２２は、カメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信などを用いて通信を行う構成としてもよい。

３４０は、測光制御部４６からの測光情報に基づいて、後述するカメラ本体１００のシッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する絞り制御部である。３４２は撮像レンズ３１０のフォーカシングを制御するフォーカス制御部、３４４は撮像レンズ３１０のズーミングを制御するズーム制御部である。

３５０はレンズユニット３００全体を制御するレンズシステム制御回路である。レンズシステム制御回路３５０は、動作用の定数、変数、プログラムなどを記憶するメモリを備えている。更に、レンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。

次に、カメラ本体１００の構成について説明する。

１０６はカメラ本体１００とレンズユニット３００を機械的に結合するレンズマウント、１３０，１３２はミラーで、撮像レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダ１０４に導く。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。１２はフォーカルプレーン式のシャッター、１４はＣＣＤ、ＣＭＯＳセンサ等からなり、被写体像を光電変換する撮像素子である。撮像素子１４は、撮像素子に配置されている全画素からアナログ信号を出力する間引き無し読み出しモードのみならず、水平方向及び垂直方向に画素を間引いてアナログ信号を出力する間引き読み出しモードも有している。この間引き読み出しモードの活用により、表示解像度や記録解像度に最適な画素数のアナログ信号を得ることができる。

なお、撮像素子１４の前方には、光学ローパスフィルター等の光学素子１４ａが配置されており、この光学素子１４の表面に付着したゴミ等の異物が撮像素子１４で生成される画像に写りこみ、画質を劣化させる。本実施形態は、この画質劣化を抑制する技術に関するものである。

撮像レンズ３１０に入射した光線は、一眼レフ方式によって光量制限手段である絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像される。

１６は、撮像素子１４から出力されるアナログ信号（出力信号）をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０がシャッター制御部４０、焦点調節部４２を制御するための、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行うことができる。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。また、画像処理回路２０は、電子ズーム時の画素補間処理を用いた画像の拡大処理を行っている。

なお、本実施形態における図１に示す例では、焦点調節部４２及び測光制御部４６を専用に備えている。従って、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行わない構成としても構わない。また、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、さらに、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ方式のＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像あるいは動画像を格納するためのメモリであり、所定枚数の静止画像あるいは所定量の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、動画撮影時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３１は後述する不揮発性メモリ５６に格納されているゴミ情報と、レンズユニット３００から得られる光学情報を用いて、画像データに含まれるゴミを画像処理により除去するためのゴミ除去回路（異物除去回路）である。

３２は公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。また、動画像データを所定のフォーマットに圧縮符号化し、又は所定の圧縮符号化データから動画像信号を伸張する機能も有する。

３３は音声信号処理回路であり、マイク（不図示）より入力された音声信号を所定の符号フォーマットに符号化し、又は所定の符号化データから音声信号を復号する機能を有する。なお、本実施形態のデジタルカメラは、スピーカ（不図示）を介して、音声信号処理回路３３により復号された音声データを出力する機能を有する。

４０はシャッター制御部であり、測光制御部４６からの測光情報に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。４２はＡＦ（オートフォーカス）処理を行うための焦点調節部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び焦点調節用サブミラー（不図示）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の合焦状態を測定する。

４６はＡＥ（自動露出）処理を行うための測光制御部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び測光用サブミラー（図示せず）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の露出状態を測定する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。測光制御部４６はフラッシュ４８と連携することにより、ＥＦ（フラッシュ調光）処理機能も有する。

また、焦点調節部４２による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて、ＡＦ制御を行うようにしてもよい。さらに、測光制御部４６による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて露出制御を行うようにしてもよい。

５０はカメラ本体１００全体を制御するシステム制御回路であり、周知のＣＰＵなどを内蔵する。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、通知部５４はこれらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置される。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

通知部５４の表示内容の内、ＬＣＤなどの画像表示部２８に表示するものとしては以下のものがある。まず、単写／連写撮影表示、セルフタイマ表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及びＰＣ２１０の着脱状態表示がある。更に、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等も行われる。

また、通知部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、例えば、以下のものがある。合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。

５６は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

５８は光学情報格納メモリであり、レンズユニット３００からコネクタ１２２を介して得られる、後述する各種レンズ情報を記憶する。

６０，６２，６４，６６，６８，７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード等の各機能撮影モードを切り替え設定することができる。他に、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モードなどの各機能撮影モードを切り替え設定することもできる。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像データを読み出し、圧縮・伸張回路３２で圧縮を行い、記録媒体２００あるいはＰＣ２１０に書き込む、または送信する。

６６は再生スイッチであり、撮影モード状態で撮影した画像をメモリ３０あるいは記録媒体２００、ＰＣ２１０から読み出して画像表示部２８に表示する再生動作の開始を指示する。再生スイッチ６６は、他に、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる。

６８は単写／連写スイッチで、シャッタースイッチＳＷ２（６４）を押した場合に、１コマの撮影を行って待機状態とする単写モードと、シャッタースイッチＳＷ２（６４）を押している間、連続して撮影を行い続ける連写モードとを設定することができる。

７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、ライブビュー開始／停止ボタン、動画記録開始／停止ボタン、電子ズームの倍率を切り替えるズームスイッチ、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラスボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付／時間設定ボタンなども含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

また、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ＪＰＥＧ圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットＡＦモードとサーボＡＦモードとを設定可能なＡＦモード設定スイッチなどがある。ワンショットＡＦモードでは、シャッタースイッチＳＷ１（６２）を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボＡＦモードでは、シャッタースイッチＳＷ１（６２）を押している間、連続してオートフォーカス動作を続ける。更に、後述するようにゴミ検出用画像を撮影してゴミ情報を取得する、ゴミ情報取得モードを設定することができる設定スイッチを含む。

７２は電源スイッチであり、カメラ本体１００の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ本体１００に接続されたレンズユニット３００、外部フラッシュ１１２、記録媒体２００、ＰＣ２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。

８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２，８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ‐ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体やＰＣとのインターフェース、９２及び９６はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いはＰＣ２１０が装着されているか否かを検知する記録媒体着脱検知回路である。

なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インターフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０４は光学ファインダであり、撮像レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６，１０６、ミラー１３０，１３２を介して導き、光学像として結像させて表示することができる。これにより、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッター速度、絞り値、露出補正などが表示される。

１１２は、アクセサリシュー１１０を介して装着される、外部フラッシュ装置である。

１２０はレンズマウント１０６内でカメラ本体１００をレンズユニット３００と接続するためのインターフェースである。

１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。

コネクタ１２２を介して通信される、レンズユニット３００の各種光学情報（絞り、ズーム位置、瞳位置、焦点距離など）は、カメラ本体１００の光学情報格納メモリ５８に記憶される。通信の要求はカメラ側から行う場合もあれば、レンズ側から情報更新のたびに通信される場合もある。

また、コネクタ１２２は電気通信だけでなく、光通信、音声通信により通信を行う構成としてもよい。

２００はメモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインターフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。

記録媒体２００としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。

２１０はＰＣであり、磁気ディスク（ＨＤ）等から構成される記録部２１２、カメラ本体１００とのインターフェース２１４、カメラ本体１００と接続を行うコネクタ２１６を備えている。インターフェース９４はＵＳＢやＩＥＥＥ１３９４などが挙げられるが、特に限定はない。

次に、上記構成を有する撮像装置における撮像素子の前方に配置されたローパスフィルタやカバーガラス等の光学素子１４ａ上のゴミの影響を画像処理により除去する処理について説明する。

本実施形態では、まず、ゴミ（異物）の付着している位置及び大きさ等の情報であるゴミ情報（異物情報）を得るためのゴミ検出用画像（異物検出用画像）を撮影し、ゴミデータを抽出し、ゴミデータを生成しておく。ここでゴミ検出用画像は、できるだけ均一な輝度面を撮影した画像が望ましいが、身近な場所で容易に撮影できることが望ましいため、厳密な均一性を要求するものではない。例えば、青空や白い壁面を撮影することを想定している。

図２は、本実施形態におけるゴミ情報を取得する際の撮像装置（本実施形態ではデジタルカメラ）における処理を示すフローチャートである。

まずステップＳ２０１において、操作部７０によりゴミ情報取得モードが選択されたか否かを判定する。ゴミ情報取得モードが選択されるまでステップＳ２０１の判定を繰り返し、ゴミ情報取得モードが選択されるとステップＳ２０２へ進み、シャッタースイッチＳＷ１（６２）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０１に戻って上記処理を繰り返す。

一方、ＯＮであれば、ステップＳ２０３において、絞り、ＩＳＯ値、シャッタースピード、その他撮影関連のパラメータを設定する。ここで設定されるパラメータを図３に示す。絞りはＦ２２など、絞りを絞り込んだ設定とする。レンズマウント１０６に接続されるレンズユニット３００において設定可能な範囲内で最も絞り込んだ状態で撮影するものとしてもよい。このように絞りを絞るのは、ゴミは通常撮像素子１４の表面ではなく、撮像素子１４を保護する保護用ガラスや、撮像素子より被写体側に配置される光学フィルター等の光学素子１４ａ上に付着しているため、レンズユニット３００の絞り値によって結像状態が異なるためである。そのため、絞りが開放値に近いとゴミの像がぼやけてしまい、適切なゴミ検出用の画像が取得できないので、できるだけ絞り込んだ状態で撮影するのが好ましい。

図２のフローチャートの説明に戻ると、この時までに撮影者はできるだけ白い壁などの均一輝度面に撮像装置を向け、シャッタースイッチＳＷ２（６４）を操作することとなる。

ステップＳ２０４ではシャッタースイッチＳＷ２（６４）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０２に戻りシャッタースイッチＳＷ１（６２）の判定を行う。ＯＮであればステップＳ２０５へ進む。ステップＳ２０５ではゴミ検出用画像の撮影（均一輝度面の撮影）を行って、メモリ３０内に画像データを取り込む。次にステップＳ２０６ではメモリ３０内に記憶した画像データからゴミ情報を取得する。

ここで、ゴミ情報の取得について説明する。具体的には、撮影したゴミ検出用画像からゴミ領域の位置（座標）と大きさを求めるものである。まず、撮影したゴミ検出用画像の領域を複数のブロックに分割し、ブロック内の最大輝度Ｌmax、平均輝度Ｌave を算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。

Ｔ１＝Ｌave×０.６＋Ｌmax×０.４
次に、ゴミが付着している画素はその輝度が周囲の画素の輝度よりも低下するため、スレッショルド値Ｔ１を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする。

図４は、ゴミ領域サイズ算出の概要を示す図である。図４に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘmax および最小値Ｘmin、垂直方向の座標の最大値Ｙmax および最小値Ｙmin を求め、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する。

ｒｉ＝［√｛（Ｘmax−Ｘmin）²＋（Ｙmax−Ｙmin）²｝］／２
また、このときの中心座標（Ｘｄｉ，Ｙｄｉ）は、近似的に、
Ｘｄｉ＝（Ｘmax＋Ｘmin）／２
Ｙｄｉ＝（Ｙmax＋Ｙmin）／２
で求めるものとする。このように求められた位置（座標）と半径を、ゴミ情報プロファイルとして記録する。

不揮発性メモリ５６のサイズによる制限などにより、ゴミ補正データ（ゴミ情報プロファイル）のデータサイズが制限されている場合がある。このような場合に対応するために、ゴミ位置情報を、大きさやゴミ領域の平均輝度値によってソートする。本実施形態では、ｒｉの大きい順にソートする。ｒｉが等しい場合、平均輝度値の低い順にソートする。 このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域をＤｉ、ゴミ領域Ｄｉの半径をＲｉとする。

なお、予め定められたサイズより大きいゴミ領域がある場合、ソートの対象から外し、ソート済みゴミ領域リストの末尾に配置してもよい。大きいゴミ領域については、後に補間処理をするとかえって画質を低下させる場合があり、補正対象の優先順位としては最下位として扱うことが望ましいからである。

このゴミ情報プロファイルは、図５に示すような構造をとる。図５に示す通り、ゴミ情報プロファイルには、ゴミ検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。更に具体的には、ゴミ検出用画像撮影時のレンズ情報として、ゴミ検出用画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画像領域における中心のｘ座標（例えば２バイト）、おなじく中心のｙ座標（例えば２バイト）の３つの数値のセットである。

取得したゴミ情報はステップＳ２０７で不揮発性メモリ５６に記憶され、ゴミ情報取得のための処理を終了する。

なお、ゴミ情報取得モードにおける撮影動作は、ゴミ情報を取得することを目的とするため、本実施形態では撮影した画像そのものに対して、圧縮及び記録媒体２００への記録処理は行わない。これは撮影者にとって不要な画像データで記録媒体２００内の容量を無駄に消費することがないようにするためであるが、通常画像と同様に、圧縮後、記録媒体２００へ保存しても良く、また、その際に拡張子を変更するなど何らかの手を加えても構わない。

ここで、本実施形態は、主として動画を撮影する場合にゴミによる画質劣化を画像処理で補正する方法に関するものであるが、動画の処理について説明する前に、静止画の場合の処理について以下説明する。

静止画の場合には、ゴミ検出用画像の撮影ではない通常の撮影を行った場合、通常撮影時のカメラ設定値等と共に図５に示したゴミ補正データ（ゴミ情報プロファイル）を画像データに関連付けて記録媒体２００に記録する。

具体的には、例えば、撮影時のカメラ設定値等が記録される画像ファイルのヘッダ領域であるＥｘｉｆ領域にゴミ補正データを追記することで、関連付けを実現することができる。または、ゴミ補正データをファイルとして独立して記録し、画像データにはそのゴミ補正データファイルへのリンク情報のみを記録することで関連付けを実現することも可能である。ただし、画像ファイルとゴミ補正データファイルを別々に記録すると、画像ファイルの移動時に、リンク関係が消失する場合があるので、ゴミ補正データは画像データと一体的に保持することが望ましい。

このように、ゴミ補正データを画像データに関連付けて記録するのは、このゴミ補正データが付属されて記録された画像データを外部の画像処理装置に移し、この外部の画像処理装置でゴミ除去処理（異物除去処理）を行う場合も想定しているからである。

次に、上述したようにして不揮発性メモリ５６に記憶されたゴミ情報を使用した通常撮影時のゴミ除去処理について、図７及び図８のフローチャートを用いて説明する。なお、ここでの説明もまずは静止画におけるゴミ除去処理に関するものであるが、動画においても、静止画と同様のゴミ除去処理を１フレーム毎の画像に施すことにより、同様にごみ除去処理を行うことができる。また、このゴミ除去処理は、図１におけるゴミ除去回路３１を用いて行われる。

図７は本実施形態における通常撮影時の静止画像の撮影処理を示している。

ステップＳ５０１ではシャッタースイッチＳＷ１（６２）がＯＮされるまで、待機する。シャッタースイッチＳＷ１（６２）がＯＮされるとステップＳ５０２へ進んで測光及び焦点調節処理を行い、続いてステップＳ５０３でシャッタースイッチＳＷ２（６４）がＯＮされたかどうかを判断する。シャッタースイッチＳＷ２（６４）がＯＦＦであればステップＳ５０１に戻って上記処理を繰り返し、ＯＮされたことを検出するとステップＳ５０４へ進んで撮影を行う。撮影が終了するとステップＳ５０５へ進み、有効なゴミ情報が不揮発性メモリ５６内に存在するか否かを判定する。ゴミ情報が存在する場合はステップＳ５０６へ進み、存在しない場合はステップＳ５０７へ進んで撮影した画像データを記録媒体２００に格納する。

なお、本実施形態では不揮発性メモリ５６内にゴミ情報が存在するか否かを判定しているが、本来、上述したゴミ情報取得モードでの撮影が行われているかどうかが必要な条件であり、その判定方法に関しては特に限定するものではない。例えば、ゴミ情報取得モードでの撮影時に何らかのフラグをセットしておき、そのフラグを評価する方法でも構わない。

ステップＳ５０６では撮影した画像データに対し、取得済みのゴミ情報を、Ｅｘｉｆ領域などのヘッダ領域に埋め込み、ステップＳ５０７において記録媒体２００にゴミ情報を埋め込んだ画像データを格納する。

続いて、図８を参照してゴミ除去処理の動作について説明する。

ステップＳ６０１では、選択された画像にゴミ情報が埋め込まれているかどうか判定する。埋め込まれている場合はステップＳ６０２へ進み、ゴミ情報を取り込む。ステップＳ６０３では取り込んだゴミ情報から画像データにおけるゴミの影響を除去するべく、ゴミの周辺画素による画素補間処理等による補正処理を行う。

抽出したゴミ補正データから座標列Ｄｉ（ｉ＝１，２，…ｎ）、半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１とレンズ瞳位置Ｌ１を得る。ここでＲｉは、先にゴミ補正データソート時に求めた座標Ｄｉのゴミの大きさである。また、ｆ１は、ゴミ検出用画像の撮影時のレンズの絞り値、Ｌ１は、同じくゴミ検出用画像の撮影時のレンズの瞳位置である。通常撮影された画像の撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２を取得し、Ｄｉを次式で変換する。ここで、ｄは画像中心から座標Ｄｉまでの距離、Ｈは撮像素子１４の表面とゴミとの距離であるとする。変換後の座標Ｄｉ’と変換後の半径Ｒｉ’は例えば次式で定義する。

Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２＋３） （１）
ここでの単位はピクセルであり、Ｒｉ’についての「＋３」はマージン量である。

座標Ｄｉ’、半径Ｒｉ’で示される領域内のゴミを検出し、必要に応じて補間処理を適用する。補間処理の詳細については後述する。全ての座標についてゴミ除去処理を適用し、全ての座標について処理が終わっていれば、ステップＳ６０４に進む。

ステップＳ６０４では、撮影した画像からゴミの影響を除去した補正処理後の画像を新たに記録する。

以上でゴミ除去処理を終了する。

なお、本実施形態では、カメラ本体１００ではゴミ情報を、撮影した画像データに埋め込む形で記録し、後からゴミの影響を除去する補正処理を行う構成を示した。これに対し、カメラ本体１００で画像を撮影して記録する時に、ゴミ情報を埋め込まずにゴミの影響を除去する補正処理を行い、補正処理後の画像を記録媒体２００へ記録するよう構成してもよい。

（補間ルーチン）
次に、ゴミ領域の補間処理の詳細について説明する。

図９は、補間ルーチンの流れを示すフローチャートである。

まずステップＳ７０１で、ゴミ領域判定を行う。ゴミ領域とは、次の条件全てを満たす領域とする。
（１）中心座標Ｄｉ’、半径Ｒｉ’（式（１）で求められたＤｉ’，Ｒｉ’）
に含まれる画素の平均輝度Ｙaveと最高輝度Ｙmaxを用いて次式で求められるスレッショルド値Ｔ２より暗い領域。

Ｔ２＝Ｙave×０.６＋Ｙmax×０.４
（２）上記の中心座標Ｄｉ’、半径Ｒｉ’の円と接しない領域。
（３）（１）で選択された輝度の低い画素によって構成される孤立領域に対し、
上述の方法で算出した半径値がＸ１画素以上、Ｘ２画素未満である領域。
（４）円の中心座標Ｄｉを含む領域。

本実施形態では、Ｘ１は３画素、Ｘ２は３０画素とする。このようにすることで、孤立した小領域だけをゴミ領域として扱うことが可能になる。また、レンズ瞳位置が正確に取得できない場合には、（４）の条件は幅を持たせても良い。

例えば、着目領域が座標ＤｉからＸ方向、Ｙ方向に夫々±３画素の範囲の座標を含めば、ゴミ領域と判定するなどという条件が考えられる。

ステップＳ７０２で、画像信号中にこのような領域（部分）があればステップＳ７０３へ進みゴミ領域補間を行い、存在しない場合は処理を終了する。ステップＳ７０３で実行するゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開２００１−２２３８９４号公報に開示されているパターン置換がある。特開２００１−２２３８９４号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップＳ７０１で検出したゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン補間後の画像データに対し、補間対象画素に最も近い順に正常画素をｐ個選択し、その平均色を用いて補間する。

静止画のゴミ除去処理では、このように画像にゴミ補正データを添付することで、ゴミ補正用画像データと撮影画像データの対応を意識する必要が無くなるという利点がある。また、ゴミ補正データが位置、大きさ、変換用データ（絞り値、レンズの瞳位置の距離情報）で構成されるコンパクトなデータであるので、撮影画像データサイズが極端に大きくなることもない。また、ゴミ補正データで指定された画素を含む領域だけを補間処理することにより、誤検出の確率を大幅に低減することが可能になる。

次に、近年デジタルカメラやデジタルビデオカメラ等で、動画像データの記録に用いられている動画ファイルフォーマットである、ＭＰ４について説明する。

ＭＰ４ファイル形式（ＩＳＯ／ＩＥＣ １４４９６−１４；“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ――Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ――Ｐａｒｔ １４：ＭＰ４ ｆｉｌｅ ｆｏｒｍａｔ”；ＩＳＯ／ＩＥＣ；２００３−１１−２４を参照）とは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｎｓｏｒｔｉｕｍ）によって規格化された、ＭＰＥＧなどの動画・音声のコンテンツデータをファイルに記録するために「ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ」（ＩＳＯ／ＩＥＣ １４４９６−１２；“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ――Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ――Ｐａｒｔ １２：ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ”；ＩＳＯ／ＩＥＣ；２００４−０１−２３を参照）という汎用のファイル形式を元に拡張されたファイル形式である。なお、本発明はＭＰ４に限らず類似のファイル形式を用いるケースに対しても適用できる。例えば、ＩＳＯではＭＰ４と同様の基本構造を持つファイル形式規格として、「Ｍｏｔｉｏｎ ＪＰＥＧ ２０００ファイル形式」（ＩＳＯ／ＩＥＣ １５４４４−３）や、「ＡＶＣファイル形式」（ＩＳＯ／ＩＥＣ １４４９６−１５）といった標準規格が制定されている。

図１０は、ＭＰ４ファイル形式におけるデータ構造を説明するための概念図である。

ＭＰ４ファイル１００１は、映像・音声データの物理的位置、時間的位置や特性情報を示すメタデータ（ヘッダ情報）１００２と、符号化された映像・音声データの実態を示すメディアデータ１００３から構成される。ＭＰ４形式では、コンテンツ全体のプレゼンテーションを「ムービー」、コンテンツを構成するメディアストリームのプレゼンテーションを「トラック」と呼んでいるが、メタデータ１００２には、典型的には、動画像のデータ全体を論理的に取り扱うビデオトラック１００４と音声のデータ全体を論理的に取り扱うオーディオトラック１００５が含まれており、ビデオトラック１００４とオーディオトラック１００５の基本的な構成内容は、ほとんど同等のものとなっている。すなわち、それぞれのトラックは、実際のメディアデータの様々なメタデータ情報を記録しており、その内容がメディアデータの特性に応じて多少異なっているだけである。

ビデオトラック１００４に含まれるデータは、例えば、符号化データを復号化するための所謂デコーダの構成情報や動画像の矩形サイズなどの情報が含まれ、加えて、メディアデータが実際に記録されているファイル上の位置を示すオフセット１００６や、メディアデータのそれぞれのフレームデータ（ピクチャと呼ばれることもある）のサイズを示すサンプルサイズ１００７、それぞれのフレームデータのデコード時間を示すタイムスタンプ１００８などが記録されている。

一方、メディアデータ１００３には、符号化データの基本単位を示す「サンプル」が連続して１つ以上記録されている「チャンク」と呼ばれるデータ構造により、動画像のデータと音声のデータの実体が記録されている。このチャンクは、メタデータ１００２のトラックに従って、動画像のメディアデータを含むビデオチャンク１００９と音声のメディアデータを含むオーディオチャンク１０１０とにより構成されている。

図１０に示す構成は、ビデオチャンク１００９とオーディオチャンク１０１０が交互に記録されているように示しているが、その記録位置や順序は必ずしもこのようになっている必要はない。この例は、一般的に記録される形式の一例に過ぎない。しかしながら、このような交互の配置（インターリーブ）は、ほぼ同時刻に再生されるべき動画と音声のデータを近い位置に配置することにより、ファイルに記録されたデータのアクセス性を高めるといった効果があり、極めて一般的に見られる方法である。

チャンクには、個々のメディアデータのサンプルがひとつ以上含まれている。例えば、図１０に示すように、ビデオチャンク１００９には、ビデオサンプル（フレーム）１０１１が連続して記録される。一般的には、このビデオサンプル（フレーム）１０１１は、ビデオのひとつのフレームデータ（ピクチャ）に相当する。それぞれのトラックとチャンクは次のように関連付けられている。

例えば動画像のデータの場合、ビデオトラック１００４に含まれる情報は、メディアデータ１００３に含まれるそれぞれのビデオチャンク１００９に関する情報を含んでいる。オフセット１００６は、ビデオチャンク１００９のそれぞれのファイル上の相対位置を示す情報のテーブルから構成されており、テーブルの個々のエントリを参照することにより、どの位置に実際のビデオチャンクが記録されていてもその位置を知ることができるようになっている。サンプルサイズ１００７は、複数のチャンク内に含まれる複数のサンプル、すなわちビデオのフレームのそれぞれのサイズをテーブルとして記載している。より正確には、個々のチャンクの中に含まれるサンプルの数を記載した情報もビデオトラック１００４の中に記載されており、これらの情報から、個々のビデオチャンク１００９の中に含まれるサンプルを正確に取得することが可能となっている。タイムスタンプ１００８は、個々のサンプルのデコード時間をサンプル間の差分としてテーブルに記録するようになっている。このテーブルを参照することにより、それぞれのサンプルの所謂タイムスタンプを積算時間を計算することにより取得することが可能となる。このような、トラックとチャンクの関係は、オーディオトラック１００５とオーディオチャンク１０１０についても同様に成立するよう定義されている。これによって、ＭＰ４ファイルおよびＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔにおいては、メタデータ１００２とメディアデータ１００３により、符号化データを必要な単位で任意の位置からタイムスタンプなどの付加情報を持って取得することが出来るようになっている。なお、説明を簡単にするために、ここには規格化されているすべての記録情報については記載していないことに注意しなければならない。規格化されている定義内容の詳細は、ＩＳＯ／ＩＥＣ １４４９６の該当部分を参照することで知ることができる。

ＭＰ４ファイル形式では、ファイルに記録されるデータは「ＢＯＸ」と呼ばれるデータ構造の内部に記述され、ＢＯＸを単位としてファイルに記録される。ＢＯＸは、次のようなフィールドから構成される。

Ｓｉｚｅ：ｓｉｚｅフィールド自体を含む、ＢＯＸ全体のサイズ。

Ｔｙｐｅ：ＢＯＸの種類を表す４バイトのタイプ識別子。通常は４文字の英数字で表される。

その他のフィールドはＢＯＸによってはオプションであるため、ここでは説明を省略する。

ファイル中に記録されるデータは、その種類によって異なるタイプのＢＯＸに保持される。例えば、メディアデータ１００３は符号化データを格納するＭｅｄｉａ Ｄａｔａ ＢＯＸ（ｔｙｐｅフィールドの内容は‘ｍｄａｔ’。以降の説明でＢＯＸのタイプを示す識別子が用いられる場合は、そのタイプで示されるＢＯＸを表現しているものとする）として、メタデータ１００２はコンテンツ全体のメタデータ情報を格納するＭｏｖｉｅ ＢＯＸ（‘ｍｏｏｖ’）として記録される。前述のチャンクおよびサンプルに関する情報についても、同様に固有の識別子をもつＢＯＸとして、ｍｏｏｖの内部にトラック毎に記録される。

また、ＭＰ４ファイル形式では、ｍｏｏｖにすべてのメタデータを記録する形だけではなく、メタデータを時系列順に複数の領域に分割して記録するような形式も許可している。この形式は「フラグメントムービー」（Ｆｒａｇｍｅｎｔｅｄ Ｍｏｖｉｅ）と呼ばれている。

図１１に、フラグメントムービー形式のファイルの構造を示す。フラグメントムービー形式では、コンテンツのメディアデータおよびメタデータは任意の時間単位で分割することができ、分割された「フラグメント」はファイルの先頭から時系列順に記録される。例えば、図１１では、ｍｏｏｖ１１０１は最初のフラグメントのメタデータを示しており、ｍｄａｔ１１０２に含まれるデータに関する情報を保持する。次に出現するｍｏｏｆ１１０３は２番目のフラグメントのメタデータであり、ｍｄａｔ１１０４の情報を保持する、というように以下同様にして記録される。なお、フラグメントムービー形式を取る場合、ｍｏｏｖ１１０１にフラグメントが存在することを示すＭｏｖｉｅ Ｅｘｔｅｎｄｓ Ｂｏｘ（‘ｍｖｅｘ’）１１０４を追加する必要がある。ｍｖｅｘ１１０４に含まれる情報としては、全フラグメントを含むコンテンツ全体のｄｕｒａｔｉｏｎ（時間長）などである。このように、ＭＰ４ファイル形式のファイルでは、メディアデータに関する各種属性をメタデータ領域としてメディアデータと分離して保持することによって、メディアデータが物理的にどのように格納されているかに関わらず、所望のサンプルデータに容易にアクセスすることが可能になる。

以降では、本実施形態における動画像および音声データの記録に用いる動画ファイルフォーマットをＭＰ４形式の図１１に示すようなフラグメントムービー形式とし、動画記録時の、前述のゴミ補正データとビデオサンプル（フレーム）１０１１とを関連付ける方法に関して説明する。

なお、前述の「Ｍｏｔｉｏｎ ＪＰＥＧ ２０００ファイル形式」（ＩＳＯ／ＩＥＣ １５４４４−３）や、「ＡＶＣファイル形式」（ＩＳＯ／ＩＥＣ １４４９６−１５）といった標準規格や、第三世代携帯電話を中心とする無線端末上での利用を前提に制約が課させられた動画ファイル規格である３ＧＰＰファイル形式（Ｔｈｒｉｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）（３ＧＰＰ ＴＳ ２６．２４４ “Ｔｅｃｈｎｉｃａｌ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｇｒｏｕｐ Ｓｅｒｖｉｃｅｓ ａｎｄ Ｓｙｓｔｅｍ Ａｓｐｅｃｔｓ Ｔｒａｎｓｐａｒｅｎｔ ｅｎｄ−ｔｏ−ｅｎｄ ｐａｃｋｅｔ ｓｗｉｔｃｈｅｄ ｓｔｒｅａｍｉｎｇ ｓｅｒｖｉｃｅ （ＰＳＳ）；３ＧＰＰ ｆｉｌｅ ｆｏｒｍａｔ （３ＧＰ）（Ｒｅｌｅａｓｅ ６）” ３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ；２００３−０２−２８を参照）など、ＭＰ４で規定されているものと類似のファイル形式およびアーキテクチャが採用されている規格に対しても、本発明は適用することが可能である。

次に、本実施形態における電子ズーム機能を有する撮像装置での、動画撮影時のファイル記録動作およびゴミ補正処理について説明する。

図１２は、本実施形態におけるライブビュー及び動画記録時に行われる電子ズーム処理（ズーム倍率２倍）の動作概要を示す図である。

図１２（ａ）で、１２１が撮像素子から読み出される画像信号に対応する撮影画面であり、その内部に含まれる斜線部分１２３がズーム対象領域である。本実施形態では、画像中央部（中心部分）を拡大することを想定している。従って、ズーム倍率に関係なく画像中心が固定されるため、画面全体に対するズーム対象領域（の座標）はズーム倍率のみで決定することができる。この斜線部分１２３の画像信号から補間信号を生成し、この補間信号を画像信号に内挿入することによって、図１２（ｂ）に示すような、撮影画面１２１と同じ大きさになるよう２倍に拡大した画像を生成する。以上により電子ズームを実現する。なお、１２２は撮影画面上に写りこんだゴミ領域を示しており、このゴミ領域１２２は通常の被写体と同様に電子ズームにより２倍に拡大される。電子ズームにより拡大されたゴミ領域を図１２（ｂ）に１２４で示す。

図１３は、動画撮影時の動作を説明するためのフローチャートである。

まずステップＳ１４０１において、操作部７０によりライブビュー開始が選択されたか否かを判定する。ライブビュー開始が選択されるまでステップＳ１４０１の判定を繰り返す。ライブビュー開始が選択されると、ミラー１３０がミラーアップされ、シャッター１２が開かれ、撮像素子１４に光学像が結像する。

所定のフレームレートで撮像素子１４から出力されるアナログ信号は、Ａ／Ｄ変換器１６でデジタル信号に変換され、画像処理回路２０で所定の画素補間処理や色変換処理が施され、メモリ３０内のフレームメモリバッファへ格納される。

このとき、フレームレートに合わせて、カメラ本体１００からレンズユニット３００に対して各種光学情報（絞り、ズーム位置、瞳位置、焦点距離など）を要求する。レンズユニット３００からコネクタ１２２を介して送られてきた各種光学情報はフレームメモリバッファの各画像データに対応づけられて、光学情報格納メモリ５８に記憶される。

フレームメモリバッファへ格納された画像データは、再度読み出され、画像処理回路２０において表示用の画像データに変換されて画像表示メモリ２４へ格納される。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。これにより、画像表示部２８は、ライブビュー表示の状態（電子ビューファインダ動作）となる。

ステップＳ１４０２では、操作部７０により動画記録開始が選択されたか否かを判断する。選択されていなければステップＳ１４０１に戻って上記処理を繰り返す。一方、動画記録開始が選択されていれば、ステップＳ１４０３へ進み、動画記録を開始する。

また、動画記録が開始されると、音声信号処理回路ではマイク（不図示）から入力された音声データを符号化し、符号化された音声データは、メモリ３０内の音声符号化データバッファへ一時保存される。一時保存された動画符号化データと、音声符号化データは時間経過とともに増加するので、所定のファイルフォーマットに成形され、随時インターフェース９０を介して記録媒体２００へ書き込まれる。

ステップＳ１４０４では、操作部７０により動画記録停止が選択されたか否かを判断する。動画記録停止が選択されなければ、ステップＳ１４０３に戻り、動画記録を継続する。また、動画記録停止が選択されれば、ステップＳ１４０５に進み、ライブビュー動作の停止が選択されたか否かを判断する。ライブビュー動作の停止が選択されなければ、ステップＳ１４０２に戻り、次の動画記録に備えて待機する。ライブビュー動作の停止が選択されれば、動画撮影のルーチンを終了する。

次に、動画ファイルの生成についての説明を行う。

動画撮影モード時に操作部７０の動画記録ボタンがＯＮされたことで、動画撮影が開始されると、まず新規ファイルを生成し、最初のフラグメントのメタデータのＢＯＸであるｍｏｏｖおよびメディアデータのＢＯＸであるｍｄａｔを作成する。

次に、ゴミ位置補正データを作成する。ゴミ位置補正データには、動画像撮影に使われるレンズのレンズ情報である絞り値、レンズの瞳位置情報、および図５に示したゴミ補正データが格納されている。なお、作成されたゴミ位置補正データは、メモリ５２に格納される。メモリ５２に格納されたゴミ位置補正データを読み込み、現在のフラグメントのメタデータｍｏｏｖ内に書きこむ（異物情報記録）。

（動画記録ルーチン）
図１４は、本実施形態における動画撮影時の１フレーム毎に行われる記録処理を示すフローチャートである。当該処理はシステム制御回路５０がメモリ５２に記憶された動画撮像処理プログラムを実行することにより実施される。

まず、ステップＳ１５０１で画像の符号化処理を行い、画像データを小さいデータ量に圧縮する。

次にステップＳ１５０２で、符号化処理の結果、圧縮された画像データをファイルへ記録する（動画像ファイルの記録）。

次に、ステップＳ１５０３に進み、システム制御回路５０から電子ズームにおけるズーム倍率を取得し、ファイルへ記録する（ズーム倍率記録）。なお、電子ズームが動作していない場合はズーム倍率として１倍を記録する。ファイルへの記録は、現在のフラグメントのメタデータｍｏｏｆ内に記録する。

また、１つのフラグメントには複数のフレームの動画像データが記録されるので、１つのフラグメントのメタデータｍｏｏｆ内に複数の切り出し位置情報が追加される形式で書き込まれていくことになる。そのため、切り出し位置情報とフレームを対応付けるための情報も同時に書き込む。

ステップＳ１５０１〜Ｓ１５０３の一連の処理は１フレーム分の画像記録を行う処理であるので、動画記録中は、一連の処理を繰り返し行う。

（ゴミ除去処理ルーチン）
続いて、電子ズームによって撮影された動画像データからゴミの影響を取り除く処理について説明する。

このゴミ除去処理は、画像データに関連付けて記録媒体２００に記録されたゴミ補正データ（ゴミ情報）を用いてフレーム単位で行われること以外は、静止画の場合と同様に行われる。ゴミ補正データは、動画ファイルのｍｏｏｖに格納されている。本実施形態では電子ズームが動作していない状態でゴミ補正データの取得を行っているため、ゴミ補正データに含まれる各ゴミ領域の位置情報及びサイズは撮像素子全体の画角が基準となる。そのため、電子ズームが動作している場合は、各ズーム倍率でそれぞれ画角が異なってしまうため、フレームごとにそれぞれ適応するゴミ情報に変換する必要がある。

図１５は、本実施形態におけるゴミ除去処理の流れを示すフローチャートである。

ゴミ除去処理は、カメラ内で行ってもよいし、別途用意された画像処理装置を利用して行ってもよい。

本実施形態では、まずステップＳ１６０１で、動画ファイルからフレーム毎に記録されているズーム倍率を取得する。次にステップＳ１６０２で、ゴミ除去処理を行う動画ファイルが、電子ズームが動作している状態で撮影された画像であるか否かの判断を行う。ステップＳ１６０１で取得したズーム倍率が１倍ならば電子ズームは動作していないとみなし、ステップＳ１６０６に進む。ズーム倍率が１倍より大きければ電子ズームが動作しているのでステップＳ１６０３に進み、ゴミ位置座標の変換を行う。

ゴミ位置座標の変換方法について図２１を用いて説明する。

まず画像座標系について説明する。図２１に示すように、本実施形態における画像座標系は、撮影画面２１１の左上を原点とし、ｘ軸の正方向を垂直下方向（縦方向）、ｙ軸の正方向を水平右方向（横方向）とする。同様に、ゴミ補正データに含まれるゴミ領域の位置情報も同一の画像座標系を採用するものとする。

次にゴミ位置座標の変換方法について説明する。図２１（ａ）のズーム対象領域２１２に含まれる拡大前のゴミ位置座標を（ｘ，ｙ）、ズーム対象領域２１２の左上の座標を（ｘ0，ｙ0）とすると、図２１（ｂ）の拡大後の座標（ｘ’，ｙ’）は、ズーム倍率Ｍを用いて次式で求められる。

（ｘ’，ｙ’）＝（Ｍ×（ｘ−ｘ0）,Ｍ×（ｙ−ｙ0）)
図２１から明らかなようにズーム対象領域２１２の左上の座標（ｘ0，ｙ0）が、拡大後の原点に変換される。

図１５のフローチャートの説明に戻ると、次のステップＳ１６０４ではゴミサイズを変換する。拡大前のゴミサイズＲとズーム倍率Ｍから拡大後のゴミサイズＲ’は次式で求められる。

Ｒ’＝Ｍ×Ｒ
続いてステップＳ１６０５ではステップＳ１６０３で変換した拡大後の座標が、図２１（ａ）の撮影画面２１１の内部に存在するか否かを判定し、内部に存在しなければ拡大後の画像にはゴミ領域は存在しないと判断し、本フローチャートを終了する。ステップＳ１６０５で内部に存在すると判定された場合は、変換後のゴミ位置座標及びゴミサイズを用いてステップＳ１６０６でゴミ補正処理を行う。ここで行うゴミ補正処理とは、図９に示した一連の処理である。ステップＳ１６０２で電子ズームが動作していない状態で撮影された画像であると判断された場合は、ファイルに保存されているゴミ位置座標とゴミサイズを用いてステップＳ１６０６でゴミ補正処理を行う。

このように本実施形態では、動画撮影時にフレーム毎に電子ズームのズーム倍率をファイルへ記録していく。また、ゴミ除去処理を実施する際には、フレーム毎に記録されたズーム倍率を用いてゴミ位置情報及びゴミサイズを変換してからゴミ除去処理を行う。

これにより、動画記録時に電子ズームを動作させた動画像に対しても、ゴミ除去処理を行うことが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態の撮像装置の要部構成は第１の実施形態と基本的には同じであるため、同じ構成部分の説明は省略し、異なる構成部分だけを掻い摘んで説明する。

図２２は第２の実施形態に係る撮像装置において、ズーム対象領域が画像中央部以外である場合の電子ズーム（ズーム倍率２倍）の動作概要を示す図である。本実施形態ではズーム対象領域を画像中央部のみに限定せず、図２２（ａ）の撮影画面２２１内部の任意の領域を選択できることを想定している。従って、ズーム対象領域を決定するためにはズーム倍率と少なくともズーム対象領域の頂点の１点（例えば左上）の座標が必要となる。

（動画記録ルーチン）
図２３は、本実施形態における動画撮影時の１フレーム毎に行われる記録処理を示すフローチャートである。当該処理はシステム制御回路５０がメモリ５２に記憶された動画撮像処理プログラムを実行することにより実施される。

まず、ステップＳ２３０１で画像の符号化処理を行い、画像データを小さいデータ量に圧縮する。

次にステップＳ２３０２で、符号化処理の結果、圧縮された画像データをファイルへ記録する。

次に、ステップＳ２３０３に進み、システム制御回路５０から電子ズームにおけるズーム倍率を取得し、ファイルへ記録する。なお、電子ズームが動作していない場合はズーム倍率として１倍を記録する。次にステップＳ２３０４に進み、システム制御回路５０から画像切り出し位置を取得して記録する（切り出し位置記録）。本実施形態では図２２（ａ）のズーム対象領域２２２の左上の座標をファイルへ記録する。

（ゴミ除去処理ルーチン）
続いて、電子ズームによって撮影された動画像データからゴミの影響を取り除く処理について説明する。

図２４は、本実施形態におけるゴミ除去処理の流れを示すフローチャートである。

本実施形態では、まずステップＳ２４０１で、動画ファイルからフレーム毎に記録されているズーム倍率を取得する。次にステップＳ２４０２で、ゴミ除去処理を行う動画ファイルが、電子ズームが動作している状態で撮影された画像であるか否かの判断を行う。ステップＳ２４０１で取得したズーム倍率が１倍ならば電子ズームは動作していないとみなし、ステップＳ２４０７に進む。ズーム倍率が１倍より大きければ電子ズームが動作していると判断し、ステップＳ２４０３に進む。次にステップＳ２４０３では動画ファイルから画像切り出し位置を取得する。本実施形態ではズーム対象領域の左上の座標を取得する。次にステップＳ２４０４ではゴミ位置座標の変換を行う。ゴミ位置座標の変換方法については、ズーム対象領域の左上の座標を（ｘ0，ｙ0）としてステップＳ２４０３で動画ファイルから取得した値を用いること以外は第１の実施形態と同様である。また、ステップＳ２４０５以降の処理についても第１の実施形態のステップＳ１６０４以降と同様な処理なので説明は省略する。

このように本実施形態では、動画撮影時にフレーム毎に電子ズームのズーム倍率と画像切り出し位置をファイルへ記録していく。また、ゴミ除去処理を実施する際には、フレーム毎に記録されたズーム倍率と画像切り出し位置を用いてゴミ位置情報及びゴミサイズを変換してからゴミ除去処理を行う。

これにより、動画記録時に任意の領域を対象とした電子ズームを動作させた動画像に対しても、ゴミ除去処理を行うことが可能となる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態における画像処理機能を有する撮像装置の構成を示すブロック図である。 本発明の第１の実施形態におけるゴミ情報を取得する際の撮像装置（本実施形態ではデジタルカメラ）における処理を示すフローチャートである。 本発明の第１の実施形態におけるゴミ情報取得時の設定パラメータ一覧を示す図である。 ゴミ領域サイズ算出の概要を示す図である。 ゴミ情報プロファイルの構造を示す図である。 電子ズームの動作の概要を説明するための図である。 本発明の第１の実施形態における通常撮影時の静止画像の撮影処理を示すフローチャートである。 ゴミ除去処理の動作を示すフローチャートである。 補間ルーチンの流れを示すフローチャートである。 ＭＰ４ファイル形式におけるデータ構造を説明するための図である。 フラグメントムービー形式のファイル構造を説明するための図である。 第１の実施形態における電子ズームの動作の概要を説明するための図である。 動画撮影時の動作を説明するためのフローチャートである。 第１の実施形態における動画記録ルーチンの流れを説明する図である。 第１の実施形態におけるゴミ除去処理ルーチンの流れを説明する図である。 Ｈ．２６４方式で画像データを圧縮する画像処理装置の構成を示す図である。 ピクチャＰ２１を符号化する際の参照リストの例を示す図である。 ピクチャＰ２４を符号化する際の参照リストの例を示す図である。 参照リストの変化の様子をピクチャ毎に示す図である。 Ｂピクチャを参照リストに加える場合の参照リストの変化の様子を示す図である。 ゴミ位置座標の変換方法の概要を説明する図である。 第２の実施形態における電子ズームの動作の概要を説明するための図である。 第２の実施形態における動画記録ルーチンの流れを説明する図である。 第２の実施形態におけるゴミ除去処理ルーチンの流れを説明する図である。

符号の説明

１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理回路
２２ メモリ制御回路
２４ 画像表示メモリ
２６ Ｄ／Ａ変換器
２８ 画像表示部
３０ メモリ
３１ ゴミ除去回路
３２ 画像圧縮・伸長回路
３３ 音声信号処理回路
４０ シャッター制御部
４２ 焦点調節部
４６ 測光制御部
４８ フラッシュ
５０ システム制御回路
５２ メモリ
５４ 通知部
５６ 不揮発性メモリ
５８ 光学情報格納メモリ
６０ モードダイアルスイッチ
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
６６ 再生スイッチ
６８ 単写／連写スイッチ
７０ 操作部
７２ 電源スイッチ
８０ 電源制御部
８２ コネクタ
８４ コネクタ
８６ 電源
９０ インタフェース
９２ コネクタ
９４ インタフェース
９６ コネクタ
９８ 記録媒体着脱検知回路
１００ カメラ本体
１０４ 光学ファインダ
１０６ レンズマウント
１１０ アクセサリーシュー
１１２ 外部フラッシュ
１２０ インタフェース
１２２ コネクタ
１３０ ミラー
１３２ ミラー
２００ 記録媒体
２０２ 記録部
２０４ インタフェース
２０６ コネクタ
２１０ ＰＣ
２１２ 記録部
２１４ インタフェース
２１６ コネクタ
３００ レンズユニット
３０６ レンズマウント
３１０ 撮影レンズ
３１２ 絞り
３２０ インタフェース
３２２ コネクタ
３４０ 絞り制御部
３４２ フォーカス制御部
３４４ ズーム制御部
３５０ レンズシステム制御回路

Claims (10)

1. 被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて画像信号を生成する撮像手段と、
   前記画像信号の一部を切り出して拡大する電子ズーム処理を行う電子ズーム処理手段と、
   前記撮像素子の前方に配置された光学素子の表面に付着した異物の像を含む異物検出用画像から、少なくとも異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出手段と、
   前記異物情報を画像ファイルに記録する異物情報記録手段と、
   前記電子ズーム処理手段における電子ズームのズーム倍率を前記画像ファイルに記録するズーム倍率記録手段と、
   を備えることを特徴とする撮像装置。
2. 前記画像ファイルは、動画像ファイルであることを特徴とする請求項１に記載の撮像装置。
3. 前記電子ズーム処理手段における前記画像信号の一部の切り出し位置は、前記撮像素子の中心部分に対応する位置であることを特徴とする請求項１に記載の撮像装置。
4. 前記電子ズーム処理手段における前記画像信号の一部の切り出し位置を前記画像ファイルに記録する切り出し位置記録手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
5. 前記切り出し位置とは、前記画像信号の一部の前記撮像素子の画面全体に対する縦方向の座標と横方向の座標であることを特徴とする請求項４に記載の撮像装置。
6. 前記異物情報と、前記電子ズームのズーム倍率とを用いて、前記異物の位置及び大きさを前記電子ズームを行った画像における異物の位置及び大きさに変換し、前記電子ズームを行った画像における異物の像を画像処理により除去する異物除去手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
7. 被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて画像信号を生成する撮像手段を有する撮像装置を制御する方法であって、
   前記画像信号の一部を切り出して拡大する電子ズーム処理を行う電子ズーム処理工程と、
   前記撮像素子の前方に配置された光学素子の表面に付着した異物の像を含む異物検出用画像から、少なくとも異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出工程と、
   前記異物情報を動画像ファイルに記録する異物情報記録工程と、
   前記電子ズーム処理工程における電子ズームのズーム倍率を前記動画像ファイルに記録するズーム倍率記録工程と、
   を備えることを特徴とする撮像装置の制御方法。
8. 請求項７に記載の制御方法をコンピュータに実行させるためのプログラム。
9. 撮影時に撮像素子の前方に配置された光学素子の表面に付着した異物の位置及び大きさの情報を含む情報である異物情報および撮影時の電子ズームのズーム倍率が記録される画像ファイルを処理する画像処理装置であって、
   前記異物情報と、前記電子ズームのズーム倍率とを用いて、前記異物の位置及び大きさを前記電子ズームを行った画像における異物の位置及び大きさに変換し、変換した異物の位置及び大きさに基づいて、前記電子ズームを行った画像における異物の像を画像処理により除去する異物除去手段を備えることを特徴とする画像処理装置。
10. 撮影時に撮像素子の前方に配置された光学素子の表面に付着した異物の位置及び大きさの情報を含む情報である異物情報および撮影時の電子ズームのズーム倍率が記録される画像ファイルを処理する画像処理方法であって、
    前記異物情報と、前記電子ズームのズーム倍率とを用いて、前記異物の位置及び大きさを前記電子ズームを行った画像における異物の位置及び大きさに変換し、変換した異物の位置及び大きさに基づいて、前記電子ズームを行った画像における異物の像を画像処理により除去する異物除去工程を備えることを特徴とする画像処理方法。

Images