JP2010016648A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】撮像素子の前方に配置された保護ガラス、フィルタ等にゴミ等の異物が付着した場合でも、動画への影響を抑制できるようにする。
【解決手段】撮像素子を有する撮像部と、撮像素子の前方に配置された光学部材と、撮像部から出力された動画像ファイルを記録する記録部と、光学部材の表面に付着した異物の像を含む異物検出用画像から、少なくとも異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出部と、撮影レンズの絞り値の情報と瞳位置の情報とを含むレンズ情報が更新された場合に、更新されたレンズ情報を取得するレンズ情報取得部と、レンズ情報が更新された場合に、異物検出部により検出された異物情報と共に、更新されたレンズ情報を動画像ファイルに記録するように記録部を制御する制御部とを備える。
【選択図】図１４

Description

本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置における、光学ローパスフィルタ等の表面に付着した異物による画像劣化を抑制する技術に関する。

従来より、レンズ交換式のデジタルカメラにおいては、撮像素子の前方に配置された撮像素子保護ガラス、光学フィルタ等の表面上や光学系（以下、まとめて撮像素子光学系部品）にゴミ、ほこりなどの異物（以下、単にゴミ）が付着する場合がある。このように撮像素子光学系部品にゴミが付着すると、そのゴミによって光が遮られ、その部分が撮影されないなど、撮影した画像の品質が低下するという問題があった。

このような撮像素子上のゴミは、通常撮像素子の表面にではなく、保護用のガラスや光学フィルタ上に付着しているため、撮影レンズの絞り値や瞳位置により結像状態が異なる。即ち、絞りが開放値に近いとぼやけてしまい、小さいゴミが付着していたとしてもほとんど影響が無くなるが、逆に絞り値が大きくなるとはっきり結像し画像に影響を与えててしまう。そこで、レンズの絞りを絞った状態で白い壁などを撮影し、撮像素子上のゴミだけが写った画像を予め用意して静止画撮影画像と組み合わせて使用することで、ゴミを目立たなくする方法が知られている（特許文献１参照）
特開２００４−２２２２３１号号公報

近年、静止画撮影機能に加えて、動画撮影機能を備えたデジタルカメラが提案されている。レンズ交換式のデジタルカメラにおいて動画撮影機能を備えた場合、レンズの操作（ズーム操作など）により撮影レンズの絞り値や瞳位置が動画撮影中に変わってしまうために、動画の各フレーム毎に撮像素子へのゴミの結像状態が異なってしまう。そのため、ゴミ検出用に撮影した画像と、それに関連付ける本撮影画像群との対応付けを意識しなくてはならない。すなわち、特許文献１に記載の方法を動画撮影に単純に応用しようとすると、動画の各フレーム毎に、その対応付けを意識しなければならず、大変煩わしいという問題があった。

したがって、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像素子の前方に配置された保護ガラス、フィルタ等にゴミ等の異物が付着した場合でも、動画への影響を抑制できるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影レンズにより結像された被写体像を光電変換する撮像素子を有する撮像手段と、前記撮像素子の前方に配置された光学部材と、前記撮像手段から出力された動画像ファイルを記録する記録手段と、前記光学部材の表面に付着した異物の像を含む異物検出用画像から、少なくとも前記異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出手段と、撮影者の前記撮影レンズに対する操作により、前記撮影レンズの絞り値の情報と瞳位置の情報とを含むレンズ情報が更新された場合に、該更新されたレンズ情報を取得するレンズ情報取得手段と、前記レンズ情報が更新された場合に、前記異物検出手段により検出された異物情報と共に、前記レンズ情報取得手段により取得された前記更新されたレンズ情報を前記動画像ファイルに記録するように前記記録手段を制御する制御手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置の制御方法は、撮影レンズにより結像された被写体像を光電変換する撮像素子を有する撮像手段と、前記撮像素子の前方に配置された光学部材と、前記撮像手段から出力された動画像ファイルを記録する記録手段とを備える撮像装置を制御する方法であって、前記光学部材の表面に付着した異物の像を含む異物検出用画像から、少なくとも前記異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出工程と、撮影者の前記撮影レンズに対する操作により、前記撮影レンズの絞り値の情報と瞳位置の情報とを含むレンズ情報が更新された場合に、該更新されたレンズ情報を取得するレンズ情報取得工程と、前記レンズ情報が更新された場合に、前記異物検出工程において検出された異物情報と共に、前記レンズ情報取得工程において取得された前記更新されたレンズ情報を前記動画像ファイルに記録するように前記記録手段を制御する制御工程と、を備えることを特徴とする。

本発明によれば、撮像素子や撮像素子の前方に配置された保護ガラス、フィルタ等にゴミ等の異物が付着した場合でも、動画への異物の影響を抑制することが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の各実施形態に共通するデジタルカメラ１２０の外観を示す斜視図、図２は図１の垂直断面図である。

図１において、カメラ本体１００の上部には、アクセサリシュー１１０、光学ファインダ１０４、ＡＥ（自動露出）ロックボタン１１２、ＡＦの測距点選択ボタン１１３、撮影操作をするためのレリーズボタン１１４が設けられている。また、電子ダイヤル４１１、モードダイヤル６０、および外部表示装置４０９も設けられている。電子ダイヤル４１１は、他の操作ボタンと併用してカメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力装置である。また、外部表示装置４０９は、液晶表示装置から構成され、シャッタースピード、絞り、撮影モードなどの撮影条件や、他の情報を表示する。

また、カメラ本体１００の背面には、撮影された画像や各種設定画面などを表示するＬＣＤモニタ装置４１７、ＬＣＤモニタ装置４１７に撮影した画像を表示する再生スイッチ６６、単写／連写スイッチ６８、十字配置スイッチ１１６、メニューボタン１２４、および電源スイッチ７２が設けられている。

単写／連写スイッチ６８は、後述するシャッタースイッチＳＷ２（６４）を押した場合に、１コマの撮影を行って待機状態とする単写モードと、シャッタースイッチＳＷ２（６４）を押している間連続して撮影を行い続ける連写モードとを設定することができる。

十字配置スイッチ１１６は、上下左右に配された４つのボタンと、中央に配されたＳＥＴボタン１１７を有し、ユーザがＬＣＤモニタ装置４１７に表示されるメニュー項目などの選択や実行をカメラに指示するために用いられる。

メニューボタン１２４は、ＬＣＤモニタ装置４１７にカメラの各種設定を行うためのメニュー画面を表示させるためのボタンである。例えば、撮影モードを選択、設定する時は、このメニューボタン１２４を押した後、十字配置スイッチ１１６の上下左右のボタンを操作して希望のモードを選択し、希望のモードが選択された状態でＳＥＴボタン１１７を押すことにより設定が完了する。

本実施形態のＬＣＤモニタ装置４１７は透過型であるため、ＬＣＤモニタ装置の駆動だけでは画像を視認することはできず、必ずその裏面には図２に示すようにバックライト照明装置４１６が必要である。このようにＬＣＤモニタ装置４１７とバックライト照明装置４１６は図３に示すように画像表示部２８を構成している。

図２に示すように、本実施形態の撮像装置は、主にカメラ本体１００と、交換レンズタイプのレンズユニット３００により構成されている。図２において、４０１は撮影光軸である。

レンズユニット３００において、３１０は複数のレンズからなる撮像レンズ、３１２は絞り、３０６は、レンズユニット３００をカメラ本体１００と機械的に結合するレンズマウントである。レンズユニット３００は、カメラ本体１００に対してレンズマウント３０６を介して着脱可能である。

カメラ本体１００において、ミラー１３０は撮影光路中に配置され、レンズユニット３００からの被写体光をファインダ光学系に導く位置（図２に示す位置、斜設位置と呼ぶ）と撮影光路外に退避する位置（退避位置と呼ぶ）との間で移動可能である。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。

図２において、ピント板２０４上にはミラー１３０から光学ファインダ１０４に導かれる被写体光が結像される。２０５はファインダの視認性を向上させるためのコンデンサレンズ、１３２はペンタゴナルダハプリズムであり、ピント板２０４およびコンデンサレンズ２０５を通った被写体光をファインダ観察用の接眼レンズ２０８および光学ファインダ１０４に導く。

２０９、２１０はそれぞれシャッターを構成する後幕と先幕で、これら後幕２０９、先幕２１０の開放によって後方に配置されている、被写体像を光電変換する撮像素子１４が必要時間だけ露光される。撮像素子１４は、その前面に光学ローパスフィルタ４１８が配設されており、撮像素子１４に結像する被写体像の空間周波数を調整している。撮影画像に影響を及ぼすゴミ（異物）は、この光学ローパスフィルタ４１８に付着し、撮像素子１４に結像する被写体像に影として現れることにより、撮影画像の品質を劣化させる。

撮像素子１４はプリント基板２１１に保持されている。このプリント基板２１１の後方には、もう一枚のプリント基板である表示基板２１５が配置されている。この表示基板２１５の反対側の面にＬＣＤモニタ装置４１７およびバックライト照明装置４１６が配置されている。

２００は画像データを記録する記録媒体であり、８６は電池（携帯用電源）である。この記録媒体２００および電池８６は、カメラ本体に対して着脱可能である。

図３は、本発明の各実施形態に共通するレンズ交換式のデジタルカメラの回路構成を示すブロック図である。

まず、レンズユニット３００の構成について説明する。

レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインターフェース、３２２はレンズユニット３００をカメラ本体１００と電気的に接続するコネクタである。

コネクタ３２２は、カメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信などを伝達する構成としても良い。

３４０は測光制御部４６からの測光情報に基づいて、後述するカメラ本体１００のシャッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する絞り制御部である。３４２は撮像レンズ３１０のフォーカシングを制御するフォーカス制御部、３４４は撮像レンズ３１０のズーミングを制御するズーム制御部である。

３５０はレンズユニット３００全体を制御するレンズシステム制御回路である。レンズシステム制御回路３５０は、動作用の定数、変数、プログラムなどを記憶するメモリを備えている。更に、レンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。

次に、カメラ本体１００の構成について説明する。

１０６はカメラ本体１００とレンズユニット３００を機械的に結合するレンズマウントである。１２は、後幕２０９および先幕２１０で構成されるシャッターである。撮像レンズ３１０に入射した光線は、一眼レフ方式によって光量制限手段である絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像する。

１６は、撮像素子１４から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０がシャッター制御部４０、焦点調節部４２を制御するための、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行うことができる。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

なお、本実施の形態における図３に示す例では、焦点調節部４２及び測光制御部４６を専用に備えている。従って、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行わない構成としても構わない。また、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、さらに、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＬＣＤモニタ装置４１７、バックライト照明装置４１６等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像を格納するためのメモリであり、所定枚数の静止画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、動画撮影時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。

４０はシャッター制御部であり、測光制御部４６からの測光情報に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。４２はＡＦ（オートフォーカス）処理を行うための焦点調節部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び焦点調節用サブミラー（不図示）を介して一眼レフ方式で入射することにより、光学像として結像された画像の合焦状態を測定する。

４６はＡＥ（自動露出）処理を行うための測光制御部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び測光用サブミラー（図示せず）を介して一眼レフ方式で入射することにより、光学像として結像された画像の露出状態を測定する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。測光制御部４６はフラッシュ４８と連携することにより、ＥＦ（フラッシュ調光）処理機能も有する。

また、焦点調節部４２による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて、ＡＦ制御を行うようにしてもよい。さらに、測光制御部４６による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて露出制御を行うようにしてもよい。

５０はカメラ本体１００全体を制御するシステム制御回路であり、周知のＣＰＵなどを内蔵する。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、これらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、例えば外部表示装置４０９のようにカメラ本体１００の操作部７０近辺で、視認しやすい、単数あるいは複数箇所に設置されている。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

通知部５４の表示内容の内、ＬＣＤなどの画像表示部２８に表示するものとしては以下のものがある。まず、単写／連写撮影表示、セルフタイマ表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及びＰＣ２１０の着脱状態表示がある。更に、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等も行われる。

また、通知部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、例えば、以下のものがある。合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。

５６は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード等の各撮影モードを切り替え設定することができる。他に、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モード、動画撮影モードなどの各撮影モードを切り替え設定することもできる。

６２はシャッタースイッチＳＷ１で、シャッターボタン１１４の操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタン１１４の操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像データを読み出し、圧縮・伸張回路３２で圧縮を行い、記録媒体２００あるいはＰＣ２１０に書き込む、または送信する。

６６は再生スイッチであり、撮影モード状態で撮影した画像をメモリ３０あるいは記録媒体２００、ＰＣ２１０から読み出して画像表示部２８に表示する再生動作の開始を指示する。また、再生スイッチ６６は、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる。

６８は単写／連写スイッチで、シャッタースイッチＳＷ２（６４）を押した場合に、１コマの撮影を行って待機状態とする単写モードと、シャッタースイッチＳＷ２（６４）を押している間、連続して撮影を行い続ける連写モードとを設定することができる。

７０は各種ボタンやタッチパネルなどからなる操作部である。一例として、ライブビュー開始／停止ボタン、動画記録開始／停止ボタン、メニューボタン１２４、ＳＥＴボタン１１７、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、十字配置スイッチ１１６、ＡＥ（自動露出）ロックボタン１１２、ＡＦの測距点選択ボタン１１３、電子ダイヤル４１１を含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付／時間設定ボタンなども含む。なお、上記十字配置スイッチ１１６の上下左右のボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

他に、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ＪＰＥＧ圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットＡＦモードとサーボＡＦモードとを設定可能なＡＦモード設定スイッチなどがある。ワンショットＡＦモードでは、シャッタースイッチＳＷ１（６２）を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボＡＦモードでは、シャッタースイッチＳＷ１（６２）を押している間、連続してオートフォーカス動作を続ける。更に、後述するようにゴミ検出用画像を撮影してゴミ情報を取得する、ゴミ情報取得モードを設定することができる設定スイッチを含む。

７２は電源スイッチであり、カメラ本体１００の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ本体１００に接続されたレンズユニット３００、外部フラッシュ１１２、記録媒体２００、ＰＣ２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。

８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタ、８６はアルカリ電池、リチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ−ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体やＰＣとのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いはＰＣ２１０が装着されているか否かを検知する記録媒体着脱検知回路である。

なお、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。

インタフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（登録商標）カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

光学ファインダ１０４には、撮像レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６，１０６、ミラー１３０，１３２を介して導き、光学像として結像させて表示することができる。これにより、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッター速度、絞り値、露出補正などが表示される。

１１２は、アクセサリシュー１１０を介して装着される、外部フラッシュ装置である。

１２０はレンズマウント１０６内でカメラ本体１００をレンズユニット３００と接続するためのインターフェースである。

１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。

コネクタ１２２を介して通信される、レンズユニット３００の各種光学情報（絞り、ズーム位置、瞳距離、焦点距離など）は、カメラ本体１００のメモリ３０に記憶される。通信の要求はカメラ側から行う場合もあれば、レンズ側から情報更新のたびに通信される場合もある。

また、コネクタ１２２は電気通信だけでなく、光通信、音声通信などを伝達する構成としてもよい。

２００はメモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインタフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。

記録媒体２００としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。

２１０はＰＣであり、磁気ディスク（ＨＤ）等から構成される記録部２１２、カメラ本体１００とのインタフェース２１４、カメラ本体１００と接続を行うコネクタ２１６を備えている。インタフェース２１４はＵＳＢやＩＥＥＥ１３９４などが挙げられるが、特に限定はない。

次に、上記構成を有する撮像装置おける撮像素子の前方に配置されたローパスフィルタやカバーガラス等の光学部材上のゴミの影響を画像処理により除去する処理について説明する。

本実施形態では、まず、ゴミ（異物）の付着している位置及び大きさ等の情報であるゴミ情報（異物情報）を得るためのゴミ検出用画像（異物検出用画像）を撮影し、ゴミデータを抽出し、ゴミデータを生成しておく。ここでゴミ検出用画像は、できるだけ均一な輝度面を撮影した画像が望ましいが、身近な場所で容易に撮影できることが望ましいため、厳密な均一性を要求するものではない。例えば、青空や白い壁面を撮影することを想定している。

まず、撮像光学系内に付着したゴミの位置を検出する処理の例を、図４のフローチャートを参照して説明する。当該処理は、システム制御回路５０が不揮発性メモリ５６に記憶されたゴミ検出処理プログラムを実行することにより実施される。

ゴミ検出処理は、ゴミ検出用画像を撮像することにより行われる。ゴミ検出処理を行う場合、面光源装置の射出面や白い壁などの均一な色を持つ面にレンズ３００の撮影光軸４０１を向けてカメラを設置し、ゴミ検出の準備を行なう。または、レンズマウント１０６にゴミ検出用のライトユニット（レンズの代わりに装着する小型の点光源装置）を装着し、ゴミ検出の準備を行う。ライトユニットの光源は例えば白色ＬＥＤが考えられ、発光面のサイズを予め定めた絞り値（例えば、Ｆ３２）相当になるように調整するのが望ましい。

本実施形態では、通常の撮影レンズを用いた場合について説明するが、上記のライトユニットをレンズマウント１０６に取り付けてゴミ検出を行っても良い。このように、本実施形態においてゴミ検出用画像は、均一な色を有する画像である。

準備が終了した後、十字配置スイッチ１１６からゴミ検出処理の開始が指示されると、システム制御回路５０は、まず絞りの設定を行う。撮像素子近傍のゴミはレンズの絞り値によって結像状態が変わり、レンズの瞳位置によって位置が変化する。したがって、ゴミ補正データにはゴミの位置や大きさに加え、検出時の絞り値とレンズの瞳位置を保持する必要がある。

ただし、ゴミ補正データを作成する段階で、異なるレンズを用いたとしても常に同じ絞り値を使うことを予め決めておけば、必ずしもゴミ補正データ内に絞り値を保持する必要はない。また、瞳位置に関してもライトユニットを用いたり、特定のレンズのみの使用を許可することで、同様に必ずしもゴミ補正データ内に瞳位置を保持する必要はなくなる。

つまり、ゴミ補正データを作成する段階において、使用するレンズを複数許したり、絞り込む絞り値を適宜変更する場合には、検出時の絞り値とレンズの瞳位置を、ゴミ補正データ内に保持する必要があると言える。なお、ここで瞳位置とは、射出瞳の撮像面（焦点面）からの距離をいう。

ここでは、例えばＦ３２を指定する（ステップＳ２１）。

次にシステム制御回路５０はコネクタ１２２を介して絞り制御部３４０に対し、レンズユニット３００の絞り羽根制御を行わせ、ステップＳ２１で指定された絞り値に絞りを設定する（ステップＳ２２）。さらに、フォーカス制御部３４２に対し、フォーカス位置を無限遠に設定させる（ステップＳ２３）。

撮影レンズの絞り値とフォーカス位置が設定されると、ゴミ検出モードでの撮影を実行する（ステップＳ２４）。ステップＳ２４で行う撮像処理ルーチンの詳細に関しては図９を用いて後に説明する。撮影された画像データは、メモリ３０に格納される。

撮影が終了すると、撮影時の絞り値とレンズ瞳位置を取得する（ステップＳ２５）。画像処理回路２０にメモリ３０に記憶されている撮影画像の各画素に対応するデータを呼び出す（ステップＳ２６）。画像処理回路２０は、図６に示す処理を行い、ゴミが存在する画素の位置と大きさを取得する（ステップＳ２７）。ステップＳ２７で取得したゴミが存在する画素の位置と大きさ、およびステップＳ２５で取得した絞り値とレンズ瞳位置情報を、不揮発性メモリ５６に登録する（ステップＳ２８）。ここで、前述したライトユニットを用いた場合には、レンズ情報を取得できない。そこで、レンズ情報が取得できない場合は、ライトユニットを使ったと判断し、予め定められたレンズ瞳位置情報と、ライトユニットの光源径から算出される換算絞り値を登録する。

ここで、ステップＳ２８において、予め不揮発性メモリ５６に記録されている製造時からの不良画素（画素欠陥）の位置と、読み出した画素データの位置を比べて画素欠陥であるかどうかを確認する。そして、画素欠陥によるものでは無いと判断された領域のみ、不揮発性メモリ５６に位置を登録しても良い。

不揮発性メモリ５６に格納されるゴミ補正データのデータ形式例を図５に示す。図５に示した通り、ゴミ補正データには、検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。

具体的には、検出用画像撮影時のレンズ情報として、検出用画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画像領域における中心のｘ座標（例えば２バイト）、おなじく中心のｙ座標（例えば２バイト）の３つの数値のセットである。

不揮発性メモリ５６の大きさ等によりゴミ補正データサイズに制限がある場合、ステップＳ２７で得たゴミ領域の先頭から優先してデータを格納する。これは、ステップＳ２７のゴミ領域取得ルーチン内では、後述するようにゴミ領域を、目立つゴミの順にソートするからである。

次に、図６から図８を用いて、図４のステップＳ２７で行うゴミ領域取得ルーチンの詳細について説明する。

図７に示すように、呼び出した画像データをメモリ３０上に展開し、予め定められたブロック単位で処理を行う。これは、レンズやセンサ特性に起因する周辺減光に対応するためである。周辺減光とは、レンズの中央部に比べ周辺部の輝度が落ちてしまう現象であり、レンズの絞りを小さくすることである程度軽減されることが知られている。しかし、絞りを絞った状態でも、撮影画像に対して予め定められたスレッショルド値でゴミ位置の判定を行うと、レンズによっては周辺部のゴミが正確に検出できなくなるという問題がある。そこで、画像をブロック分割して周辺減光の影響を軽減する。

単純にブロック分割すると、ブロックとブロックの間でスレッショルド値が異なる場合、ブロック間をまたぐゴミの検出結果がずれてしまうという問題がある。そこで、ブロック間をオーバーラップさせ、オーバーラップ領域を構成するブロックのいずれかでゴミと判定された画素をゴミ領域として扱う。

ブロック内のゴミ領域判定は、図６に示す処理の流れで行う。まず、ブロック内の最大輝度Ｌmax、平均輝度Ｌaveを算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。

Ｔ１＝Ｌave×０.６＋Ｌmax×０.４
次に、スレッショルド値を超えない画素をゴミ画素とし（ステップＳ６１）、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする（ステップＳ６２）。図８に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘmaxおよび最小値Ｘmin、垂直方向の座標の最大値Ｙmaxおよび最小値Ｙminを求め、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する（ステップＳ６３）。

ｒｉ＝√[｛（Ｘmax−Ｘmin）／２｝²＋｛（Ｙmax−Ｙmin）／２｝²]
Ｘmax、Ｘmin、Ｙmax、Ｙminとｒｉの関係を、図８に示す。

その後ステップＳ６４で、ゴミ領域毎の平均輝度値を算出する。

不揮発性メモリ５６のサイズによる制限などにより、ゴミ補正データのデータサイズが制限されている場合がある。このような場合に対応するために、ゴミ位置情報を、大きさやゴミ領域の平均輝度値によってソートする（ステップＳ６５）。本実施形態では、ｒｉの大きい順にソートする。ｒｉが等しい場合、平均輝度値の低い順にソートする。このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域をＤｉ、ゴミ領域Ｄｉの半径をＲｉとする。

なお、予め定められたサイズより大きいゴミ領域がある場合、ソートの対象から外し、ソート済みゴミ領域リストの末尾に配置しても良い。大きいゴミ領域については、後に補間処理をするとかえって画質を低下させる場合があり、補正対象の優先順位としては最下位として扱うことが望ましいからである。

次に、図９に示すフローチャートを用いて、図４のステップＳ２４で行われる撮像処理ルーチンの詳細について説明する。当該処理はシステム制御回路５０が不揮発性メモリ５６に記憶された撮像処理プログラムを実行することにより実施される。

この撮像処理ルーチンが実行されると、ステップＳ２０１でシステム制御回路５０は、図３に示すミラー１３０を作動させ、いわゆるミラーアップを行い、撮影光路外にミラー１３０を退避させる。

次に、ステップＳ２０２で撮像素子１４での電荷蓄積を開始し、次のステップＳ２０３では図３に示したシャッター１２をそれぞれ走行させて露光を行う。そして、ステップＳ２０４で撮像素子１４の電荷蓄積を終了し、次のステップＳ２０５で撮像素子１４から画像信号を読み出してＡ／Ｄ変換器１６および画像処理回路２０で処理した画像データをメモリ３０に一次記憶する。

次のステップＳ２０６で撮像素子から全ての画像信号の読み出しが終了すると、ステップＳ２０７でミラー１３０をミラーダウンし、ミラーを斜設位置に戻して一連の撮像動作を終了する。

ステップＳ２０８にて、静止画撮影かゴミ検出用画像撮影かを判断し、静止画撮影時にはステップＳ２０９へ進んで、撮影した静止画像が記録媒体２００に記録される。

ここで、本実施形態は、動画を撮影する場合にゴミによる画質劣化を画像処理で補正する方法に関するものであるが、動画の処理について説明する前に、静止画の場合の処理について以下説明する。

上述のゴミ補正データを用いて、静止画像ファイルに対して画像処理によりゴミ除去を行う動作の流れについて、図１０を用いて説明する。

まず、ゴミ除去処理を行う静止画像ファイルを指定し、ゴミ除去処理を行う装置（カメラ内の画像処理回路２０でもよいしカメラ外部の画像処理装置でもよい）に読み込ませる（ステップＳ１８０１）。

次に、ゴミ除去処理を行う装置が、図６のステップＳ６５で作成したゴミ補正データを取得する（ステップＳ１８０２）。

次に、ステップＳ１８０２で取得したゴミ補正データから、座標列Ｄｉ（ｉ＝１，２，…ｎ）、半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１とレンズ瞳位置Ｌ１を得る（ステップＳ１８０３）。ここでＲｉは、図６のステップＳ６５で算出した座標Ｄｉのゴミの大きさである。さらに、ステップＳ１８０４で、撮影時の絞り値ｆ２とレンズの瞳位置Ｌ２を取得する。ステップＳ１８０５でＤｉを次式で変換する。ここで、ｄは画像中心から座標Ｄｉまでの距離、Ｈは撮像素子１４の表面とゴミとの距離であるとする。変換後の座標Ｄｉ’と変換後の半径Ｒｉ’は例えば次式で定義する。

Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２＋３） （１）
ここでの単位はピクセルであり、Ｒｉ’についての「＋３」はマージン量である。

ステップＳ１８０６で座標Ｄｉ’、半径Ｒｉ’で示される領域内のゴミを検出し、必要に応じて補間処理を適用する。補間処理の詳細については後述する。ステップＳ１８０７で全ての座標についてゴミ除去処理を適用したかどうかを判定し、全ての座標について処理が終わっていれば処理を終了し、そうでなければステップＳ１８０６に戻る。

次に、ゴミ領域の補間処理の詳細について説明する。図１１は、補間ルーチンの流れを示すフローチャートである。

まずステップＳ１９０１で、ゴミ領域判定を行う。ゴミ領域とは、次の条件全てを満たす領域とする。
（１）図１０のステップＳ１８０５で算出した中心座標Ｄｉ’、半径Ｒｉ’（式（１）で求められたＤｉ’，Ｒｉ’）に含まれる画素の平均輝度Ｙaveと最高輝度Ｙmaxを用いて次式で求められるスレッショルド値Ｔ２より暗い領域。

Ｔ２＝Ｙave×０.６＋Ｙmax×０.４
（２）上記の中心座標Ｄｉ’、半径Ｒｉ’の円と接しない領域。
（３）（１）で選択された輝度の低い画素によって構成される孤立領域に対し、図６中のステップＳ６３と同様の方法で算出した半径値がl１画素以上、l２画素未満である領域。
（４）円の中心座標Ｄｉを含む領域。

本実施形態では、l１は３画素、l２は３０画素とする。このようにすることで、孤立した小領域だけをゴミ領域として扱うことが可能になる。また、レンズ瞳位置が正確に取得できない場合には、（４）の条件は幅を持たせても良い。例えば、着目領域が座標ＤｉからＸ方向、Ｙ方向に夫々±３画素の範囲の座標を含めば、ゴミ領域と判定するなどという条件が考えられる。

ステップＳ１９０２で、このような領域があればステップＳ１９０３へ進みゴミ領域補間を行い、存在しない場合は処理を終了する。ステップＳ１９０３で実行するゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には、例えば、特開２００１−２２３８９４号公報に開示されているパターン置換がある。特開２００１−２２３８９４号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップＳ１９０１で検出したゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン補間後の画像データに対し、補間対象画素に最も近い順に正常画素をｐ個選択し、その平均色を用いて補間する。

次に、近年デジタルカメラやデジタルビデオカメラ等で、動画像データの記録に用いられている動画ファイルフォーマットである、ＭＰ４について説明する。

ＭＰ４ファイル形式（ＩＳＯ／ＩＥＣ １４４９６−１４；“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ――Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ――Ｐａｒｔ １４：ＭＰ４ ｆｉｌｅ ｆｏｒｍａｔ”；ＩＳＯ／ＩＥＣ；２００３−１１−２４を参照）とは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｎｓｏｒｔｉｕｍ）によって規格化された、ＭＰＥＧなどの動画・音声のコンテンツデータをファイルに記録するために「ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ」（ＩＳＯ／ＩＥＣ １４４９６−１２；“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ――Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ――Ｐａｒｔ １２：ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ”；ＩＳＯ／ＩＥＣ；２００４−０１−２３を参照）という汎用のファイル形式を元に拡張されたファイル形式である。なお、本実施形態はＭＰ４に限らず類似のファイル形式を用いるケースに対しても適用できる。例えば、ＩＳＯではＭＰ４と同様の基本構造を持つファイル形式規格として、「Ｍｏｔｉｏｎ ＪＰＥＧ ２０００ファイル形式」（ＩＳＯ／ＩＥＣ １５４４４−３）や、「ＡＶＣファイル形式」（ＩＳＯ／ＩＥＣ １４４９６−１５）といった標準規格が制定されている。

図１２は、ＭＰ４ファイル形式におけるデータ構造を説明するための概念図である。

ＭＰ４ファイル１００１は、映像・音声データの物理的位置、時間的位置や特性情報を示すメタデータ（ヘッダ情報）１００２と、符号化された映像・音声データの実態を示すメディアデータ１００３とから構成される。ＭＰ４形式では、コンテンツ全体のプレゼンテーションを「ムービー」、コンテンツを構成するメディアストリームのプレゼンテーションを「トラック」と呼んでいる。そして、メタデータ１００２には、典型的には、動画像のデータ全体を論理的に取り扱うビデオトラック１００４と音声のデータ全体を論理的に取り扱うオーディオトラック１００５が含まれている。ビデオトラック１００４とオーディオトラック１００５の基本的な構成内容は、ほとんど同等のものとなっている。すなわち、それぞれのトラックは、実際のメディアデータの様々なメタデータ情報を記録しており、その内容がメディアデータの特性に応じて多少異なっているだけである。

ビデオトラック１００４に含まれるデータは、例えば、符号化データを復号化するための所謂デコーダの構成情報や動画像の矩形サイズなどの情報が含まれる。加えて、メディアデータが実際に記録されているファイル上の位置を示すオフセット１００６や、メディアデータのそれぞれのフレームデータ（ピクチャと呼ばれることもある）のサイズを示すサンプルサイズ１００７も含まれる。さらに、それぞれのフレームデータのデコード時間を示すタイムスタンプ１００８なども記録されている。

一方、メディアデータ１００３には、符号化データの基本単位を示す「サンプル」が連続して１つ以上記録されている「チャンク」と呼ばれるデータ構造により、動画像のデータと音声のデータの実体が記録されている。このチャンクは、メタデータ１００２のトラックに従って、動画像のメディアデータを含むビデオチャンク１００９と音声のメディアデータを含むオーディオチャンク１０１０とにより構成されている。

図１２に示す構成は、ビデオチャンク１００９とオーディオチャンク１０１０が交互に記録されているように示しているが、その記録位置や順序は必ずしもこのようになっている必要はない。この例は、一般的に記録される形式の一例に過ぎない。しかしながら、このような交互の配置（インターリーブ）は、ほぼ同時刻に再生されるべき動画と音声のデータを近い位置に配置することにより、ファイルに記録されたデータのアクセス性を高めるといった効果があり、極めて一般的に見られる方法である。

チャンクには、個々のメディアデータのサンプルがひとつ以上含まれている。例えば、図１２に示すように、ビデオチャンク１００９には、ビデオサンプル（フレーム）１０１１が連続して記録される。一般的には、このビデオサンプル（フレーム）１０１１は、ビデオのひとつのフレームデータ（ピクチャ）に相当する。それぞれのトラックとチャンクは次のように関連付けられている。

例えば動画像のデータの場合、ビデオトラック１００４に含まれる情報は、メディアデータ１００３に含まれるそれぞれのビデオチャンク１００９に関する情報を含んでいる。オフセット１００６は、ビデオチャンク１００９のそれぞれのファイル上の相対位置を示す情報のテーブルから構成されている。そして、テーブルの個々のエントリを参照することにより、どの位置に実際のビデオチャンクが記録されていてもその位置を知ることができるようになっている。サンプルサイズ１００７は、複数のチャンク内に含まれる複数のサンプル、すなわちビデオのフレームのそれぞれのサイズをテーブルとして記載している。より正確には、個々のチャンクの中に含まれるサンプルの数を記載した情報もビデオトラック１００４の中に記載されており、これらの情報から、個々のビデオチャンク１００９の中に含まれるサンプルを正確に取得することが可能となっている。タイムスタンプ１００８は、個々のサンプルのデコード時間をサンプル間の差分としてテーブルに記録するようになっている。このテーブルを参照することにより、それぞれのサンプルの所謂タイムスタンプを積算時間を計算することにより取得することが可能となる。このような、トラックとチャンクの関係は、オーディオトラック１００５とオーディオチャンク１０１０についても同様に成立するよう定義されている。これによって、ＭＰ４ファイルおよびＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔにおいては、メタデータ１００２とメディアデータ１００３により、符号化データを必要な単位で任意の位置からタイムスタンプなどの付加情報を持って取得することが出来るようになっている。なお、説明を簡単にするために、ここには規格化されているすべての記録情報については記載していない。規格化されている定義内容の詳細は、ＩＳＯ／ＩＥＣ １４４９６の該当部分を参照することで知ることができる。

ＭＰ４ファイル形式では、ファイルに記録されるデータは「ＢＯＸ」と呼ばれるデータ構造の内部に記述され、ＢＯＸを単位としてファイルに記録される。ＢＯＸは、次のようなフィールドから構成される。
・Ｓｉｚｅ：ｓｉｚｅフィールド自体を含む、ＢＯＸ全体のサイズ。
・Ｔｙｐｅ：ＢＯＸの種類を表す４バイトのタイプ識別子。通常は４文字の英数字で表される。

その他のフィールドはＢＯＸによってはオプションであるため、ここでは説明を省略する。

ファイル中に記録されるデータは、その種類によって異なるタイプのＢＯＸに保持される。例えば、メディアデータ１００３は符号化データを格納するＭｅｄｉａ Ｄａｔａ ＢＯＸ（ｔｙｐｅフィールドの内容は‘ｍｄａｔ’、以降の説明でＢＯＸのタイプを示す識別子が用いられる場合は、そのタイプで示されるＢＯＸを表現しているものとする）として、メタデータ１００２はコンテンツ全体のメタデータ情報を格納するＭｏｖｉｅ ＢＯＸ（‘ｍｏｏｖ’）として記録される。前述のチャンクおよびサンプルに関する情報についても、同様に固有の識別子をもつＢＯＸとして、ｍｏｏｖの内部にトラック毎に記録される。

また、ＭＰ４ファイル形式では、ｍｏｏｖにすべてのメタデータを記録する形だけではなく、メタデータを時系列順に複数の領域に分割して記録するような形式も許可している。この形式は「フラグメントムービー」（Ｆｒａｇｍｅｎｔｅｄ Ｍｏｖｉｅ）と呼ばれている。

図１３に、フラグメントムービー形式のファイルの構造を示す。フラグメントムービー形式では、コンテンツのメディアデータおよびメタデータは任意の時間単位で分割することができ、分割された「フラグメント」はファイルの先頭から時系列順に記録される。例えば、図１３では、ｍｏｏｖ１１０１は最初のフラグメントのメタデータを示しており、ｍｄａｔ１１０２に含まれるデータに関する情報を保持する。次に出現するｍｏｏｆ１１０３は２番目のフラグメントのメタデータであり、ｍｄａｔ１１０４の情報を保持する、というように以下同様にして記録される。なお、フラグメントムービー形式を取る場合、ｍｏｏｖ１１０１にフラグメントが存在することを示すＭｏｖｉｅ Ｅｘｔｅｎｄｓ Ｂｏｘ（‘ｍｖｅｘ’）１１０４を追加する必要がある。ｍｖｅｘ１１０４に含まれる情報としては、全フラグメントを含むコンテンツ全体のｄｕｒａｔｉｏｎ（時間長）などである。このように、ＭＰ４ファイル形式のファイルでは、メディアデータに関する各種属性をメタデータ領域としてメディアデータと分離して保持することによって、メディアデータが物理的にどのように格納されているかに関わらず、所望のサンプルデータに容易にアクセスすることが可能になる。

以降では、本実施形態における動画像および音声データの記録に用いる動画ファイルフォーマットをＭＰ４形式の図１３に示すようなフラグメントムービー形式とする。そして、動画記録時の、前述のゴミ補正データとビデオサンプル（フレーム）１０１１とを関連付ける方法に関して説明する。

なお、前述の「Ｍｏｔｉｏｎ ＪＰＥＧ ２０００ファイル形式」（ＩＳＯ／ＩＥＣ １５４４４−３）や、「ＡＶＣファイル形式」（ＩＳＯ／ＩＥＣ １４４９６−１５）といった標準規格や、第三世代携帯電話を中心とする無線端末上での利用を前提に制約が課させられた動画ファイル規格である３ＧＰＰファイル形式（Ｔｈｒｉｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）（３ＧＰＰ ＴＳ ２６．２４４ “Ｔｅｃｈｎｉｃａｌ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｇｒｏｕｐ Ｓｅｒｖｉｃｅｓ ａｎｄ Ｓｙｓｔｅｍ Ａｓｐｅｃｔｓ Ｔｒａｎｓｐａｒｅｎｔ ｅｎｄ−ｔｏ−ｅｎｄ ｐａｃｋｅｔ ｓｗｉｔｃｈｅｄ ｓｔｒｅａｍｉｎｇ ｓｅｒｖｉｃｅ （ＰＳＳ）；３ＧＰＰ ｆｉｌｅ ｆｏｒｍａｔ （３ＧＰ）（Ｒｅｌｅａｓｅ ６）” ３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ；２００３−０２−２８を参照）など、ＭＰ４で規定されているものと類似のファイル形式およびアーキテクチャが採用されている規格に対しても、本実施形態の方法を適用することが可能である。

図１４は、ゴミ補正データとフレーム１０１１とを関連付けて、動画像を記録する処理を示すフローチャートである。この処理は、システム制御回路５０が不揮発性メモリ５６に記憶された動画像記録処理プログラムを実行することにより実施される。なお、ゴミ補正データは不揮発性メモリ５６に記録されているものとする。また動画撮影開始時に装着されているレンズのレンズ情報である絞り値（Ｆ値）やレンズの瞳位置は、すでにメモリ３０に記憶されているものとし、動画記録開始時にメモリ５２にコピーする。なお、レンズ情報は、システム制御回路５０がレンズユニット３００と通信することにより取得する。

また、動画撮影をするためには、まずメニューボタン１２４やモードダイヤル６０を用いて、撮影モードを静止画撮影モードから動画撮影モードに変更する必要がある。動画撮影モードに設定されると、システム制御回路５０がミラーアップを行い、撮影光路外にミラー１３０を退避させ、シャッター１２を開放し、撮像素子１４に被写体光を露光させる。露光した画像データは、所定レートでフレームバッファとして作用するメモリ３０に連続的に書き込まれる。ＬＣＤモニタ装置４１７が電子ビューファインダー（ＥＶＦ）として機能し、書き込まれた画像データが逐次表示される。動画撮影モード時に、操作部７０が動画記録開始ボタンがＯＮされた（例えば、ＳＥＴボタン１１７が動画撮影モード時に押された）のを検知することで、動画撮影を開始し、画像データを順次ＭＰ４形式のファイルフォーマットで記録媒体２００へ記録する。

図１４に戻って、動画撮影モード時に動画記録ボタンがＯＮされたことで動画撮影が開始されると、まず新規ファイルを生成する。そして、最初のフラグメントのメタデータのＢＯＸであるｍｏｏｖおよびメディアデータのＢＯＸであるｍｄａｔを作成する（ステップＳ１２０1）。次に、ゴミ位置補正データを作成する（ステップＳ１２０２）。作成したゴミ位置補正データのデータ形式例を図１５に示す。

図１５に示した通り、ゴミ位置補正データには、動画像撮影に使われるレンズのレンズ情報である絞り値、レンズの瞳位置情報、および図５に示したゴミ補正データが格納されている。なお、作成されたゴミ位置補正データは、メモリ５２に格納される。

ステップＳ１２０３で、メモリ５２に格納されたゴミ位置補正データを読み込み、図１７の１５０２のように現在のフラグメントのメタデータｍｏｏｖ内に書きこむ。この場合、システム制御回路５０が情報記録手段、およびフラグメント情報記憶手段として作用する。なお、図１７の説明は後述する。

次に、動画像撮影、画像処理および圧縮処理（ステップＳ１２０４）の後、動画像データを現在のフラグメントのｍｄａｔに書きこむ（ステップＳ１２０５）。この場合、システム制御回路５０がフラグメント記録手段として作用する。

次に、動画像記録の終了要求があるかどうか、つまり動画記録停止ボタンがＯＮされた（例えば、動画記録中にＳＥＴボタン１１７が押された）かどうかを確認する（ステップＳ１２０６）。そして、終了要求がある場合には、終了し（ステップＳ１２１０）、終了要求がなければ、さらにレンズ情報が更新されたかどうかを確認する（ステップＳ１２０７）。レンズ情報の更新とは、ユーザ（撮影者）がレンズを操作してズームイン／ズームアウトを行うことでレンズの瞳位置が変化すること、またはユーザが電子ダイヤル４１１などの操作部材を利用して絞り値を変更したことを指す。瞳位置の変化はズーム制御回路３４４からコネクタ３２２および１２２を介して、システム制御回路５０に通知される。また、絞り値の変化は電子ダイヤル４１１を含む多数のスイッチ類の信号としてシステム制御回路５０に通知される。この場合、ズーム制御回路３４４および操作部７０がレンズ情報更新通知手段として作用する。

システム制御回路５０が通知を受けたことでレンズ情報取得手段として作用し、通知された現在のレンズ情報をメモリ３０に記憶し、さらにメモリ５２に格納されているレンズ情報に上書きする。なお、測光制御部４６が被写体の明るさの急激な変化を検知した場合には、測光制御部４６よりシステム制御回路５０がその通知を受けて、絞り制御部３４０に絞り羽根の駆動制御を行わせ、通知されたレンズ情報を取得する。また、レンズのオートフォーカス（ＡＦ）駆動および、手ぶれを防ぐ防振シフトレンズの駆動などで、レンズの瞳位置が変化する場合には、システム制御回路５０がズーム制御部３４４およびフォーカス制御部３４２より通知を受けて、レンズ情報を取得する。

レンズ情報の更新が検出された場合には、メモリ５２に格納されるレンズ情報を用いて、ゴミ位置補正データ（図１５）の撮影時の絞り値およびレンズ瞳位置の部分に上書きする（ステップＳ１２０８）。そして、現在書き込み中のフラグメントの後ろに新規のフラグメントのメタデータのＢＯＸであるｍｏｏｆおよびメディアデータのＢＯＸであるｍｄａｔを追加し、書き込み位置を作成したフラグメントに更新する（ステップＳ１２０９）。この場合、システム制御回路５０が、フラグメント作成手段およびフラグメント変更制御手段として作用する。そして、ステップＳ１２０３に戻って、追加されたフラグメントのメタデータｍｏｏｆに図１７の１５０３のように、ステップＳ１２０８で更新したゴミ位置補正データを書き込む。

ステップＳ１２０７でレンズ情報の更新が検出されなかった場合には、フラグメントは更新せず、動画撮影、画像処理及び圧縮処理（ステップＳ１２０４）を行い、動画像データを現在のフラグメントのｍｄａｔに書き込む（ステップＳ１２０５）。

終了要求があるまで、以上の一連の処理（ステップＳ１２０３、Ｓ１２０４、Ｓ１２０５、Ｓ１２０６、Ｓ１２０７、Ｓ１２０８、Ｓ１２０９）を繰返す。

なお、詳細は記載しないが、終了要求後（ステップＳ１２１０）に作成される動画像ファイルは、各フラグメントのｍｏｏｖおよびｍｏｏｆ内の様々なメタデータ情報、特にフラグメント形式であるために必要なｍｖｅｘ、およびｍｄａｔ内のメディアデータなどが規格に矛盾なく記録されるものとする。

また、上記の例では、ゴミ位置補正データを各フラグメント毎に記録していたが、ゴミ補正データは動画撮影中に変化することはない。そのため、最初のメタデータｍｏｏｖにのみ図１５の形式で記録し、フラグメント分割後のメタデータｍｏｏｆでは動画撮影中に変化する、撮影中の絞り値およびレンズ瞳位置のみを記録するというようにしてもよい。

図１６は、生成される動画ファイルのフラグメント分割の例を示す図である。時刻１３０１で録画が開始され、時刻１３０４で録画が停止される。ズームイン・ズームアウトや絞り値の変更など、レンズ情報の変化が検知されたことによる分割イベントが時刻１３０２、１３０３に発生している。第１のフラグメント１３０５には、録画開始時刻１３０１から第１の分割イベントが発生する時刻１３０２までの、レンズ情報を含むゴミ位置補正データおよび動画像データが記憶される。

第１の分割イベントが発生すると（時刻１３０２）、新規フラグメントとして第２のフラグメント１３０６が生成される。第２のフラグメント１３０６には、第１の分割イベントの発生時刻１３０２から第２の分割イベントの発生時刻１３０３までの、レンズ情報を含むゴミ位置補正データおよび動画像データが記憶される。

第２の分割イベントが発生すると（時刻１３０３）、新規フラグメントとして第３のフラグメント１３０７が生成される。第３のフラグメント１３０７には、第２の分割イベントの発生時刻１３０３から録画停止が要求される時刻１３０４までの、レンズ情報を含むゴミ位置補正データおよび動画像データが記憶される。

このように、レンズ情報の変化が検知されることにより、第１のフラグメント１３０５、第２のフラグメント１３０６、および第３のフラグメント１３０７というように分割された複数のフラグメントを持つ１つの動画像ファイルが生成される。

なお、１つの動画像ファイルではなく、分割イベント（時刻１３０２、１３０３）のタイミングで新規フラグメントではない新規動画像ファイルを作成しても良い。新規動画ファイルの場合、ステップＳ１２０９において新規ファイルを作成し、ステップＳ１２０３では常にメタデータｍｏｏｖに対してゴミ位置補正データを追加し、ステップＳ１２１０では複数の動画像ファイルが生成されることになる。

図１７は、本実施形態におけるＭＰ４ファイル形式のデータ構造を説明するための概略図である。なお、図１７は、図１６で示したレンズ情報が変化する分割イベントが２つ（時刻１３０２、１３０３）発生し、動画像ファイル内に３つのフラグメントが生成される場合の概略図である。

図１７において、ゴミ補正データと動画像の各フレームを関連付けるために、ビデオトラック１００４内にゴミ位置補正データを１５０２のように追加している。ＭＰ４ファイル形式では、‘ｕｕｉｄ’をｔｙｐｅに用いる形の拡張Ｂｏｘを利用することや、あるいはＵｓｅｒ Ｄａｔａ Ｂｏｘ（‘ｕｄｔａ’）を利用することで、システムに固有の独自データを記録することが認められている。

この仕組みを用いて、独自データであるゴミ位置補正データを、図１７のように各フラグメントのｍｏｏｖもしくはｍｏｏｆのビデオトラック内にｕｕｉｄ１５０１を設けて追記し、レンズ情報が更新されるまでの各フレームに対して関連付けて記憶する。

また、‘ｕｕｉｄ’はｍｏｏｖおよびｍｏｏｆのメディアデータ内だけでなく、図１８の２００１のようにメディアデータおよびメタデータと同列に記録することも認められているので、図１８のようにゴミ位置補正データを記録しても良い。

また、図１９のように、動画像ファイルの最後にｕｕｉｄを設けて（２１０１）、第１〜第３のフラグメントに対応するゴミ位置補正データ（２１０２、２１０３、２１０４）を時系列順に記載しても良い。

また、図２０の２２０１のように、ゴミ位置補正データを別ファイルとして記憶しても良い。この場合、ＭＰ４ファイル１００１とゴミ位置補正データファイル２２０１とを関連付けるために、図２０のように拡張子の異なる同一ファイル名にする、もしくはＭＰ４ファイル１００１に独自データｕｄｔａとしてゴミ位置補正データファイルの名前を記載するなどが必要となる。もちろん、ｕｄｔａにゴミ位置補正データが記録されても問題ないことは言うまでもない。

次に、ゴミ位置補正データが付加された動画像ファイルに対するゴミ除去処理の流れについて説明する。以下では、図１０のゴミ除去処理を、別途用意した画像処理装置上で動画像に適用して行う場合について説明する。また、図１０のゴミ除去処理のうち、図１７のファイルフォーマットで構成された動画像ファイルに対して行う場合の相違点のみ説明する。

まず、図２１は、画像処理装置のシステム構成の概略を示した図である。ＣＰＵ１６０１は、システム全体の動作をコントロールし、一次記憶部１６０２に格納されたプログラムの実行などを行う。一次記憶部１６０２は、主にメモリであり、二次記憶部１６０３に記憶されたプログラムなどを読み込んで格納する。二次記憶部１６０３は、例えばハードディスクなどがこれに該当する。一般に一次記憶部の容量は二次記憶部の容量より小さく、一次記憶部に格納しきれないプログラムやデータなどは二次記憶部に格納される。また、長時間記憶しなくてはならないデータなども二次記憶部に格納される。本実施形態では、プログラムを二次記憶部１６０３に格納し、プログラム実行時に一次記憶部１６０２に読み込んでＣＰＵ１６０１が実行処理を行う。

入力デバイス１６０４とは、例えば、システムのコントロールに用いるマウスやキーボードの他、画像データの入力に必要なカードリーダー、スキャナ、フィルムスキャナなどがこれに該当する。出力デバイス１６０５とは、例えば、モニタやプリンタなどが考えられる。この装置の構成方法は他にも様々な形態が考えられるが、本発明の主眼ではないので説明を省略する。

画像処理装置には、複数のプログラムを並列実行可能なオペレーティングシステムが搭載され、操作者はＧＵＩを使ってこの装置上で動作するプログラムの操作が可能である。

図２２は、画像処理装置における画像編集プログラムのＧＵＩ（Ｇｒａｐｈｉｃａｌ ＵｓｅｒＩｎｔｅｒｆａｃｅ）を示す図である。ウィンドウにはクローズボタン１７００とタイトルバー１７０１が備えられ、クローズボタンを押すことでプログラムを終了する。動画像ファイルを画像表示領域１７０２にドラッグアンドドロップすることで補正対象動画像ファイルを指定し、補正対象画像が決定された場合、タイトルバー１７０１にファイル名を表示する。補正対象動画像ファイルが指定されると、画像表示領域１７０２には、フラグメント単位で、各フラグメントの先頭のフレームを２３０１のようにサムネイル形式で並べて表示する。さらに、表示されたフラグメントの先頭フレームをクリックして選択することで、その先頭フレームを含むフラグメント内の全フレームが、画像表示領域１７０２にサムネイル形式で並べて表示される。そして、全フレームがサムネイル形式で表示された中から、ゴミ除去処理を行うフレームをクリックすることで、補正対象フレームを指定し、補正対象フレームを画像表示領域１７０２にＦiｔ表示する。実行ボタン１７０３を押すと、後述するゴミ除去処理を実行し、処理後の画像を画像表示領域１７０２に表示する。ステップ実行ボタン１７０４を押すと後述するゴミ除去処理のステップ実行を行い、全てのゴミ領域に対して処理が終了した時点で処理後の画像を画像表示領域１７０２に表示する。保存ボタン１７０５を押すと、処理後のフレームに差し替えて、動画像ファイルを保存する。

なお、ゴミ除去処理を行う対象となる補正対象フレームを指定する方法は、これに限らず補正対象動画ファイルが指定された際に、最初に全フレームを２３０１のようにサムネイル形式にして補正対象フレームを選択させても良い。また、フラグメント単位でサムネイル表示中に、フラグメントを指定することで、指定されたフラグメント内の全フレームから自動的に１フレームづつ抽出し、抽出したフレームを補正対象フレームとして順番にゴミ除去処理を行っても良い。また、動画像ファイルを指定することで全フレームから自動的に１フレームづつ抽出し、抽出したフレームを補正対象フレームとして順番にゴミ除去処理を行うといった方法でも良い。

上記のように、ゴミ除去処理を行う対象となる補正対象フレームを指定する。これが、図１０のステップＳ１８０１に相当する。次に、指定した補正対象フレームを含むフラグメントに付与されたゴミ位置補正データ１５０２を取得する。これが、ステップＳ１８０２に相当する。取得したゴミ位置補正データ１５０２からゴミ補正データを抽出し、ステップＳ１８０３の処理を行う。次に、ステップＳ１８０４で、ゴミ位置補正データから撮影時の絞り値およびレンズの瞳位置を取得し、以上の情報をもとにステップＳ１８０５を行い、ゴミ除去が完了する（ステップＳ１８０７）までステップＳ１８０６で補正処理を繰り返し行う。

なお、前述の説明では別途用意された画像処理装置を用いたゴミ除去処理の説明をしたが、もちろんデジタルカメラ本体内で行っても良い。デジタルカメラ本体内で行う場合、図１０のフローチャートで示した処理と同様の処理を、システム制御回路５０が不揮発性メモリ５６に記憶されたゴミ除去処理プログラムを実行することにより実施される。例えば、十字配置スイッチ１１６からゴミ除去処理の開始が指示されると、システム制御回路５０は、画像処理回路２０にメモリ３０に記憶されている静止画像データを呼び出す。画像処理回路２０は、図１０に示す処理を行い、ゴミ画素の補間処理を実行する。最後に、補間処理結果を新たな動画ファイルとして記録媒体２００に記録する。

以上説明したように、動画像ファイルを、絞り値やレンズ瞳位置などのレンズ情報が変わるタイミングでフラグメント分割し、各フラグメント毎に撮影中のレンズ情報やゴミの位置情報を含むゴミ位置補正データを添付する。これにより、ゴミ位置補正データと動画像ファイル中の各フレームとの対応を意識する必要が無くなるという利点がある。また、ゴミ位置補正データがゴミの位置、大きさ、変換用データ（絞り値、レンズの瞳位置情報）で構成されるコンパクトなデータであるので、ｍｏｏｖおよびｍｏｏｆといったメディアデータのサイズが極端に大きくなることもない。また、ゴミ位置補正データで指定された画素を含む領域だけを補間処理することにより、誤検出の確率を大幅に低減することが可能になる。

（第２の実施形態）
第１の実施形態では、動画撮影中にレンズ操作などによりレンズ情報が更新されるたびに、フラグメントを分割していた。本実施形態では、レンズ情報の変化量によってフラグメントを分割する手法について説明する。

図２３は、レンズ情報の変化量に応じてフラグメントを分割する制御を示すフローチャートである。なお、ここでは図１４と同じ動作をする部分については図１４と同じステップ番号を付し、図１４と異なる部分を中心に説明する。

まず、動画撮影が開始されると、新規ファイルを生成し（ステップＳ１２０１）、ゴミ位置補正データを作成する（ステップＳ２３０１）。その際、現状のレンズ情報の中からレンズ瞳位置をＰとしてメモリ５２に記憶する。

次に、作成したゴミ位置補正データをファイルに記憶し（ステップＳ１２０３）、ステップＳ１２０４で動画像撮影、画像処理および圧縮処理を行い、ファイルに記憶する（ステップＳ１２０５）。

ステップＳ１２０６で動画像記録の終了要求があるかどうかを確認し、なければレンズ情報が更新されたかどうかを確認する（ステップＳ１２０７）。

レンズ情報が更新された場合は、ステップＳ２３０１で記憶したＰと更新されたレンズ情報のレンズ瞳位置を比較し、レンズ瞳位置の変化量が一定値Ｐ０以上かどうか、つまり変化量≧Ｐ０かを確認する（ステップＳ２３０２）。Ｐ０とは、任意の値、もしくは図１０のステップＳ１８０４において式（１）を用いてゴミの中心座標を算出する際に、瞳位置がＰの時と更新時とで中心座標Ｄｉ’に大きな差がでない範囲とする。変化量がＰ０以上である場合は、ステップＳ１８０４でＰを用いて計算を行うと中心座標Ｄｉ’が大きくずれてしまうため、ゴミ領域判定（図１１のステップＳ１９０１）ですべての条件を満たさず、ゴミがあるにもかかわらずゴミがないと判定されてしまう。そのため、ゴミ位置補正データのレンズ情報部分を上書きし、現在のレンズ瞳位置をＰとする（ステップＳ２３０３）。

そして、ステップＳ１２０９でフラグメントの位置を更新し、ステップＳ１２０３に戻る。変化量がＰ０より小さい場合は、フラグメントは更新せず、ステップＳ１２０４に戻り、動画像撮影、画像処理および圧縮処理を行う。

なお、上記の説明ではレンズの瞳位置の変化量を求めたが、もちろんレンズ絞り値の変化量でもよいし、二つの値を組み合わせてもよい。

以上説明したように、レンズ情報の変化量に応じてフグメントを分割することにより、不要なファイル分割による、動画像ファイルの肥大化、および再生時のファイルアクセスの性能低下を防ぐことができる。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

レンズ交換式一眼レフデジタルカメラの外観斜視図である。 レンズ交換式一眼レフデジタルカメラの内部構造を示す垂直断面図である。 レンズ交換式一眼レフデジタルカメラの回路構成を示すブロック図である。 ゴミ検出処理を説明するフローチャートである。 ゴミ補正データのデータ形式例を示す図である。 図４のステップＳ２７で行われるゴミ領域取得ルーチンの詳細を説明するフローチャートである。 図６のステップＳ６２で行われるゴミ領域判定処理の処理単位を示す図である。 図６のステップＳ６３で行われるゴミ領域サイズ算出の概要を示す図である。 図４のステップＳ２４で行われる撮像処理ルーチンの詳細を説明するフローチャートである。 ゴミ除去処理の詳細を説明するフローチャートである。 補間ルーチンの詳細を説明するフローチャートである。 ＭＰ４或いは類似のファイル形式におけるメタデータ、メディアデータの概念を説明する図である。 フラグメントムービーの概念を説明する図である。 第１の実施形態における基本処理のフローチャートである。 ゴミ位置補正データのデータ形式例を示す図である。 第１の実施形態における動画像ファイルの分割生成処理を示す図である。 第１の実施形態における基本のファイル構成の概略図である。 第１の実施形態におけるファイル構成の第２の例を示す概略図である。 第１の実施形態におけるファイル構成の第３の例を示す概略図である。 第１の実施形態におけるファイル構成の第４の例を示す概略図である。 画像処理装置のシステム構成の概略を示した図である。 画像処理装置におけるＧＵＩの例を示す図である。 第２の実施形態における基本処理のフローチャートである。

Claims (5)

1. 撮影レンズにより結像された被写体像を光電変換する撮像素子を有する撮像手段と、
   前記撮像素子の前方に配置された光学部材と、
   前記撮像手段から出力された動画像ファイルを記録する記録手段と、
   前記光学部材の表面に付着した異物の像を含む異物検出用画像から、少なくとも前記異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出手段と、
   撮影者の前記撮影レンズに対する操作により、前記撮影レンズの絞り値の情報と瞳位置の情報とを含むレンズ情報が更新された場合に、該更新されたレンズ情報を取得するレンズ情報取得手段と、
   前記レンズ情報が更新された場合に、前記異物検出手段により検出された異物情報と共に、前記レンズ情報取得手段により取得された前記更新されたレンズ情報を前記動画像ファイルに記録するように前記記録手段を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記記録手段は、少なくとも１つの前記異物情報を前記動画像ファイルに記録することを特徴とする請求項１に記載の撮像装置。
3. 前記記録手段は、前記動画像ファイルをフラグメント単位で記録し、前記制御手段は、前記レンズ情報が更新された場合に、新規のフラグメントを作成し、前記更新されたレンズ情報を、前記新規のフラグメントに関連付けて記録することを特徴とする請求項１に記載の撮像装置。
4. 撮影レンズにより結像された被写体像を光電変換する撮像素子を有する撮像手段と、前記撮像素子の前方に配置された光学部材と、前記撮像手段から出力された動画像ファイルを記録する記録手段とを備える撮像装置を制御する方法であって、
   前記光学部材の表面に付着した異物の像を含む異物検出用画像から、少なくとも前記異物の位置及び大きさの情報を含む情報である異物情報を検出する異物検出工程と、
   撮影者の前記撮影レンズに対する操作により、前記撮影レンズの絞り値の情報と瞳位置の情報とを含むレンズ情報が更新された場合に、該更新されたレンズ情報を取得するレンズ情報取得工程と、
   前記レンズ情報が更新された場合に、前記異物検出工程において検出された異物情報と共に、前記レンズ情報取得工程において取得された前記更新されたレンズ情報を前記動画像ファイルに記録するように前記記録手段を制御する制御工程と、
   を備えることを特徴とする撮像装置の制御方法。
5. 請求項４に記載の制御方法をコンピュータに実行させるためのプログラム。

Images