JP2009296361A - 画像処理装置及びその制御方法及びプログラム - Google Patents
画像処理装置及びその制御方法及びプログラム Download PDFInfo
- Publication number
- JP2009296361A JP2009296361A JP2008148320A JP2008148320A JP2009296361A JP 2009296361 A JP2009296361 A JP 2009296361A JP 2008148320 A JP2008148320 A JP 2008148320A JP 2008148320 A JP2008148320 A JP 2008148320A JP 2009296361 A JP2009296361 A JP 2009296361A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- moving image
- foreign matter
- shadow
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims description 109
- 238000003384 imaging method Methods 0.000 claims abstract description 78
- 238000012937 correction Methods 0.000 claims abstract description 56
- 230000003287 optical effect Effects 0.000 claims abstract description 43
- 239000000126 substance Substances 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 71
- 239000000428 dust Substances 0.000 abstract description 162
- 230000006870 function Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 16
- 238000007906 compression Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 13
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 13
- 238000013139 quantization Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005375 photometry Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 230000011514 reflex Effects 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000008707 rearrangement Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 101000946275 Homo sapiens Protein CLEC16A Proteins 0.000 description 2
- 102100034718 Protein CLEC16A Human genes 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】動画再生表示の遅延やコマ落ちが起こることを防ぎつつ、ゴミなどの写り込みを補正した高品位な動画の再生を可能とする。
【解決手段】撮像素子と、撮像素子の前方に配置された光学部材とを備える撮像装置から出力された動画像データを再生する画像処理装置であって、撮像装置から出力された、光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力部と、撮像装置において動画像データに付加された異物の位置と大きさの情報を含む異物情報を、動画像データから取得する取得部と、入力された動画像データを再生する再生部と、再生部により再生された動画像データを一時記憶する記憶部と、記憶部から出力された動画像データに対して、異物情報を用いて異物の影を補正する処理を行う異物補正部と、記憶部に一時記憶された動画像データのフレームの数に基づいて、動画像データの各フレームに対して異物の影を補正する処理を行うか否かを制御する制御部とを備える。
【選択図】図18
【解決手段】撮像素子と、撮像素子の前方に配置された光学部材とを備える撮像装置から出力された動画像データを再生する画像処理装置であって、撮像装置から出力された、光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力部と、撮像装置において動画像データに付加された異物の位置と大きさの情報を含む異物情報を、動画像データから取得する取得部と、入力された動画像データを再生する再生部と、再生部により再生された動画像データを一時記憶する記憶部と、記憶部から出力された動画像データに対して、異物情報を用いて異物の影を補正する処理を行う異物補正部と、記憶部に一時記憶された動画像データのフレームの数に基づいて、動画像データの各フレームに対して異物の影を補正する処理を行うか否かを制御する制御部とを備える。
【選択図】図18
Description
本発明は、フレーム間符号化を用いたMPEGフォーマットの動画像データを再生する技術に関するものである。
近年、動画像情報をデジタルデータとして取り扱い、蓄積・伝送に用いるために、高圧縮率かつ高画質で符号化する技術が望まれている。画像情報の圧縮には、動画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き予測・動き補償とにより、画像情報を圧縮符号化するMPEGなどの方式が提案され広く普及している。
各メーカーはこれらの符号化方式を利用して画像を記録可能としたデジタルカメラやデジタルビデオカメラといった撮像装置或いはDVDレコーダーなどを開発し、製品化しており、ユーザーはこれらの装置或いはパーソナルコンピュータやDVDプレーヤーなどを用いて簡単に画像を視聴することが可能となっている。
また、近年、更なる高圧縮率、高画質を目指した符号化方式としてH.264(MPEG4−Part10 AVC)がある。このH.264はMPEG2やMPEG4といった従来の符号化方式と比較して、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている(非特許文献1参照)。
図1は、H.264方式で画像データを圧縮する画像処理装置の構成を示す図である。
図1において、入力された画像データは、マクロブロックに分けられ、減算部101に送られる。減算部101は、画像データと予測値との差分を求めて、整数DCT(Discrete Cosine Transform)変換部102に出力する。整数DCT変換部102は、入力されたデータを整数DCT変換して量子化部103に出力する。量子化部103は、入力されたデータを量子化する。量子化されたデータの一方は、差分画像データとしてエントロピー符号化部115に送られる。もう一方は、逆量子化部104で逆量子化された後、逆整数DCT変換部105で逆整数DCT変換される。逆整数DCT変換されたデータは、加算部106で予測値が加えられる。これにより、画像が復元される。
復元された画像の一方は、イントラ(フレーム内)予測のためのフレームメモリ107に送られる。他方は、デブロッキングフィルター109でデブロッキングフィルター処理が行われた後、インター(フレーム間)予測のためのフレームメモリ110に送られる。イントラ予測のためのフレームメモリ107内の画像は、イントラ予測部108でのイントラ予測で使用される。このイントラ予測では、同一ピクチャ内で、既に符号化されたブロックの隣接画素の値を予測値として用いる。
インター予測のためのフレームメモリ110内の画像は、後述するように、複数のピクチャで構成される。これら複数のピクチャは、「list 0」と「list 1」の2つのリストに分けられる。2つのリストに分けられた複数のピクチャは、インター予測部111でのインター予測で使用される。インター予測がなされた後に、メモリーコントローラー113によって、内部の画像が更新される。インター予測部111で行われるインター予測では、フレームの異なる画像データに対して動き検出部112で行われた動き検出の結果に基づく最適な動きベクトルを用いて、予測画像を決定する。
イントラ予測とインター予測の結果、最適な予測が選択部114で選択される。また、動きベクトルは、エントロピー符号化部115に送られ、差分画像データと共に符号化される。こうして出力ビットストリームが形成される。
ここで、H.264方式のインター予測について、図2から図5を用いて詳細に説明する。
H.264方式のインター予測では、複数のピクチャを予測に用いることができる。このため、参照ピクチャを特定するためにリストを2つ(「List 0」及び「List 1」)用意する。各リストには最大5枚の参照ピクチャが割り当てられるようにしている。
Pピクチャでは「List 0」のみを使用して、主に前方向予測を行う。Bピクチャでは「List 0」及び「List 1」を用いて、双方向予測(または前方あるいは後方のみの予測)を行う。すなわち、「List 0」には主に前方向予測のためのピクチャが割り当てられ、「List 1」には主に後方向予測のためのピクチャが収められる。
図2に、符号化の際に使用される参照リストの例を示す。ここでは、Iピクチャ、Pピクチャ及びBピクチャの割合が、標準的な場合を例に挙げて説明する。すなわち、Iピクチャが15フレーム間隔、Pピクチャが3フレーム間隔、その間のBピクチャが2フレームである場合で説明する。図2において、201は、表示順に並べた画像データを示す。画像データ201の四角の中にはピクチャの種類と表示順を示す番号が記入されている。例えば、ピクチャI15は表示順が15番目のIピクチャであり、イントラ予測のみを行う。ピクチャP18は表示順が18番目のPピクチャであり、前方向予測のみを行う。ピクチャB16は表示順が16番目のBピクチャであり、双方向予測を行う。
符号化を行う順序は表示順序と異なり、予測を行う順となる。すなわち、図2では、符号化を行う順序は、「I15、P18、B16、B17、P21、B19、B20、…」となる。
また、図2において、202は、参照リスト(List 0)を示す。この参照リスト(List0)202には、一旦符号化され復号化されたピクチャが収められている。例えば、ピクチャP21(表示順が21番目のPピクチャ)でインター予測を行う場合、参照リスト(List 0)202内の既に符号化が終わって復号化されたピクチャを参照する。図2に示す例では、ピクチャP06、P09、P12、I15、P18が参照リスト202に収められている。
インター予測では、マクロブロック毎に、この参照リスト(List 0)202中の参照ピクチャ内から最適な予測値をもつ動きベクトルを求め、符号化する。参照リスト(List 0)202内のピクチャは、参照ピクチャ番号が順に与えられ、区別される(図示した番号とは別に与えられる)。
ピクチャP21の符号化が終わると、こんどは新たにピクチャP21が復号化され参照リスト(List 0)202に追加される。参照リスト(List 0)202から、最も古い参照ピクチャ(ここではピクチャP06)が除去される。この後符号化は、ピクチャB19、B20と行われ、ピクチャP24へと続く。このときの参照リスト(List 0)202の様子を図3に示す。
図4に、参照リストの変化の様子をピクチャ毎に示す。
図4では、上から順番にピクチャが符号化されるようにしている。また、符号化中のピクチャと、その符号化中のピクチャに対する参照リスト(List 0及びList 1)の内容を示している。図4に示す様に、Pピクチャ(またはIピクチャ)が符号化されると、参照リスト(List 0及びList 1)が更新され、参照リスト(List 0及びList 1)中の最も古いピクチャが除去される。この例では、参照リスト(List 1)は1つのピクチャしか持っていない。これは、後方向予測のために参照するピクチャの数を多くすると、復号までのバッファ量が増えてしまうためである。すなわち、符号化中のピクチャとあまりに離れたところにある後方のピクチャの参照を避けたためである。
ここで挙げた例では、参照に用いるピクチャを、Iピクチャ及びPピクチャとし、Iピクチャ及びPピクチャの全てを参照リスト(List 0及びList 1)に順次加えている。また、後方向予測のために参照リスト(List 1)で使うピクチャはIピクチャだけとした。以上のようにしたのは、通常最もよく用いられるであろうピクチャの構成であるからである。ただし、このような参照リストにおけるピクチャの構成は、最も良く使用されるであろう一例に過ぎず、H.264自体は、参照リストの構成に、より高い自由度を持っている。
例えば、Iピクチャ及びPピクチャの全てを参照リストに加える必要は無く、またBピクチャを参照リストに加えることも可能である。また明示的に指示されるまで参照リストにとどまる長期参照リストも定義されている。図5に、Bピクチャを参照リストに加える場合の参照リストの変化の様子を示す。Bピクチャを参照リストに加える場合、通常、全てのBピクチャを符号化する度に、符号化したピクチャを参照リストに追加することが考えられる。
次に、このように圧縮された動画像データを記録するファイルフォーマットについて説明する。
デジタルビデオカメラ、デジタルスチルカメラ等で撮影されたMPEG(MPEG−2またはMPEG−4フォーマット)の画像データを記録する汎用フォーマットとしてMP4(MPEG−4)ファイルフォーマットが用いられ、MP4ファイルとして記録することで、他のデジタル機器で再生できるなどの互換性が保証される。
MP4ファイルは 基本的には、図6(a)に示すように、符号化されたストリーム画像データが入っているmdatボックスと、ストリーム画像データに関連する情報が入っているmoovボックスとから構成されている。mdatボックスの中はさらに、図6(b)に示すように複数のチャンク(chunk cN)で構成され、各チャンクは図6(d)に示すように複数のサンプル(sample sM)から構成される。各サンプルは例えば図6(e)に示すように、sample s1、sample s2、sample s3、sample s4、…に対してI0、B−2、B−1、P3、…の符号化されたMPEG画像データが対応する。
ここで、I0、I1、I2、…、In はイントラ符号化(フレーム内符号化)された
フレーム画像データであり、B0、B1、B2、…、Bn は双方向から参照して符号化(フレーム間符号化)されるフレーム画像データである。また、P0、P1、P2、…、Pnは一方向(順方向)から参照して符号化(フレーム間符号化)されるフレーム画像データであり、いずれも可変長符号データである。
フレーム画像データであり、B0、B1、B2、…、Bn は双方向から参照して符号化(フレーム間符号化)されるフレーム画像データである。また、P0、P1、P2、…、Pnは一方向(順方向)から参照して符号化(フレーム間符号化)されるフレーム画像データであり、いずれも可変長符号データである。
moovボックスは図6(c)に示すように、作成日時等が記録されるヘッダ情報から成るmvhdボックスとmdatボックスに格納されたストリーム画像データに関する情報を入れるtrak ボックスから成る。trakボックスに格納される情報としては、図6(h)に示すように、mdatボックスの各チャンクへのオフセット値の情報を格納するstcoボックスや、図6(g)に示すように各チャンク内のサンプル数の情報を格納するstscボックス、図6(f)に示すように各サンプルのサイズの情報を格納するstszボックスがある。
従って上記のstcoボックス、stscボックス、stsz ボックスに格納されるデータのデータ量は、記録された画像データの量、すなわち記録時間と伴に増大していく。例えば1秒間30フレームの画像を15フレーム毎に1チャンクに格納するようにしてMP4ファイルとして記録していった場合、2時間で1Mbytesほどのデータとなり、1Mbytesの容量を有するmoovボックスが必要となる。
このMP4ファイルを再生する場合、記録媒体からMP4ファイルのmoovボックスを読み込み、そのmoovボックスから上記のstcoボックス、stscボックス、stszボックスを解析して、mdatボックス内の各チャンクへのアクセスが出来るようになる。
MP4ファイルフォーマットで記録する場合、ストリームデータは時間とともに増大し、そのサイズも非常に大きいため、記録中にもファイルへストリームデータを書き出す必要がある。しかしながら上述の通り、moovボックスも記録時間に応じてサイズが増加するため、記録が終了するまではMP4ヘッダのサイズも不明なため、ストリームデータのファイル中への書き出しオフセット位置を決定することができない。したがって、一般的な動画処理装置での記録では、MP4ファイルフォーマットの柔軟性を利用し、以下のような対応を行う。
(1)mdatボックスをファイル先頭に配置し、記録終了時にmoovボックスをmdatボックスの後ろに配置する(図7(a))。
(2)特許文献1に提案されるように、moovボックスのサイズをあらかじめ決めてしまい、mdatボックスのオフセット位置を決定して、記録を行う(図7(b))。記録時間が短く、ヘッダ領域が余る場合でも、その領域はfreeボックスとして残す。ヘッダサイズを越えて記録する場合には、随時Iピクチャのフレーム番号情報を間引いて記録することで、ヘッダサイズをあらかじめ決定したサイズで維持する。
(3)moovボックスとmdatボックスのペアを、複数に分割して配置する(図7(c)。なお、2つ目以降のヘッダ領域を moof ボックスと呼ぶ。
(1)mdatボックスをファイル先頭に配置し、記録終了時にmoovボックスをmdatボックスの後ろに配置する(図7(a))。
(2)特許文献1に提案されるように、moovボックスのサイズをあらかじめ決めてしまい、mdatボックスのオフセット位置を決定して、記録を行う(図7(b))。記録時間が短く、ヘッダ領域が余る場合でも、その領域はfreeボックスとして残す。ヘッダサイズを越えて記録する場合には、随時Iピクチャのフレーム番号情報を間引いて記録することで、ヘッダサイズをあらかじめ決定したサイズで維持する。
(3)moovボックスとmdatボックスのペアを、複数に分割して配置する(図7(c)。なお、2つ目以降のヘッダ領域を moof ボックスと呼ぶ。
以上が一般的なMP4ファイルの構成である。
MP4ファイルの再生は以下のように行われる。
図8は、H.264の方式により圧縮符号化された動画像を再生する動画再生装置の基本的な構成例を示す図である。
図8において動画再生装置850は、記録媒体801からデータを再生する再生回路802、バッファ回路803、可変長復号化回路804、逆量子化回路805、逆DCT回路806、加算回路807、メモリ808、動き補償回路809、スイッチ回路810、並べ替え回路811、出力端子812、ヘッダ情報解析回路813、再生制御回路815、制御信号の入力端子816を有している。
次に、図8における動画再生装置850の再生処理の流れについて説明する。
再生制御回路815の指示を受け、再生回路802は記録媒体801に記録されたMP4ファイルを再生し、バッファ回路803に供給し始める。それと同時に、再生制御回路815は、ヘッダ情報解析回路でmoovボックスのmdat内の格納状況を示すstcoボックス、stscボックス、stszボックスからオフセットやchunkやsampleの情報を解析するよう制御する。そして、記録媒体801からmdatボックスのストリーム画像データを再生し始めるように再生回路802を制御する。
再生回路802は記録媒体801に記録されたファイルのmdatボックスのストリーム画像データをその先頭アドレスから再生し、バッファ回路803に供給する。バッファ回路803に記憶されたストリーム画像データはバッファ回路803の占有状態等をみて読み出しを始め、可変長復号化回路804にストリーム画像データを供給する。可変長復号化回路804はバッファ回路803から供給される再生されたストリーム画像データを可変長復号し、逆量子化回路805に供給する。
逆量子化回路805は可変長復号化回路804から供給される可変長復号されたストリーム画像データを逆量子化し、逆DCT回路806に供給する。逆DCT回路806は逆量子化回路805から供給される逆量子化されたデータに逆DCTを施し、加算回路807に供給する。加算回路807は逆DCT回路806から供給される逆DCTデータとスイッチ回路810から供給されるデータを加算する。
ここで記録媒体801から再生されるストリーム画像データは、図9に示すようにまずGOP0(Group of Picture)のフレーム内符号化されたI0が再生される。そのため、再生制御回路815はスイッチ回路810の端子aを選択するよう制御し、スイッチ回路810は加算回路807にデータ”0”を供給する。加算回路807はスイッチ回路810から供給される”0”データと逆DCT回路806から供給される逆DCTデータとを加算して、再生されたフレームF0としてメモリ808と並べ替え回路811に供給する。メモリ808は加算回路807から供給される加算データを記憶する。
GOP0のフレーム内符号化データI0の次に再生されるのは双方向予測符号化されたピクチャデータB−2、B−1であるが、逆DCT回路806までの再生手続きは上記フレーム内符号化データI0で説明した再生手続きと同様であるので省略する。
逆DCT回路806から逆DCT双方向予測符号化画像データが加算回路807に供給される。再生制御回路815はこの時、スイッチ回路810の可動端子cが固定端子bを選択するようスイッチ回路810を制御し、加算回路807に動き補償回路809からのデータを供給する。
動き補償回路809は再生されてくるストリーム画像データから、符号化時に生成され、ストリーム画像データ内に記録された動きベクトルを検出する。そして、参照ブロックのデータ(この場合は記録開始時であるため、再生されたフレーム内符号化データF0からのデータのみ)をメモリ808から読み出してスイッチ回路810の可動端子cに供給する。
加算回路807は逆DCT回路806から供給される逆DCTされたデータとスイッチ回路810から供給される動き補償されたデータを加算し、再生されたフレームF−2、F−1として並べ替え回路811に供給する。
次に片方向予測符号化されたピクチャデータP3が再生されるが、逆DCT回路806までの再生手続きは上記フレーム内符号化データI0で説明した再生手続きと同様であるので省略する。
逆DCT回路806から逆DCT双方向予測符号化画像データが加算回路807に供給される。再生制御回路815はこの時、スイッチ回路810の可動端子cが固定端子bを選択するようスイッチ回路810を制御し、加算回路807に動き補償回路809からのデータを供給する。
動き補償回路809は再生されてくるストリーム画像データから、符号化時に生成されてストリーム画像データ内に記録された動きベクトルを検出する。そして、参照ブロックのデータ(再生されたフレーム内符号化データF0からのデータ)をメモリ808から読み出してスイッチ回路810の可動端子cに供給する。
加算回路807は逆DCT回路806から供給される逆DCTデータとスイッチ回路810から供給される動き補償されたデータを加算し、再生されたフレームF3としてメモリ808と並べ替え回路811に供給する。メモリ808は加算回路807から供給される加算データを記憶する。
次にピクチャB1、B2が再生されるが、記録開始時のフレームではないため、双方向予測としてフレームF0とF3から再生されるということ以外は上記B−2、B−1で説明したのと同様の手続きをとって再生される。かくして上記で説明したように順次P6、B4、B5、…、と再生されていく。
並べ替え回路1011は順次再生されてくるフレームF0、F−2、F−1、F3、F1、F2、F6、F4、F5、…、をF−2、F−1、F0、F1、F2、F3、F4、F5、F6、…、の順に並べ換えて出力端子812に出力する。
上記ファイル再生開始時にヘッダ情報解析回路813はMP4ファイルのmoovボックスのmdat内の格納状況を示すstcoボックス、stscボックス、stszボックスからオフセットやchunkやsampleの情報を解析している。そのため、再生制御回路815はGOP1まで読み飛ばしてGOP1から次の再生を始めるように働く。
ところで、レンズ交換式のデジタルカメラでは、レンズをカメラ本体から取り外した際にカメラ本体の内部に空気中に浮遊する埃などが侵入する可能性がある。また、カメラ内部には、例えばシャッター機構等の機械的に動作する各種の機構部が配設されており、これらの機構部が動作することにより、カメラ本体内で金属片などのゴミ等が発生する場合もある。
このようなゴミや埃などの異物がデジタルカメラの撮像部を構成する撮像素子の表面に付着すると、その異物は撮影された画像に影となって写り込んでしまい、撮影画像の品位を低下させてしまう。
このような問題点を解決するため、異物の影が写り込んだ部分を周囲の画素の信号などを用いて補正する方法が考えられる。
このように異物の影を補正する方法に応用できる技術として、例えば特許文献1には、撮像素子の画素欠陥を補正するための画像欠陥補正方法が提案されている。
また特許文献2には、画素欠陥の位置情報の設定を簡略化するために、ゴミ取得モードで撮影した画像ファイルの拡張子などを通常画像と異ならせることで、PC側でゴミ情報画像を自動判別し、その情報を用いて補正対象画像を補正する方法が提案されている。
さらに、上記のゴミ情報を撮影した画像ファイルに撮影情報として記録し、後にその情報を用いて補正対象画像の補正を行うような製品もある。
特開2003−289495号公報
特開平6−105241号公報
特開2004−242158号公報
ISO/IEC 14496-10,"Advanced Video Coding"
しかしながら、前述したMP4ファイルのような動画ファイルを、前述のゴミ情報をもとに補正を行いながら再生することは、メモリアクセスを増大させる。そのため、記録媒体へのアクセスや表示装置へ表示するためのデータの変換にかかるメモリアクセスの時間が減り、メモリ上のフレーム画像データ数が不足し、表示遅延や、コマ落ちといった動画再生の品位の低下といった不具合が発生する。
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、動画再生表示の遅延やコマ落ちが起こることを防ぎつつ、ゴミなどの写り込みを補正した高品位な動画の再生を可能とすることである。
上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置であって、前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力手段と、前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得手段と、前記入力手段から入力された動画像データを再生する再生手段と、前記再生手段により再生された前記動画像データを一時記憶する記憶手段と、前記記憶手段から出力された前記動画像データに対して、前記取得手段により取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正手段と、前記記憶手段に一時記憶された前記動画像データのフレームの数に基づいて、前記動画像データの各フレームに対して前記異物補正手段による異物の影を補正する処理を行うか否かを制御する制御手段と、を備えることを特徴とする。
また、本発明に係わる画像処理装置は、被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置であって、前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力手段と、前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得手段と、前記入力手段から入力された動画像データを再生する再生手段と、前記再生手段により再生された前記動画像データを一時記憶する記憶手段と、前記記憶手段から出力された前記動画像データに対して、前記取得手段により取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正手段と、前記入力手段における前記動画像データの読み込みレートに基づいて、前記動画像データの各フレームに対して前記異物補正手段による異物の影を補正する処理を行うか否かを制御する制御手段と、を備えることを特徴とする。
また、本発明に係わる画像処理装置は、被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置であって、前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力手段と、前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得手段と、前記入力手段から入力された動画像データを再生する再生手段と、前記再生手段により再生された前記動画像データを一時記憶する記憶手段と、前記記憶手段から出力された前記動画像データに対して、前記取得手段により取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正手段と、前記画像処理装置内のデータバスのバンド幅に基づいて、前記動画像データの各フレームに対して前記異物補正手段による異物の影を補正する処理を行うか否かを制御する制御手段と、を備えることを特徴とする。
また、本発明に係わる画像処理装置の制御方法は、被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置を制御する方法であって、前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力工程と、前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得工程と、前記入力工程において入力された動画像データを再生する再生工程と、前記再生工程において再生された前記動画像データを記憶手段に一時記憶する記憶工程と、前記記憶手段から出力された前記動画像データに対して、前記取得工程において取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正工程と、前記記憶工程において一時記憶された前記動画像データのフレームの数に基づいて、前記動画像データの各フレームに対して前記異物補正工程による異物の影を補正する処理を行うか否かを制御する制御工程と、を備えることを特徴とする。
また、本発明に係わる画像処理装置の制御方法は、被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置を制御する方法であって、前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力工程と、前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得工程と、前記入力工程において入力された動画像データを再生する再生工程と、前記再生工程において再生された前記動画像データを記憶手段に一時記憶する記憶工程と、前記記憶手段から出力された前記動画像データに対して、前記取得工程において取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正工程と、前記入力工程における前記動画像データの読み込みレートに基づいて、前記動画像データの各フレームに対して前記異物補正工程による異物の影を補正する処理を行うか否かを制御する制御工程と、を備えることを特徴とする。
また、本発明に係わる画像処理装置の制御方法は、被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置を制御する方法であって、前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力工程と、前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得工程と、前記入力工程において入力された動画像データを再生する再生工程と、前記再生工程において再生された前記動画像データを記憶手段に一時記憶する記憶工程と、前記記憶手段から出力された前記動画像データに対して、前記取得工程において取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正工程と、前記画像処理装置内のデータバスのバンド幅に基づいて、前記動画像データの各フレームに対して前記異物補正工程による異物の影を補正する処理を行うか否かを制御する制御工程と、を備えることを特徴とする。
本発明によれば、動画再生表示の遅延やコマ落ちが起こることを防ぎつつ、ゴミなどの写り込みを補正した高品位な動画の再生を提供することが可能となる。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
(第1の実施形態)
図10は、本発明の各実施形態に共通する撮像装置の構成を示すブロック図である。本発明の実施形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルスチルカメラを例にとって説明する。なお、本発明は、他にレンズ交換が可能なデジタルビデオカメラ等にも適用可能である。
図10は、本発明の各実施形態に共通する撮像装置の構成を示すブロック図である。本発明の実施形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルスチルカメラを例にとって説明する。なお、本発明は、他にレンズ交換が可能なデジタルビデオカメラ等にも適用可能である。
図10に示すように、本実施形態の撮像装置は、主にカメラ本体100と、交換レンズタイプのレンズユニット300とから構成されている。
レンズユニット300において、310は複数のレンズからなる撮像レンズ、312は絞り、306はレンズユニット300をカメラ本体100と機械的に結合するレンズマウントである。レンズマウント306内には、レンズユニット300をカメラ本体100と電気的に接続する各種機能が含まれている。320は、レンズマウント306において、レンズユニット300をカメラ本体100と接続するためのインターフェース、322はレンズユニット300をカメラ本体100と電気的に接続するコネクタである。
コネクタ322は、カメラ本体100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ322は電気通信のみならず、光通信、音声通信などを伝達する構成としても良い。
340は測光制御部46からの測光情報に基づいて、後述するカメラ本体100のシッター12を制御するシャッター制御部40と連携しながら、絞り312を制御する絞り制御部である。342は撮像レンズ310のフォーカシングを制御するフォーカス制御部、344は撮像レンズ310のズーミングを制御するズーム制御部である。
350はレンズユニット300全体を制御するレンズシステム制御回路である。レンズシステム制御回路350は、動作用の定数、変数、プログラムなどを記憶するメモリを備えている。更に、レンズユニット300固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。
次に、カメラ本体100の構成について説明する。
106はカメラ本体100とレンズユニット300を機械的に結合するレンズマウント、130、132はミラーで、撮像レンズ310に入射した光線を一眼レフ方式によって光学ファインダー104に導く。なお、ミラー130はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。12はシャッター、14は被写体像を光電変換する撮像素子である。撮像レンズ310に入射した光線は、一眼レフ方式によって光量制限手段である絞り312、レンズマウント306及び106、ミラー130、シャッター12を介して導かれ、光学像として撮像素子14上に結像する。
16は、撮像素子14から出力されるアナログ信号をデジタル信号に変換するA/D変換器である。18は撮像素子14、A/D変換器16、D/A変換器26にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50により制御される。
20は画像処理回路であり、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20は、必要に応じて、A/D変換器16から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路50がシャッター制御部40、焦点調節部42を制御するための、TTL(スルー・ザ・レンズ)方式のオートフォーカス(AF)処理、自動露出(AE)処理、フラッシュプリ発光(EF)処理を行うことができる。さらに、画像処理回路20は、A/D変換器16から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のオートホワイトバランス(AWB)処理も行っている。
なお、本実施形態における図10に示す例では、焦点調節部42及び測光制御部46を専用に備えている。従って、焦点調節部42及び測光制御部46を用いてAF処理、AE処理、EF処理の各処理を行い、画像処理回路20を用いたAF処理、AE処理、EF処理の各処理を行わない構成としても構わない。また、焦点調節部42及び測光制御部46を用いてAF処理、AE処理、EF処理の各処理を行い、さらに、画像処理回路20を用いたAF処理、AE処理、EF処理の各処理を行う構成としてもよい。
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16から出力される画像データは、画像処理回路20、メモリ制御回路22を介して、或いはメモリ制御回路22のみを介して、画像表示メモリ24或いはメモリ30に書き込まれる。
24は画像表示メモリ、26はD/A変換器、28はTFT方式のLCD等から成る画像表示部であり、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28により表示される。画像表示部28を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー(EVF)機能を実現することができる。また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合にはカメラ本体100の電力消費を大幅に低減することができる。
30は撮影した静止画像を格納するためのメモリであり、所定枚数の静止画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
32は適応離散コサイン変換(ADCT)等、公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路32は、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ30に書き込む。
40はシャッター制御部であり、測光制御部46からの測光情報に基づいて絞り312を制御する絞り制御部340と連携しながらシャッター12を制御する。42はAF(オートフォーカス)処理を行うための焦点調節部である。レンズユニット300内の撮像レンズ310に入射した光線を絞り312、レンズマウント306、106、ミラー130及び焦点調節用サブミラー(不図示)を介して一眼レフ方式で入射することにより、光学像として結像された画像の合焦状態を測定する。
46はAE(自動露出)処理を行うための測光制御部である。レンズユニット300内の撮像レンズ310に入射した光線を、絞り312、レンズマウント306、106、ミラー130及び測光用サブミラー(図示せず)を介して一眼レフ方式で入射することにより、光学像として結像された画像の露出状態を測定する。48はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。測光制御部46はフラッシュ48と連携することにより、EF(フラッシュ調光)処理機能も有する。
また、焦点調節部42による測定結果と、A/D変換器16からの画像データを画像処理回路20によって演算した演算結果とを用いて、AF制御を行うようにしてもよい。さらに、測光制御部46による測定結果と、A/D変換器16からの画像データを画像処理回路20によって演算した演算結果とを用いて露出制御を行うようにしてもよい。
50はカメラ本体100全体を制御するシステム制御回路であり、周知のCPUなどを内蔵する。52はシステム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。
54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部54としては、例えばLCDやLEDなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、これらのうち1つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体100の操作部70近辺の、視認しやすい、単数あるいは複数箇所に設置される。また、通知部54は、その一部の機能が光学ファインダー104内に設置されている。
通知部54の表示内容の内、LCDなどの画像表示部28に表示するものとしては以下のものがある。まず、単写/連写撮影表示、セルフタイマ表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及びPC210の着脱状態表示がある。更に、レンズユニット300の着脱状態表示、通信I/F動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等も行われる。
また、通知部54の表示内容のうち、光学ファインダー104内に表示するものとしては、例えば、以下のものがある。合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。
56は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。
60、62、64、66、68及び70は、システム制御回路50の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
ここで、これらの操作手段の具体的な説明を行う。
60はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先(デプス)撮影モード等の各機能撮影モードを切り替え設定することができる。他に、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モードなどの各機能撮影モードを切り替え設定することもできる。
62はシャッタースイッチSW1で、不図示のシャッターボタンの操作途中(例えば半押し)でONとなり、AF処理、AE処理、AWB処理、EF処理等の動作開始を指示する。
64はシャッタースイッチSW2で、不図示のシャッターボタンの操作完了(例えば全押し)でONとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に書き込み、更に、画像処理回路20やメモリ制御回路22での演算を用いた現像処理が行われる。更に、記録処理では、メモリ30から画像データを読み出し、圧縮・伸張回路32で圧縮を行い、記録媒体200あるいはPC210に書き込む、または送信する。
66は再生スイッチであり、撮影モード状態で撮影した画像をメモリ30あるいは記録媒体200、PC210から読み出して画像表示部28に表示する再生動作の開始を指示する。他に、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定することができる。
68は単写/連写スイッチで、シャッタースイッチSW2(64)を押した場合に、1コマの撮影を行って待機状態とする単写モードと、シャッタースイッチSW2(64)を押している間、連続して撮影を行い続ける連写モードとを設定することができる。
70は各種ボタンやタッチパネルなどからなる操作部である。一例として、ライブビュー開始/停止ボタン、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り換えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタンを含む。更に、再生画像移動+(プラス)ボタン、再生画像移動−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付/時間設定ボタンなども含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
また、画像表示部28のON/OFFを設定する画像表示ON/OFFスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチがある。また、JPEG圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するRAWモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットAFモードとサーボAFモードとを設定可能なAFモード設定スイッチなどがある。ワンショットAFモードでは、シャッタースイッチSW1(62)を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボAFモードでは、シャッタースイッチSW1(62)を押している間、連続してオートフォーカス動作を続ける。更に、後述するようにゴミ検出用画像を撮影してゴミ情報を取得する、ゴミ情報取得モードを設定することができる設定スイッチを含む。
72は電源スイッチであり、カメラ本体100の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ本体100に接続されたレンズユニット300、外部フラッシュ112、記録媒体200、PC210等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
80は電源制御部で、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部80は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
82、84はコネクタ、86はアルカリ電池やリチウム電池等の一次電池、NiCd電池やNiMH電池、Li−ion電池、Liポリマー電池等の二次電池、ACアダプター等からなる電源部である。
90及び94はメモリカードやハードディスク等の記録媒体やPCとのインターフェース、92及び96はメモリカードやハードディスク等の記録媒体やPCと接続を行うコネクタである。98はコネクタ92及び/或いは96に記録媒体200或いはPC210が装着されているか否かを検知する記録媒体着脱検知回路である。
なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。
インターフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、PCMCIA(Personal Computer Memory Card International Association)カードやCF(コンパクトフラッシュ(登録商標))カード、SDカード等である。インターフェース90及び94、そしてコネクタ92及び96をPCMCIAカードやCFカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、LANカードやモデムカード、USB(Universal Serial Bus)カード、IEEE(Institute of Electrical and Electronic Engineers)1394カードがある。他にも、P1284カード、SCSI(Small Computer System Interface)カード、PHS等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
104は光学ファインダーであり、撮像レンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306、106、ミラー130、132を介して導き、光学像として結像させて表示することができる。これにより、画像表示部28による電子ファインダー機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー104内には、通知部54の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッター速度、絞り値、露出補正などが表示される。
112は、アクセサリシュー110を介して装着される、外部フラッシュ装置である。
120はレンズマウント106内でカメラ本体100をレンズユニット300と接続するためのインターフェースである。
122はカメラ本体100をレンズユニット300と電気的に接続するコネクタである。また、レンズマウント106及びコネクタ122にレンズユニット300が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ122はカメラ本体100とレンズユニット300との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ122は電気通信だけでなく、光通信、音声通信などを伝達する構成としてもよい。
200はメモリカードやハードディスク等の記録媒体である。この記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、カメラ本体100とのインターフェース204、カメラ本体100と接続を行うコネクタ206を備えている。
記録媒体200としては、PCMCIAカードやコンパクトフラッシュ(登録商標)等のメモリカード、ハードディスク等を用いることができる。また、マイクロDAT、光磁気ディスク、CD−RやCD−RW等の光ディスク、DVD等の相変化型光ディスク等で構成されていても勿論構わない。
210はPCであり、磁気ディスク(HD)等から構成される記録部212、カメラ本体100とのインターフェース214、カメラ本体100と接続を行うコネクタ216を備えている。インターフェース94はUSBやIEEE1394などが挙げられるが、特に限定はない。
次に、上記構成を有する撮像装置おける撮像素子の前方に配置されたローパスフィルタやカバーガラス等の光学部材上のゴミの影響を補正しながら再生する再生処理について説明する。
本実施形態では、まず、ゴミ情報(異物情報)を得るためのゴミ検出用画像(静止画)を撮影し、ゴミデータを抽出し、以降撮影される通常の画像(動画像)に対して、ゴミデータを付加することで、PCなどで後処理工程を行ってゴミ除去を行う方法を示す。ここでゴミ検出用画像は、できるだけ均一な輝度面を撮影した画像が望ましいが、身近な場所で容易に撮影できることが望ましいため、厳密な均一性を要求するものではない。例えば、青空や白い壁面を撮影することを想定している。
図11は、本実施形態におけるゴミ情報を取得する際の撮像装置における処理を示すフローチャートである。
まずステップS1101において、操作部70によりゴミ情報取得モードが選択されたかどうかを判定する。ゴミ情報取得モードが選択されるまでステップS1101の判定を繰り返し、ゴミ情報取得モードが選択されるとステップS1102へ進み、シャッタースイッチSW1(62)がONされたかどうかを判断する。OFFであればステップS1101に戻って上記処理を繰り返す。
一方、ONであれば、ステップS1103において、絞り値、ISO値、シャッタースピード、その他撮影関連のパラメータを設定する。ここで設定されるパラメータを図12に示す。絞りはF22など、絞りを絞り込んだ設定とする。レンズマウント106に接続されるレンズユニット300において設定可能な範囲内で最も絞り込んだ状態で撮影するものとしてもよい。このように絞りを絞るのは、ゴミは通常撮像素子14の表面ではなく、撮像素子14を保護する保護用ガラスや、撮像素子より被写体側に配置される光学フィルター上に付着しているため、レンズユニット300の絞り値によって結像状態が異なるためである。そのため、絞り値が開放値に近いとぼやけてしまい、適切なゴミ検出用の画像が取得できないので、できるだけ絞り込んだ状態で撮影するのが好ましい。
図11のフローチャートの説明に戻ると、この時までに撮影者はできるだけ白い壁などの均一輝度面に撮像装置を向け、シャッタースイッチSW2(64)を操作することとなる。
ステップS1104ではシャッタースイッチSW2(64)がONされたかどうかを判断する。OFFであればステップS1102に戻りシャッタースイッチSW1(62)の判定を行う。ONであればステップS1105へ進む。ステップS1105ではゴミ検出用画像(均一輝度面の撮影)を行って、メモリ30内に画像データを取り込む。次にステップS1106ではメモリ30内に記憶した画像データからゴミ情報を取得する。
ここで、ゴミ情報の取得について説明する。具体的には、撮影したゴミ検出用画像からゴミ領域の位置(座標)と大きさを求めるものである。まず、撮影したゴミ検出用画像の領域を複数のブロックに分割し、ブロック内の最大輝度Lmax、平均輝度Laveを算出し、次式を用いてブロック内のスレッショルド値T1を算出する。
T1=Lave×0.6+Lmax×0.4
次に、スレッショルド値T1を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域di(i=0,1,…,n)とする。
次に、スレッショルド値T1を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域di(i=0,1,…,n)とする。
図13は、ゴミ領域サイズ算出の概要を示す図である。図13に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Xmaxおよび最小値Xmin、垂直方向の座標の最大値Ymaxおよび最小値Yminを求め、ゴミ領域diのサイズを表す半径riを次式によって算出する。
ri=[√{(Xmax−Xmin)2+(Ymax−Ymin)2}]/2
また、このときの中心座標(Xdi,Ydi)は、近似的に
Xdi=(Xmax+Xmin)/2
Ydi=(Ymax+Ymin)/2
で求めるものとする。このように求められた位置(座標)と半径を、ゴミ情報プロファイルとして記録する。
また、このときの中心座標(Xdi,Ydi)は、近似的に
Xdi=(Xmax+Xmin)/2
Ydi=(Ymax+Ymin)/2
で求めるものとする。このように求められた位置(座標)と半径を、ゴミ情報プロファイルとして記録する。
このゴミ情報プロファイルは、図14に示すような構造をとる。図14に示す通り、ゴミ情報プロファイルには、ゴミ検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。更に具体的には、検出用画像撮影時のレンズ情報として、検出用画像撮影時における実際の絞り値(F値)と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数(整数値)を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径(例えば2バイト)、有効画像領域における中心のx座標(例えば2バイト)、おなじく中心のy座標(例えば2バイト)の3つの数値のセットである。
取得したゴミ情報(ゴミ情報プロファイル)はステップS1107で不揮発性メモリ56に記憶され、ゴミ情報取得のための処理を終了する。ここで不揮発性メモリ56にゴミ情報を記憶するのは、ゴミ情報の取得以降、次にゴミ情報を取得するまでに行われる撮影で得られた画像データ(動画像データ)に継続してゴミ情報を付加するためである。そのため、電源オン操作の度に撮影者にゴミ情報の取得を要求するような構成をとる場合は不揮発性メモリでなくとも構わない。
なお、本実施形態の撮像装置で動画を撮影する場合は、前述したMP4ファイルの動画ファイルを用いるため、一旦不揮発性メモリ56に記憶されたゴミ情報プロファイルを動画データのmoovボックス内のヘッダ情報から成るmvhdボックス、もしくはmoofボックス内のmvhdボックスに格納しておく。
次に、本実施形態のゴミ除去処理の流れについて説明する。
以下では、ゴミ除去処理をデジタルカメラ本体内ではなく、別途用意した画像処理装置1500上で行う場合について説明する。
図15は、画像処理装置1500のシステム構成の概略を示した図である。CPU1501は、システム全体の動作をコントロールし、一次記憶部1502に格納されたプログラムの実行などを行う。一次記憶部1502は、主にメモリであり、二次記憶部1503に記憶されたプログラムなどを読み込んで格納する。二次記憶部1503は、例えばハードディスクなどがこれに該当する。一般に一次記憶部の容量は二次記憶部の容量より小さく、一次記憶部に格納しきれないプログラムやデータなどは二次記憶部に格納される。また、長時間記憶しなくてはならないデータなども二次記憶部に格納される。本実施形態では、プログラムを二次記憶部1503に格納し、プログラム実行時に一次記憶部1502に読み込んでCPU1501が実行処理を行う。入力デバイス1504とは、例えば、システムのコントロールに用いるマウスやキーボードの他、画像データの入力に必要なカードリーダー、スキャナ、フィルムスキャナなどがこれに該当する。出力デバイス1505とは、例えば、モニタやプリンタなどが考えられる。
なお、画像処理装置1500には、図8に示した動画像再生装置850が組み込まれている。そして、デジタルカメラ内又はデジタルカメラから取り外された記録媒体200から符号化された動画像データが読み出され、動画像再生装置850で各フレーム毎に復号化され、一次記憶部1502に一時記憶される。
この装置の構成方法は他にも様々な形態が考えられるが、本発明の主眼ではないので説明を省略する。
画像処理装置1500には、複数のプログラムを並列実行可能なオペレーティングシステムが搭載され、操作者はGUIを使ってこの装置上で動作するプログラムの操作が可能である。
図16は、画像処理装置1500における画像編集プログラムのGUI(Graphical User Interface)を示す図である。ウィンドウにはクローズボタン1600とタイトルバー1601が備えられ、クローズボタンを押すことでプログラムを終了する。ファイルを画像表示領域1602にドラッグアンドドロップすることで補正対象画像を指定し、補正対象画像が決定された場合、タイトルバー1601にファイル名を表示した後、画像表示領域1602に対象画像をFit表示する。実行ボタン1603を押すと、後述するゴミ除去処理を実行し、処理後の画像を画像表示領域1602に表示する。ステップ実行ボタン1604を押すと後述するゴミ除去処理のステップ実行を行い、全てのゴミ領域に対して処理が終了した時点で処理後の画像を画像表示領域1602に表示する。
次に、画像処理装置1500におけるゴミ除去処理(異物補正処理)の流れを図17に示す。
まず、デジタルカメラ内又はデジタルカメラから取り外された記録媒体200内の動画像ファイルから読み出され、画像表示領域1602に表示された動画像の各ビデオサンプル(フレーム)からゴミ除去処理を行うフレームを選択する。そして、選択されたフレームが含まれるmoovもしくはmoofから、ゴミ位置補正データを抽出する(ステップS1702)。
次に、抽出したゴミ位置補正データから、まずゴミ補正データ(ゴミ情報プロファイル)を抽出し、座標列Di(i=1,2,…n)、半径列Ri(i=1,2,…,n)、絞り値f1とレンズ瞳位置L1を得る(ステップS1703)。さらに、撮影時の絞り値f2とレンズの瞳位置L2を取得する(ステップS1704)。ここでRiは、座標Diのゴミの大きさである。更にステップS1705でDiを次式で変換する。ここで、dは画像中心から座標Diまでの距離、Hは撮像素子14の表面とゴミとの距離であるとする。変換後の座標Di’と変換後の半径Ri’は例えば次式で定義する。
Di’(x,y)=(L2×(L1−H)×d/((L2−H)×L1))×Di(x,y)
Ri’=(Ri×f1/f2+3) (1)
ここでの単位はピクセルであり、Ri’についての「+3」はマージン量である。
Ri’=(Ri×f1/f2+3) (1)
ここでの単位はピクセルであり、Ri’についての「+3」はマージン量である。
次に、動画再生装置850で可変長復号化、逆量子化、逆DCTを施したフレーム画像データの一次記憶部1502への読み込みと、ゴミ補間手段として作用するCPU1501の一次記憶部1502に蓄えられたフレーム画像データへのアクセスを制御する。メモリアクセス制御の詳細については後述する(ステップS1706)。
ステップS1707では、一次記憶部1502上のフレーム画像データに対してゴミ補正を行なうか否かを判定する。
ステップS1707でゴミ補正すると判定された一次記憶部1502上のフレーム画像データに対しては、ステップS1708以降でゴミ補正(補間処理)を行う。ステップS1707でゴミ補正しないと判定された一次記憶部1502上のフレーム画像データに対しては、ゴミ除去処理を終了し、ステップS1710に移る。
ステップS1708で座標Di’、半径Ri’で示される領域内のゴミを検出し、必要に応じて補間処理を適用する。補間処理の詳細については後述する。全ての座標についてゴミ除去処理を適用したかどうかを判定し、全ての座標について処理が終わっていればゴミ除去処理を終了し、そうでなければステップS1708に戻る(ステップS1709)。
ステップS1710では、全てのフレーム画像データに対し、ゴミ除去処理が終了していなければ、ステップS1701に戻り、それ以外ならば処理を終了する。
(メモリアクセス制御)
次に、図17のステップS1706で行われるメモリアクセス制御の詳細について説明する。図18は、メモリアクセス制御の流れを示すフローチャートである。
次に、図17のステップS1706で行われるメモリアクセス制御の詳細について説明する。図18は、メモリアクセス制御の流れを示すフローチャートである。
まずステップS1801で、CPU1501は、一次記憶部1502からフレーム画像データを読み出し、ゴミ補正処理を行い、ゴミ補正後のフレーム画像データを再び一次記憶部1502に書き戻す処理を行うことが可能か否かを判定する。すなわち、ゴミ補正処理を行った場合、事前に設定されたフレームレートで、一次記憶部1502に逐次書き戻しを行うのに十分なだけの可変長復号化、逆量子化、逆DCT済みのフレーム画像データが、一次記憶部1502に蓄えられているかどうかを判定する(ステップS1801)。
ステップS1801で、一次記憶部1502に十分なフレーム画像データが蓄積されていると判定された場合には、図17のステップS1708以降のゴミ補正処理を行うように設定する(ステップS1802)。一方、それ以外の場合には、ステップS1708以降のゴミ補正処理を行わないように設定して終了する。
ステップS1801における一次記憶部1502(以後、フレームメモリバッファと呼ぶ)の状態を図22に示す。
図22では、上段から、フレームタイミング、入力フレームメモリ、復号処理、入力フレーム単位時間毎の復号時に使用するList0、List1、ゴミ除去処理、フレームメモリバッファの状態、表示可能フレーム数、ゴミ除去可能フレーム数、表示フレームを示している。
尚、参照リストList0には二つのピクチャ、参照リストList1には一つのピクチャを持つこととする。参照リストには、Iピクチャまたは、Pピクチャが登録される。 各処理の処理時間は、次のようになるものとする。復号処理の時間はフレームメモリバッファへ1フレームの画像データを書き込む時間の半分であるものとする。また、ゴミ除去(ゴミ補正)に要する処理時間は、本来ならば、各フレームに対応付けられた光学情報の内容により、各フレーム毎に変化するが、説明を分かりやすくするために、ここでは全てのゴミ除去に要する時間を2フレームまたは1フレーム分とする。
表示可能フレームの数は、フレームメモリバッファ内の復号済みのフレーム画像データの数であり、かつ、表示する順番が成立しているフレーム画像データの数である。すなわち、フレームタイミング2において復号済みフレームであるフレーム画像データI0とB−2がフレームメモリバッファにあるが、フレーム画像データB−1が復号されていないためフレーム画像データI0は表示可能フレームとして数えない。また、ゴミ除去可能フレームの数は、表示するフレームタイミングまでの間にゴミ除去を行えるフレームメモリバッファ内のフレーム画像データの数、つまり、表示までに2フレーム以上余裕のあるフレーム画像データの数を示す。
フレームメモリバッファは9フレーム分確保されていて、入力フレームが順次書き込まれていく。フレームメモリバッファから取り除かれるフレームは、復号が終わっていて、かつ、参照リストList0、List1の両方に登録されていないフレームである。
再生処理が始まると、入力フレーム(Iピクチャ)から順次画像データが入力され、フレームメモリバッファの先頭からフレーム画像データが書き込まれていく。なお、図22において入力フレームメモリでは、Iピクチャ、Pピクチャ、Bピクチャをフレームナンバー(0,1,2,3,…)のそれぞれ頭にI、P、Bを付して表しているが、その他の表記はフレームナンバーのみとしている。
フレームタイミング0において、入力フレームメモリには、フレーム画像データI0が入力される。このとき、フレームメモリバッファ上の再生可能フレームの数は動画の最初に表示すべきフレーム画像データB−2が復号できていないため0であり、次のフレームタイミングでゴミ除去処理のできるフレームの数も0である。
フレームタイミング1において、フレーム画像データI0を復号する。この復号処理は、0.5フレーム期間で終了する。このとき、入力フレームメモリには、並行してフレーム画像データB−2が入力される。そして、復号処理のタイミングに同期してフレーム画像データI0が参照リストへ登録される。本実施形態では、参照リストとフレームメモリバッファとは同じメモリ領域を使用しているが、参照リスト領域として別のメモリ領域を用意してもよい。また、この時点で双方向参照であるBピクチャのフレーム画像データB−1、B−2の後にIピクチャ(フレーム画像データI0)が揃うことになるので(この場合後方参照のみ)、フレーム画像データB−1、B−2の処理が可能となる。このとき、フレームメモリバッファ上の再生可能フレームの数は動画の最初に表示すべきフレーム画像データB−2が復号できていないため0であり、次のフレームタイミングでゴミ除去処理のできるフレームの数も0である。
次に、フレームタイミング2において、フレーム画像データB−2を復号する。このとき、入力フレームメモリには、並行してフレーム画像データB−1が入力される。このとき、フレームメモリバッファ上の再生可能フレームの数は動画の最初に表示すべきフレーム画像データB−2が復号できているので1となり、次のフレームタイミングでゴミ除去処理のできるフレームの数も1である。
フレームタイミング3では、前フレームタイミングでゴミ除去処理のできるフレームの数が1つあったので、ゴミ除去処理可能なフレーム画像データの中で先頭に近いものをゴミ除去処理する。ここでは、フレーム画像データB−2がゴミ除去処理の対象となり、並行してフレーム画像データP3が入力される。この例では、フレーム画像データB−2のゴミ除去処理に2フレームを要した場合を示している。ゴミ除去処理時間は、ゴミの数や大きさにより異なるが、ここでは2フレーム以内でゴミ除去処理が完了するものとして考える。また、ゴミ除去処理は、メモリアクセスが多くなるため、復号処理とは排他制御される。このときのフレームメモリバッファ上の再生可能フレーム数は1のまま、次のフレームタイミングでゴミ除去処理のできるフレーム数は0になる。
フレームタイミング4では、引き続きフレーム画像データB−2のゴミ除去処理を行い、並行してフレーム画像データB1が入力される。このとき、表示可能フレームの数は0、ゴミ除去可能フレームの数も0である。
フレームタイミング5では、前フレームタイミングで、ゴミ除去可能フレームの数が0になったため、フレーム画像データB−1、P3の復号処理を行う。そして復号処理のタイミングに同期してフレーム画像データP3が参照リストへ登録される。この時点で双方向参照であるBピクチャのフレーム画像データB1、B2の前後にIピクチャ(フレーム画像データI0)およびPピクチャ(フレーム画像データP3)が揃うことになるので、フレーム画像データB1、B2の処理が可能となる。このとき、入力フレームメモリには、並行して、フレーム画像データB2が入力される。表示可能フレーム数は、3、ゴミ除去可能フレーム数は0になり、ここで、フレームメモリバッファ内のフレーム画像データB−2を画像表示メモリ24へ転送することにより、画像表示部28にフレーム画像データB−2が表示される。画像表示メモリ24へ転送済みのフレーム画像データはこのときにフレームメモリバッファから削除される。本実施形態では、フレームタイミング5を表示開始のタイミングとしており、このフレームタイミング以降は、表示可能フレーム数が0にならないようにゴミ除去処理をするしないを判定している。
フレームタイミング6では、ここで初めて処理が可能となったフレーム画像データB1、B2に対して復号処理を行う。このとき、入力フレームメモリには、並行してフレーム画像データP6が入力される。ここで、フレーム画像データB1、B2はBピクチャであるので、他のフレームに参照されることは無く、参照リストへは登録されない。表示可能フレーム数は3、ゴミ除去可能フレーム数は0になり、ここで、フレームメモリバッファ内のフレーム画像データB−1を画像表示メモリ24へ転送することにより、画像表示部28にフレーム画像データB−1が表示される。
フレームタイミング7では、フレーム画像データP6を復号する。このとき、入力フレームメモリには、並行してフレーム画像データB4が入力される。フレーム画像データP6はPピクチャであるので、復号処理のタイミングに同期してフレーム画像データP6が参照リストへ登録される。ここで、この時点で、フレーム画像データI0とフレーム画像データP3に挟まれたBピクチャであるフレーム画像データB1、B2の復号処理は完了しているので、フレーム画像データI0が今後参照されることが無くなる。従って、フレーム画像データP6はフレーム画像データI0に代わって参照リストへ登録されることになる。このとき、表示可能フレーム数は4、ゴミ除去可能フレーム数は1になり、ここで、フレームメモリバッファ内のフレーム画像データI0を画像表示メモリ24へ転送することにより、画像表示部28にフレーム画像データI0が表示される。
その後は、同様の処理を繰り返し、ゴミ除去可能フレームの数が1以上であれば可能な限り以降のフレームタイミングでゴミ除去処理を行い、ゴミ除去可能フレームの数が0であれば復号処理を進める。
ここでは、表示開始のフレームタイミングを5からとしているが、フレームメモリバッファに貯められるだけのフレーム画像データを貯めてから表示開始を行うようにすれば、ゴミ除去可能フレームの数が増え、全フレーム画像データに対してゴミ除去処理を行うフレーム画像データの数を増やすことができる。
また、本実施形態での、フレームメモリバッファに格納できる画像の枚数、参照リストに登録できるフレーム数、表示開始のフレームタイミングなどの値は一例であり、画像処理装置の能力や搭載メモリサイズなどにより、任意に設定することが可能である。また、ゴミ除去処理を行うのに必要な時間を2フレーム以内としたがこれに限られない。実際には、処理にかかる時間はゴミの大きさ、個数、濃さなどによっても変化するものであり、フレーム入力のタイミングとは同期しないことが多い。このような場合は、ゴミ除去処理を開始しようとする任意のタイミングにおけるフレームメモリバッファのフレーム数を確認して判定するようにしても良い。
また、本実施形態では、ゴミ除去処理は、メモリアクセスが多くなるため、復号処理とは排他制御されていたが、画像処理装置の能力により、並列処理してもよい。
また、本実施形態では、15フレーム毎の先頭にIピクチャのフレームを、その後3フレーム毎にPピクチャのフレームを配して、その間をBピクチャのフレームで満たす繰り返しで説明を行ったが、これに限られるものではない。例えば、Bピクチャを用いず、IピクチャとPピクチャのみでフレームを構成するようにしても良い。その場合、復号処理の順序を入力されるフレーム順にすることができ、フレームの管理が容易となる。
(補間ルーチン)
次に、ゴミ領域の補間(補正)処理(ゴミ除去処理)の詳細について説明する。補間ルーチンの流れを示すフローチャートを図19に示す。
次に、ゴミ領域の補間(補正)処理(ゴミ除去処理)の詳細について説明する。補間ルーチンの流れを示すフローチャートを図19に示す。
まずステップS1901で、ゴミ領域判定を行う。ゴミ領域とは、次の条件全てを満たす領域とする。
(1)図17のステップS1703で算出した中心座標Di’、半径Ri’(式(1)で求められたDi’,Ri’)に含まれる画素の平均輝度Yaveと最高輝度Ymaxを用いて次式で求められるスレッショルド値T2より暗い領域。
(1)図17のステップS1703で算出した中心座標Di’、半径Ri’(式(1)で求められたDi’,Ri’)に含まれる画素の平均輝度Yaveと最高輝度Ymaxを用いて次式で求められるスレッショルド値T2より暗い領域。
T2=Yave×0.6+Ymax×0.4
(2)上記の中心座標Di’、半径Ri’の円と接しない領域。
(3)(1)で選択された輝度の低い画素によって構成される孤立領域に対し、図11中のステップS1106と同様の方法で算出した半径値がl1画素以上、l2画素未満である領域。
(4)円の中心座標Diを含む領域。
(2)上記の中心座標Di’、半径Ri’の円と接しない領域。
(3)(1)で選択された輝度の低い画素によって構成される孤立領域に対し、図11中のステップS1106と同様の方法で算出した半径値がl1画素以上、l2画素未満である領域。
(4)円の中心座標Diを含む領域。
本実施形態では、l1は3画素、l2は30画素とする。このようにすることで、孤立した小領域だけをゴミ領域として扱うことが可能になる。また、レンズ瞳位置が正確に取得できない場合には、(4)の条件は幅を持たせても良い。例えば、着目領域が座標DiからX方向、Y方向に夫々±3画素の範囲の座標を含めば、ゴミ領域と判定するなどという条件が考えられる。
ステップS1902で、このような領域があればステップS1903へ進みゴミ領域補間を行い、存在しない場合は処理を終了する。ステップS1903で実行するゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開2001−223894号公報に開示されているパターン置換がある。特開2001−223894号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップS1201で検出したゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン補間後の画像データに対し、補間対象画素に最も近い順に正常画素をp個選択し、その平均色を用いて補間する。
尚、ゴミ補正処理されたフレーム画像データは、CPU1501から与えられるフレームレートに合わせて逐次画像表示領域1602に表示されることにより、動画として再生される。
以上説明したように本実施形態によれば、メモリアクセス制御により、ゴミ除去処理を行いながらでも、表示のためのフレーム画像データ数が十分にメモリ上に蓄積された状態を確保でき、動画再生表示の遅延やコマ落ちが起こることを防ぐことができる。また、ゴミなどの写り込みを補正した高品位な動画の再生を提供することができる。
(第2の実施形態)
第1の実施形態の説明では別途用意された画像処理装置を用いたゴミ除去処理について説明したが、ゴミ除去処理はデジタルカメラ本体内で行っても良い。
第1の実施形態の説明では別途用意された画像処理装置を用いたゴミ除去処理について説明したが、ゴミ除去処理はデジタルカメラ本体内で行っても良い。
デジタルカメラ本体内で行う場合、図17のフローチャートで示した処理と同様の処理を、図10におけるシステム制御回路50がメモリ52に記憶されたゴミ除去処理プログラムを実行することにより実施される。例えば、操作部70からゴミ除去処理の開始が指示されると、システム制御回路50は、記録媒体着脱検知回路98により、CFカードやSDメモリカード等の記録媒体200がコネクタ92に装着されていることを検知した場合、又は、デジタルカメラ内部に不揮発性メモリやHDDを備えている場合、再生処理のためにインターフェース90から記録媒体200内の動画像データをメモリ30上に読み出す。メモリ上に読み出された動画像データは、フレーム画像データ毎に圧縮伸長回路32へ送られ、可変長復号化、逆量子化、逆DCTが施され、メモリ30に書き戻される。次にシステム制御回路50は、画像処理回路20にメモリ30に記憶されている撮影動画像の各フレームに対応するデータを呼び出す。画像処理回路20は、図17、図19に示す処理を行い、ゴミ画素の補正処理を実行し、また、メモリ制御回路22が、図18に示すメモリアクセス制御を実行する。
以上、デジタルカメラやデジタルビデオカメラにおいても、第1の実施形態と同様に、説明したメモリアクセス制御により、ゴミ除去処理を行いながらでも、表示のためのフレーム画像データ数が十分にメモリ上に蓄積された状態を確保でき、動画再生表示の遅延やコマ落ちが起こることを防ぐことができる。また、ゴミなどの写り込みを補正した高品位な動画の再生を提供することができる。
(第3の実施形態)
第1の実施形態では、メモリアクセス制御により各フレーム画像データのゴミ除去処理を行うか否かをメモリ上に蓄積されたフレーム画像データの数により決定したが、CFカードやSDメモリカードといった記録媒体の読み出しレートを基準に決定してもよい。
第1の実施形態では、メモリアクセス制御により各フレーム画像データのゴミ除去処理を行うか否かをメモリ上に蓄積されたフレーム画像データの数により決定したが、CFカードやSDメモリカードといった記録媒体の読み出しレートを基準に決定してもよい。
この場合、記録媒体200から動画ファイルを読み出す際に、CPU1501は読み出しレートV(x)を取得するゴミ補正判定情報取得手段として作用する。
図20、図21のフローチャートを用いてその動作を説明する。
図20のステップS2002において、CPU1501は記録媒体200から動画ファイルを読み出す際に、動画ファイルから読み出したデータサイズとかかった時間から読み出しレートを算出し、一次記憶部1502に保存する。動画ファイルの読み込みや、ゴミ補正データの取得、ゴミ補間処理、再生処理については第1の実施形態と同様の処理である。
図21のステップS2101において、ゴミ補正判定情報に何を用いるかを決定する。本実施形態の場合は、「記録媒体200の読み出しレート」であり、ステップS2102において、図20のステップS2002で取得した読み出しレートを一次記憶部1502から呼び出し、予め設定しておいた閾値Vthと比較する。閾値Vthは、ゴミ補正処理で時間がかかっても、一次記憶部1502のフレームメモリバッファのフレーム画像データが再生処理に十分な程度に蓄積される値とする。
ステップS2101で読み出しレートV(x)が閾値Vth以上であれば、ステップS2105において図20のステップS1709以降のゴミ補間処理を行うように設定する。また、それ以外の場合には、ステップS1709以降のゴミ補間処理を行わないように設定して終了する。
以上、記録媒体からの動画像ファイルの読み込みレートを取得することで、読み込みレートの遅いカードを使用した場合でも、ゴミ除去処理を行いながらでも、表示のためのフレーム画像データ数が十分にメモリ上に蓄積された状態を確保でき、動画再生表示の遅延やコマ落ちが起こることを防ぐことができる。また、ゴミなどの写り込みを補正した高品位な動画の再生を提供することができる。
(第4の実施形態)
第1の実施形態では、メモリアクセス制御により各フレーム画像データのゴミ除去処理を行うか否かをメモリ上に蓄積されたフレーム画像データの数により決定したが、画像処理装置内のデータバスのバンド幅を基準に決定してもよい。
第1の実施形態では、メモリアクセス制御により各フレーム画像データのゴミ除去処理を行うか否かをメモリ上に蓄積されたフレーム画像データの数により決定したが、画像処理装置内のデータバスのバンド幅を基準に決定してもよい。
この場合、記録媒体200から動画ファイルを一次記憶部1502へ保存したり、ゴミ補間処理のために一次記憶部1502へのアクセスが発生する際に、CPU1501はバスの占有率W(x)を取得するゴミ補正判定情報取得手段として作用する。
図20、図21のフローチャートを用いてその動作を説明する。
図20のステップS2002において、CPU1501は動画再生装置を構成するデータバスのバス幅を取得し、また、記録媒体200から動画ファイルを一次記憶部1502へ読み出したり、ゴミ補間処理のための一次記憶部1502へのアクセスからデータバスの占有率W(x)を算出し、一次記憶部1502に保存する。動画ファイルの読み込みや、ゴミデータの取得、ゴミ補間処理、再生処理については第1の実施形態と同様の処理である。
図21のステップS2101において、ゴミ補正判定情報に何を用いるかを決定する。本実施形態の場合は、「データバスのバンド幅」であり、ステップS2102において、図20のステップS2002で取得したバスの占有率を一次記憶部1502から呼び出し、予め設定しておいた閾値Wthと比較する。閾値Wthは、ゴミ補正処理でデータバスが占有される時間が発生しても、一次記憶部1502のフレームメモリバッファのフレーム画像データが再生処理に十分な程度に蓄積される値とする。
ステップS2101でバスの占有率W(x)が閾値Wthより小さければ、ステップS2105において図20のステップS1709以降のゴミ補間処理を行うように設定する。また、それ以外の場合には、ステップS1709以降のゴミ補間処理を行わないように設定して終了する。
以上、データバスのバンド幅及び占有率を取得することで、バンド幅の狭いデータバスを用いた場合でも、ゴミ除去処理を行いながらでも、表示のためのフレーム画像データ数が十分にメモリ上に蓄積された状態を確保でき、動画再生表示の遅延やコマ落ちが起こることを防ぐことができる。また、ゴミなどの写り込みを補正した高品位な動画の再生を提供することができる。
(他の実施形態)
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
Claims (7)
- 被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置であって、
前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力手段と、
前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得手段と、
前記入力手段から入力された動画像データを再生する再生手段と、
前記再生手段により再生された前記動画像データを一時記憶する記憶手段と、
前記記憶手段から出力された前記動画像データに対して、前記取得手段により取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正手段と、
前記記憶手段に一時記憶された前記動画像データのフレームの数に基づいて、前記動画像データの各フレームに対して前記異物補正手段による異物の影を補正する処理を行うか否かを制御する制御手段と、
を備えることを特徴とする画像処理装置。 - 被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置であって、
前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力手段と、
前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得手段と、
前記入力手段から入力された動画像データを再生する再生手段と、
前記再生手段により再生された前記動画像データを一時記憶する記憶手段と、
前記記憶手段から出力された前記動画像データに対して、前記取得手段により取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正手段と、
前記入力手段における前記動画像データの読み込みレートに基づいて、前記動画像データの各フレームに対して前記異物補正手段による異物の影を補正する処理を行うか否かを制御する制御手段と、
を備えることを特徴とする画像処理装置。 - 被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置であって、
前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力手段と、
前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得手段と、
前記入力手段から入力された動画像データを再生する再生手段と、
前記再生手段により再生された前記動画像データを一時記憶する記憶手段と、
前記記憶手段から出力された前記動画像データに対して、前記取得手段により取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正手段と、
前記画像処理装置内のデータバスのバンド幅に基づいて、前記動画像データの各フレームに対して前記異物補正手段による異物の影を補正する処理を行うか否かを制御する制御手段と、
を備えることを特徴とする画像処理装置。 - 被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置を制御する方法であって、
前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力工程と、
前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得工程と、
前記入力工程において入力された動画像データを再生する再生工程と、
前記再生工程において再生された前記動画像データを記憶手段に一時記憶する記憶工程と、
前記記憶手段から出力された前記動画像データに対して、前記取得工程において取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正工程と、
前記記憶工程において一時記憶された前記動画像データのフレームの数に基づいて、前記動画像データの各フレームに対して前記異物補正工程による異物の影を補正する処理を行うか否かを制御する制御工程と、
を備えることを特徴とする画像処理装置の制御方法。 - 被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置を制御する方法であって、
前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力工程と、
前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得工程と、
前記入力工程において入力された動画像データを再生する再生工程と、
前記再生工程において再生された前記動画像データを記憶手段に一時記憶する記憶工程と、
前記記憶手段から出力された前記動画像データに対して、前記取得工程において取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正工程と、
前記入力工程における前記動画像データの読み込みレートに基づいて、前記動画像データの各フレームに対して前記異物補正工程による異物の影を補正する処理を行うか否かを制御する制御工程と、
を備えることを特徴とする画像処理装置の制御方法。 - 被写体像を撮像する撮像素子と、該撮像素子の前方に配置された光学部材とを備える撮像手段から出力された動画像データを再生する画像処理装置を制御する方法であって、
前記撮像手段から出力された、前記光学部材の表面に付着した異物の影が写り込んだ動画像データを入力する入力工程と、
前記撮像手段において前記動画像データに付加された前記異物の位置と大きさの情報を含む異物情報を、前記動画像データから取得する取得工程と、
前記入力工程において入力された動画像データを再生する再生工程と、
前記再生工程において再生された前記動画像データを記憶手段に一時記憶する記憶工程と、
前記記憶手段から出力された前記動画像データに対して、前記取得工程において取得された前記異物情報を用いて前記異物の影を補正する処理を行う異物補正工程と、
前記画像処理装置内のデータバスのバンド幅に基づいて、前記動画像データの各フレームに対して前記異物補正工程による異物の影を補正する処理を行うか否かを制御する制御工程と、
を備えることを特徴とする画像処理装置の制御方法。 - 請求項4乃至6のいずれか1項に記載の制御方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148320A JP2009296361A (ja) | 2008-06-05 | 2008-06-05 | 画像処理装置及びその制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148320A JP2009296361A (ja) | 2008-06-05 | 2008-06-05 | 画像処理装置及びその制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009296361A true JP2009296361A (ja) | 2009-12-17 |
Family
ID=41544114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008148320A Withdrawn JP2009296361A (ja) | 2008-06-05 | 2008-06-05 | 画像処理装置及びその制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009296361A (ja) |
-
2008
- 2008-06-05 JP JP2008148320A patent/JP2009296361A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5047080B2 (ja) | 画像処理装置及びその制御方法及びプログラム | |
JP5210091B2 (ja) | 画像処理装置及びその制御方法、撮像装置、プログラム | |
JP5086879B2 (ja) | 画像処理装置及びその制御方法及びプログラム | |
US9565362B2 (en) | Imaging apparatus and method for controlling the same | |
JP5014195B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP5203869B2 (ja) | 画像処理装置及びその制御方法及びプログラム | |
JP5014262B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
CN104717424A (zh) | 图像处理设备、摄像设备及其控制方法 | |
JP5111315B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP4785460B2 (ja) | 撮像装置及び撮像方法 | |
US8237826B2 (en) | Image sensing apparatus, method for controlling the same, and program | |
JP5247346B2 (ja) | 撮像装置及びその制御方法及びプログラム及び画像処理装置及び画像処理方法 | |
JP2009296361A (ja) | 画像処理装置及びその制御方法及びプログラム | |
JP2012156886A (ja) | 撮像装置 | |
JP2015119231A (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP2011181989A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110906 |