JP2005354278A - 撮像手段の撮像した画像の画像データを処理する画像データ処理 - Google Patents

Abstract

【課題】 デジタルスチルカメラ等の撮像機器における画素の欠陥の検出を図る。
【解決手段】 画素の並びに画素ごとの輝度データを対応付け、各画素の輝度データをその上下・左右の画素の輝度データと対比する。この際、ある画素の輝度データを上下・左右の画素の輝度データの平均値と対比し、その偏差に応じて欠陥画素の有無を判定する。そして、欠陥画素と判定した画素については、その周囲の画素（上下・左右の画素）が有する輝度データで補正する。
【選択図】 図５

Description

本発明は、撮像手段の撮像した画像の画像データの入力を受け、その画像データを処理する画像データ処理する技術に関する。

近年では、デジタルスチルカメラ等の普及により、画像をデジタルデータで簡便に入手できる。こうした状況であるため、画像の表示或いはプリント等に際して、コントラストを自動調整する技術が提案されている（例えば、特許文献１）。

また、色の三原色ごとにＣＣＤ（charge coupled device）を備えた撮像装置では、各ＣＣＤの欠陥の有無を検出する技術が提案されている（例えば、特許文献２）。

特開平１０−１９８８０２号公報 特開平５−２６８５３１号公報

近年のデジタルスチルカメラでは、ＣＣＤを画素ごとに用意し、各画素のＣＣＤではフィルタにより、例えば赤・青・緑の３原色フィルタによりそれぞれ一つの色の信号を出力する。これに対し、特許文献２では、三原色ごとに用意された３つのＣＣＤを備え、その３つのＣＣＤのうちのいずれかの欠陥を検出する。しかしながら、画素ごとにＣＣＤを用意したデジタルスチルカメラとの構成の違いから、特許文献２で提案された欠陥検出手法をデジタルスチルカメラ等の画素欠陥にそのまま適用することはできないでいた。

本発明は、上記問題点を解決するためになされ、デジタルスチルカメラ等の撮像機器における画素の欠陥の検出を図ることを目的とする。

かかる課題の少なくとも一部を解決するため、本発明の画像処理装置では、入力部にて画像データを未処理のＲＡＷデータとして入力するに当たり、撮像手段を構成する画素ごとの輝度を表す輝度データを含む画素データの集合として、この画像データを入力する。対応部は、こうして入力を受けた画素データを画素の並びに対応付ける。これにより、輝度データを画素の並びに対応付けて並ばせたデータの並びを取得できる。

この輝度データは判定部にて画素の欠陥有無の判定に用いられ、ある画素の輝度データは、当該画素の周囲の画素の輝度データとの間で比較される。判定部は、この比較結果に応じて前記のある画素の欠陥の有無を判定する。判定部にて欠陥があるとされると、その欠陥画素についての輝度データは、更新部にて欠陥画素の周囲の画素についての輝度データを用いて補正され、この補正後の輝度データは、当該欠陥画素について対応部が対応付けた画像データの輝度データに変えて更新される。これにより、画素の並びに対応付けられた輝度データの並びには、欠陥画素そのものの輝度データは含まれなくなり、周囲の画素の輝度データで補正された輝度データが含まれることになる。この結果、輝度データを含む画像データの集合である画像データから欠陥画素の影響を排除、もしくは低減でき、画像データを用いた種々の処理において好都合となる。

こうした本発明の画像処理装置において、欠陥画素の判定における輝度データの比較に際しては、ある画像についての輝度データをその周囲の画素についての輝度データの平均値データと比較して偏差を求め、その偏差が予め定めた値を上回ると、ある画素を欠陥画素と判定するようにする。その上で、この欠陥画素につては、輝度データを平均値データに置換し、置換後の平均値データを欠陥画素についての輝度データに変えて更新する。こうすれば、欠陥画素の輝度データをその周囲の画素で補正できるので、輝度の違和感が軽減できる。

この場合、撮像手段を構成する画素が画素ごとに有するフィルタの透過率で定まる影響を考慮して輝度データ比較を行うようにすることもできる。こうすれば、次の利点がある。

フィルタは、固有の色を有しており、その色の光を透過させるので、フィルタの色に起因して輝度データに違いをもたらす。よって、こうしたフィルタの影響を考慮することで、フィルタの影響を除外もしくは低減した上で輝度データの比較ができるので、欠陥画素判定がより正確となるばかりか、その補正の信頼性も高まる。

また、上記のようにして検出した欠陥画素の存在位置（欠陥画素位置）を、撮像手段を構成する画素の並びにおいて記憶し、この欠陥画素位置を記憶した後に撮像手段から画像データの入力を受けると、当該欠陥画素位置の欠陥画素についての輝度データ補正と更新とを行うようにすることもできる。

欠陥画素と判定された画素は、撮像手段自体の交換等を行わないと、通常、その欠陥が修復することない。よって、上記のようにすれば、欠陥画素の判定を一度実行することで、或いは定期的に実行することで、その後のデータ入力の都度にはこうした欠陥判定を行うことなく、簡便である。

しかも、こうした欠陥画素についての輝度データ補正・更新を行い、この欠陥画素を含む画素の集合についての画像データを処理する画像の編集生成と、その編集後の編集画像データを出力するようにすることもできる。こうすれば、編集後の画像においても輝度の違和感を軽減できる。

上記した本発明の画像データ処理は、種々の形態で実現することが可能であり、例えば、画像データ処理方法はもとより、画像処理装置や方法の機能をコンピュータに実現させるためのコンピュータプログラム、そのプログラムを記録した記録媒体等の形態で実現することができる。

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．実施例：
Ａ１．画像処理装置の構成：
Ａ２．画像処理：

Ａ．実施例：
Ａ１．画像処理装置の構成：
図１は本発明の実施例としての画像処理システム１００を示す説明図である。図示するように、この画像処理システム１００は、パーソナルコンピュータ３０を主要機器として備え、画像処理の実行をユーザが指示するためのユーザインターフェース４０、画像処理を施した画像を出力するカラープリンタ５０等から構成されている。画像データ入力部２８は、動画像や静止画像などの画像データを供給する画像データベース２０から画像データを入力し、これをパーソナルコンピュータ３０に出力する。パーソナルコンピュータ３０は、入力した画像データを図示しないメモリやハードディスク等のメモリ機器に記憶する。

画像データベース２０は、デジタルビデオカメラ２１，デジタルスチルカメラ２２，ＤＶＤ２３，ハードディスク２４，メモリカード２５などの画像を取り扱う機器を有し、パーソナルコンピュータ３０へ画像データを供給する。なお、ＤＶＤ２３，ハードディスク２４，メモリカード２５は、デジタルスチルカメラ２２等で撮像した画像の未処理のＲＡＷデータとして画像データを記憶しており、この画像データには、画像を構成する画像データの他、その画像データを取得した画素の構成態様、例えば、ｘ列ｙ行といった画素の並びを示すデータが含まれている。この画素並びデータにあっても、パーソナルコンピュータ３０に入力される。

パーソナルコンピュータ３０は、後述する画像編集を、カラープリンタ５０や、ユーザインターフェース４０のディスプレイ４３に出力するよう、構成されている。

パーソナルコンピュータ３０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、画像処理のソフトウェアをインストールするハードディスク等の機器を備え、これらで対応部、判定部、更新部、画像編集処理部、編集出力部を有する画像処理部の各機能を果たす。パーソナルコンピュータ３０は、図示しないＩ／Ｆ回路を介して、画像データ入力部２８やディスプレイ４３およびカラープリンタ５０などの外部機器とデータのやり取りを行う。ハードディスクにインストールされたソフトウェアの画像処理は、画像データ入力部２８で取得した画像における画素の欠陥判定およびその補正と、ユーザの指示に応じた編集画像を生成する処理である。なお、この画像処理の流れについては、後に詳しく説明する。画像データ入力部２８は、パーソナルコンピュータ３０に組み込み構成することもできる。

Ａ２．画像処理：
図２は画像データ入力部２８で取得した画像における画素の欠陥判定およびその補正とユーザの指示に応じた編集画像生成とを実行する画像処理の全体のフローチャートである。

図２に示す画像処理（画像データ処理）は、上述のハード構成を有する画像処理システム１００において、ユーザが何らかの操作、例えば図示しないスイッチやキーボード４１のキー操作により開始される。なお、ディスプレイ４３に画像処理開始のアイコンを表示し、そのアイコンのマウス４２の操作により処理を開始するようにすることもできる。

画像処理が開始すると、パーソナルコンピュータ３０は、例えば画像データベース２０のデジタルスチルカメラ２２やメモリカード２５等から、撮像画像の画像データを画像データ入力部２８を経て取得し、その画像データに基づいて画像をディスプレイ４３上で表示する（ステップＳ２００）。この場合、画像データは、既述したようにＲＡＷデータであり、デジタルスチルカメラ２２が有するＣＣＤカメラを構成する画素ごとの輝度を表す輝度データを含む画素データの集合として、入力される。

なお、画像データ入力が複数の画像について可能で有れば、その画像表示に際しては、例えばディスプレイ４３の右半分の表示領域に、サムネイル状に一覧表示したり、各画像を一枚ずつ順次表示切り替えしてもよい。こうして複数画像を表示する場合は、ユーザが編集を所望する画像をキーボード操作、マウス操作等で選択するので、パーソナルコンピュータ３０は、この画像選択を待機するようにすればよい。そして、ステップＳ２００でのデータ取得の対象となる画像が１枚であれば、ステップＳ２１０ではその元画像を即座にディスプレイ４３に表示すればよく、選択待機は不要である。

また、画像のディスプレイ表示を行わず、画像データのデータ名等の一覧を表示し、この一覧から画像データをユーザが選択するようにすることもできる。

パーソナルコンピュータ３０は、選択された画像を構成する画素（例えば、ドットマトリックス状の画素）の構成を判別する（ステップＳ２１０）。この判別は、画像データ入力部２８に接続されたデジタルスチルカメラ２２の機種名のユーザによる入力、或いは、デジタルスチルカメラ２２からの機種名情報入力、若しくは、メモリカード２５等がその記憶データに含ませて有する画素構成データ（画素の並びデータ）入力によってなされる。このステップＳ２１０により、画素の構成である画素の並びの様子が、例えばｘ列ｙ行ドットマトリクスとして判別される。

パーソナルコンピュータ３０は、判別した画素の並びに対応付けて各画素の輝度データを並べる（ステップＳ２２０）。図３は入力を受けた各画素についての画素データが有する輝度データを画素の並びに対応付ける様子を説明する説明図である。図示するように、それぞれの画素には、所定のフィルタが備え付けられている。本実施例では、４行４列の画素を一単位とし、この単位において、図示するように各画素の赤（Ｒ）・緑（Ｇ）・青（Ｂ）のフィルタ（原色フィルタ）が画素に対応付けて所定の配列仕様で備え付けられている。なお、図示する配列の原色フィルタに限られるものではなく、こうしたフィルタ構成はデジタルスチルカメラ２２の構成等により定まり、図示以外の配列の原色フィルタの他、シアン・マゼンタ・イエロー・グリーンを配列させた補色フィルタであってもよい。

パーソナルコンピュータ３０は、ステップＳ２２０において、図３に示した画素の並び（図３(ａ)）に対応付けて、それぞれの画素についての輝度データを並べる。つまり、Ｒのフィルタを有する画素については、その輝度データＫｒを、Ｇのフィルタを有する画素はその輝度データＫｇを、Ｂのフィルタを有する画素はその輝度データＫｂを、それぞれの画素の並びに対応付けて並べる。これにより、フィルタ配列通りに輝度データＫｒ、Ｋｇ、Ｋｂが並んだ輝度データの並びを得ることができる（図３（ｂ））。

この輝度データＫｒ、Ｋｇ、Ｋｂは、それぞれの画素が有するフィルタを透過して得られたデータであることから、各フィルタの透過率ｒｔ、ｇｔ、ｂｔをそれぞれの輝度データに乗じて、最終的な輝度データＫｒ'、Ｋｇ'、Ｋｂ'の並びとする（図３（ｃ））。

Ｋｒ'＝ｒｔ・Ｋｒ ；
Ｋｇ'＝ｇｔ・Ｋｇ ；
Ｋｂ'＝ｂｔ・Ｋｂ ；

このように得られた輝度データＫｒ'、Ｋｇ'、Ｋｂ'は、画素それぞれが有するフィルタの影響を除外したデータとなる。

こうして輝度データの対応付けを行うと、パーソナルコンピュータ３０は、欠陥画素の判定処理を行う（ステップＳ３００）。この判定処理は、後に詳しく説明するが、図３に示す画素の並びに対応付けた輝度データの並びに基づいて、欠陥画素の判定、並びにその欠陥画素の輝度データ補正を行う処理である。

この欠陥画素判定に続いて、パーソナルコンピュータ３０は、ユーザによる編集内容（レタッチ内容）の特定を待機する（ステップＳ２３０）。例えば、画像の明るさ調整の内容を定めるコントラスト、画像の色調の様子を定める色調補正、画像のシャープさを定めるシャープネス、或いはホワイトバランス等の各編集内容を、ユーザがキーボード４１のキー操作やマウス４２のマウス操作を経て特定するまで待機する。なお、上記したコントラストや色調補正、シャープネス、ホワイトバランスは、パーソナルコンピュータ３０により自動調整を行うよう、その編集内容を特定するようにすることもできる。また、画像の性質、例えば、風景画像・ポートレート画像等に応じて定めたりするといった種々の調整手法を取ることができる。特に、シャープネスは画像印刷の際の出力サイズに応じてその最適値が異なるので、出力サイズに応じて自動調整するようにすることもできる。ポートレート画像では、肌色表現（美肌調）を優先してノイズを除去すると云ったスムージング処理を編集内容とすることもできる。

パーソナルコンピュータ３０は、ユーザからの編集内容の特定を受けた後、その編集処理内容（レタッチ内容）で画像データを編集し、編集画像（レタッチ画像）を生成する（ステップＳ２４０）。こうして生成された編集画像（レタッチ画像）は、その画像データがカラープリンタ５０に出力され（ステップＳ２５０）、カラープリンタ５０は、この画像データに基づいて編集画像を印刷出力する。

この一連の画像処理における欠陥画素判定処理について説明する。図４はこの欠陥画素判定処理の詳細を示すフローチャート、図５は欠陥画素判定の処理の内容を説明する説明図である。なお、説明の便宜上、図５に示すように黒塗りの画素が欠陥画素（輝度データ＝０）のデータとし、その画素位置をｘ３・ｙ３のように特定することとして、以下説明する。

ステップＳ２２０での輝度データの対応付け（図３（ｃ）参照）に続いて、パーソナルコンピュータ３０は、各画素について、その周囲の画素との間で輝度データの対比演算を行う（ステップＳ３１０）。例えば、ｘｍ・ｙｎ（ｍ、ｎは１からの正数）の画素の輝度データＫｄｍｎを、当該画素の左右・上下の四つの画素、即ちｘｍ−１・ｙｎの画素とｘｍ＋１・ｙｎの画素とｘｍ・ｙｎ−１の画素とｘｍ・ｙｎ＋１の画素のそれぞれの輝度データの平均値Ｋｄａｖと対比し、その対比結果Ｋαｍｎを演算する。この対比結果は、下記式に示すように偏差の絶対値である。

Ｋｄａｖ＝｛Ｋｄ（ｍ−１）ｎ＋Ｋｄ（ｍ＋１）ｎ＋Ｋｄｍ（ｎ−１）＋Ｋｄｍ（ｎ＋１）｝／４ ；
Ｋαｍｎ＝｜Ｋｄｍｎ−Ｋｄａｖ｜

例えば、ｘ２・ｙ２の画素であれば、図５（ｂ）では、Ｋｄ２２＝Ｋｇ'であり、その周囲の画素の輝度データの平均値Ｋｄａｖ＝｛Ｋｂ'＋Ｋｂ'＋Ｋｒ'＋Ｋｒ'｝／４と対比される。この対比関係を図５（ｂ）で矢印で示す。ｘ３・ｙ３の欠陥画素も同様にその周囲の画素と、輝度データ対比の演算がなされる。つまり、ステップＳ３１０では、こうした対比結果Ｋαを、それぞれの画素について求める。この場合、ｘ１列目の画素とｙ１行目の画素については、その画素の輝度データと、その周囲の３つの画素の輝度データの平均値と対比演算する。

パーソナルコンピュータ３０は、こうして各画素につて求めた輝度データの対比結果Ｋαを、ステップＳ２２０で行ったように画素の並びに対応付けて並べる（ステップＳ３２０；図５（ｃ））。その後、こうして並べた各画素についての対比結果Ｋαのランク付けを行う（ステップＳ３３０）。これは、欠陥画素に隣接した画素、例えばｘ３・ｙ２の画素の対比には、ｘ３・ｙ３の欠陥画素の輝度データが用いられるので、正常な画素（ｘ３・ｙ２の画素）を欠陥画素と誤って判定してしますようなことを回避するためである。この点については後述する。

このステップＳ３３０のランク付けでは、各画素について求めた対比結果Ｋαの値が、予め定めたα１を下回れば、周囲画素との輝度データの偏差が小さいＫαＯＫとランクする。このように偏差が小さければ、その画素は正常な画素といえる。対比結果Ｋαの値が、α１〜α２の範囲であれば、周囲画素との輝度データの偏差がＫαＯＫの場合より大きいので、対比演算に欠陥画素の輝度データが入り込んでいる可能性がある。つまり、上記したように、ｘ３・ｙ２の画素は、正常画素であるものの、その対比演算にはｘ３・ｙ３の欠陥画素の輝度データが用いられるので、周囲画素との輝度データの偏差がＫαＯＫの場合より大きくなる。よって、対比結果Ｋαの値がα１〜α２の範囲であれば、ＫαＯＫ／ＮＧとランクする。そして、対比結果Ｋαの値がα２以上であれば、周囲画素との輝度データの偏差が大きいＫαＮＧとランクする。

こうしたランク付けは、ステップＳ３２０で対応付けた対比結果Ｋαの並びにおいて図で説明すると、図５（ｃ）に示すように、ＫαＯＫ／ＮＧとされた画素は薄塗り、ＫαＮＧとされた画素は黒塗りで表される。

次に、パーソナルコンピュータ３０は、上記のランク付けの結果に基づいて画素ごとの欠陥判定を行う（ステップＳ３４０）。つまり、ＫαＮＧとランクされた画素は、周囲画素との輝度データの偏差が大きいので、欠陥画素と判定される。この場合、上記したランクを定める定数α２は欠陥画素と判定できる確度が有意に高くなるよう定められており、α１は正常画素と判定できる確度が有意に高くなるよう定められている。

本実施例では、上記した欠陥判定のための閾値α１、α２を定めるに当たり、次のような点を考慮した。

欠陥画素は、ある画素がその周囲の画素と比較して感度ダウンを起こすダーク画素と、ある画素が暗電流を流すブライト画素に分けられる。本実施例では、このダーク画素を、飽和レベルの７０％まで照明された画素がその周囲の画素と比較して５０％以上の感度ダウンを起こす画素とし、ブライト画素を、２５℃で１秒当たりに５０００電子以上の暗電流を流す画素とした。そして、こうした欠陥画素を有意に判定ができるよう、上記のα１、α２を定めた。

欠陥画素判定に続いては、欠陥画素の有無を判別し（ステップＳ３５０）、欠陥画素がなければ先に説明したステップＳ２３０（図２）に移行し、ユーザによる編集内容（レタッチ内容）の特定を待機する（ステップＳ２３０）。よって、欠陥画素が存在しない場合は、画像編集・出力が実行される。

その一方、ステップＳ３５０で欠陥画素が有ると判別した場合は、欠陥画素と判定した画素の周囲の画素についての欠陥判定を行う（ステップＳ３６０）。つまり、欠陥画素の周囲画素は、その対比演算に既述したように欠陥画素のデータが用いられて正常画素でありながら対比結果Ｋαが比較的大きいので、改めて欠陥判定を行う。その一手法としては、ＫαＯＫ／ＮＧとランクされた画素は一律に正常画素であると判定する手法の他、次のような手法を取ることもできる。なお、正常画素と判定した場合は、既述したランクＫαＯＫ／ＮＧはＫαＯＫとされる。

つまり、ＫαＯＫ／ＮＧとランクされた画素については、ステップＳ３４０にて欠陥画素と判定された画素の輝度データを除外して、輝度データの対比演算を再度行う。例えば、図５（ｃ）に示すｘ３・ｙ２の画素であれば、その輝度データＫｄ３２（＝Ｋｂ'）を、その下の欠陥画素を除く三つの画素（ｘ２・ｙ２の画素とｘ４・ｙ２の画素とｘ３・ｙ１の画素）の輝度データの平均値Ｋｄａｖ（＝｛Ｋｄ２２＋Ｋｄ４２＋Ｋｄ３１｝／３）と対比し、その結果に応じて欠陥画素或いは正常画素と判定する。このような再演算による欠陥判定を行えば、判定の確度が高くなり好ましい。

こうした周囲画素の再判定に続いて、パーソナルコンピュータ３０は、欠陥画素が点在するか集合して存在するかを判別する（ステップＳ３７０）。これは、欠陥画素の存在の様子によって後述のデータ補正の手法が相違するからである。図６は欠陥画素が集合して存在した場合を例示する説明図である。

ステップＳ３７０で欠陥画素の点在とした場合は、その点在する欠陥画素の輝度データをその周囲画素の輝度データで補正する（ステップＳ３８０）。図５に示すｘ３・ｙ３の欠陥画素では、この欠陥画素の輝度データＫｄ３３（＝Ｋｇ'）を、その周囲のｘ２・ｙ３の画素、ｘ４・ｙ３の画素、ｘ３・ｙ２の画素、ｘ３・ｙ４の画素の輝度データＫｄ２３（＝Ｋｒ'）、Ｋｄ４３（＝Ｋｒ'）、Ｋｄ３２（＝Ｋｂ'）、Ｋｄ３４（＝Ｋｂ'）の平均値Ｋｄａｖに置換して補正する。

Ｋｄ３３＝Ｋｄａｖ＝（Ｋｄ２３＋Ｋｄ４３＋Ｋｄ３２＋Ｋｄ３４）／４ ；

その一方、図６のように欠陥画素が集合して存在する場合は、次のように、各欠陥画素についての補正を行う（ステップＳ３９０）。この補正では、図示するように集合している欠陥画素を順次補正する。まず、欠陥画素集合におけるｘ２・ｙ３の画素（欠陥画素）については、その輝度データＫｄ２３（＝Ｋｒ'）を、その左方・上方のｘ１・ｙ３の画素、ｘ２・ｙ２の画素の輝度データＫｄ１３（＝Ｋｇ'）、Ｋｄ２２（＝Ｋｇ'）の平均値Ｋｄａｖに置換して補正する。

Ｋｄ２３＝Ｋｄａｖ＝（Ｋｄ１３＋Ｋｄ２２）／２ ；

次に、ｘ３・ｙ３の欠陥画素については、その輝度データＫｄ３３（＝Ｋｇ'）を、その左方・上方・右方のｘ２・ｙ３の画素、ｘ３・ｙ２の画素、ｘ４・ｙ３の画素の輝度データＫｄ２３（＝Ｋｒ'）、Ｋｄ３２（＝Ｋｂ'）、Ｋｄ４３（＝Ｋｒ'）の平均値Ｋｄａｖに置換して補正する。

Ｋｄ３３＝Ｋｄａｖ＝（Ｋｄ２３＋Ｋｄ３２＋Ｋｄ４３）／３ ；
この場合、ｘ２・ｙ３の画素についての輝度データＫｄ２３は、上記した補正後の輝度データである。

ｘ２・ｙ４の欠陥画素については、その輝度データＫｄ２４（＝Ｋｇ'）を、その左方・上方・下方のｘ１・ｙ４の画素、ｘ２・ｙ３の画素、ｘ２・ｙ５の画素の輝度データＫｄ１４（＝Ｋｂ'）、Ｋｄ２３（＝Ｋｒ'）、Ｋｄ２５（＝Ｋｒ'）の平均値Ｋｄａｖに置換して補正する。

Ｋｄ２４＝Ｋｄａｖ＝（Ｋｄ１４＋Ｋｄ２３＋Ｋｄ２５）／３ ；
この場合にあっても、ｘ２・ｙ３の画素についての輝度データＫｄ２３は、上記した補正後の輝度データである。

ｘ３・ｙ４の欠陥画素については、その輝度データＫｄ３４（＝Ｋｂ'）を、その左方・上方・左方・下方のｘ２・ｙ４の画素、ｘ３・ｙ３の画素、ｘ４・ｙ４の画素、ｘ３・ｙ５の画素の輝度データＫｄ２４（＝Ｋｇ'）、Ｋｄ３３（＝Ｋｇ'）、Ｋｄ４４（＝Ｋｇ'）、Ｋｄ３５（＝Ｋｇ'）の平均値Ｋｄａｖに置換して補正する。

Ｋｄ３４＝Ｋｄａｖ＝（Ｋｄ２４＋Ｋｄ３３＋Ｋｄ４４＋Ｋｄ３５）／４ ；
この場合にあっては、ｘ２・ｙ４の画素とｘ３・ｙ３の画素についての輝度データＫｄ２４とＫｄ３３は、上記した補正後の輝度データである。つまり、欠陥画素の集合の左隅からその周囲の正常画素の輝度データで補正し、補正後のデータは、隣の欠陥画素のデータ補正に用いるのである。

このように欠陥画素の補正を行うと、パーソナルコンピュータ３０は、補正後の輝度データをステップＳ２２０で求めた輝度データの並びに対応付けてデータ更新を行い（ステップＳ４００）、既述したステップＳ２３０（図２）に移行し、ユーザによる編集内容（レタッチ内容）の特定を待機する（ステップＳ２３０）。よって、欠陥画素が存在しても、その欠陥画素については輝度データが補正された状態のデータを用いて、画像編集・出力が実行される。

以上説明したように、本実施例によれば、デジタルスチルカメラ２２等から得た画像データ（ＲＡＷデータ）を編集して出力するに当たり、デジタルスチルカメラ２２が有する画素に欠陥が有れば、その欠陥画素についての輝度データをその周囲の正常な画素で補正し、補正後の輝度データを含む画像データを、画像編集に用いる。この結果、欠陥画素の影響を排除、もしくは低減した画像データを編集できることから、その編集画像についての画質向上や輝度の違和感軽減をもたらすことができる。

また、本実施例では、欠陥画素判定に際しての輝度データ対比を、欠陥画素周囲の上下・左右の画素（正常画素）との間で行い、欠陥画素につては、その輝度データを上記周囲の画素の輝度データの平均値に置換し、置換後の平均値データを欠陥画素についての輝度データに変えて更新するようにした（ステップＳ３８０、３９０）。よって、欠陥画素の輝度データの周囲画素での補正により、欠陥画素周囲の輝度の違和感を軽減できる。しかも、それぞれの画素については、フィルタの色に起因した輝度データの相違を除外もしくは低減した上で輝度データ対比を行ったので、欠陥画素判定がより正確となるばかりか、その補正の信頼性も高まる。

本発明は上記した実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において、種々の態様で実施可能である。例えば、次のような変形も可能である。

図５や図６に示した欠陥画素は、同じデジタルスチルカメラ２２で撮像した画像で有ればデータ欠陥（輝度データの不備）再現性がある。よって、ステップＳ２００で入力した画像データをそのデータ取得に関与したハード機器（例えば、デジタルスチルカメラ２２）と対応付け、更に、上記のようにして判定した欠陥画素（例えばｘ３・ｙ３の画素）の存在位置（欠陥画素位置；例えばｘ３・ｙ３）を、上記図面の画素の並びにおいて記憶する。そして、新たに上記のハード機器が撮像した画像データを改めて入力すれば、記憶済みの欠陥画素（例えばｘ３・ｙ３の画素）については、欠陥判定を省略して当該欠陥画素についての輝度データ補正（ステップＳ３８０、３９０）と更新（ステップＳ４００）とを行うようにすることもできる。こうすれば、欠陥判定が不要となり簡便となる。この場合、記憶済みの欠陥画素（例えばｘ３・ｙ３の画素）だけについて上記した欠陥判定のための処理を行い、欠陥画素であるとの同じ判定結果であれば、当該欠陥画素についての輝度データ補正（ステップＳ３８０、３９０）と更新（ステップＳ４００）とを行うようにすることもできる。こうすれば、同じハード機器でありながらＣＣＤの交換等により画素の欠陥が修復された場合にも、対処できる。つまり、欠陥修復後には、その画素を正常画素と判定でき、欠陥画素についての補正・更新を行わないようにできる。

また、上記した実施例では、欠陥画素判定に際して上下・左右の画素との間で輝度データの対比を行ったが、ある画素を取り囲む８個の画素（上下・左右に斜め）の輝度データをも対比演算に用いることもできる。

本発明の実施例としての画像処理システム１００を示す説明図である。 画像データ入力部２８で取得した画像における画素の欠陥判定およびその補正とユーザの指示に応じた編集画像生成とを実行する画像処理の全体のフローチャートである。 入力を受けた各画素についての画素データが有する輝度データを画素の並びに対応付ける様子を説明する説明図である。 この欠陥画素判定処理の詳細を示すフローチャートである。 欠陥画素判定の処理の内容を説明する説明図である。 欠陥画素が集合して存在した場合を例示する説明図である。

符号の説明

２０...画像データベース
２１...デジタルビデオカメラ
２２...デジタルスチルカメラ
２３...ＤＶＤ
２４...ハードディスク
２５...メモリカード
２８...画像データ入力部
３０...パーソナルコンピュータ
４０...ユーザインターフェース
４１...キーボード
４２...マウス
４３...ディスプレイ
５０...カラープリンタ
１００...画像処理システム

Claims (7)

1. 撮像手段の撮像した画像の画像データの入力を受け、該画像データを処理する画像処理装置であって、
   前記画像データを、未処理のＲＡＷデータとして入力すると共に、前記撮像手段を構成する画素ごとの輝度を表す輝度データを含む画素データの集合として入力する入力部と、
   該入力を受けた画素データを、前記画素の並びに対応付ける対応部と、
   前記画素データが有する輝度データを、ある画素と当該画素の周囲の画素との間で比較し、その比較結果に応じて前記ある画素の欠陥の有無を判定する判定部と、
   欠陥があると判定された欠陥画素についての輝度データを、該欠陥画素の周囲の画素についての輝度データにて補正し、前記欠陥画素について前記対応部が対応付けた画像データの輝度データを、前記補正後の輝度データに更新する更新部とを有する
   画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記判定部は、
   前記ある画素と前記周囲の画素との間の前記輝度データの比較に際して、前記ある画像についての前記輝度データと前記周囲の画素についての輝度データの平均値データとを比較して偏差を求め、該偏差が予め定めた値を上回ると前記ある画素を欠陥のある欠陥画素と判定し、
   前記更新部は、
   前記欠陥画素についての輝度データを前記平均値データに置換し、置換後の前記平均値データを前記欠陥画素について前記対応部が対応付けた画像データの輝度データに変えて更新する
   画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記判定部は、
   前記輝度データの比較に際して、前記撮像手段を構成する画素が画素ごとに有するフィルタの透過率で定まる影響を考慮して輝度データ比較を行う
   画像処理装置。
4. 請求項１ないし請求項３いずれか記載の画像処理装置であって、
   前記欠陥画素の存在位置を、前記撮像手段を構成する画素の並びにおいて記憶する欠陥画素箇所記憶部を備え、
   前記更新部は、
   前記欠陥画素記憶部により欠陥画素位置を記憶した後に前記撮像手段から画像データの入力を受けると、前記記憶した位置の前記欠陥画素についての前記輝度データ補正と更新とを行う
   画像処理装置。
5. 請求項１ないし請求項４記載いずれかの画像処理装置であって、
   前記更新部が更新後の前記輝度データを有する前記欠陥画素を含む画素の集合についての前記画像データを処理して画像の編集生成を行う編集処理部と、
   編集後の画像データである編集画像データを出力する編集出力部とを有する
   画像処理装置。
6. 撮像手段の撮像した画像の画像データの入力を受け、該画像データを処理する画像データ処理方法であって、
   （ａ）前記画像データを、未処理のＲＡＷデータとして入力すると共に、前記撮像手段を構成する画素ごとの輝度を表す輝度データを含む画素データの集合として入力する工程と、
   （ｂ）該入力を受けた画素データを、前記画素の並びに対応付ける対応部と、
   前記画素データが有する輝度データを、ある画素と当該画素の周囲の画素との間で比較し、その比較結果に応じて前記ある画素の欠陥の有無を判定する工程と、
   （ｃ）欠陥があると判定された欠陥画素についての輝度データを、該欠陥画素の周囲の画素についての輝度データにて補正し、前記欠陥画素について前記対応部が対応付けた画像データの輝度データを、前記補正後の輝度データに更新する工程と、
   （ｄ）前記更新後の前記輝度データを有する前記欠陥画素を含む画素の集合についての前記画像データを処理して画像の編集生成を行う工程と、
   （ｅ）編集後の画像データである編集画像データを出力する工程とを有する
   画像データ処理方法。
7. 撮像手段の撮像した画像の画像データの入力を受け、該画像データを処理する画像データ処理をコンピュータに実行させるためのコンピュータプログラムであって、
   （ａ）前記画像データを、未処理のＲＡＷデータとして入力すると共に、前記撮像手段を構成する画素ごとの輝度を表す輝度データを含む画素データの集合として入力する機能と、
   （ｂ）該入力を受けた画素データを、前記画素の並びに対応付ける対応部と、
   前記画素データが有する輝度データを、ある画素と当該画素の周囲の画素との間で比較し、その比較結果に応じて前記ある画素の欠陥の有無を判定する機能と、
   （ｃ）欠陥があると判定された欠陥画素についての輝度データを、該欠陥画素の周囲の画素についての輝度データにて補正し、前記欠陥画素について前記対応部が対応付けた画像データの輝度データを、前記補正後の輝度データに更新する機能と、
   （ｄ）前記更新後の前記輝度データを有する前記欠陥画素を含む画素の集合についての前記画像データを処理して画像の編集生成を行う機能と、
   （ｅ）編集後の画像データである編集画像データを出力する機能と、
   を、前記コンピュータに実現させるコンピュータプログラム。

Images