JP2006245976A - 画像処理装置 - Google Patents

Abstract

【課題】 デジタルカメラにおける画像に現れる欠陥領域を自動的に検出し、適正な画像に効率よく修正する。
【解決手段】 画像処理装置１００は、フィルムスキャナ１、画像データ取得部２を介して取得された画像データに含まれる可能性がある欠陥領域を自動的に検出して修正するために、ヒストグラム作成部４２、欠陥候補領域判定部４３、欠陥領域判定部４４および欠陥修正部４５を備えている。欠陥候補領域判定部４３は、作成されたヒストグラムに基づいて所定の閾値以上の画素値を有する画素がある場合には、これを欠陥候補領域として判定する。欠陥領域判定部４４は、欠陥候補領域と判定された画素を他の複数の画像と比較し、欠陥候補領域の画像中における位置が他の複数の画像と一致する場合には、これを欠陥領域として判定する。欠陥修正部４５は、欠陥領域と判定された画素（領域）を周辺の画素の色、濃度等を参照して適正な画像に修正する。
【選択図】 図１

Description

本発明は、取得した画像データに基づいて表示される画像に含まれる欠陥領域を検出して修正する画像処理装置に関する。

デジタルカメラ等によって撮影された画像を写真プリントする際には、ＦＤやメディアカード、ＣＤ−Ｒ等の記録メディアに格納された画像データを読み出し、所定枚数ごとにモニタ画面に表示させる。また、フィルムに撮影された画像については、フィルムスキャナによってデジタルデータとして読み取られて、同様に所定枚数ごとにモニタ画面に表示させる。そして、モニタ画面に表示させた各画像について、適正な画像になるように色、濃度、赤目、逆光等の各種補正を行った後、プリント枚数を指定してプリント処理を行う（特許文献１，２参照）。

上記補正処理の設定を行う際には、デジタルカメラにおける画素異常や望遠レンズの交換時等に撮像素子の表面に付着したゴミや埃等によって画像上に現れる黒点等の欠陥部分の補正を行う必要がある場合がある。このため、このような欠陥部分が画像に含まれている場合には、オペレータがモニタ画面上に表示された欠陥部分を特定しながら１枚ずつ補正を行うことで適正な画像を得ることができる。
特開平９−２８１６１３号公報（平成９年１０月３１日公開） 特開２００４−０３８７２８号公報（平成１６年２月５日公開）

しかしながら、上記従来の画像処理装置では、以下に示すような問題点を有している。

すなわち、オペレータによって特定される欠陥部分は、その発生要因となる異常画素やゴミ等の位置が一定であるため、各画像においても同じ場所に同じ形状として現れる可能性が高い。しかし、従来の画像処理装置では、複数の画像に渡って同じ位置に現れる欠陥部分を画像１つずつ特定してオペレータ自身がその修正を行っていたため、作業効率が悪いという問題がある。

本発明の課題は、デジタルカメラにおける画素異常や撮像素子の表面に付着したゴミ等に起因して画像に現れる欠陥領域を自動的に検出し、適正な画像に効率よく修正することが可能な画像処理装置を提供することにある。

第１の発明に係る画像処理装置は、画像データ取得部と、画素値抽出部と、欠陥領域判定部と、欠陥修正部とを備えている。画像データ取得部は、複数の画像に対応する複数の画像データを取得する。画素値抽出部は、画像データ取得部において取得された複数の画像データに対応するそれぞれの画像を所定の大きさの領域に分割し、分割された領域ごとに各領域に含まれる各画素の画素値を抽出する。欠陥領域判定部は、画素値抽出部において抽出された特定の画素値を有する領域が、複数の画像における同一場所にある場合には、領域を欠陥領域と判定する。欠陥修正部は、欠陥領域と判定された領域に含まれる画素の全部または一部を修正する。

ここでは、１枚の画像を所定の大きさの複数の領域に分割し、各領域について画素値を抽出する。そして、ある画素値を有する領域が、他の画像と比較して複数の画像に渡って同じ場所に同じ画素値を有する領域が存在する場合には、この領域を欠陥領域として判定する。

通常、デジタルカメラ等を用いて撮影された複数の画像では、撮像素子の表面にゴミや埃が付着している場合や、画像データを取得するデジタルカメラやスキャナにおいて画素に異常が発生している場合には、複数枚の画像に渡って同じ位置に同じ形状の欠陥領域が現れる。このとき、各画像についてオペレータが１枚ずつ欠陥領域を指定してこれを修正する方法では、同じ作業を何度も繰り返し行う必要があり、作業効率が非常に悪いという問題がある。

そこで、本発明の画像処理装置では、撮像素子の表面付着したゴミやデジタルカメラ等の画素異常等に起因して画像に現れる欠陥領域が、複数（例えば、１オーダー）の画像における同じ場所に現れることに着目して、欠陥領域の判定および修正をオペレータの操作を伴うことなく自動的に行う。具体的には、各画像を所定の大きさの領域に分割した各領域において各画素値を抽出する。そして、抽出されたある画素値を有する領域について、例えば１オーダー内の他の画像と比較して同じ場所に同じ画素値を有する領域が存在する場合には、この領域を欠陥画像として判定する。

これにより、撮像素子の表面に付着したゴミやデジタルカメラ等の画素異常等に起因して複数枚の画像に渡って同じ場所に現れる欠陥領域を、自動的に検出して修正することができる。この結果、従来よりも大幅に作業効率を向上させて欠陥領域を含む画像を適正な画像に修正することができる。

第２の発明に係る画像処理装置は、第１の発明に係る画像処理装置であって、画素値頻度算出部と、欠陥候補領域判定部と、をさらに備えている。画素値頻度算出部は、画素値抽出部において抽出された各領域における画素値の頻度を算出する。欠陥候補領域判定部は、画素値頻度算出部において算出された画素値の頻度が所定の閾値以上である場合には、これを欠陥候補領域と判定する。そして、欠陥領域判定部は、欠陥候補領域判定部において欠陥候補領域と判定された領域を他の画像と比較して、欠陥候補領域と判定された領域が他の画像における同一位置に存在する場合には、これを欠陥領域と判定する。

ここでは、複数に分割された画像の領域において抽出された画素値の頻度に基づいて欠陥領域の判定を行う。

ここで、このような欠陥領域では、そこに含まれる画素の色、輝度、濃淡等を示す画素値のうち、特定の画素値の頻度が高くなるという特性がある。

そこで、本発明の画像処理装置では、欠陥領域においては特定の画素値の頻度が高くなることに着目して、複数に分割された画像の領域において抽出された画素値について、その画素値頻度を算出してその頻度が所定の閾値を超える領域を欠陥候補領域と判定する。そして、欠陥候補領域と判定された領域を、欠陥領域判定を行う対象として特定された他の画像（例えば、１オーダーに含まれる複数の画像）と比較して画像中における位置が一致する場合にはこの領域を欠陥領域として判定する。

これにより、欠陥領域の判定、検出、修正までを自動的、かつ高精度に行うことができる。

第３の発明に係る画像処理装置は、第１または第２の発明に係る画像処理装置であって、所定の大きさの領域は１画素である。

ここでは、取得した画像に対する欠陥領域の判定を１画素単位で行う。

これにより、１画素単位で詳細な欠陥領域の判定を行うことができるため、より高精度に欠陥領域の検出を行うことができる。この結果、画像中に含まれる欠陥領域が細かいキズとなって現れている場合でも、これを確実に検出することができる。

第４の発明に係る画像処理装置は、第１から第３の発明のいずれか１つに係る画像処理装置であって、画像データに撮影日時に関する付加情報が付されている場合には、欠陥領域判定部は、付加情報を参照して欠陥領域の判定を行う。

ここでは、画像データに付された撮影日時に関する付加情報を参照し、撮影された日時の間隔が所定間隔以下である複数の画像を欠陥領域の判定を行う対象とする。すなわち、撮影間隔が短いということは、１つの画像に欠陥領域が含まれている場合には他の画像にも同じ欠陥領域が含まれている可能性が高いことを意味する。

このため、１オーダーの中でも特に撮影された間隔が短い画像について欠陥領域の判定を行うことで、より効率よく欠陥領域を検出して適正に欠陥を修正した画像を得ることができる。

第５の発明に係る画像処理装置は、第１から第４の発明のいずれか１つに係る画像処理装置であって、欠陥領域判定部は、欠陥候補領域とその周辺の領域との間において画素値を比較して欠陥領域であるか否かを判定する。

ここでは、欠陥領域の判定を行う際に、その領域における画素値と周辺領域における画素値とを比較して周辺領域よりも特定の画素値の頻度が高いか否かという判定基準も加えて欠陥領域の判定を行う。すなわち、欠陥領域では周辺領域と比較して特定の画素値の頻度が高くなる傾向があることに着目し、周辺領域における画素値と比較して特定の画素値の頻度が突出している領域であるか否かについても判定基準とする。

これにより、周辺領域を含む画像の中で異物として現れる欠陥領域をより高精度に検出することができる。

さらに、本発明に係る画像処理装置では、欠陥領域判定部が、１オーダーに含まれる複数の画像について欠陥領域の判定を行ってもよい。

この場合には、画像処理の注文を受けたオーダーごとに欠陥領域の判定を行う。通常、デジタルカメラの画素異常や撮像素子の表面に付着したゴミ等に起因して画像中に現れる欠陥は、比較的短時間の間に連続して撮影された画像において連続して同じ場所に現れやすい。

このため、続けて撮影された可能性が高い１つのオーダーを１単位として欠陥領域の判定を行うことで、１オーダーに含まれる複数の画像における共通の位置に現れる欠陥を効果的に修正することができる。

なお、この１オーダー単位の画像とは、プリント処理を依頼される際の１回の注文に含まれる複数の画像を意味している。

さらに、本発明に係る画像処理装置では、欠陥領域判定部が、指定された複数の画像について欠陥領域の判定を行ってもよい。

ここでは、オペレータによって指定された複数の画像について、上述した欠陥領域判定を行う。

これにより、例えば、複数の画像が表示画面上に表示されるプレジャッジ画面において画像に欠陥が含まれていることが明らかな画像だけを指定して欠陥領域の判定を自動的に行うことができる。これにより、より効率的に欠陥領域を検出して適正に欠陥を修正した画像を得ることができる。

なお、オペレータによる複数の画像の指定は、欠陥領域判定を行う枚数を指定してもよいし、特定の画像を指定して行ってもよい。

さらに、本発明に係る画像処理装置では、画像データに基づいて画像を表示する画像表示部をさらに備えていてもよい。

この場合には、画像表示部においては取得した画像データに基づいて画像を表示する。これにより、例えば、オペレータは、画像表示部の表示画面上に表示された複数の画像について、傷等の欠陥が含まれている画像を直接指定して欠陥領域判定を自動的に行うことができる。

このため、各画像に対して欠陥領域をオペレータ自らが指定して修正を行う従来の方法と比較して、欠陥領域判定を行う画像を指定するだけで自動的に欠陥領域の検出、修正が行われるため、作業性を大幅に向上させることが可能になる。また、表示画面において欠陥が含まれる画像を直接指定することができるため、欠陥領域の判定をより高精度に行うことができる。

第１の発明に係る画像処理装置によれば、従来よりも大幅に作業効率を向上させて欠陥領域を含む画像を適正な画像に修正することができる。

第２の発明に係る画像処理装置によれば、欠陥領域の判定、検出、修正までを自動的、かつ高精度に行うことができる。

第３の発明に係る画像処理装置によれば、画像中に含まれる欠陥領域が細かいキズとなって現れている場合でも、これを確実に検出することができる。

第４の発明に係る画像処理装置によれば、より効率よく欠陥領域を検出して適正に欠陥を修正した画像を得ることができる。

第５の発明に係る画像処理装置によれば、周辺領域を含む画像の中で異物として現れる欠陥領域をより高精度に検出することができる。

本発明の一実施形態に係る画像処理装置について、図１〜図５を用いて説明すれば以下の通りである。

［画像処理装置１００全体の構成］
本発明の一実施形態に係る画像処理装置１００は、写真フィルムや記億メディアから取得した画像データに基づいて写真プリントを行う装置である。また、画像処理装置１００は、図１に示すように、フィルムスキャナ１、画像データ取得部２、画像データ記憶部３、画像処理部４、欠陥候補領域位置記憶部５、補正データ記憶部６、撮影時刻情報記憶部７、入力操作部８、表示制御部９（モニタ９ａ）、プリント用画像データ生成部１０、露光部１１、ペーパーマガジン１２、カッター１３、現像処理部１４および乾燥処理部１５を備えている。

フィルムスキャナ１は、現像済み写真フィルムＦに形成されているコマ画像をスキャニングし、電子化された画像データを取得する。

画像データ取得部２は、デジタルカメラやその他の記億メディアＭに格納されている画像データを取得する。

画像データ記憶部３は、ハードディスクや半導体メモリ等であって、取り込んだ画像データをオーダー単位で保存する。

画像処理部４は、図示しないＲＡＭ等の記憶部に格納された各種プログラムをＣＰＵが読み込んで形成される各種制御ブロック４１〜４６を有しており、画像データに対して各種画像処理を行う。なお、画像処理部４に形成される各機能ブロックについては、後段にて詳述する。

欠陥候補領域位置記憶部５は、後述する欠陥候補領域判定部４３において欠陥候補領域と判定された領域の画像中における位置を記憶する。なお、ここで記憶された欠陥候補領域の位置は、後述する欠陥領域判定を行う際の判定基準となる。

補正データ記憶部６は、後述する画像補正部４６において設定された画像の色・濃度の補正、赤目補正や逆光補正などの特殊補正、トリミングおよび後述する欠陥修正部４５において設定された修正内容を反映させた補正データを記憶する。

撮影時刻情報記憶部７は、取得された画像データごとに付された撮影時刻に関する情報を各画像データに関連付けされた状態で記憶する。

入力操作部８は、キーボード、マウス等によって構成されており、オペレータによってモニタ画面を確認しながら種々の操作、データ入力、指令等の入力が行われる。

表示制御部９は、画像データに基づいて画像の表示を行うモニタ９ａを制御する。

プリント用画像データ生成部１０は、露光部１１に転送するためのプリント用画像データを生成する。プリント用画像データは、画像データ記憶部３に保存されている画像データと、補正データ記憶部６に保存されている補正データとに基づいて、画像データに対して画像処理を行い、プリント用画像データを生成する。

露光部１１は、プリント用画像データ（補正後の画像データ）に基づいて、印画紙（感光性材料）の表面に画像を焼付露光する。また、露光部１１は、レーザーエンジンであって、光変調されたレーザー光を走査露光することで、印画紙の表面に画像形成を行う。

ペーパーマガジン１２は、長尺の印画紙がロール状に巻回された状態で収容している。そして、ペーパーマガジン１２から引き出された長尺の印画紙は、カッター１３によってプリントサイズに切断される。切断された印画紙は、露光部１１に近接する印画紙の搬送路上に形成された露光位置に搬送され、その表面に画像（潜像）が形成される。この後、印画紙は、現像処理部１４と乾燥処理部１５を通過して所定の処理が施された後、写真プリントとして排出される。

現像処理部１４は、印画紙の搬送方向における露光部１１の下流側に配置されており、発色現像処理液、漂白定着処理液、安定処理液を貯留した各処理層を有している。そして、露光後の印画紙がこれらの各処理槽をこの順で経由しながら搬送されることで、所望の写真プリント画像が印画紙の表面に形成される。

乾燥処理部１５は、現像処理部１４において各種処理液中を通過して現像処理が施された印画紙を乾燥させる。

［画像処理部４の構成］
画像処理部４は、図１に示すように、画像表示部４１、ヒストグラム作成部（画素値抽出部、画素値頻度算出部）４２、欠陥候補領域判定部４３、欠陥領域判定部４４、欠陥修正部４５および画像補正部４６を備えている。そして、画像処理部４は、上述した色補正等を行うとともに、デジタルカメラの撮像素子の表面にゴミ等が付着して黒点等の欠陥領域が画像中に含まれる場合において、その画像に含まれる欠陥領域を自動的に検出して修正を行う。

画像表示部４１は、取得した画像データをモニタ９ａの画面上に表示させる。画像データに基づいて各画像を表示させる際には、サムネイル画像データを生成し、所定の表示フォーマットによって表示させる。このように、サムネイル画像データを生成してサムネイル画像をモニタ９ａに表示させることで、図２に示すように複数（６枚）の画像を表示させることができる。

ヒストグラム作成部４２は、モニタ９ａの画面上に表示された複数の画像を１画素ずつに分割し、各画素における画素値の頻度を示すヒストグラムを画素ごとに作成する。具体的には、図３に示すように、各画素Ａ（ｘ１，ｙ１）における画素値０〜２５０ごとの頻度を算出してヒストグラムを作成する。なお、図３に示すグラフにおける画素値０側は黒色、画素値２５０側は白色に相当する。つまり、図３に示す画素Ａ（ｘ１，ｙ１）については、画素値０に近い黒側の頻度が突出していることから、欠陥領域に相当する黒点が現れている画素であることが考えられる。なお、各画素毎に頻度を算出する画素値としては、例えば、Ｒ・Ｇ・Ｂデータのいずれか１つに対応する画素値、Ｒ・Ｇ・Ｂデータの平均値に対応する画素値、ＲＧＢ３色のそれぞれに対応する画素値等を用いることもできる。

欠陥候補領域判定部４３は、ヒストグラム作成部４２によって作成されたヒストグラムに基づいて、いずれかの画素値が所定の閾値を超えるか否かの判定を行う。ここで、各画素ごとに形成された多数のヒストグラムを参照し、各ヒストグラムにおいていずれかの画素値が所定の閾値を超える場合には、このヒストグラムに対応する画素を欠陥候補領域として検出する。なお、図３に示すヒストグラムでは、図中に示す閾値を超える画素値が画素値０付近に存在している。このため、このヒストグラムに対応する画素は、欠陥候補領域として検出される。

欠陥領域判定部４４は、欠陥候補領域位置記憶部５に記憶された欠陥候補領域判定部４３において欠陥候補領域として検出された領域（画素）の画像中における位置を、他の画像において欠陥候補領域として検出された画素の位置と比較する。そして、他の画像においても、その欠陥候補領域（画素）の位置が各画像において一致している場合には、これを欠陥領域として判定する。例えば、第１の画像において欠陥候補領域を検出すると、これを第２の画像を含む複数の画像において検出された欠陥候補領域と比較する。ここで、第１の画像に現れている欠陥候補領域が、第２の画像等の他の画像においても共通の位置（共通の画素）に現れている場合には、第１の画像から他の複数の画像に渡って黒点等の欠陥が現れている画素を欠陥領域として検出する。

欠陥修正部４５は、欠陥領域判定部４４において欠陥領域として判定された画素について、その周辺領域（周辺画素）の画像情報に基づいて補間処理等の手法によって、正常な画素値になるように欠陥領域に対応する画像データを修正する。なお、ここでは１画素単位で欠陥領域の判定を行っているが、例えば、欠陥候補領域が３×３の複数の画素から構成される領域の単位で欠陥領域の判定を行う場合には、欠陥修正部４５は、欠陥が存在する画素についてのみ適切な画像になるように修正を加えればよい。

画像補正部４６は、補正データ記憶部６に記憶されている各画像について設定された色補正等の補正内容を反映させて、各画像に対応する画像データを補正する。

＜プレジャッジ画面における操作＞
次に、図１に示す画像処理部４に含まれる各機能ブロックを用いて、オペレータがプレジャッジ画面において各種設定を行う場合の手順などについて説明する。

本実施形態の画像処理装置１００では、フィルムスキャナ１や画像データ取得部２から画像データを取得すると、画像表示部４１がこれらに対応する画像を６枚ずつモニタ９ａに表示させる（図２参照）。これにより、写真プリントの作成処理に移行する前に、モニタ画面に画像を表示させて、適切な写真プリントが得られるかどうかを予め判断することができる。ここで、画像の補正や欠陥領域の修正を行う必要がある場合には、所定の補正、修正に関する設定入力等を行う。

モニタ９ａに表示されている６コマの画像のうちの設定入力の対象となっている画像エリア２０の内側には、プリント領域を表すプリント枠２２が表示されている。また、プリントサイズ表示エリア２３には、画像上の表示されたプリント枠２２に対応するプリントサイズが表示されている。ここでは、プリントサイズとして「Ｃ」（クラシカルサイズ）が表示されているが、プリントサイズの設定変更も行うことができる。ファイル名表示エリア２５には、画像のファイル名が表示されており、例えば、フィルムスキャナ１を介して写真フィルムのコマ画像を読み取った場合には、ファイル名は自動的に付与される。

色・濃度補正エリア２４には、Ｙ，Ｍ，Ｃの３色の補正データを入力するためのエリアと、濃度の補正データを入力するためのエリアとが設けられている。オペレータは、モニタ９ａの表示画面上に表示された画像を見ながら補正を行うことができる。ボタン２６は、特殊な補正を行う際に設定画面を起動させるためのものである。例えば、色・濃度の補正の他に画像補正部４６の機能によるキズ修正や、赤目補正等の特殊補正を行う場合には、このボタン２６をクリックすれば１コマ拡大画面に移行する。プリント枚数表示エリア２７には、画像のプリント処理を行う枚数が表示されており、デフォルトとして「１」が表示されている。

また、上述したように、複数の画像に渡って同じ位置に現れる黒点等の欠陥領域の有無を、図２に示すモニタ９ａのプレジャッジ画面上で確認することができる。図２に示すプレジャッジ画面においては、各画像の同じ位置において、ほぼ同じ形状の黒点（欠陥領域）Ａがキズとして現れている。

本実施形態の画像処理装置１００では、このように撮像素子の表面にゴミ等が付着したデジタルカメラによって取得（撮影）された複数の画像に渡って同じ位置に現れる黒点を適正な画像（色、濃度等）に修正するための作業を、上述した画像処理部４において自動的に行う。よって、オペレータは、欠陥領域判定を行う対象となる画像を設定するだけでよい。

例えば、予め欠陥領域判定を行う対象となる画像の枚数を設定しておき、画像データを取得した時点でその枚数分の画像について順次欠陥領域の判定を行うことができる。この場合には、オペレータはどの画像について欠陥領域の判定を行うかをプレジャッジ画面において決定する必要がないため、オペレータの作業効率をさらに向上させることができる。

また、図４に示すように、プレジャッジ画面上からウィンドウを立ち上げて、このウィンドウ上において欠陥領域の判定を行う対象となる画像の設定を行うこともできる。具体的には、図４に示すように、４つの選択肢の中からオペレータが所望のものを選択することができる。図４では選択肢として、第１に、取得された全ての画像（つまり、１オーダー単位の全画像）、第２に、枚数入力ボックス３１に入力されたコマ番号が小さい方から所定枚数分の画像、第３に、テキスト入力ボックス３２に特定のコマ番号を入力して指定された画像、第４に、撮影時刻情報記憶部７に記憶された画像データに付された撮影時刻が時間間隔入力ボックス３３に入力された所定の時間間隔以下であるグループの画像、を対象として、欠陥領域の判定を行うことができる。

このように、欠陥領域の判定をオペレータによって指定された画像を対象として適宜行うことで、プレジャッジ画面において全ての画像に欠陥領域が含まれることが分かっている場合や、特定の画像のみに欠陥領域が含まれている場合でも、正確な欠陥領域の判定を行うことができる。

最後に、Ｙｅｓボタン３４がクリックされると、選択された項目に対応する画像が、欠陥領域の判定を行う対象として設定される。一方、ここでＮｏボタン３５がクリックされると、欠陥領域の判定を行う対象となる画像の設定が中止される。

＜欠陥領域判定〜修正までの工程＞
ここで、本実施形態の画像処理装置１００による欠陥領域の判定〜修正までの工程について、図５を用いて説明すれば以下の通りである。

まず、ステップＳ１において、フィルムスキャナ１や画像データ取得部２を介して画像データを取得する。そして、ステップＳ２において、取得した画像データを画像データ記憶部３に保存する。ステップＳ３において、プレジャッジ画面が表示されると、ステップＳ４において、欠陥領域判定を行う対象となる画像の特定がされているか否かを確認する。ここで、判定対象となる画像が特定されている場合には、ステップＳ５へ進む。一方、特定されていない場合には、ステップＳ１２へ進み、図４に示すウィンドウを立ち上げて判定対象となる画像を特定する。なお、判定対象となる画像の特定は、１オーダー単位の全画像を判定対象として特定してもよいし、オペレータが特定の画像を選択して特定することもできる。さらには、撮影時刻情報記憶部７に記憶された各画像データに付された撮影時刻情報に基づく特定を選択した場合には、撮影時刻情報に基づいて各画像の撮影間隔が算出され、撮影間隔が所定の時間間隔以下である一群の画像が判定対象として特定される。

ステップＳ５においては、欠陥領域判定を行う対象として特定された画像について、この画像に含まれる画素ごとに、画素値０〜２５０の頻度を算出してヒストグラムを作成する。ステップＳ６においては、ステップＳ５において作成されたヒストグラムに基づいて、ある画素値の頻度が所定の閾値を超える画素があるか否かを判定する。ここで、ある画素値の頻度が閾値を超える場合には、その画素を欠陥候補領域として判定する。そして、ステップＳ７において、欠陥候補領域と判定された画素の画像中における位置を欠陥候補領域位置記憶部５に記憶させ、ステップＳ８へ進む。一方、閾値を越える頻度の画素値が含まれていない場合には、その画像については、欠陥領域は含まれていないものと判定して処理を終了する。

次に、ステップＳ８において、判定対象として特定された他の画像について同様に検出された欠陥候補領域の画像中における位置を比較する。そして、ステップＳ９においては、その比較の結果、欠陥候補領域が同じ位置にあるか否かを判定する。ここで、ある画像に含まれる欠陥候補領域が、他の複数の画像に渡って同じ位置に現れている場合には、ステップＳ１０においてこれを欠陥領域として判定する。一方、欠陥候補領域が他の複数の画像と比較して異なる位置に現れている場合には、これを欠陥領域として判定せず、欠陥領域はないものとして処理を終了する。

ステップＳ１１においては、ステップＳ１０において欠陥領域であると判定された画素について、周辺画素における画素値情報を参考にして欠陥領域を適正な画像に修正し、処理を終了する。

［画像処理装置１００の特徴］
（１）
本実施形態の画像処理装置１００は、図１に示すように、フィルムスキャナ１、画像データ取得部２を介して取得された画像データについて、対応する画像に含まれる可能性がある欠陥領域を自動的に検出して修正するために、ヒストグラム作成部４２、欠陥候補領域判定部４３、欠陥領域判定部４４および欠陥修正部４５を備えている。具体的には、ヒストグラム作成部４２は、取得された画像データに基づいて表示される画像について、これらを画素毎に分割し、各画素における画素値の頻度を示すヒストグラムを作成する。そして、欠陥候補領域判定部４３は、作成されたヒストグラムに基づいて所定の閾値以上の画素値を有する画素がある場合には、これを欠陥候補領域として判定する。続いて、欠陥領域判定部４４は、欠陥候補領域と判定された画素を他の複数の画像と比較し、欠陥候補領域の画像中における位置が他の複数の画像と一致する場合には、これを欠陥領域として判定する。最後に、欠陥修正部４５が、欠陥領域と判定された画素（領域）を周辺の画素の色、濃度等を参照して適正な画像に修正する。

ここで、デジタルカメラの撮像素子の表面に付着したゴミや、フィルムスキャナ１に含まれる画素の一部に異常がある場合等では、取得された画像データに基づいて表示される画像には、黒点等の欠陥領域が現れることがある。このような欠陥領域は、例えば、１オーダーに含まれる比較短時間の間に撮影された複数の画像において、同じ位置に同じような形状となって現れることが多い。特に、レンズ交換式のデジタルカメラでは、レンズを交換した際に撮像素子にゴミ等が付着し、そのレンズで撮影している間の複数の画像、つまり１オーダーとしてプリント処理を依頼される複数の画像においては連続して欠陥領域が発生してしまうことになりやすい。

そこで、本実施形態の画像処理装置１００では、画素値の頻度が突出した画素を欠陥候補領域として検出し、この欠陥候補領域について、近い間隔で撮影された他の複数の画像と比較して他の画像においても同じ位置に欠陥候補領域が現れている場合には、これを欠陥領域として検出し、適正な画像に修正する。

これにより、欠陥領域の判定から修正までを自動的に行うことができるため、オペレータによって各画像に含まれる欠陥領域を１つずつ手動で指定して補正を行っていた従来の画像処理装置と比較して、オペレータによる欠陥領域の特定作業および修正作業を不要とし、作業性を大幅に向上させることができる。

（２）
本実施形態の画像処理装置１００では、欠陥領域の判定を行う際に参照されるヒストグラムを、１画素ごとに作成する。

これにより、１画素単位の細かい欠陥領域が画像に含まれている場合でも、１画素毎に作成された画素値の頻度を示すヒストグラムを参照して判定を行うことで、高精度に検出することが可能になる。

（３）
本実施形態の画像処理装置１００では、取得した複数の画像について欠陥領域の判定を行う際には、１オーダー単位で判定を行うことができる。

これにより、比較的短時間の間に連続して撮影された可能性が高い１オーダー単位で欠陥領域の判定を行うことで、欠陥領域の判定を精度よく行うことができる。

（４）
本実施形態の画像処理装置１００では、図４に示すウィンドウ３０においてオペレータによって指定された特定の画像を対象として、欠陥領域の判定を行うことができる。

これにより、図２に示すプレジャッジ画面において目視で確認可能な欠陥領域を含む画像についてのみ欠陥領域の判定を行うことで、欠陥領域の検出を高精度に行うことができる。

（５）
本実施形態の画像処理装置１００では、取得した画像データに撮影時刻の情報が付されている場合には、これらの撮影時刻の間隔が所定の時間間隔よりも短い画像群を対象として欠陥領域の判定を行うことができる。

ここで、撮影間隔が短い複数の画像群については、これらの画像を撮影したデジタルカメラの撮像素子の表面にゴミ等が付着していた場合には、画像中の同じ位置に欠陥領域が現れる可能性が高い。

このため、本実施形態の画像処理装置１００では、図１に示す撮影時刻情報記憶部７に記憶された画像データに付された撮影時刻情報に基づいて撮影間隔を算出し、所定の時間間隔よりも短いものを一群の画像として欠陥領域の判定を行う。これにより、より高精度に欠陥領域を検出することができる。

（６）
本実施形態の画像処理装置１００では、取得した画像データに基づいて表示される画像を表示するモニタ９ａを備えている。

これにより、オペレータは、モニタ９ａに表示されるサムネイル画像等を見ながら、欠陥領域の判定を行う対象となる画像を特定することができる。

なお、このように欠陥領域の判定を行う画像をオペレータがモニタ９ａを見ながら特定することは、一見して作業性向上の面で劣るように思われるが、欠陥領域の場所についてもオペラータが特定する従来の画像処理装置と比較すると作業性の向上を図ることができ、かつ欠陥領域の検出精度も向上させることができる点でより好ましい。

［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。

（Ａ）
上記実施形態では、欠陥候補領域の位置について１オーダー単位等の複数の画像に渡って比較して欠陥領域の判定を行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、上記実施形態における判定基準に加えて、さらに欠陥領域と判定された領域（画素）を周辺領域（画素）と比較して、特定の画素値の頻度が突出している場合に、これを欠陥領域として判定する画像処理装置であってもよい。

この場合には、欠陥領域の画素値が背景部分と近似している場合でも、精度よく欠陥領域の判定・検出を行うことができる。

（Ｂ）
上記実施形態では、撮像素子の表面に付着したゴミ等によって画像中に現れる黒点を欠陥領域として判定、修正する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、デジタルカメラやフィルムスキャナ等の画像データ取得部における画素不良が生じている場合に画像中に現れる欠陥領域についても、特定の画素値頻度の突出を検出することにより同様に行うことができる。

（Ｃ）
上記実施形態では、突出した画素値頻度の有無から欠陥領域の判定を行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、撮像素子にゴミ等が付着することに起因して現れる欠陥領域と判定される特定の画素値について２値画像を作成し、この２値画像同士を比較して画像が一致する部分を欠陥領域として判定することもできる。

（Ｄ）
上記実施形態では、各画素における画素値のヒストグラムを作成して欠陥候補領域の判定を行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、画素Ａ（ｘ１，ｙ１）の位置に対する画素値（Ｒ・Ｇ・Ｂデータの少なくとも１つ、あるいはＲ・Ｇ・Ｂデータの平均値）が複数の画像データに渡って同じになるものを欠陥領域と判定してもよい。すなわち、欠陥候補領域を判定するステップを設けることなく、直接、欠陥領域の判定を行う方法であってもよい。

（Ｅ）
上記実施形態では、欠陥領域の判定を行う際に、いずれかの画素値の頻度が所定の閾値よりも高い領域（画素）を欠陥候補領域と判定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、Ｒ・Ｇ・Ｂデータのいずれか１つ、あるいはＲ・Ｇ・Ｂの平均値に対応する特定の画素値の頻度が所定の閾値よりも高い領域（画素）を欠陥候補領域と判定して欠陥領域判定を行う画像処理装置であってもよい。

この場合には、上述した周辺領域との比較を行って最終的な欠陥領域の判定を行うことで、背景部分とその特定の画素値とが近似する場合でも、精度よく欠陥領域の判定・検出を行うことができる。

（Ｆ）
上記実施形態では、欠陥領域であるか否かの判定を、各画素ごとに行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、１画素ずつ行うのではなく、３×３の９つの画素を１単位とする領域ごとに画素値に関するヒストグラムを作成し、欠陥領域の判定を行ってもよい。この場合でも、上記と同様の効果を得ることができる。

なお、この場合には、欠陥領域と判定された領域を修正する際には、全画素を修正するのではなく、さらにこの領域に含まれる欠陥領域を特定し、その欠陥が含まれる画素のみを修正すればよい。

（Ｇ）
上記実施形態では、欠陥領域判定の対象となる画像の特定を、図４に示すウィンドウ３０を立ち上げて行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、図２に示すプレジャッジ画面上において欠陥領域判定を行う対象となる画像を直接指定する画像処理装置１００であってもよい。また、このような設定画面を設けることなく、取得した画像データに対応する全ての画像に対して欠陥画像領域の判定を自動的に行う画像処理装置であってもよい。

（Ｈ）
上記実施形態では、６つのサムネイル画像が表示されるプレジャッジ画面において欠陥領域の判定を行う画像を特定することもできる例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、プレジャッジ画面に表示された６つのサムネイル画像から１つの画像を選択して１つの画像を拡大した拡大画面において欠陥領域の有無を確認して判定対象となる画像を特定してもよい。この場合には、プレジャッジ画面上では見難い細かい欠陥領域についても容易に発見して欠陥領域の判定対象として特定することができる。そして、欠陥領域を含む可能性が高い画像を正確に特定した後で欠陥領域の判定を行うため、より高精度名欠陥領域の判定を行うことができる。

ただし、上記実施形態のように、プレジャッジ画面上において、あるいはプレジャッジ画面を介すことなく自動的に欠陥領域の判定を行うことは、作業効率を向上させるという面でより好ましい。

（Ｉ）
上記実施形態では、欠陥領域の判定を行うために、画像中に含まれる画素値の頻度を算出する際に、図３に示すヒストグラムを作成する例を挙げて説明した。しかし、本発明はヒストグラムを作成する方法に限定されるものではない。

例えば、ヒストグラムを作成することなく、各画素における画素値の頻度をデータテーブルとして持つことが可能な画像処理装置であってもよい。

（Ｊ）
上記実施形態では、欠陥領域の判定を行う際に、欠陥候補領域の画像中における位置を複数の画像に渡って比較する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、欠陥候補領域の位置だけでなく、その形状についても比較して欠陥領域の判定を行うことで、より高精度な欠陥領域の判定を行うことが可能になる。

このように欠陥領域の形状についても判定要素として加えることは、画素値頻度を算出する単位が複数の画素からなる領域である場合に特に有効であって、画素値頻度を算出する領域の単位が大きい場合における判定精度の低下を抑制することができる。

（Ｋ）
上記実施形態では、写真プリントを作成する場合について説明したが、本発明はこれに限定されるものではない。

例えば、欠陥領域を修正した上で記憶メディアに画像データを書き込む処理を行う際においても、本発明を適用することが可能である。

本発明の画像処理装置は、デジタルカメラの撮像素子の表面に付着したゴミ等に起因して撮影された画像に現れる欠陥領域を正確に検出して、自動的に修正することができるという効果を奏することから、デジタル画像データを扱う各種画像処理装置に対して広く適用可能である。

本発明の一実施形態に係る画像処理装置の構成を示す模式図。 図１の画像処理装置のモニタに表示されるプレジャッジ画面を示す図。 図１の画像処理装置において各画素毎に作成されるヒストグラムを示す図。 欠陥領域判定を行う対象画像を設定するためのウィンドウ画面を示す図。 欠陥領域の判定から修正を行うまでの処理の流れを示すフローチャート。

符号の説明

１ フィルムスキャナ（画像データ取得部）
２ メディアリーダ（画像データ取得部）
３ 画像データ記憶部
４ 画像処理部
５ 欠陥候補領域位置記憶部
６ 補正データ記憶部
７ 撮影時刻情報記憶部
８ 入力操作部
９ 表示制御部
９ａ モニタ（画像表示部）
１０ プリント用画像データ生成部
１１ 露光部
１２ ペーパーマガジン
１３ カッター
１４ 現像処理部
１５ 乾燥処理部
２０ 画像エリア
２２ プリント枠
２３ プリントサイズ表示エリア
２４ 色・濃度補正エリア
２５ ファイル名表示エリア
２７ プリント枚数表示エリア
３０ ウィンドウ
３１ 枚数入力ボックス
３２ テキスト入力ボックス
３３ 時間間隔入力ボックス
４１ 画像表示部
４２ ヒストグラム作成部（画素値抽出部、画素値頻度算出部）
４３ 欠陥候補領域判定部
４４ 欠陥領域判定部
４５ 欠陥修正部
１００ 画像処理装置

Claims (5)

1. 複数の画像に対応する複数の画像データを取得する画像データ取得部と、
   前記画像データ取得部において取得された前記複数の画像データに対応するそれぞれの画像を所定の大きさの領域に分割し、前記分割された領域ごとに各領域に含まれる各画素の画素値を抽出する画素値抽出部と、
   前記画素値抽出部において抽出された特定の画素値を有する領域が、前記複数の画像における同一場所にある場合には、前記領域を欠陥領域と判定する欠陥領域判定部と、
   前記欠陥領域と判定された前記領域に含まれる画素の全部または一部を修正する欠陥修正部と、
   を備えている画像処理装置。
2. 前記画素値抽出部において抽出された各領域における画素値の頻度を算出する画素値頻度算出部と、
   前記画素値頻度算出部において算出された画素値の頻度が所定の閾値以上である場合には、前記画素値の頻度を有する前記領域を欠陥候補領域と判定する欠陥候補領域判定部と、をさらに備えており、
   前記欠陥領域判定部は、前記欠陥候補領域判定部において欠陥候補領域と判定された前記領域を他の前記画像と比較して、前記欠陥候補領域と判定された前記領域が前記他の画像における同一位置に存在する場合には、前記欠陥候補領域と判定された領域を欠陥領域と判定する、
   請求項１に記載の画像処理装置。
3. 前記所定の大きさの領域は１画素である、
   請求項１または２に記載の画像処理装置。
4. 前記画像データに撮影日時に関する付加情報が付されている場合には、
   前記欠陥領域判定部は、前記付加情報を参照して前記欠陥領域の判定を行う、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記欠陥領域判定部は、前記欠陥候補領域とその周辺の領域との間において画素値を比較して欠陥領域であるか否かを判定する、
   請求項１から４のいずれか１項に記載の画像処理装置。

Images