JP2005079843A

JP2005079843A - 画像処理装置、方法、及びプログラム

Info

Publication number: JP2005079843A
Application number: JP2003307207A
Authority: JP
Inventors: Koji Kita; 耕次北
Original assignee: Noritsu Koki Co Ltd
Current assignee: Noritsu Koki Co Ltd
Priority date: 2003-08-29
Filing date: 2003-08-29
Publication date: 2005-03-24
Anticipated expiration: 2023-08-29
Also published as: CN1303806C; EP1511295B1; US7327877B2; CN1592352A; DE602004026969D1; EP1511295A3; JP3952301B2; EP1511295A2; US20050047658A1

Abstract

【課題】欠陥部内に複雑な境界や模様が存在する場合であってもそれらを反映した補間処理によって正確に欠陥を修正することが可能であるとともに、演算量を抑えて処理速度を高めることが可能な画像処理装置を提供する。
【解決手段】欠陥画素の輝度を調整する手段と、対象画素の周囲から複数の正常画素を選択する手段と、選択された各正常画素について、輝度調整後の前記対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最小値を用い、この最小値が小さいほど重みが重くなる係数を各正常画素についての各色成分共通の重み係数として演算する手段と、演算された重み係数を用いて、前記複数の正常画素についての色成分毎の重み付き平均値を演算する手段と、演算された色成分毎の重み付き平均値を用いて前記対象画素の修正を行う手段と、を有する。
【選択図】図４

Description

本発明は、複数の色成分を有するカラー画像データの欠陥部分を修正するための画像処理装置、方法、及びプログラムに関し、特に、画像データの欠陥部分に模様や境界等が存在する場合であってもそれらを反映して好適に修正することが可能な補間処理を行う画像処理装置、方法、及びプログラムに関する。

写真フィルムには、その表面に傷、埃、汚れ等の欠陥が存在する場合がある。そこで、そのような欠陥が存在する写真フィルムから画像を読み取って印画紙に記録し、或いはディスプレイに表示する等により出力する場合に、そのような欠陥部を輝度調整処理や補間処理等の画像処理により修正する技術が知られている。

このような技術として、例えば、赤外光は、可視光と異なり、写真フィルムに照射した場合にそこに写っている画像の影響をほとんど受けず、傷や埃等による影響のみを受けるという特性を利用して、輝度調整処理により修正を行う技術が知られている。これは、具体的には、写真フィルムに赤外光及び可視光を照射し、赤外光による画像データの画素値が一定の閾値以下である部分を欠陥部と認識し、当該欠陥部の各色成分（赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ））の画素値に対して、正常部に対する欠陥部の赤外光の減衰量分を上乗せして輝度を高めることにより、欠陥部の各色成分の画素値を正常部に合せて輝度調整する技術である（例えば、特許文献１参照）。

しかし、このような輝度調整処理は、欠陥部において各色成分の画素値が互いに同じ量だけ減衰していることを前提としているため、写真フィルムの乳剤面に傷が付いている場合のように、色成分毎の画素値の減衰の量が異なる場合には、適切に欠陥部を修正することができない。

そのような場合には、周囲の正常画素の画素値を用いて欠陥部の修正を行う補間処理の技術が用いられるが、単純に隣接する正常画素の画素値を欠陥部に適用するだけでは、欠陥部に模様や境界等が存在する場合に適切に修正することができない。そこで、例えば、画像の境界の方向を検出し、その境界の方向に沿って存在する正常画素の画素値を欠陥部に適用することにより、模様や境界等を反映した修正を行う技術が知られている。これは、具体的には、欠陥部から互いに異なる複数の方向に沿って、正常画素の画素値の差や正常画素間の距離等の画像特徴量を演算し、更に前記複数の方向に存在する正常画素の画素値から各方向毎の補間値を求め、前記画像特徴量を重みとして各方向毎の補間値の重み付き平均を演算することによって最終修正値を求めて補間する技術である（例えば、特許文献２参照）。

特開平１１−９８３７０号公報（第１５−１６頁、第４図）特開２００１−７８０３８号公報（第７−８頁、第４−５図、第８図）

しかしながら、上記の特許文献２に記載されたような従来の補間処理による修正では、以下のような問題点があった。すなわち、欠陥部を中心として互いに異なる複数の方向に沿って放射状に画像特徴量や補間値の演算を行うことから、欠陥部の周辺に画像の境界や模様が存在しない場合や欠陥部から放射状に延びる方向に画像の境界や模様が存在する場合には正確に修正することが可能であるが、欠陥部内に複雑な境界や模様が存在する場合には、このように放射状に延びる方向に沿って存在する正常画素の画素値を用いて補間する方法では正確に修正を行うことが困難であった。特に、欠陥部の領域が広い場合には、欠陥部内に複雑な境界や模様が存在する可能性が高く、正確に修正することが困難であった。

また、画像の境界や模様の方向を検出するために、欠陥部の周囲の全方向に沿って放射状に画像特徴量や補間値の演算を行う必要があり、更に画像の境界や模様の方向を正確に検出するためには、放射状の各方向の角度間隔を狭くする必要があることから、画像特徴量や補間値の演算を行う際の演算量が多くなり、処理速度を高くすることが困難であるという問題もあった。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、欠陥部内に複雑な境界や模様が存在する場合であってもそれらを反映した補間処理によって正確に欠陥を修正することが可能であるとともに、演算量を抑えて処理速度を高めることが可能な画像処理装置を提供することにある。

上記目的を達成するための本発明に係る画像処理装置の第１特徴構成は、欠陥画素の輝度を調整する処理を行う輝度調整手段と、欠陥画素から選択された対象画素の周囲から複数の正常画素を選択する正常画素選択手段と、前記正常画素選択手段により選択された各正常画素について、前記輝度調整手段による輝度調整後の前記対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最小値を用い、この最小値が小さいほど重みが重くなる係数を各正常画素についての各色成分共通の重み係数として演算する重み係数演算手段と、前記重み係数演算手段により演算された重み係数を用いて、前記複数の正常画素についての色成分毎の重み付き平均値を演算する重み付き平均値演算手段と、前記重み付き平均値演算手段により演算された色成分毎の重み付き平均値を用いて前記対象画素の修正を行う修正手段と、を有する点にある。

ここで、一般的に、写真フィルムのベース面に傷が付いている場合や、写真フィルムの表面に埃又は汚れが付いている場合等には、読み取った画像データに含まれる欠陥画素の各色成分の画素値は互いに同じ量だけ減衰するので、輝度調整処理により適切に欠陥を修正することができる。一方、写真フィルムの乳剤面に傷が付いている場合には、色成分の特定の層だけが損傷することにより色成分毎の画素値の減衰の量が異なるので、各色成分の画素値を一律に変更する輝度調整処理のみによっては欠陥を適切に修正することができず、補間処理により欠陥を修正する必要がある。ところで、写真フィルムの乳剤面に傷が付いている場合であっても、色成分のすべての層が損傷するような深い傷が付くことは非常に稀である。したがって、このように乳剤面に傷が付いた写真フィルムから読み取った画像データに含まれる欠陥画素に対して輝度調整処理を行った後は、損傷していない１色又は２色の色成分の画素値については、正常画素とほぼ同じ状態にまで修正されることになる。すなわち、乳剤面の傷により生じた画像データの欠陥画素であっても、当該傷により損傷していない１色又は２色の色成分の層の画素値は、輝度調整によって本来の欠陥が無い状態とほぼ同じ状態にまで修正することができる。そして、通常は、欠陥画素の周囲の正常画素の中には、当該欠陥画素の欠陥が無い状態に類似する画素が存在すると考えられる。したがって、輝度調整後の欠陥画素の各色成分の画素値とその周囲のいくつかの正常画素の各色成分の画素値との間には、１色又は２色について類似度が高くなる傾向が現れる。

前記第１特徴構成によれば、輝度調整後の対象画素の各色成分の画素値を、その周囲の正常画素の各色成分の画素値と比較し、１色又は２色の色成分の画素値について類似する正常画素の影響が大きくなるようにして対象画素の修正値を演算するので、対象画素の欠陥が無い状態に近い正常画素の画素値を大きな割合で修正画素値に用いて補間することになり、欠陥が無い状態を正確に再現して修正することができる。したがって、欠陥部内に複雑な境界や模様等が存在する場合であってもそれらを反映して正確に欠陥を修正することができる。また、対象画素の修正には、正常画素選択手段により選択された正常画素の中に対象画素の欠陥が無い状態に近い正常画素が１〜３個程度入っていれば修正が可能であるため、正常画素選択手段により選択して演算対象となる正常画素の数が５〜１０個程度でも正確な修正を行うことが可能である。したがって、演算量を少なくすることが可能であり、演算処理速度を高めることができる。なお、処理速度に余裕がある場合には、対象画素の欠陥が無い状態に近い正常画素を確実に、或いは多数探索して修正精度を高めるために、正常画素選択手段により選択する正常画素の数を更に増やすことも可能である。

本発明に係る画像処理装置の第２特徴構成は、上記第１特徴構成に加えて、前記正常画素選択手段は、前記対象画素の近傍から順に外側へ探索領域を広げながら、予め設定された一定量を検出するまで正常画素の探索を行い、検出された正常画素を選択する点にある。ここで、正常画素を検出する「一定量」は、単純に正常画素の個数で設定する（１０個等）ものに限定されず、例えば、重み係数演算手段により演算される重み係数の和が一定の値となる正常画素の量（この場合は、検出される正常画素の画素値によって探索する正常画素の個数は変動する。）等で設定することも可能である。

この第２特徴構成によれば、対象画素に近い正常画素が選択されることになるので、対象画素から離れた正常画素の画素値が対象画素の修正に用いられることがなくなり、修正精度をより高めることができる。また、予め設定された一定量の正常画素を検出した時点で探索を止めるので、演算対象となる画素数を限定して演算処理速度を高めることが可能となる。

本発明に係る画像処理装置の第３特徴構成は、上記第１又は第２特徴構成に加えて、前記正常画素選択手段により選択された各正常画素について、前記輝度調整手段による輝度調整後の前記対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最大値と最小値とを求め、これらの最大値と最小値との差分を用いて調整係数を演算する調整係数演算手段を有し、前記修正手段は、前記重み付き平均値演算手段により演算された色成分毎の重み付き平均値を、前記調整係数演算手段により演算された調整係数に応じた割合で前記輝度調整後の対象画素の画素値に適用して、前記対象画素の修正を行う点にある。

この第３特徴構成によれば、対象画素の周囲の複数の正常画素と輝度調整後の対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最大値と最小値との差分の大小によって対象画素の欠陥が乳剤面の傷によるものである可能性を判断して調整係数に表し、乳剤面の傷によるものである可能性が高ければ対象画素に対する補間処理の適用割合を高くして輝度調整処理の適用割合を低くし、乳剤面の傷によるものである可能性が低ければ対象画素に対する輝度調整処理の適用割合を高くして補間処理の適用割合を低くするような修正とすることができる。これにより、対象画素の各色成分の画素値の状態に応じて輝度調整処理と補間処理の適用割合を調節して最適な欠陥の修正を行うことができる。また、対象画素の欠陥が乳剤面の傷によるものであるか否かの判断の境界線付近の画素値である場合であっても、その可能性に応じて補間処理と輝度調整処理の適用割合を調節するので、補間処理又は輝度調整処理のいずれか一方のみを選択的に適用する場合のように、異なる修正処理が適用された部分同士の境界が明確に現れることがなく、修正後の画像に違和感がないようにすることができる。

本発明に係る画像処理方法の特徴構成は、欠陥画素の輝度を調整する輝度調整処理を行い、欠陥画素から選択された対象画素の周囲から複数の正常画素を選択し、前記選択された各正常画素について、前記輝度調整処理後の前記対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最小値を用い、この最小値が小さいほど重みが重くなる係数を各正常画素についての各色成分共通の重み係数として演算し、この重み係数を用いて、前記複数の正常画素についての色成分毎の重み付き平均値を演算し、この色成分毎の重み付き平均値を用いて前記対象画素の修正を行う点にある。

この特徴構成によれば、前記第１特徴構成による効果と同じく、欠陥部内に複雑な境界や模様等が存在する場合であってもそれらを反映して正確に欠陥を修正することができ、また、演算量を少なくして演算処理速度を高めることができる。

本発明に係る画像処理プログラムの特徴構成は、欠陥画素の輝度を調整する輝度調整処理を行い、欠陥画素から選択された対象画素の周囲から複数の正常画素を選択し、前記選択された各正常画素について、前記輝度調整処理後の前記対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最小値を用い、この最小値が小さいほど重みが重くなる係数を各正常画素についての各色成分共通の重み係数として演算し、この重み係数を用いて、前記複数の正常画素についての色成分毎の重み付き平均値を演算し、この色成分毎の重み付き平均値を用いて前記対象画素の修正を行う処理をコンピュータに実行させる点にある。

以下、本発明の実施形態として、本発明に係る画像処理装置１を、写真フィルム２から画像を読み取って印画紙３に記録する画像プリントシステム４に適用した場合について図面に基づいて説明する。図１は、本実施形態に係る画像プリントシステム４の外観を示す斜視図であり、図２は、本実施形態に係る画像プリントシステム４の概略構成を示す模式図であり、図３は、本実施形態に係る画像処理装置１の機能を示すブロック図である。

これらの図に示すように、この画像プリントシステム４は、図示しないフィルム現像機によって現像処理された写真フィルム２の撮影画像コマをデジタル画像データとして読み取る画像読取装置５、取得された画像データに画像処理を施してプリントデータを作成する画像処理装置１、及び画像処理装置１からのプリントデータに基づいて露光処理と現像処理とを行って印画紙３に画像を記録する画像記録装置６を備えて構成されている。

画像読取装置５は、いわゆるフィルムスキャナであり、主な構成要素としては、図２に示すように、照明光学系７、ズームレンズ等の撮像光学系８、入射してきた光を可視光と赤外光に分けるダイクロイックミラー９、可視光用センサユニット１０、赤外光用センサユニット１１を備えている。照明光学系７は、光源としてのハロゲンランプ又は発光ダイオードと、その光源からの光を調光するミラートンネルや拡散板などから構成されている。可視光用センサユニット１０は、写真フィルム２の３つの基本色成分、本実施形態においてはＲ（赤色）光、Ｇ（緑色）光、Ｂ（青色）光からなる可視光画像を検出するためにそれぞれ適合するカラーフィルタを装着した３つのＣＣＤアレイ１０ａと、これらのＣＣＤアレイ１０ａによって検出された可視光信号を処理して基本色成分で構成されたＲ光、Ｇ光、及びＢ光のそれぞれの画像データを生成して画像処理装置１へ転送する可視光用信号処理回路１０ｂを備えている。また、赤外光用センサユニット１１は、写真フィルム２に付いている傷の状態を赤外光画像として検出するために、ダイクロイックミラー９から分岐された赤外光のみを受けるように配置されたＣＣＤアレイ１１ａと、このＣＣＤアレイ１１ａによって検出された赤外光信号を処理して赤外光画像データを生成して画像処理装置１へ転送する赤外光用信号処理回路１１ｂを備えている。

このように構成された画像読取装置５では、写真フィルム２の撮影画像コマが所定の読取位置に位置決めされると、撮影画像コマの読取処理が開始されるが、その際撮影画像コマの投影光像は、フィルム搬送機構１２による写真フィルム２の副走査方向への送り操作により、複数のスリット画像に分割された形で順次可視光用センサユニット１０及び赤外光用センサユニット１１によって読み取られ、Ｒ、Ｇ、Ｂの各色成分の画像信号並びに赤外成分の画像信号に光電変換され、デジタル画像データとして画像処理装置１に送られる。このような、照明光学系７、撮像光学系８、可視光用センサユニット１０及び赤外光用センサユニット１１の各制御は画像処理装置１によって行われており、本実施形態では、画像処理装置１の一部の機能部分が画像読取装置５の構成要素となっている。

画像処理装置１は、ここでは基本的には汎用パソコンから構成されており、更に、この画像プリントシステム４の操作画面を表示するモニタ１３、デジタルカメラ等のメモリカード等から画像を読み込むメディアリーダ１４、オペレータによる操作入力に用いられるキーボード１５及びマウス１６等が付属して構成されている。

画像処理装置１は、ＣＰＵ１７を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装されているが、本発明に特に関係する機能部としては、図３に示すように、可視光画像データ及び赤外光画像データを各種処理のために一時的に格納するメモリ１８、メモリ１８に格納されている可視光画像データ及び赤外光画像データを用いて欠陥画素の修正を行う欠陥画素修正部１９と、メモリ１８に展開されている可視光画像データに対して色調補正やフィルタリング（ぼかしやシャープネスなど）やトリミング等の欠陥画素修正以外の各種画像処理を施す画像調整部２０、画像データやその他の表示アイテムをビデオメモリに取り込むとともにこのビデオメモリに展開されたイメージをビデオコントローラによってビデオ信号に変換してモニタ１３に送るビデオ制御部２１、欠陥画素修正部１９及び画像調整部２０で処理された最終的な画像データをプリントデータに変換して画像記録装置６の露光プリント部２２に転送するプリントデータ生成部２３、グラフィカルユーザーインターフェイス（ＧＵＩ）を用いて作り出された操作画面の下でキーボード１５及びマウス１６等を通じて入力された操作指令や予めプログラム化された操作指令に基づいて各機能部を制御するプリント管理部２４が挙げられる。

欠陥画素修正部１９は、メモリ１８に格納された赤外光画像データを用いて、可視光画像データに含まれる各画素が欠陥画素であるか否かの判定を行い、欠陥画素マップを作成する欠陥画素判定部２５と、欠陥画素判定部２５において欠陥画素と判定された画素の輝度を調整する処理を行う輝度調整部２６と、欠陥画素の中から選択された対象画素の周囲から一定量の正常画素を選択する正常画素選択部２７と、正常画素選択部２７により選択された各正常画素について、輝度調整部２６による輝度調整後の対象画素との間の画素値の差分を色成分（本実施形態においてはＲＧＢ、以下単にＲＧＢという。）毎に求め、このＲＧＢ毎の差分の各正常画素についての最小値を用い、この最小値が小さいほど重みが重くなる係数を各正常画素についてのＲＧＢ共通の重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）として演算する重み係数演算部２８と、重み係数演算部２８により演算された重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）を用いて、複数の正常画素についてのＲＧＢ毎の重み付き平均値を演算する重み付き平均値演算部２９と、正常画素選択部２７により選択された各正常画素について、輝度調整後の対象画素との間の画素値の差分をＲＧＢ毎に求め、このＲＧＢ毎の差分の各正常画素についての最大値と最小値とを求め、これらの最大値と最小値との差分を用いて調整係数（Ｗｇｔ２_ｘ，ｙ）を演算する調整係数演算部３０と、重み付き平均値演算部２９により演算されたＲＧＢ毎の重み付き平均値を、調整係数演算部３０により演算された調整係数（Ｗｇｔ２_ｘ，ｙ）に応じた割合で輝度調整後の対象画素の画素値に適用して、対象画素の修正を行う修正部３１とを備えている。ここで、本実施形態における輝度調整部２６、正常画素選択部２７、重み係数演算部２８、重み付き平均値演算部２９、調整係数演算部３０、及び修正部３１は、それぞれ特許請求の範囲における輝度調整手段、正常画素選択手段、重み係数演算手段、重み付き平均値演算手段、調整係数演算手段、及び修正手段に相当する。なお、この欠陥画素修正部１９における対象画素の欠陥の修正処理については、後に詳細に説明する。

画像記録装置６は、図２に示されているように、２つの印画紙マガジン３２に納められたロール状の印画紙３を引き出してシートカッター３３でプリントサイズに切断すると共に、このように切断された印画紙３に対し、バックプリント部３４で色補正情報やコマ番号などのプリント処理情報を印画紙３の裏面に印字するとともに、露光プリント部２２で印画紙３の表面に撮影画像の露光を行い、この露光後の印画紙３を複数の現像処理槽を有した処理槽ユニット３５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア３６からソータ３７に送られた印画紙３は、このソータ３７の複数のトレイ３８にオーダ単位で仕分けられた状態で集積される（図１参照）。

また、画像記録装置６には、印画紙３に対する各種処理に合わせた搬送速度で印画紙３を搬送するために印画紙搬送機構３９が敷設されている。印画紙搬送機構３９は、印画紙搬送方向に関して露光プリント部２２の前後に配置されたチャッカー式印画紙搬送ユニット３９ａを含む複数の挟持搬送ローラ対から構成されている。露光プリント部２２には、副走査方向に搬送される印画紙３に対して、主走査方向に沿って画像記録装置６からのプリントデータに基づいてＲ、Ｇ、Ｂの３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット３５は、発色現像処理液を貯留する発色現像槽３５ａと、漂白定着処理液を貯留する漂白定着槽３５ｂと、安定処理液を貯留する安定槽３５ｃとを備えている。

次に、本実施形態における欠陥画素の修正処理について、図４に示すフローチャートに基づいて詳細に説明する。

まず、画像読取装置５の可視光用センサユニット１０及び赤外光用センサユニット１１によって取得された可視光画像データ及び赤外光画像データをメモリ１８に取り込む（＃０１）。そして、欠陥画素判定部２５において、＃０１の処理でメモリ１８に格納された赤外光画像データを用いて、可視光画像データに含まれる各画素が欠陥画素であるか否かの判定を行い、欠陥画素マップを作成する（＃０２）。この処理は、赤外光画像データに含まれる各画素の画素値が、予め設定した一定の閾値以下である場合に欠陥画素と判定して、欠陥画素マップにその位置を登録することにより行うことができる。ここで用いる一定の閾値は、赤外光画像データに含まれる全画素の画素値の平均値に基づいて設定すると好適である。

次に、輝度調整部２６において、＃０２の処理で欠陥画素と判定されて欠陥画素マップに登録された画素の輝度を欠陥の無い状態に合せて調整する輝度調整処理を行う（＃０３）。この処理において用いる輝度調整方法としては、例えば、赤外光画像データに含まれる全ての正常画素の画素値の平均値と各欠陥画素の画素値との差分を各欠陥画素の傷による画素値の減衰量とし、可視光画像データに含まれる各欠陥画素の色成分（ＲＧＢ）毎の画素値にそれぞれ加算することにより、可視光画像データに含まれる全ての欠陥画素の輝度を調整する方法を用いることができる。なお、この輝度調整処理において用いる輝度調整の方法はこれに限定されるものではなく、背景技術の欄において説明した方法等、任意の輝度調整方法を適用することが可能である。

その後、＃０２の処理で欠陥画素と判定されて欠陥画素マップに登録された欠陥画素の中から補間による修正処理を行う対象画素を選択する（＃０４）。対象画素としては、欠陥画素マップに登録された欠陥画素であって未だ補間による修正処理を行っていない画素の中から任意の画素を選択することができる。

次に、正常画素選択部２７において、対象画素の周囲から一定量の正常画素を選択する（＃０５）。ここで、正常画素の選択方法としては、対象画素の近傍から順に外側へ探索領域を広げながら、予め設定された一定量を検出するまで正常画素の探索を行い、検出された正常画素を選択する方法とすると好適である。このような選択方法としては、例えば、図５に示すように、対象画素を中心として、まず３×３画素の正方形領域を設定して各辺に沿って４方向同時に正常画素を探索し、次に５×５画素の正方形領域を設定して同様に各辺に沿って４方向に正常画素を探索し、予め設定された一定量の正常画素を検出するまで順にｍ×ｍ画素の正方形領域の外形を外側に広げながら探索する方法を用いることができる。なお、正常画素を探索する方法は、これに限定されるものではなく、対象画素から外側に向かってらせん状に正方形領域を広げながら探索する方法等を用いることも可能である。

正常画素を検出する「一定量」は、単純に正常画素の個数で設定することができる。ここで、選択した正常画素の画素値が欠陥画素の修正値として用いられるので、正常画素を選択する数は多いほど精度の高い修正結果を得ることができる。しかし、実際には後述するように複数の正常画素の画素値の重み付き平均値を演算するので、選択された正常画素の中に対象画素の欠陥が無い状態に近い正常画素が１〜３個程度入っていれば十分に正確な修正をすることが可能であり、かつ通常は対象画素の周囲の正常画素には対象画素の欠陥が無い状態に近い画素が含まれている可能性が高い。したがって、例えば２０００×３０００画素程度の大きさの画像データの場合であれば、選択する正常画素の数は５〜１０個程度であれば十分に正確な修正を行うことが可能である。ただし、対象画素から離れた位置にある正常画素の画素値を修正値の演算に用いると、正確な修正結果が得られない可能性が高くなることから、例えば１５×１５画素の正方形領域を上限として設定し、その領域内で予め設定された一定量の正常画素が検出できない場合には、当該一定量に満たなくても正常画素の探索を中止し、それまでに検出された正常画素の画素値のみを修正値の演算に用いるような処理とすると好適である。なお、正常画素を検出する「一定量」の設定は、正常画素の個数による設定に限定されるものではなく、例えば、重み係数演算部２８により演算される重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）の和が一定の値となる正常画素の数量として設定することも可能である。この場合、検出される正常画素の画素値によって探索する正常画素の個数は変動する。

次に、＃０５の処理で選択された各正常画素について、輝度調整部２６による輝度調整後の対象画素との間の画素値の差分をＲＧＢ毎に演算する（＃０６）。具体的には、以下の式（１）、（２）、及び（３）に従って演算する。

ここで、（ｘ，ｙ）は対象画素の座標であり、（ｉ，ｊ）は対象画素からのｘ方向及びｙ方向のそれぞれについての画素数で表される距離であり、対象画素の周囲の画素の座標は（ｘ＋ｉ，ｙ＋ｊ）という座標で表される。また、ｒ１、ｇ１、ｂ１は、それぞれ輝度調整後の欠陥画素のＲＧＢ毎の画素値であり、ｒ２、ｇ２、ｂ２は、それぞれ正常画素のＲＧＢ毎の画素値である。そして、Ｒdef_{ｘ＋ｉ，ｙ＋ｊ}、Ｇdef_{ｘ＋ｉ，ｙ＋ｊ}、Ｂdef_{ｘ＋ｉ，ｙ＋ｊ}は、それぞれ、（ｘ＋ｉ，ｙ＋ｊ）座標に位置する正常画素と輝度調整後の対象画素との間の画素値の差分の絶対値であり、＃０５の処理で選択された全ての正常画素（探索したｍ×ｍ画素の正方形領域に含まれる全ての正常画素）について演算される。

次に、＃０６の処理で求めたＲＧＢ毎の差分（Ｒdef_{ｘ＋ｉ，ｙ＋ｊ}、Ｇdef_{ｘ＋ｉ，ｙ＋ｊ}、Ｂdef_{ｘ＋ｉ，ｙ＋ｊ}）の各正常画素についての最小値を演算する（＃０７）。具体的には、以下の式（４）に従って演算する。

この最小値（Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}）は、その値が小さいほど、対象画素と当該（ｘ＋ｉ，ｙ＋ｊ）座標に位置する正常画素との画素値がＲＧＢのいずれか１色について近い（類似度が高い）ことを表している。ここで、ｍｉｎは最小値演算関数である。そして、Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}は＃０６の処理で求めたＲＧＢ毎の差分の各正常画素についての最小値であり、＃０５の処理で選択された全ての正常画素について演算される。本実施形態においては、最小値（Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}）の上限を「α」として設定しており、ＲＧＢのそれぞれの差分に加えて「α」をｍｉｎ（最小値演算関数）による比較対象として演算している。最小値（Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}）の上限の「α」は、輝度調整後の対象画素の画素値と正常画素の画素値とが類似している可能性があり、当該正常画素の画素値を補間による修正値の演算に用いることができる限界の値として設定する。したがって、＃０６の処理で求めたＲＧＢ毎の差分（Ｒdef_{ｘ＋ｉ，ｙ＋ｊ}、Ｇdef_{ｘ＋ｉ，ｙ＋ｊ}、Ｂdef_{ｘ＋ｉ，ｙ＋ｊ}）が全て「α」以上である場合には、後述するように、その（ｘ＋ｉ，ｙ＋ｊ）座標に位置する正常画素についての重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）は「０」となって、補間による修正値の演算には用いられないことになる。なお、このような「α」の値としては、例えば、各画素がＲＧＢ毎に１２ｂｉｔのデータ量を有して画素値が０〜４０９５までの値をとり、各画素値の自然対数を用いて演算する場合であれば、「α＝１」程度とすると好適である。

また、上記の式（４）では、ＲＧＢの全ての色成分についての最小値を求めることとしているが、乳剤面の傷の場合に最初に損傷する層の色成分の値を無視する演算式とすること可能である。すなわち、例えば、写真フィルム２の乳剤面の各色成分の層が表面からＢ、Ｇ、Ｒの順に配置されている場合には、Ｂ成分についての差分（Ｂdef_{ｘ＋ｉ，ｙ＋ｊ}）の値を最小値（Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}）の演算に用いないことも可能である。このように、損傷して正確に輝度調整を行えていない可能性の高い対象画素の色成分の画素値を演算に用いないことにより、演算の正確性をより高めることが可能である。

また、＃０７の処理と同時か或いは連続して、＃０６の処理で求めたＲＧＢ毎の差分（Ｒdef_{ｘ＋ｉ，ｙ＋ｊ}、Ｇdef_{ｘ＋ｉ，ｙ＋ｊ}、Ｂdef_{ｘ＋ｉ，ｙ＋ｊ}）の各正常画素についての最大値を演算する（＃０８）。具体的には、以下の式（５）に従って演算する。

この最大値（Ａｄｊ_{ｘ＋ｉ，ｙ＋ｊ}）は、後の調整係数（Ｗｇｔ２_ｘ，ｙ）を求めるための演算（＃１１の処理）で用いられる。ここで、ｍａｘは最大値演算関数である。そして、Ａｄｊ_{ｘ＋ｉ，ｙ＋ｊ}は＃０６の処理で求めたＲＧＢ毎の差分の（ｘ＋ｉ，ｙ＋ｊ）座標に位置する正常画素についての最大値であり、＃０５の処理で選択された全ての正常画素について演算される。

なお、＃０６及び＃０７の処理は重み係数演算手段により行われる処理であり、＃０６〜＃０８の処理は調整係数演算手段により行われる処理である。したがって、これらの処理については、重み係数演算部２８及び調整係数演算部３０のいずれか又は双方において行う。

次に、重み係数演算部２８において、＃０７の処理で求めた最小値（Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}）が小さいほど重みが重くなる係数を各正常画素についてのＲＧＢ共通の重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）として演算する（＃０９）。具体的には、以下の式（６）に従って演算する。

この重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）は、各正常画素について演算され、それが大きい値をとる正常画素ほど、その画素値が対象画素の修正値に与える影響が大きくなるようにするための係数である。ここで、Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}は＃０７の処理で求めた（ｘ＋ｉ，ｙ＋ｊ）座標に位置する正常画素に対応する重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）であって、＃０５の処理で選択された全ての正常画素について演算される。本実施形態においては、Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}の上限を「α」として設定していることから、上記（６）式に従って演算することにより、重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）は、０≦Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}≦１の範囲内の値をとることになる。そして、最小値（Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}）が「０」である場合、すなわち輝度調整後の対象画素の画素値と正常画素の画素値とがいずれかの色成分（ＲＧＢ）において同じ値をとる場合には、重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）は最大の「１」となり、逆に、最小値（Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}）が「α」である場合、すなわち輝度調整後の対象画素の画素値と正常画素の画素値とがいずれの色成分（ＲＧＢ）についても「α」以上の差で離れている場合には、重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）は最小の「０」となる。

その後、重み付き平均値演算部２９において、＃０９の処理で求めた重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）を用いて、＃０５の処理で選択された全ての正常画素についてのＲＧＢ毎の重み付き平均値を演算する（＃１０）。具体的には、以下の式（７）、（８）、及び（９）に従って演算する。

この重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）が、対象画素の補間処理によるＲＧＢ毎の修正値となる。ここで、ｎは、＃０５の処理において正常画素を探索した範囲であるｍ×ｍ画素の正方形領域において、（ｉ，ｊ）がとり得る最大の値を表し、前記正方形領域が３×３画素の領域であれば、ｎは−１〜１の間の整数値をとり、前記正方形領域が５×５画素の領域であれば、ｎは−２〜２の間の整数値をとる。また、上記のとおり、ｒ２、ｇ２、ｂ２は、それぞれ正常画素のＲＧＢ毎の画素値であるので、欠陥画素（対象画素を含む）は演算の対象とはならない。そして、上記の式（７）、（８）、及び（９）により、＃０５の処理で選択された各正常画素の画素値にその正常画素についての重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）を乗じた値の、全ての正常画素についての和を、重み係数（Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ}）の和で除算した重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）をＲＧＢ毎に演算することができる。

次に、調整係数演算部３０において、＃０８の処理で求めた最大値（Ａｄｊ_{ｘ＋ｉ，ｙ＋ｊ}）と、＃０７の処理で求めた最小値（Ｓｉｍ_{ｘ＋ｉ，ｙ＋ｊ}）との差分を演算する（＃１１）。具体的には、以下の式（１０）に従って演算する。

この最大値と最小値との差分（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}）は、＃０５の処理で選択された全ての正常画素について演算される。この最大値と最小値との差分（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}）により、対象画素の欠陥が乳剤面の傷によるものである可能性を図ることができる。すなわち、この最大値と最小値との差分（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}）が小さい場合には、対象画素と（ｘ＋ｉ，ｙ＋ｊ）座標に位置する正常画素と画素値の差分が、ＲＧＢ間で近い値となっていることを示しており、ＲＧＢ毎の画素値の減衰量が同じ程度であると推測することができるので、対象画素の欠陥が乳剤面の傷によるものである可能性は低いと判断され、逆に、この最大値と最小値との差分（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}）が大きい場合には、対象画素と（ｘ＋ｉ，ｙ＋ｊ）座標に位置する正常画素と画素値の差分が、ＲＧＢ間で大きく異なる値となっていることを示しており、ＲＧＢ毎の画素値の減衰量が互いに異なると推測することができるので、対象画素の欠陥が乳剤面の傷によるものである可能性は高いと判断される。

そして、調整係数演算部３０において、＃１１の処理で求めた最大値と最小値との差分（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}）に基づいて、調整係数（Ｗｇｔ２_ｘ，ｙ）を演算する（＃１２）。具体的には、以下の式（１１）に従って演算する。

この調整係数（Ｗｇｔ２_ｘ，ｙ）は、補間処理の適用割合、すなわち＃１０の処理で求めた重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）対象画素の最終修正値に対する適用割合を調整するための係数である。ここで、ｃｏｕｎｔは、＃１１の処理で求めた最大値と最小値との差分（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}）の数であって、＃０５の処理で選択された正常画素の数に等しい値となる。また、「β」は、＃１１の処理で求めた最大値と最小値との差分（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}）の平均値（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}／ｃｏｕｎｔ）が、対象画素の欠陥が完全に乳剤面の傷によるものであると判断する限界のときにとる値として設定する。したがって、最大値と最小値との差分の平均値（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}／ｃｏｕｎｔ）が「β」に近い大きい値をとるほど調整係数（Ｗｇｔ２_ｘ，ｙ）は「１」に近い値となって、重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）の最終修正値に対する適用割合が高くなり、逆に、最大値と最小値との差分の平均値（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}／ｃｏｕｎｔ）が「０」に近い小さい値をとるほど調整係数（Ｗｇｔ２_ｘ，ｙ）は「０」に近い値となって、輝度調整処理の適用割合が高くなり、重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）の最終修正値に対する適用割合が低くなる。また、最大値と最小値との差分の平均値（ＭａｘＭｉｎ_{ｘ＋ｉ，ｙ＋ｊ}／ｃｏｕｎｔ）が「β」より大きい値をとる場合には、対象画素の欠陥が完全に乳剤面の傷によるものであると判断できるので、調整係数（Ｗｇｔ２_ｘ，ｙ）を「１」とし、輝度調整処理の適用割合を「０」として、＃１０の処理で求めた重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）を最終修正値とする。なお、式（１１）の演算結果が「１」より大きい値となる場合に調整係数（Ｗｇｔ２_ｘ，ｙ）を「１」とするのは計算上の都合から、調整係数（Ｗｇｔ２_ｘ，ｙ）の上限を「１」としているためである。

次に、＃０３の処理で求めた輝度調整後の対象画素の画素値（ｒ１_ｘ，ｙ、ｇ１_ｘ，ｙ、ｂ１_ｘ，ｙ）と、＃１０の処理で求めた重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）と、＃１２の処理で求めた調整係数（Ｗｇｔ２_ｘ，ｙ）とに基づいて、対象画素の最終修正値を演算する（＃１３）。すなわち、重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）を、調整係数（Ｗｇｔ２_ｘ，ｙ）に応じた割合で輝度調整後の対象画素の画素値（ｒ１_ｘ，ｙ、ｇ１_ｘ，ｙ、ｂ１_ｘ，ｙ）に適用することにより、対象画素の最終修正値（Ｒans_ｘ，ｙ、Ｇans_ｘ，ｙ、Ｂans_ｘ，ｙ）をＲＧＢ毎に演算する。具体的には、以下の式（１２）、（１３）、及び（１４）に従って演算する。

これらの式（１２）、（１３）、及び（１４）によれば、調整係数（Ｗｇｔ２_ｘ，ｙ）が大きい値、すなわち「１」に近い値をとるほど、対象画素の欠陥が乳剤面の傷によるものである可能性が高いと判断して、最終修正値に対して重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）が与える影響を大きくし、調整係数（Ｗｇｔ２_ｘ，ｙ）が小さい値、すなわち「０」に近い値をとるほど、対象画素の欠陥が乳剤面の傷によるものである可能性が低いと判断して、最終修正値に対して輝度調整後の対象画素の画素値（ｒ１_ｘ，ｙ、ｇ１_ｘ，ｙ、ｂ１_ｘ，ｙ）が与える影響を大きくする。これにより、対象画素の欠陥が乳剤面の傷によるものである可能性に応じた割合で補間処理と輝度調整処理を適用し、対象画素の最終修正値を演算することができる。

そして、＃１３の処理で求めた最終修正値により、対象画素の画素値を修正する（＃１４）。具体的には、対象画素の画素値（ｒ１_ｘ，ｙ、ｇ１_ｘ，ｙ、ｂ１_ｘ，ｙ）を、ＲＧＢ毎に、＃１３の処理で求めた最終修正値（Ｒans_ｘ，ｙ、Ｇans_ｘ，ｙ、Ｂans_ｘ，ｙ）に置き換えることにより行う。

次に、＃０２の処理により欠陥画素と判定された全ての画素について、＃０４から＃１４までの修正処理が終了したか否かについて判断する（＃１５）。全ての欠陥画素について修正処理が終了していない場合には（＃１５：ＮＯ）、処理は＃０４へ戻り、次の対象画素について上記と同様の修正処理を行う。そして、全ての欠陥画素についての修正処理が終了した場合には（＃１５：ＹＥＳ）、対象画素の修正処理を終了する。

〔その他の実施形態〕
（１）上記実施形態においては、欠陥画素修正部１９に調整係数演算手段を構成する調整係数演算部３０を備え、対象画素の欠陥が乳剤面の傷によるものである可能性を判断して調整係数に表し、その可能性に応じて輝度調整処理と補間処理の適用割合を調節する構成とした場合について説明したが、本発明に係る画像処理装置１は、このような調整係数演算手段を備えない構成とすることも可能である。ただし、その場合には、対象画素の欠陥が乳剤面の傷によるものであるか否かに関わらず、対象画素の最終修正値は、重み付き平均値（Ｒave_ｘ，ｙ、Ｇave_ｘ，ｙ、Ｂave_ｘ，ｙ）となってしまうことから、＃０４の対象画素の選択の処理の際に、欠陥画素の欠陥が乳剤面の傷によるものであるか否かを判定する処理を加え、乳剤面の傷によると判定された画素のみを対象画素として選択するようにする方が望ましい。
（２）上記実施形態においては、写真フィルム２から画像を読み取って印画紙３に記録する画像プリントシステム４に適用した場合について説明したが、本発明を適用する対象はこれに限定されるものではなく、何らかの欠陥により色成分毎の減衰量のバランスが崩れた欠陥画素を修正するものであれば、他の画像処理装置等に適用することも可能である。

本発明は、複数の色成分を有するカラー画像データの欠陥部分の修正の際に、欠陥部内に複雑な境界や模様が存在する場合であってもそれらを反映した正確な補間処理を可能にするものであって、各種の画像処理装置やプログラム等に用いることが可能である。

本発明の実施形態に係る画像プリントシステムの外観を示す斜視図である。本発明の実施形態に係る画像プリントシステムの概略構成を示す模式図である。本発明の実施形態に係る画像処理装置の機能を示すブロック図である。本発明の実施形態に係る欠陥画素の修正処理のフローチャートである。本発明の実施形態に係る欠陥画素の修正処理において、対象画素の周囲の複数の正常画素を選択する際の選択方法の一例を示す説明図である。

符号の説明

１画像処理装置
４画像プリントシステム
５画像読取装置
６画像記録装置
１７ＣＰＵ
１８メモリ
１９欠陥画素修正部
２５欠陥画素判定部
２６輝度調整部
２７正常画素選択部
２８重み係数演算部
２９重み付き平均値演算部
３０調整係数演算部
３１修正部
Ｗｇｔ_{ｘ＋ｉ，ｙ＋ｊ} 重み係数
Ｗｇｔ２_ｘ，ｙ調整係数

Claims

欠陥画素の輝度を調整する処理を行う輝度調整手段と、
欠陥画素から選択された対象画素の周囲から複数の正常画素を選択する正常画素選択手段と、
前記正常画素選択手段により選択された各正常画素について、前記輝度調整手段による輝度調整後の前記対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最小値を用い、この最小値が小さいほど重みが重くなる係数を各正常画素についての各色成分共通の重み係数として演算する重み係数演算手段と、
前記重み係数演算手段により演算された重み係数を用いて、前記複数の正常画素についての色成分毎の重み付き平均値を演算する重み付き平均値演算手段と、
前記重み付き平均値演算手段により演算された色成分毎の重み付き平均値を用いて前記対象画素の修正を行う修正手段と、
を有する画像処理装置。
前記正常画素選択手段は、前記対象画素の近傍から順に外側へ探索領域を広げながら、予め設定された一定量を検出するまで正常画素の探索を行い、検出された正常画素を選択する請求項１に記載の画像処理装置。
前記正常画素選択手段により選択された各正常画素について、前記輝度調整手段による輝度調整後の前記対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最大値と最小値とを求め、これらの最大値と最小値との差分を用いて調整係数を演算する調整係数演算手段を有し、
前記修正手段は、前記重み付き平均値演算手段により演算された色成分毎の重み付き平均値を、前記調整係数演算手段により演算された調整係数に応じた割合で前記輝度調整後の対象画素の画素値に適用して、前記対象画素の修正を行う請求項１又は２に記載の画像処理装置。
欠陥画素の輝度を調整する輝度調整処理を行い、欠陥画素から選択された対象画素の周囲から複数の正常画素を選択し、前記選択された各正常画素について、前記輝度調整処理後の前記対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最小値を用い、この最小値が小さいほど重みが重くなる係数を各正常画素についての各色成分共通の重み係数として演算し、この重み係数を用いて、前記複数の正常画素についての色成分毎の重み付き平均値を演算し、この色成分毎の重み付き平均値を用いて前記対象画素の修正を行う画像処理方法。
欠陥画素の輝度を調整する輝度調整処理を行い、欠陥画素から選択された対象画素の周囲から複数の正常画素を選択し、前記選択された各正常画素について、前記輝度調整処理後の前記対象画素との間の画素値の差分を色成分毎に求め、この色成分毎の差分の各正常画素についての最小値を用い、この最小値が小さいほど重みが重くなる係数を各正常画素についての各色成分共通の重み係数として演算し、この重み係数を用いて、前記複数の正常画素についての色成分毎の重み付き平均値を演算し、この色成分毎の重み付き平均値を用いて前記対象画素の修正を行う処理をコンピュータに実行させるための画像処理プログラム。