JP2008306365A - 画像補正方法と画像補正装置 - Google Patents

Abstract

【課題】ニューラルネットワークの学習時に用いられた画像特徴量から大きく外れるような画像が入力された場合に作成される極端な補正曲線を用いた不適切な画像補正を回避することができる画像補正技術を提供する。
【解決手段】用意された多数のサンプル画像に基づいてニューラルネットワーク部を構築し、多数のサンプル画像に基づいて作成された基本補正曲線を登録し、入力画像の画像特徴量をニューラルネットワーク部に入力することで出力される画像補正量から個別補正曲線を作成し、基本補正曲線と個別補正曲線を比較して評価した相違度が所定レベル以下の場合には個別補正曲線で入力画像を画像補正するとともに、相違度が所定レベルを超えた場合に前記基本補正曲線と前記個別補正曲線とを融合させて作成した融合補正曲線で前記入力画像を画像補正する。
【選択図】図２

Description

本発明は、入力画像を適正画像に補正曲線を用いて補正する画像補正技術に関する。

入力画像を適正画像に補正する代表的な分野である写真プリント出力の分野では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像（データ）や、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像（データ）に濃度補正や色補正などの画像補正を施した後これをプリントデータに変換し、このプリントデータに基づいて写真プリントユニットを駆動して、撮影画像を感光材料（印画紙）に光ビームで焼き付けたり、プリント用紙にカラーインクで形成したりするデジタル写真処理技術が主流である。種々の写真撮影状況下において適正な撮影画像を得るためには、シャッタースピードや絞りの設定、天候、光源の種類などの撮影条件を適切に設定する必要があるが、撮影者はこれらの撮影条件をあまり意識せずに撮影しているのが実情であり、このため、被写体の色調や明暗（コントラスト）の再現性が適正に得られていない不適正な撮影画像が写真プリント装置に入力されることが少なくない。取得した入力撮影画像を適正な出力撮影画像、例えば写真プリントとして再現するために用いられる画像補正の主なものは、色補正、濃度補正、コントラスト補正であり、これらの補正を正しく調整して組み合わせた画像補正が必要となる。

写真撮影によって取得された撮影画像から、色調およびコントラストの補正を必要とする画像部分を選別し、その選別された画像部分に対し、色調およびコントラストの再現性の精度をできるだけ高めることのできる画像補正の１つとして、各色毎の階調ヒストグラムの最高度数に対して、所定割合を下回る度数の画像データを各色毎に除外して残った画像データの階調幅を基準階調幅に引き延ばし又は圧縮し、階調幅の引き延ばし又は圧縮に合わせて画像データの画素値を補正変換することで、カラーバランスおよびコントラストのいずれかまたは両方をある程度補正するものがある（例えば、特許文献１参照）。

また、色補正、濃度補正、コントラスト補正を効率よく実施する画像補正として、撮影画像の低解像度データと所定の濃度・コントラスト補正アルゴリズムに基づいて、まず濃度・コントラスト変換曲線（変換テーブル）が作成され、次いでこの濃度・コントラスト変換曲線を用いて補正された撮影画像の低解像度データと所定のカラー補正アルゴリズムに基づいてカラー補正変換曲線（変換テーブル）が作成され、これらの濃度・コントラスト変換曲線とカラー補正変換曲線を融合させて作成された統合補正変換曲線を用いて写真プリント出力の目的ために撮影画像の高解像度画像データを補正するものも知られている（例えば、特許文献２参照）。

また、選択された代表色のＲＧＢ信号を入力データとして使用するととともに、出力装置（プリンタ）にて出力された上記の代表色の複製画像を再び入力装置（スキャナ）にて読み取ったＲＧＢ信号を教師データとして使用することによってニューラルネットワークを構築し、入力画像の各画素値を入力層に入力することにより、中間層を介して、出力層からプリンタのインク量を出力させ、これにより良好な複製画像を得ようとする画像処理装置も知られている（例えば、特許文献３参照）。

画像補正にニューラルネットワークを用いた技術としては、さらに画像信号を入力とし画像補正量を教師値として予め学習させたニューラルネットワークを備え、このニューラルネットワークに画像信号を入力することで得られる画像補正量を用いて画像信号を補正して安定した出力画像を得る画像形成装置も知られている（例えば、特許文献４参照）。

特開２００４−１４５３９９号公報（段落番号００２３−００２９） 特開２００６−１５７５６２号公報（段落番号００２６−００２９、図７） 特開平０９−１６８０９５号公報（段落番号００５０−００５７、００６６、図４） 特開平０９−０１８７１６号公報（段落番号００３９−００４０、図１）

ニューラルネットワークの技術を画像補正に適用する場合、まず、多数のサンプル画像を用意しておき、各サンプル画像をサンプル適正画像とする画像補正を熟練者によってマニュアルで行い、この各サンプル画像から算出された特徴量セットを入力データとするとともに、このマニュアル画像補正を通じて作り出される元画像の画素値と適正画像の画素値との対応関係（画像補正量）を教師データとしてニューラルネットワークを学習させる。このような学習を通じて構築されたニューラルネットワークの入力層に補正対象となる入力画像から算出された画像特徴量を与えることで、この入力画像に適合した画像補正量が出力される。出力された画像補正量から補正曲線（画像補正量マトリックスや変換テーブルや変換式と呼び代えることができる）を作成し、この補正曲線を用いて元画像としての入力画像を画像補正することにより、適正な写真プリントを出力するために適した補正画像が得られる。しかしながら、入力画像がニューラルネットワークの学習時に用いられた画像特徴量から大きく外れるような画像であった場合、作成された補正曲線が極端なものとなり、この補正曲線によって補正された補正画像が不適正なものとなってしまう。
上記実状に鑑み、本発明の課題は、ニューラルネットワークの学習時に用いられた画像特徴量から大きく外れるような画像が入力された場合に作成される極端な補正曲線を用いた不適切な画像補正を回避することができる画像補正技術を提供することである。

入力画像を適正画像に補正曲線を用いて補正する画像補正方法において上記課題を解決するため、本発明による方法は、用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す画像補正量を教師値として学習させたニューラルネットワーク部を構築するステップと、前記多数のサンプル画像に基づいて作成された基本補正曲線を登録するステップと、前記入力画像の画像特徴量を前記ニューラルネットワーク部に入力することで出力される画像補正量から個別補正曲線を作成するステップと、前記基本補正曲線と前記個別補正曲線との間の相違度が所定レベル以下の場合に前記個別補正曲線で前記入力画像を画像補正するとともに、前記相違度が所定レベルを超えた場合前記基本補正曲線と前記個別補正曲線とを融合させて作成した融合補正曲線で前記入力画像を画像補正するステップとからなる。

この方法では、学習済みのニューラルネットワーク部を用いて出力された画像補正量を用いて作成された個別補正曲線をそのまま画像補正に用いるのではなく、この個別補正曲線を多数のサンプル画像に基づいて作成された基本補正曲線（各サンプル画像における補正曲線を代表する補正曲線）と比較評価する。個別補正曲線と基本補正曲線とに大きな相違がない場合、つまり補正対象となっている入力画像の画像特徴量がニューラルネットワークの学習時に用いられた画像特徴量と大きく離れていないと推定される場合、そのまま個別補正曲線が入力画像の画像補正のために適用される。しかしながら、個別補正曲線と基本補正曲線とに大きな相違がある場合、つまり補正対象となっている入力画像の画像特徴量がニューラルネットワークの学習時に用いられた画像特徴量と大きく離れていると推定される場合、そのまま個別補正曲線を使うのではなく、個別補正曲線と基本補正曲線とを融合させることで個別補正曲線の極端なところを緩和させた融合補正曲線を使う。これにより、補正対象となる入力画像の画像特徴量がニューラルネットワークの学習時に用いられた画像特徴量から大きく外れていることにより、不適切な個別補正曲線が作成されたとしても、この個別補正曲線の代わりに融合補正曲線を使うことで、極端な補正による不都合が回避される。

なお、この明細書で用いられている補正曲線なる用語は、画像処理の分野でよく用いられる補正式、補正マトリックスといった、元画像の画素値を適正画像の画素値に変換する機能を総称するものであり、さらにそのような変換機能を作り出すためのデータ群もその用語の範囲に属している。つまり、ここでの補正曲線は元画像の画素値と適正画像の画素値との対応関係を規定するものであり。この補正曲線の具体的な実施形態としてはＬＵＴ（ルックアップテーブル）と呼ばれるハードウエア又はソフトウエアあるいはその両方で構築されるモジュールが一般的である。また、明細書では、特別に区別する必要がある場合を除いて、デジタルデータとしての画像データやこの画像データに基づくプリント画像やモニタ表示画像も単に画像という語句で総称している。

ニューラルネットワークの教師値を作成するためにサンプル画像１枚ごとに画像補正量を求め、この画像補正量に基づいて１つの補正曲線を作成し、これを繰り返すことで作成された多数の補正曲線を標準化、簡単には平均化することにより、前記基本補正曲線を作成することができる。あるいは、別の方法として、前記基本補正曲線は、前記多数のサンプル画像を入力として学習済みのニューラルネットワーク部から出力された画像補正量から作成された多数の個別補正曲線を標準化することにより作成することも可能である。後者の場合、構築されたニューラルネット部に直接関係付けられた基本補正曲線が得られる。

前記補正曲線を入力階調値を出力階調値に変換するためのものとするならば、前記基本補正曲線と前記個別補正曲線との相違度を簡単に算出する方法の１つとして、前記相違度が入力階調値毎に求められた差分値の累積値とすることが提案される。これにより、入力階調値と出力階調値との対応関係を大きく変えてしまう基本補正曲線と個別補正曲線の変換形態の違いを数値化して表すことができる。入力画像が撮影画像で、写真プリント出力を最終目的とする画像補正の場合、入力階調値と出力階調値との対応関係は、その入力階調値の領域、例えばシャドウ領域、中間領域、ハイライト領域によって、極端な補正の許容度が異なる傾向がある。このため、本発明の好適な実施形態の１つでは、前記相違度が入力階調値毎に設定された重み係数を用いて前記差分値を累積した値で表され、特定の領域での基本補正曲線と個別補正曲線の相違を特に重要視又は軽視するといった使い方を可能にしている。

前記基本補正曲線と前記個別補正曲線の融合に関して、最終的な画像プリント出力に要求される品質仕様によって、基本補正曲線寄りが好まれる場合や個別補正曲線寄りが好まれる場合に分かれる。従って、本発明の好適な実施形態の１つでは、前記融合補正曲線を作成するための前記基本補正曲線と前記個別補正曲線との融合率は調整可能に構成されている。また、求められた相違度が入力画像によって大きな幅をもつ可能性があると、同じ融合率を用いることは不都合である。このため、前記融合率を前記相違度に基づいて調整可能とすることも好適である。

入力画像を適正画像に補正曲線を用いて補正する画像補正装置において上記課題を解決するため、本発明による装置は、用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す画像補正量を教師値として学習させて構築されたニューラルネットワーク部と、前記多数のサンプル画像に基づいて作成された基本補正曲線を登録する基本補正曲線登録部と、前記入力画像の画像特徴量を前記ニューラルネットワーク部に入力することで出力される画像補正量から個別補正曲線を作成する個別補正曲線作成部と、前記基本補正曲線と前記個別補正曲線との間の相違度が所定レベル以下の場合に前記個別補正曲線で前記入力画像を画像補正するとともに、前記相違度が所定レベルを超えた場合に前記基本補正曲線と前記個別補正曲線とを融合させて作成した融合補正曲線で前記入力画像を画像補正する画像補正部とからなる。また、前記基本補正曲線と前記個別補正曲線との間の相違度を自動的に評価するために、前記基本補正曲線と前記個別補正曲線を比較してその相違度を評価する比較評価部が備えられると、さらに補正作業は容易となる。当然ながら、このような画像補正装置も上述した画像補正方法で述べたすべての作用効果を得ることができ、さらに上述した付加的技術を組み込むことも可能である。

以下、本発明の実施形態を図面に基づいて説明するが、まず、本発明による補正技術の中核技術となるニューラルネットワークの構築原理を述べる。図１に模式的に示されているように、種々の撮影条件での撮影で取得された画像をサンプル画像として多数用意し、こられのサンプル撮影画像を元画像として順次指定し、モニタでの表示やテストプリントを通じて適正画像となるようにマニュアルで画像補正を行う（＃０１）。次に、元画像と画像補正によって得られた適正画像との画素値を比較評価して、元画像の画素値と適正画像の画素値との対応関係を規定する画像補正量を求め、これらの画像補正量に基づいて補正曲線を作成する（＃０２）。その際、８ビットカラー画像の場合、元画像の各画素の画素値から適正画像の画素値を導く画像補正量は各色毎に２５６個の画素値変換係数：βr(0)・・・βr(255)；βg(0)・・・βg(255)；βb(0)・・・βb(255)で表すことができるが、２５６の全ての画素値に対して画素値変換係数を求めるのではなく、とびとびの画素値変換係数を求め、残りは補間で算出してもよい。従って、元画像の画素値と適正画像の画素値との対応関係は補正曲線：f(x)として考えると最も理解しやすいので、以下補正曲線という語句を用いる。なお、一般的に、そのような補正曲線は、例えば４次式で良好に近似することができるので、その場合は、
f(x)=ax^4＋bx^3+cx^2+dx+e（xは入力階調（0〜255）、^は累乗を表す）
となり、元画像の画素値と適正画像の画素値との対応関係（補正曲線）はたかだか５つの係数：a、b、c、d、eで表すことができる。

次に、元画像として指定された画像から画像特徴量：α0・・・αnが算出される（＃０３）。画像特徴量としては、画像の全域又は部分域における平均濃度値、最大濃度値、最小濃度値といった画像領域に依存する特徴量、及び各色のヒストグラムから得られる階調値部分領域の積算頻度値などの画像領域に依存しない特徴量が採用される。ステップ＃０２で得られた画像補正量、結果的には補正曲線を規定する係数と、ステップ＃０３で得られた画像特徴量とは、画像特徴量を入力層の入力値とするとともに画像補正量を出力層の出力値とするニューラルネットワークの入出力関係を構築するための学習データとして利用されるため、ステップ＃０１からステップ＃０３の作業は準備された全てのサンプル画像に対して実施される。なお、ニューラルネットワークの学習過程において、画像補正量ないしは補正曲線を規定する係数は教師値と呼ばれる。用意された多数の元画像の画像特徴量を入力データとするとともに多数の画像補正量を教師値として数千回以上の反復学習を行い、ニューラルネットワークの入出力関係を構築する（＃０４）。

さらに、サンプル画像１枚毎にステップ＃０２で得られた画像補正量、結果的には補正曲線又は補正曲線を規定する係数は、最終的にはサンプル画像の数だけ集まるので、これらを標準化して、簡単には単純平均化して、別の表現をすれば、サンプル画像１枚毎に作成される補正曲線を標準化して基本補正曲線（基本画素値変換係数群と表現してもよい）を作成する（＃０５ａ）。

このようにして入出力関係が決定されたニューラルネットワークが構築されると、このニューラルネットワークを用いて、補正すべき入力画像を適正画像に補正することができる。この画像補正の原理が図２に模式的に示されている。まず、基本補正曲線を登録しておく（＃０５ｂ）。そして、補正すべき画像が入力されると、この入力画像から写真プリントを出力するために撮影画像が写真プリント装置に入力された場合、この入力された撮影画像から多数の画像特徴量を算出する（＃０６）。この画像特徴量をニューラルネットワークに入力すること（＃０７）により画像補正量が出力され（＃０８）、出力された画像補正量に基づき個別補正曲線が作成される（＃０９）。次に、作成された個別補正曲線と登録されている基本補正曲線が比較され、その相違度が評価される（＃１０）。ここで、評価された相違度によって処理過程は２つに分かれる。つまり、評価された相違度が所定レベル以下の場合、個別補正曲線を使用補正曲線として設定し（＃１１ａ）、この個別補正曲線を用いて入力画像を画像補正することで補正画像を得る（＃１２）。これに対して、評価された相違度が所定レベルを超えた場合、基本補正曲線と前記個別補正曲線とを融合させて作成した融合補正曲線を使用補正曲線として設定し（＃１１ｂ）、この融合補正曲線を用いて入力画像を画像補正することで補正画像を得る（＃１２）。いずれにしても補正画像が得られると、この補正画像からプリントデータを生成し、このプリントデータをプリント部に転送することにより、画像プリントが出力される。

上記説明では、基本補正曲線は、教師値を作成するためにサンプル画像毎にマニュアルで求められた画像補正量に基づいて作成された多数の補正曲線を標準化、好ましくは平均化することにより作成されていたが、これに代えて、図３で模式的に示すように、学習を終えて構築されたネットワークに再びサンプル画像を適用して、サンプル画像毎に画像補正量を出力させ、これらの画像補正量に基づいて作成された多数のサンプル画像毎の個別補正曲線を標準化、好ましくは平均化することにより基本補正曲線を作成してもよい。

次に、上述したニューラルネットワークのより具体的な構築手順の一例を図４から図８を用いて説明する。
図４にニューラルネットワークの模式的な構造が示されている。このニューラルネットワークは８９個の入力要素を有する入力層と４５個の中間要素を有する中間層と２０個の出力要素を有する出力層からなる。入力要素には撮影画像の特徴量：α0〜α88が入力され、出力要素には、図５に示されるような、各色の補正曲線を規定するそれぞれ２０個の代表点で示す画像補正量としての出力値、つまりＲ成分用出力値（画像補正量）β(1)〜β(20)、Ｇ成分用出力値（画像補正量）β(21)〜β(40)、Ｂ成分用出力値（画像補正量）β(41)〜β(60)が出力される。この出力値β(1)〜β(60)を用いてスムーズな各色の補正曲線を作り出すアルゴリズムには公知の近似曲線作成アルゴリズムを用いることができる。

このニューラルネットワークの学習時に採用されている画像特徴量：α0〜α88の内容は以下の通りである。
α0：画像全体の平均濃度値
α1：画像中央部（図６の（ａ）参照）の平均濃度値
α2：画像周辺部（図６の（ａ）参照）の平均濃度値
α3：画像上側部（図６の（ｂ）参照）の平均濃度値
α4：画像下側部（図６の（ｂ）参照）の平均濃度値
α5：画像左側部（図６の（ｃ）参照）の平均濃度値
α6：画像右側部（図６の（ｃ）参照）の平均濃度値
α7：画像全体の最大濃度値
α8：画像中央部（図６の（ａ）参照）の最大濃度値
α9：画像周辺部（図６の（ａ）参照）の最大濃度値
α10：画像上側部（図６の（ｂ）参照）の最大濃度値
α11：画像下側部（図６の（ｂ）参照）の最大濃度値
α12：画像左側部（図６の（ｃ）参照）の最大濃度値
α13：画像右側部（図６の（ｃ）参照）の最大濃度値
α14：画像全体の最小濃度値
α15：画像中央部（図６の（ａ）参照）の最小濃度値
α16：画像周辺部（図６の（ａ）参照）の最小濃度値
α17：画像上側部（図６の（ｂ）参照）の最小濃度値
α18：画像下側部（図６の（ｂ）参照）の最小濃度値
α19：画像左側部（図６の（ｃ）参照）の最小濃度値
α20：画像右側部（図６の（ｃ）参照）の最小濃度値
α21：上下に隣接する画素の差分値（図６の（ｄ）参照）の平均値
α22：画像全体の濃度標準偏差
α23：Ｒ色成分に関する画像全体の最大値
α24：Ｇ色成分に関する画像全体の最大値
α25：Ｂ色成分に関する画像全体の最大値
α26：Ｒ色成分に関する画像全体の最小値
α27：Ｇ色成分に関する画像全体の最小値
α28：Ｂ色成分に関する画像全体の最小値
α29〜α48：Ｒ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図７参照）に含まれる階調値の頻度を積算して得られるＲ積算頻度値
α49〜α68：Ｇ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図７参照）に含まれる階調値の頻度を積算して得られるＧ積算頻度値
α69〜α88：Ｂ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図７参照）に含まれる階調値の頻度を積算して得られるＢ積算頻度値
上記α0からα28までの画像特徴量は画像領域に依存する特徴量であり、上記α29からα88までの画像特徴量は画像領域に依存しない特徴量である。また、α29からα88までの特徴量は、２５６×３８４画素の画像をそのまま利用して算出するが、α0からα28までの特徴量は、処理の高速化のため、２５６×３８４画素の画像を３２×４８のブロックでモザイク処理した後の画像を利用して算出する。なお、濃度値としては、Ｒ・Ｇ・Ｂ色成分の各画素値を足して３で割った値を採用している。

以上のような入出力形態をもつニューラルネットワークの構築ルーチンが図８に示されている。
まず、用意しておいたサンプル画像を読み込み（＃２０）、そのサンプル画像から作り出された縮小画像を用いて前述した各画像特徴量：α0〜α88を算出し（＃２１）、それらを特徴量セットとしてメモリに格納する（＃２２）。読み込んだサンプル画像をモニタ表示しながら熟練者によるマニュアルの画像補正を行う（＃２３）。必要に応じて補正された画像のプリント出力を行い（＃２４）、補正された画像が適正であるかどうかをチェックする（＃２５）。補正された画像が適正と判定されるまで、マニュアル補正を繰り返し、適正な補正画像が得られると、その画像補正に基づいて元画像の画素値を適正補正画像の画素値に変換する画像補正量（元画像の画素値と適正画像の画素値との対応関係を規定するデータ群）とこの画像補正量にもとづく補正曲線を作成してメモリに格納する（＃２６）。ステップ＃２０〜ステップ＃２６までの処理が用意されている全てのサンプル画像のための実行される（＃２７Yes分岐）。全てのサンプル画像に対する処理が完了すると（＃２７No分岐）、これまでに得られたサンプル画像毎の画像特徴量と画像補正量がニューラルネットワークに適用される（＃２８）。ニューラルネットワークは、画像特徴量を入力データ、画像補正量を教師データとして学習し、その入出力関係（結合係数やしきい値）を確定させる（＃２９）。さらに、前述した方法で、基本補正曲線を作成しておく（＃３０）。

次に、図１と図２を用いて説明した画像補正技術を用いた画像補正装置を搭載し、画像として撮影画像を取り扱う写真プリント装置を説明する。図９はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリント部としてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図１０からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図９参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に撮影画像と略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから撮影画像を取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図１１に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された撮影画像に対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の撮影画像や画像処理が完了した処理済み撮影画像などをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ撮影画像にサムネイル画像（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像が含まれていない場合は本データから縮小画像を作り出してサムネイル画像としてメモリ３０に送り込む。さらには、入力された撮影画像から上述した特徴量セットを高速に算出するために用いられる入力された撮影画像をより小さな画像サイズをもつ補正処理用撮影画像（例えば、２５６×３８４画素）に変換する機能やもモザイク処理機能も有する。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット４０、メモリ３０に展開された撮影画像に対して各種画像処理を施す画像処理ユニット５０を備えている。

画像処理ユニット５０には、メモリ３０に展開された撮影画像に対してマニュアルで各種画像処理などを行うためのフォトレタッチプログラムを実装している第１画像補正ユニット６０と、前述したようなニューラルネットワーク画像補正技術を用いてメモリ３０に展開された入力撮影画像に対する自動的な画像補正を行う第２画像補正ユニット７０とが基本的にはプログラムの形で組み込まれている。

図１２で示されているように、本発明による画像補正装置としての機能を有する第２画像補正ユニット７０には、メモリ３０に展開された入力撮影画像から作り出された補正処理用撮影画像（２５６×３８４の画像又はこれから３２×４８のモザイク処理を施した画像）からこの入力撮影画像の画像特徴量を求める特徴量演算部７１と、前述した学習プロセスを通じて学習済みのニューラルネットワークを構築しているニューラルネットワーク部７２と、画像特徴量演算部７１によって算出された画像特徴量をニューラルネットワーク部７２の入力層に与えることにより出力される出力値である画像補正量に基づいて個別補正曲線を作成する個別補正曲線作成部７３と、前述したように多数のサンプル画像に基づいて作成された基本補正曲線を登録している基本補正曲線登録部７４と、個別補正曲線作成部７３によって作成された個別補正曲線と基本補正曲線登録部７４に登録されている基本補正曲線を比較してその相違度を評価する比較評価部７５と、評価された相違度が所定レベルを超えた場合に前記基本補正曲線と前記個別補正曲線とを融合させて融合補正曲線を作成する融合部７６と、入力撮影画像を前記個別補正曲線又は前記融合補正曲線のいずれかでもって画像補正する画像補正部７７が備えられている。画像補正部７７は、設定された補正曲線に基づいて入力撮影画像を画像補正する画像補正実行部７７ａと、比較評価部７５によって評価された相違度が所定レベル以下の場合に個別補正曲線作成部７３によって作成された個別補正曲線を画像補正実行部７７ａに設定し、この相違度が所定レベルを超えた場合に融合部７６によって作成された融合補正曲線を画像補正実行部７７ａに設定する補正曲線設定部７７ｂを備えている。

以上のように構成された写真プリント装置における写真プリント処理を図１３のフローチャートを用いて説明する。まず、写真プリント出力を行うために入力された撮影画像を読み込み（＃５０）、その撮影画像から作り出された補正処理用撮影画像を用いて画像特徴量演算部７１が前述した各画像特徴量：α0〜α88を算出し（＃５１）、それらを特徴量セットとしてニューラルネットワーク部７２の入力要素に与える（＃５２）。ニューラルネットワーク部７２の作動により、この撮影画像に適した画像補正量：βr(n)、βg(n)、βb(n)が出力値として出力されるので、この画像補正量に基づいて個別補正曲線が作成される（＃５３）。

作成された個別補正曲線は基本補正曲線登録部７４に登録されている基本補正曲線と比較され、その相違度が評価される（＃５４）。この相違度の評価は、図１４で模式的に示されているように、入力階調値毎に求められた基本補正曲線と個別補正曲線との間の差分値の絶対値の累積値（積分値）を演算することで求められる。その際、単純な各差分値の累積ではなく、シャドウ領域、中間領域、ハイライト領域等の領域別で設定された重み係数を用いた重み付き累積演算を行うこともできる。

求められた相違度は、予め統計的かつ実験的に求められた所定レベル（しきい値）と比較される（＃５５）。相違度が所定レベルを超えている場合（＃５５Yes分岐）、基本補正曲線と個別補正曲線とを融合するための融合率が決定される（＃５６）。この融合率は予め設定された定数であってもよいが、相違度に応じて変化する変数であってもよい。例えば、融合率＝ｇ（相違度）で示されるような演算式で求めることができるが、その際の関数：ｇは非連続関数でも連続関数でもよい。また、その融合率も、相違度の評価のところで述べたように、シャドウ領域、中間領域、ハイライト領域等の領域別で異なるようにしてもよい。

融合率が決定されると、その融合率で基本補正曲線と個別補正曲線との融合補正曲線が作成される（＃５７）。この作成された融合補正曲線は、画像補正部７７の画像補正実行部７７ａに対して設定される（＃５８）。

相違度が所定レベル以下の場合（＃５５No分岐）、個別補正曲線がそのまま画像補正部７７の画像補正実行部７７ａに対して設定される（＃５９）。

続いて、画像補正実行部７７ａが設定された補正曲線（融合補正曲線又は個別補正曲線）を用いて撮影画像を画像補正し（＃６０）、この補正された撮影画像からプリントデータ生成部３６がプリントデータを生成する（＃６１）。プリントデータがプリントステーション１Ｂに転送されることによりプリント処理が行われ（＃６２）、写真プリントが出力される（＃６３）。

上述した実施形態の説明では、前記基本補正曲線と前記個別補正曲線との間の相違度は比較評価部７５によって行われ、所定レベルとの比較判定も自動的に行われていたが、これに代えて、オペレータが前記基本補正曲線と前記個別補正曲線を比較してその相違度を評価し、融合すべきかどうかあるいはどの程度融合すべきかどうかを判定するような形態を採用してもよく、そのような形態も本発明の権利範囲内に入るものである。

上述した実施形態の説明では、本発明による画像補正技術が、ＤＰショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやＤＰショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよいし、画像処理ソフトウエアの撮影画像補正機能の１つとして、この画像処理ソフトウエアのプログラムに組み込んでもよい。

なお、上述した実施の形態では、画像プリント出力部としてのプリントステーション１Ｂは、印画紙Ｐに対し、レーザ式露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明によって補正された撮影画像のプリント方式は、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を含む。

本発明による画像補正技術で用いられるニューラルネットワークの学習手順の原理を説明する説明図 本発明によるニューラルネットワークを用いた画像補正の原理を説明する説明図 基本補正曲線の作成の別実施例を説明する説明図 ニューラルネットワークの構成を示す模式図 ニューラルネットワークの出力としての画像補正量及び補正曲線を説明する説明図 画像領域に依存する画像特徴量を説明する説明図 ヒストグラムに依存する画像特徴量を説明する説明図 ニューラルネットワークの構築ルーチンを示すフローチャート 本発明による画像補正技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 本発明の撮影画像補正技術を採用した画像補正ユニットの機能構成を示す機能ブロック図 写真プリント処理の手順を示すフローチャート 相違度の求め方を説明する説明図

符号の説明

１Ｂ：プリントステーション（プリント部）
３１：画像入力部
３６：プリントデータ生成部
７０：第２画像補正ユニット（画像補正装置）
７１：画像特徴量算出部
７２：ニューラルネットワーク部
７３：個別補正曲線作成部
７４：基本補正曲線登録部
７５：比較評価部
７６：融合部
７７：画像補正部
７７ａ：画像補正実行部
７７ｂ：補正曲線設定部

Claims (9)

1. 入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、
   用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す画像補正量を教師値として学習させたニューラルネットワーク部を構築するステップと、
   前記多数のサンプル画像に基づいて作成された基本補正曲線を登録するステップと、
   前記入力画像の画像特徴量を前記ニューラルネットワーク部に入力することで出力される画像補正量から個別補正曲線を作成するステップと、
   前記基本補正曲線と前記個別補正曲線との間の相違度が所定レベル以下の場合に前記個別補正曲線で前記入力画像を画像補正するとともに、前記相違度が所定レベルを超えた場合前記基本補正曲線と前記個別補正曲線とを融合させて作成した融合補正曲線で前記入力画像を画像補正するステップと、
   からなる画像補正方法。
2. 前記基本補正曲線は、前記教師値を作成するためにサンプル画像毎に求められた画像補正量に基づいて作成された多数の補正曲線を標準化することにより作成されることを特徴とする請求項１に記載の画像補正方法。
3. 前記基本補正曲線は、前記多数のサンプル画像を入力として学習済みの前記ニューラルネットワーク部から出力された画像補正量から作成された多数の個別補正曲線を標準化することにより作成されることを特徴とする請求項１に記載の画像補正方法。
4. 前記補正曲線が入力階調値を出力階調値に変換するためのものであり、前記相違度が入力階調値毎に求められた差分値の累積値であることを特徴とする請求項１から３のいずれか一項に記載の画像補正方法。
5. 前記相違度が入力階調値毎に設定された重み係数を用いて前記差分値を累積した値であることを特徴とする請求項４に記載の画像補正方法。
6. 前記融合補正曲線を作成するための前記基本補正曲線と前記個別補正曲線との融合率は調整可能であることを特徴とする請求項１から５のいずれか一項に記載の画像補正方法。
7. 前記融合率は前記相違度に基づいて調整可能であることを特徴とする請求項６に記載の画像補正方法。
8. 入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、
   用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す画像補正量を教師値として学習させて構築されたニューラルネットワーク部と、
   前記多数のサンプル画像に基づいて作成された基本補正曲線を登録する基本補正曲線登録部と、
   前記入力画像の画像特徴量を前記ニューラルネットワーク部に入力することで出力される画像補正量から個別補正曲線を作成する個別補正曲線作成部と、
   前記基本補正曲線と前記個別補正曲線との間の相違度が所定レベル以下の場合に前記個別補正曲線で前記入力画像を画像補正するとともに、前記相違度が所定レベルを超えた場合前記基本補正曲線と前記個別補正曲線とを融合させて作成した融合補正曲線で前記入力画像を画像補正する画像補正部と、
   からなる画像補正装置。
9. 前記基本補正曲線と前記個別補正曲線を比較して前記相違度を評価する比較評価部が備えられていることを特徴とする請求項８に記載の画像補正装置。

Images