JP2009004888A - 画像補正方法と画像補正装置 - Google Patents

Abstract

【課題】補正すべき入力画像に対して、その空間周波数が高い領域の画像特徴とその空間周波数が低い領域の画像特徴の両方を考慮した画像補正曲線を生成して、適正な画像補正を実現する画像補正技術を提供する。
【解決手段】入力画像に対応する補正演算用画像に対して第１サイズとこれより小さい第２サイズのサブマトリックスを用いて第１・第２モザイク処理画像を生成し、それぞれから求められた第１画像特徴量群と第２画像特徴量群を入力とするニューラルネットワークを用いて画像補正曲線を生成し、この画像補正曲線で入力画像を画像補正する。
【選択図】図２

Description

本発明は、入力画像を適正画像に補正曲線を用いて補正する画像補正技術に関する。

入力画像を適正画像に補正する代表的な分野である写真プリント出力の分野では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像（データ）や、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像（データ）に濃度補正や色補正などの画像補正を施した後これをプリントデータに変換し、このプリントデータに基づいて写真プリントユニットを駆動して、撮影画像を感光材料（印画紙）に光ビームで焼き付けたり、プリント用紙にカラーインクで形成したりするデジタル写真処理技術が主流である。種々の写真撮影状況下において適正な撮影画像を得るためには、シャッタースピードや絞りの設定、天候、光源の種類などの撮影条件を適切に設定する必要があるが、撮影者はこれらの撮影条件をあまり意識せずに撮影しているのが実情であり、このため、被写体の色調や明暗（コントラスト）の再現性が適正に得られていない不適正な撮影画像が写真プリント装置に入力されることが少なくない。取得した入力撮影画像を適正な出力撮影画像、例えば写真プリントとして再現するために用いられる画像補正の主なものは、色補正、濃度補正、コントラスト補正であり、これらの補正を正しく調整して組み合わせた画像補正が必要となる。

写真撮影によって取得された撮影画像から、色調およびコントラストの補正を必要とする画像部分を選別し、その選別された画像部分に対し、色調およびコントラストの再現性の精度をできるだけ高めることのできる画像補正の１つとして、各色毎の階調ヒストグラムの最高度数に対して、所定割合を下回る度数の画像データを各色毎に除外して残った画像データの階調幅を基準階調幅に引き延ばし又は圧縮し、階調幅の引き延ばし又は圧縮に合わせて画像データの画素値を補正変換することで、カラーバランスおよびコントラストのいずれかまたは両方をある程度補正するものがある（例えば、特許文献１参照）。

また、色補正、濃度補正、コントラスト補正を効率よく実施する画像補正として、撮影画像の低解像度データと所定の濃度・コントラスト補正アルゴリズムに基づいて、まず濃度・コントラスト変換曲線（変換テーブル）が作成され、次いでこの濃度・コントラスト変換曲線を用いて補正された撮影画像の低解像度データと所定のカラー補正アルゴリズムに基づいてカラー補正変換曲線（変換テーブル）が作成され、これらの濃度・コントラスト変換曲線とカラー補正変換曲線を融合させて作成された統合補正変換曲線を用いて写真プリント出力の目的ために撮影画像の高解像度画像データを補正するものも知られている（例えば、特許文献２参照）。

また、選択された代表色のＲＧＢ信号を入力データとして使用するととともに、出力装置（プリンタ）にて出力された上記の代表色の複製画像を再び入力装置（スキャナ）にて読み取ったＲＧＢ信号を教師データとして使用することによってニューラルネットワークを構築し、入力画像の各画素値を入力層に入力することにより、中間層を介して、出力層からプリンタのインク量を出力させ、これにより良好な複製画像を得ようとする画像処理装置も知られている（例えば、特許文献３参照）。

画像補正にニューラルネットワークを用いた技術としては、さらに画像信号を入力データとし画像補正量を教師値として予め学習させたニューラルネットワークを備え、このニューラルネットワークに画像信号を入力することで得られる画像補正量を用いて画像信号を補正して安定した出力画像を得る画像形成装置も知られている（例えば、特許文献４参照）。

特開２００４−１４５３９９号公報（段落番号００２３−００２９） 特開２００６−１５７５６２号公報（段落番号００２６−００２９、図７） 特開平０９−１６８０９５号公報（段落番号００５０−００５７、００６６、図４） 特開平０９−０１８７１６号公報（段落番号００３９−００４０、図１）

ニューラルネットワークの技術を画像補正に適用する場合、まず、多数のサンプル画像を用意しておき、各サンプル画像をサンプル適正画像とする画像補正を熟練者によってマニュアルで行い、この各サンプル画像から算出された画像特徴量群を入力データとするとともに、このマニュアル画像補正を通じて作り出される元画像の画素値と適正画像の画素値との対応関係を教師データとしてニューラルネットワークを学習させる。このような学習を通じて構築されたニューラルネットワークの入力層に補正対象となる入力画像から算出された画像特徴量を与えることで、この入力画像に適合した画像補正曲線が出力、より正確にはこの画像補正曲線を規定する出力値が出力される。出力された画像補正曲線（画像補正量マトリックスや変換テーブルや変換式とも呼び代えることができる）を用いて元画像としての入力画像を画像補正することにより、適正な写真プリントを出力するために適した補正画像が得られる。様々な画像特性を有する入力画像を適切に補正することができるように、ニューラルネットワークの学習時に用いられるサンプル画像も様々な画像特性を有するものが選択されるが、撮影画像などでは低周波領域と高周波数領域の両方の空間周波数成分を有するものが多く、従来の画像補正曲線の生成に利用している画像特徴量群を入力値としているニューラルネットワークではそのような入力画像に対して十分に満足できる画像補正曲線を生成することができないという問題点が明らかになってきた。

上記実状に鑑み、本発明の課題は、補正すべき入力画像に対して、その空間周波数が高い領域の画像特徴とその空間周波数が低い領域の画像特徴の両方を考慮した画像補正曲線を生成して、適正な画像補正を実現する画像補正技術を提供することである。

入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、上記課題を解決するため、本発明による方法は、用意された多数のサンプル画像に対して第１サイズのサブマトリックスを用いて作成された第１モザイク処理画像から得られる第１画像特徴量群と、前記サンプル画像に対して前記第１サイズより小さい第２サイズのサブマトリックスを用いて作成された第２モザイク処理画像から得られる第２画像特徴量群とを入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させたニューラルネットワーク部を構築するステップと、前記入力画像に対応する補正演算用画像に対して前記第１サイズのサブマトリックスを用いて作成された第１モザイク処理画像から得られる第１画像特徴量群と、前記補正演算用画像に対して前記第２サイズのサブマトリックスを用いて作成された第２モザイク処理画像から得られる第２画像特徴量群とを前記ニューラルネットワーク部に入力することで出力される出力値に基づいて画像補正曲線を生成するステップと、前記画像補正曲線で前記入力画像を画像補正するステップとからなる。

上記方法では、１つのサンプル画像からサイズの異なる２つのサブマトリックスを用いて生成された、それぞれ空間周波数成分が異なる第１モザイク処理画像と第２モザイク処理画像を生成し、この第１モザイク処理画像と第２モザイク処理画像とから前もって規定した演算を用いて求められた第１画像特徴量群と第２画像特徴量群と、当該サンプル画像とこのサンプル画像をマニュアル補正処理して得られた適正画像との比較評価により作成された画像補正曲線とを学習データとして学習されたニューラルネットワーク部が用いられる。従って、実際の画像補正においても、まず補正すべき入力画像からサイズの異なる２つのサブマトリックスを用いて２つの空間周波数成分が異なる第１と第２のモザイク処理画像を生成する。その後、第１モザイク処理画像と第２モザイク処理画像とから前もって規定した演算を用いてそれぞれ第１画像特徴量群と第２画像特徴量群を求め、これらの画像特徴量群をニューラルネットワーク部に入力することによって画像補正曲線が生成される。より大きな第１サイズのサブマトリックスを用いた第１モザイク処理画像は、より小さな第２サイズのサブマトリックスを用いた第２モザイク処理画像に較べて、その空間周波数成分は低くなるので、相対的に第１モザイク処理画像は粗画像となり、第２モザイク処理画像は密画像となっている。そして、この２つの粗・密画像から得られた画像特徴量群に基づいて生成された画像補正曲線は、入力画像の大局的な傾向に基づく画像補正曲線の特性と入力画像の詳細な傾向に基づく画像補正曲線の特性とを併せ持つことになるので、この画像補正曲線を用いて入力画像の画像補正を行うことで、全体的な観点からみた補正評価と詳細な観点からみた補正評価の両者を満足させる補正画像が得られる。

なお、ここでは、２つの異なるサイズのサブマトリックスを用いて生成される２つのモザイク処理画像に基づいて補正曲線を生成していたが、さらに異なるサイズのサブマトリックスを用いて生成されるモザイク処理画像を追加してもよい。つまり本発明では、２つ以上の異なるサブマトリックスを用いて生成される２つ以上のモザイク処理画像に基づいて生成された２つ以上の画像特徴量群に基づいて補正曲線を生成することを主題としている。

さらに、この明細書で用いられている補正曲線なる用語は、画像処理の分野でよく用いられる補正式、補正マトリックスといった、元画像の画素値を適正画像の画素値に変換する機能を総称するものであり、さらにそのような変換機能を作り出すためのデータ群もその用語の範囲に属している。つまり、ここでの補正曲線は元画像の画素値と適正画像の画素値との対応関係を規定するものであり、この補正曲線の具体的な実施形態としてはＬＵＴ（ルックアップテーブル）と呼ばれるハードウエア又はソフトウエアあるいはその両方で構築されるモジュールが一般的である。また、明細書では、特別に区別する必要がある場合を除いて、デジタルデータとしての画像データやこの画像データに基づくプリント画像やモニタ表示画像も単に画像という語句で総称している。

入力画像が写真プリント出力のための撮影画像のような場合、全体的なバランス、及び中央に位置する被写体とその周辺の背景とのバランスが重要となる。このことを考慮すると、画像特徴量群に、それぞれ、前記入力画像の分割領域に依存する領域依存画像特徴量と分割領域に依存しない領域非依存画像特徴量の両方を含むようにすると好都合である。

入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、上記課題を解決するため、本発明による装置は、用意された多数のサンプル画像に対して第１サイズのサブマトリックスを用いて作成された第１モザイク処理画像から得られる第１画像特徴量群と、前記サンプル画像に対して前記第１サイズより小さい第２サイズのサブマトリックスを用いて作成された第２モザイク処理画像から得られる第２画像特徴量群とを入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させて構築したニューラルネットワーク部と、前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するとともに、前記第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するモザイク処理部と、前記第１モザイク処理画像から第１画像特徴量群を求めるとともに、前記第２モザイク処理画像から第２画像特徴量群を求める画像特徴量演算部と、前記第１画像特徴量と前記第２画像特徴量群とを前記ニューラルネットワーク部に入力することで出力される出力値に基づいて画像補正曲線を生成する画像補正曲線生成部と、前記画像補正曲線で前記入力画像を画像補正する画像補正部とからなる。当然ながら、この画像補正装置も上記画像補正方法で述べたすべての作用効果を得ることができ、さらに上述した付加的技術を組み込むことも可能である。また、ここでも、２つ以上の異なるサブマトリックスを用いて生成される２つ以上のモザイク処理画像から得られる画像特徴量群を入力することで適正な画像補正曲線を作り出す技術内容が含まれていることは当然である。

以下、本発明の実施形態を図面に基づいて説明するが、まず、本発明による補正技術の重要な構成要素となる画像特徴量群に基づいて画像補正曲線を生成するニューラルネットワーク部の構築原理を述べる。

図１に模式的に示されているように、種々の条件で取得された画像をサンプル画像として多数用意し、これらのサンプル画像を元画像として順次指定し、モニタでの表示やテストプリントを通じて適正画像となるようにマニュアルで画像補正を行う（＃０１）。次に、元画像とマニュアル画像補正によって得られた適正画像との画素値を比較評価して、元画像の画素値と適正画像の画素値との対応関係を規定する画像補正量、結果的にはこの画像補正量によって規定される画像補正曲線を生成する（＃０２）。その際、８ビットカラー画像の場合、元画像の各画素の画素値から適正画像の画素値を導く画像補正量は各色毎に２５６個の画素値変換係数：β(0)・・・β(255)で表すことができるが、２５６の全ての画素値に対して画像補正量（画素値変換係数）を求めるのではなく、とびとびの画像補正量を求め、残りは補間で算出してもよい。元画像の画素値と適正画像の画素値との対応関係は画像補正曲線：f(x)として考えると最も理解しやすいので、以下画像補正曲線という語句を用いる。なお、一般的に、そのような補正曲線は、例えば４次式で良好に近似することができるので、その場合は、
f(x)=ax^4＋bx^3+cx^2+dx+e（xは入力階調（0〜255）、^は累乗を表す）
となり、元画像の画素値と適正画像の画素値との対応関係（補正曲線）はたかだか５つの係数：a、b、c、d、eで表すことができる。

さらに、元画像に対して異なるサイズのサブマトリックスを用いて複数のモザイク処理画像を生成する。図１では、第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成し（＃０３）、第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成しているが（＃０３ａ）、さらに第３・第４のサイズのサブマトリックスを用いて更なるモザイク処理画像を生成してもよい。

次に、第１モザイク処理画像から第１画像特徴量群：α0・・・αnが算出される（＃０４）。画像特徴量群としては、画像の全域又は部分域における平均濃度値、最大濃度値、最小濃度値といった画像領域に依存する特徴量、及び各色のヒストグラムから得られる階調値部分領域の積算頻度値などの画像領域に依存しない特徴量が採用される。同様に、第２モザイク処理画像から第２画像特徴量群：γ0・・・γnが算出される（＃０４ａ）。

ステップ＃０２で得られた画像補正曲線、結果的には画像補正曲線を規定する係数と、ステップ＃０４とステップ＃０４ａで得られた第１・第２画像特徴量群とは、画像特徴量群を入力層の入力データとするとともに画像補正曲線（正確にはこの画像補正曲線を規定する係数：β0・・・βn）を出力層の出力データとするニューラルネットワークの入出力関係を構築するための学習データとして利用されるため、ステップ＃０１からステップ＃０４、＃０４ａの作業は準備された全てのサンプル画像に対して実施される。なお、ニューラルネットワークの学習過程において、画像補正量ないしは補正曲線を規定する係数は教師値と呼ばれる。用意された多数の元画像から生成された複数の粗密度の異なるモザイク処理画像のそれぞれから算出された画像特徴量群を入力データとするとともに多数の画像補正量を教師値として数千回以上の反復学習を行い、ニューラルネットワークの入出力関係を構築する（＃０５）。

このようにして構築されたニューラルネットワークを用いて、補正すべき入力画像を適正画像に補正することができる。この画像補正の原理が図２に模式的に示されている。まず、補正目的で入力された画像から、必要に応じて、所定サイズまでの縮小処理を施して、補正演算用画像を生成する（＃１０）。そして、この入力画像又は補正演算用画像から第１サイズのサブマトリックスを用いてモザイク処理を行って第１モザイク処理画像を生成し（＃１１）、第２サイズのサブマトリックスを用いてモザイク処理を行って第２モザイク処理画像を生成する（＃１１ａ）。さらに、第１モザイク処理画像から第１画像特徴量群を算出し（＃１２）、第２モザイク処理画像から第２画像特徴量群を算出する（＃１２ａ）。次いで、第１画像特徴量群と第２画像特徴量群をニューラルネットワークに入力して（＃１３）、画像補正曲線を規定する係数、結果的には画像補正曲線を求める（＃１４）。得られた画像補正曲線を使用補正曲線として設定することで（＃１５）、この画像補正曲線を用いて入力画像が画像補正される（＃１６）。さらに、この補正画像からプリントデータを生成し、このプリントデータをプリント部に転送することにより、画像プリントが出力される（＃１７）。

次に、上述したニューラルネットワークの具体的な構築手順の一例を図３から図６を用いて説明する。図３にニューラルネットワークの模式的な構造が示されている。このニューラルネットワークは、１７８個の入力要素を有する入力層と４５個の中間要素を有する中間層と６０個の出力要素を有する出力層からなる。入力要素には、粗画像である第１モザイク処理画像から算出された８９個の画像特徴量からなる第１画像特徴量群：α0〜α88と、密画像である第２モザイク処理画像から算出された８９個の画像特徴量からなる第２画像特徴量群：γ0〜γ88が入力され、出力要素には、図４に示されるような、各色の補正曲線を規定するそれぞれ２０個の代表点で示す画像補正曲線規定する係数としての出力値、つまりＲ成分用出力値β(1)〜β(20)、Ｇ成分用出力値β(21)〜β(40)、Ｂ成分用出力値β(41)〜β(60)が出力される。この出力値を用いてスムーズな各色の補正曲線を作り出すアルゴリズムには公知の近似曲線作成アルゴリズムを用いることができる。

このニューラルネットワークの学習時に採用されている第１画像特徴量群：α0〜α88と第２画像特徴量群：γ0〜γ88の定義内容は同じであり、対象となる画像が異なる（第１モザイク処理画像と第２モザイク処理画像との違い）だけなので、以下第１画像特徴量群についてのみ説明する。
α0：画像全体の平均濃度値
α1：画像中央部（図５の（ａ）参照）の平均濃度値
α2：画像周辺部（図５の（ａ）参照）の平均濃度値
α3：画像上側部（図５の（ｂ）参照）の平均濃度値
α4：画像下側部（図５の（ｂ）参照）の平均濃度値
α5：画像左側部（図５の（ｃ）参照）の平均濃度値
α6：画像右側部（図５の（ｃ）参照）の平均濃度値
α7：画像全体の最大濃度値
α8：画像中央部（図５の（ａ）参照）の最大濃度値
α9：画像周辺部（図５の（ａ）参照）の最大濃度値
α10：画像上側部（図５の（ｂ）参照）の最大濃度値
α11：画像下側部（図５の（ｂ）参照）の最大濃度値
α12：画像左側部（図５の（ｃ）参照）の最大濃度値
α13：画像右側部（図５の（ｃ）参照）の最大濃度値
α14：画像全体の最小濃度値
α15：画像中央部（図５の（ａ）参照）の最小濃度値
α16：画像周辺部（図５の（ａ）参照）の最小濃度値
α17：画像上側部（図５の（ｂ）参照）の最小濃度値
α18：画像下側部（図５の（ｂ）参照）の最小濃度値
α19：画像左側部（図５の（ｃ）参照）の最小濃度値
α20：画像右側部（図５の（ｃ）参照）の最小濃度値
α21：上下に隣接する画素の差分値（図５の（ｄ）参照）の平均値
α22：画像全体の濃度標準偏差
α23：Ｒ色成分に関する画像全体の最大値
α24：Ｇ色成分に関する画像全体の最大値
α25：Ｂ色成分に関する画像全体の最大値
α26：Ｒ色成分に関する画像全体の最小値
α27：Ｇ色成分に関する画像全体の最小値
α28：Ｂ色成分に関する画像全体の最小値
α29〜α48：Ｒ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＲ積算頻度値
α49〜α68：Ｇ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＧ積算頻度値
α69〜α88：Ｂ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＢ積算頻度値
上記α0からα28までの画像特徴量は画像領域に依存する特徴量であり、上記α29からα88までの画像特徴量は画像領域に依存しない特徴量である。また、モザイク処理画像から第１画像特徴量群及び第２画像特徴量群の算出においては、モザイクブロック（サブマトリックスのサイズ）を１つの画素として演算される。なお、濃度値としては、Ｒ・Ｇ・Ｂ色成分の各画素の値を足して３で割った値を採用している。

以上のような入出力形態をもつニューラルネットワークの構築ルーチンが図７に示されている。
まず、用意しておいたサンプル画像を読み込み（＃２０）、そのサンプル画像から作り出された第１・第２モザイク処理画像を用いて前述した第１・第２画像特徴量を算出し（＃２１）、それらを画像特徴量群としてメモリに格納する（＃２２）。読み込んだサンプル画像をモニタ表示しながら熟練者によるマニュアルの画像補正を行う（＃２３）。必要に応じて補正された画像のプリント出力を行い（＃２４）、補正された画像が適正であるかどうかをチェックする（＃２５）。補正された画像が適正と判定されるまで、マニュアル補正を繰り返し、適正な補正画像が得られると、その画像補正に基づいて元画像の画素値を適正補正画像の画素値に変換する画像補正曲線（画像補正曲線を規定する係数）を作成してメモリに格納する（＃２６）。ステップ＃２０〜ステップ＃２６までの処理が用意されている全てのサンプル画像のための実行される（＃２７Yes分岐）。全てのサンプル画像に対する処理が完了すると（＃２７No分岐）、これまでに得られたモザイク処理画像の画像特徴量群と画像補正曲線がニューラルネットワークに適用される（＃２８）。ニューラルネットワークは、画像特徴量群を入力データ、画像補正曲線を教師データとして学習し、その入出力関係（結合係数やしきい値）を確定させる（＃２９）。

次に、図１と図２を用いて説明した画像補正技術を用いた画像補正装置を搭載し、画像として撮影画像を取り扱う写真プリント装置を説明する。図８はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリント部としてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図９からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図８参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に撮影画像と略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから撮影画像を取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図１０に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された撮影画像に対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の撮影画像や画像処理が完了した処理済み撮影画像などをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ撮影画像にサムネイル画像（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像が含まれていない場合は本データから縮小画像を作り出してサムネイル画像としてメモリ３０に送り込む。さらには、入力された撮影画像から上述した特徴量セットを高速に算出するために用いられる入力された撮影画像をより小さな画像サイズをもつ補正処理用撮影画像（例えば、２５６×３８４画素）に変換する機能やモザイク処理機能も有する。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット４０、メモリ３０に展開された撮影画像に対して各種画像処理を施す画像処理ユニット５０を備えている。

画像処理ユニット５０には、メモリ３０に展開された撮影画像に対してマニュアルで各種画像処理などを行うためのフォトレタッチプログラムを実装している第１画像補正ユニット６０と、前述したようなニューラルネットワーク画像補正技術を用いてメモリ３０に展開された入力撮影画像に対する自動的な画像補正を行う第２画像補正ユニット７０とが基本的にはプログラムの形で組み込まれている。

図１１で示されているように、本発明による画像補正装置としての機能を有する第２画像補正ユニット７０には、メモリ３０に展開された入力撮影画像から作り出された補正演算用撮影画像（２５６×３８４の画像）対して第１サイズとしての２４×１６のサブマトリックスを用いて第１モザイク処理画像を生成するとともに、第２サイズとしての４８×３２のサブマトリックスを用いて第２モザイク処理画像を生成するモザイク処理部７１と、第１モザイク処理画像から第１画像特徴量群を求めるとともに第２モザイク処理画像から第２画像特徴量群を求める画像特徴量演算部７２と、第１画像特徴量群と第２画像特徴量群を入力することによって画像補正曲線を生成するニューラルネットワーク部７３と、生成された画像補正曲線を用いて入力撮影画像を画像補正する画像補正部７７が備えられている。画像補正部７７は、補正曲線設定部７７ｂによって設定された補正曲線に基づいて入力撮影画像を画像補正する画像補正実行部７７ａを備えている。モザイク処理部７１で用いられるモザイク処理のためのサブマトリックスのサイズはサブマトリックスサイズ設定部７１ａによって設定される。ここで用いられているサイズとしては、補正演算用撮影画像のサイズ（２５６×３８４の画像）を考慮すると、上記以外に１２×８や３６×２４などが適している。

以上のように構成された写真プリント装置における写真プリント処理を図１２のフローチャートを用いて説明する。まず、写真プリント出力を行うために入力された撮影画像を読み込み（＃５０）、その撮影画像から作り出された補正処理用撮影画像を用いてモザイク処理部７１が第１モザイク処理画像と第２モザイク処理画像を生成する（＃５１）。画像特徴量演算部７１が、第１モザイク処理画像から第１画像特徴量群：α0〜α88を算出し、第２モザイク処理画像から第２画像特徴量群：γ0〜γ88を算出する（＃５２）。第１画像特徴量群をニューラルネットワーク部７３の入力要素に与えることで（＃５３）、画像補正曲線を規定する係数（画像補正量）：β(n)が出力値として出力され、画像補正曲線が作成される（＃５４）。この作成された画像補正曲線は、画像補正部７７の補正曲線設定部７７ｂに対して与えられる（＃５５）。続いて、画像補正実行部７７ａが設定された画像補正曲線を用いて入力撮影画像を画像補正し（＃５６）、この補正された撮影画像からプリントデータ生成部３６がプリントデータを生成する（＃５７）。プリントデータがプリントステーション１Ｂに転送されることによりプリント処理が行われ（＃５８）、写真プリントが出力される（＃５９）。

上述した実施形態の説明では、本発明による画像補正技術が、ＤＰショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやＤＰショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよいし、画像処理ソフトウエアの撮影画像補正機能の１つとして、この画像処理ソフトウエアのプログラムに組み込んでもよい。

なお、上述した実施の形態では、画像プリント出力部としてのプリントステーション１Ｂは、印画紙Ｐに対し、レーザ式露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明によって補正された撮影画像のプリント方式は、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を含む。

本発明による画像補正技術で用いられる基本原理を説明する説明図 本発明による画像補正技術で用いられる基本原理を説明する説明図 ニューラルネットワークの構成を示す模式図 ニューラルネットワークの出力としての画像補正曲線を説明する説明図 画像領域に依存する画像特徴量を説明する説明図 ヒストグラムに依存する画像特徴量を説明する説明図 ニューラルネットワークの構築ルーチンを示すフローチャート 本発明による画像補正技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 本発明の画像補正技術を採用した画像補正ユニットの機能構成を示す機能ブロック図 写真プリント処理の手順を示すフローチャート

符号の説明

１Ｂ：プリントステーション（プリント部）
３１：画像入力部
３６：プリントデータ生成部
７０：第２画像補正ユニット（画像補正装置）
７１：モザイク処理部
７１ａ：サブマトリックスサイズ設定部
７２：画像特徴量算出部
７３：ニューラルネットワーク部
７４：画像補正曲線作成部
７７：画像補正部
７７ａ：画像補正実行部
７７ｂ：補正曲線設定部

Claims (3)

1. 入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、
   用意された多数のサンプル画像に対して第１サイズのサブマトリックスを用いて作成された第１モザイク処理画像から得られる第１画像特徴量群と、前記サンプル画像に対して前記第１サイズより小さい第２サイズのサブマトリックスを用いて作成された第２モザイク処理画像から得られる第２画像特徴量群とを入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させたニューラルネットワーク部を構築するステップと、
   前記入力画像に対応する補正演算用画像に対して前記第１サイズのサブマトリックスを用いて作成された第１モザイク処理画像から得られる第１画像特徴量群と、前記補正演算用画像に対して前記第２サイズのサブマトリックスを用いて作成された第２モザイク処理画像から得られる第２画像特徴量群とを前記ニューラルネットワーク部に入力することで出力される出力値に基づいて画像補正曲線を生成するステップと、
   前記画像補正曲線で前記入力画像を画像補正するステップと、
   からなる画像補正方法。
2. 前記第１画像特徴量群と前記第２画像特徴量群は、それぞれ、前記補正演算用画像の分割領域に依存する領域依存画像特徴量と前記補正演算用画像の分割領域に依存しない領域非依存画像特徴量の両方を含んでいることを特徴とする請求項１に記載の画像補正方法。
3. 入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、
   用意された多数のサンプル画像に対して第１サイズのサブマトリックスを用いて作成された第１モザイク処理画像から得られる第１画像特徴量群と、前記サンプル画像に対して前記第２サイズのサブマトリックスを用いて作成された第２モザイク処理画像から得られる第２画像特徴量群とを入力値とするとともに前記サンプル画像から適正画像を作り出す画像補正曲線を教師値として学習させて構築したニューラルネットワーク部と、
   前記入力画像に対応する補正演算用画像に対して第１サイズのサブマトリックスを用いて第１モザイク処理画像を生成するとともに、前記第１サイズより小さい第２サイズのサブマトリックスを用いて第２モザイク処理画像を生成するモザイク処理部と、
   前記第１モザイク処理画像から第１画像特徴量群を求めるとともに、前記第２モザイク処理画像から第２画像特徴量群を求める画像特徴量演算部と、
   前記第１画像特徴量と前記第２画像特徴量群とを前記ニューラルネットワーク部に入力することで出力される出力値に基づいて画像補正曲線を生成する画像補正曲線生成部と、
   前記画像補正曲線で前記入力画像を画像補正する画像補正部と、
   からなる画像補正装置。

Images