JP2009027254A - 画像補正方法と画像補正装置 - Google Patents

Abstract

【課題】シャドウ領域とハイライト領域の両方の補正が満足できる適正画像を作り出すことができるような補正曲線をニューラルネットワークを用いて作成できる画像補正技術を提供することである。
【解決手段】入力画像の画像特徴量群をシャドウ領域ニューラルネットワーク部に入力することで出力される出力値からシャドウ領域補正曲線を作成し、画像特徴量群を中間領域ニューラルネットワーク部に入力することで出力される出力値から中間領域補正曲線を作成し、画像特徴量群をハイライト領域ニューラルネットワーク部に入力することで出力される出力値からハイライト領域補正曲線を作成し、シャドウ領域補正曲線と中間領域補正曲線とハイライト領域補正曲線とを連結して実行補正曲線を生成し、この実行補正曲線で入力画像を画像補正する。
【選択図】図２

Description

本発明は、入力画像を適正画像に補正曲線を用いて補正する画像補正技術に関する。

入力画像を適正画像に補正する代表的な分野である写真プリント出力の分野では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像（データ）や、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像（データ）に濃度補正や色補正などの画像補正を施した後これをプリントデータに変換し、このプリントデータに基づいて写真プリントユニットを駆動して、撮影画像を感光材料（印画紙）に光ビームで焼き付けたり、プリント用紙にカラーインクで形成したりするデジタル写真処理技術が主流である。種々の写真撮影状況下において適正な撮影画像を得るためには、シャッタースピードや絞りの設定、天候、光源の種類などの撮影条件を適切に設定する必要があるが、撮影者はこれらの撮影条件をあまり意識せずに撮影しているのが実情であり、このため、被写体の色調や明暗（コントラスト）の再現性が適正に得られていない不適正な撮影画像が写真プリント装置に入力されることが少なくない。取得した入力撮影画像を適正な出力撮影画像、例えば写真プリントとして再現するために用いられる画像補正の主なものは、色補正、濃度補正、コントラスト補正であり、これらの補正を正しく調整して組み合わせた画像補正が必要となる。

写真撮影によって取得された撮影画像から、色調およびコントラストの補正を必要とする画像部分を選別し、その選別された画像部分に対し、色調およびコントラストの再現性の精度をできるだけ高めることのできる画像補正の１つとして、各色毎の階調ヒストグラムの最高度数に対して、所定割合を下回る度数の画像データを各色毎に除外して残った画像データの階調幅を基準階調幅に引き延ばし又は圧縮し、階調幅の引き延ばし又は圧縮に合わせて画像データの画素値を補正変換することで、カラーバランスおよびコントラストのいずれかまたは両方をある程度補正するものがある（例えば、特許文献１参照）。

また、色補正、濃度補正、コントラスト補正を効率よく実施する画像補正として、撮影画像の低解像度データと所定の濃度・コントラスト補正アルゴリズムに基づいて、まず濃度・コントラスト変換曲線（変換テーブル）が作成され、次いでこの濃度・コントラスト変換曲線を用いて補正された撮影画像の低解像度データと所定のカラー補正アルゴリズムに基づいてカラー補正変換曲線（変換テーブル）が作成され、これらの濃度・コントラスト変換曲線とカラー補正変換曲線を融合させて作成された統合補正変換曲線を用いて写真プリント出力の目的ために撮影画像の高解像度画像データを補正するものも知られている（例えば、特許文献２参照）。

また、選択された代表色のＲＧＢ信号を入力データとして使用するととともに、出力装置（プリンタ）にて出力された上記の代表色の複製画像を再び入力装置（スキャナ）にて読み取ったＲＧＢ信号を教師データとして使用することによってニューラルネットワークを構築し、入力画像の各画素値を入力層に入力することにより、中間層を介して、出力層からプリンタのインク量を出力させ、これにより良好な複製画像を得ようとする画像処理装置も知られている（例えば、特許文献３参照）。

画像補正にニューラルネットワークを用いた技術としては、さらに画像信号を入力データとし画像補正量を教師値として予め学習させたニューラルネットワークを備え、このニューラルネットワークに画像信号を入力することで得られる画像補正量を用いて画像信号を補正して安定した出力画像を得る画像形成装置も知られている（例えば、特許文献４参照）。

特開２００４−１４５３９９号公報（段落番号００２３−００２９） 特開２００６−１５７５６２号公報（段落番号００２６−００２９、図６） 特開平０９−１６８０９５号公報（段落番号００５０−００５７、００６６、図４） 特開平０９−０１８７１６号公報（段落番号００３９−００４０、図１）

入力画像に応じて適切な補正曲線を生成するアルゴリズムを構築する場合、まず多数のサンプル画像を用意しておく。そして、各サンプル画像をサンプル適正画像とする画像補正を熟練者によってマニュアルで行い、この各サンプル画像から算出された画像特徴量群と、このマニュアル画像補正を通じて作り出される元画像の画素値と適正画像の画素値との対応関係（補正曲線）を統計的にあるいは演繹的に評価していくことで、補正曲線を生成するアルゴリズムを構築する。このようなアルゴリズムの構築方法は、上記特許文献だけでなく、数多くの文献によって知られている。また、ニューラルネットワークの技術を画像補正に適用する場合、各サンプル画像から算出された画像特徴量群を入力データとするとともに、このマニュアル画像補正を通じて作り出される元画像の画素値と適正画像の画素値との対応関係を教師データとしてニューラルネットワークを学習させる。このような学習を通じて構築されたニューラルネットワークの入力層に補正対象となる入力画像から算出された画像特徴量を与えることで、この入力画像に適合した補正曲線が出力、より正確にはこの補正曲線を規定する出力値が出力される。生成された補正曲線（画像補正量マトリックスや変換テーブルや変換式とも呼び代えることができる）を用いて元画像としての入力画像を画像補正することにより、補正画像を得ようとしている。例えば、適正な写真プリントを出力するために要求される画像においてシャドウ領域とハイライト領域との協調性が特に重要となるが、従来のアルゴリズム、特にニューラルネットワークを用いた補正では、シャドウ領域の補正が良ければハイライト領域の補正は不十分であったり、その逆であったりして、シャドウ領域の補正性とハイライト領域の補正性が相反するという問題点が生じていた。

上記実状に鑑み、本発明の課題は、シャドウ領域とハイライト領域の両方の補正が満足できる適正画像を作り出すことができるような補正曲線をニューラルネットワークを用いて作成できる画像補正技術を提供することである。

入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、上記課題を解決するため、本発明による方法は、用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す参照補正曲線のシャドウ領域を教師値として学習させたシャドウ領域ニューラルネットワーク部を構築するステップと、前記参照補正曲線の中間領域を教師値として学習させた中間領域ニューラルネットワーク部を構築するステップと、前記参照補正曲線のハイライト領域を教師値として学習させたハイライト領域ニューラルネットワーク部を構築するステップと、前記入力画像から画像特徴量群を求めるステップと、前記入力画像の画像特徴量群を前記シャドウ領域ニューラルネットワーク部と前記中間領域ニューラルネットワーク部と前記ハイライト領域ニューラルネットワーク部とに入力することでそれぞれのニューラルネットワーク部から出力される出力値に基づいてシャドウ領域補正曲線と中間領域補正曲線とハイライト領域補正曲線とを作成するステップと、前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線とを連結して実行補正曲線を生成するステップと、前記実行補正曲線で前記入力画像を画像補正するステップとからなる。

上記方法では、入力画像の画像特徴量から作り出す補正曲線を濃度領域（輝度領域）別にシャドウ領域の補正曲線と中間領域の補正曲線とハイライト領域の補正曲線とに分けていることが重要である。つまり、入力画像の画像特徴量を入力値として、シャドウ領域の補正曲線を規定する出力値を出力するシャドウ領域ニューラルネットワーク部と中間領域の補正曲線を規定する出力値を出力する中間領域ニューラルネットワーク部とハイライト領域の補正曲線を規定する出力値を出力するハイライト領域ニューラルネットワーク部を学習を通じて構築しておき、これらのニューラルネットワーク部の出力値に基づいてシャドウ領域補正曲線と中間領域補正曲線とハイライト領域補正曲線とを別個に作成する。そして、これらの濃度領域別の補正曲線を連結することで全濃度領域にわたって有効な実行補正曲線が生成される。この実行補正曲線を用いて入力画像を補正する。実行補正曲線の元となった各濃度領域の補正曲線は入力画像の特徴量からそれぞれの割り当てられた濃度領域に特化した補正曲線が作成されているので、この実行補正曲線を用いて補正された画像はハイライト領域とシャドウ領域と中間領域のどの濃度領域においてもそれぞれの領域に適したものとなる。特に、補正後の画像を用いて写真プリントが出力される場合、写真プリントで要求されるハイライト領域とシャドウ領域における独特でやや極端な補正も実現できる。

なお、この明細書で用いられている補正曲線なる用語は、画像処理の分野でよく用いられる補正式、補正マトリックスといった、元画像の画素値を適正画像の画素値に変換する機能を総称するものであり、さらにそのような変換機能を作り出すためのデータ群もその用語の範囲に属している。つまり、ここでの補正曲線は元画像の画素値と適正画像の画素値との対応関係を規定するものであり、この補正曲線の具体的な実施形態としてはＬＵＴ（ルックアップテーブル）と呼ばれるハードウエア又はソフトウエアあるいはその両方で構築されるモジュールが一般的である。また、明細書では、特別に区別する必要がある場合を除いて、デジタルデータとしての画像データやこの画像データに基づくプリント画像やモニタ表示画像も単に画像という語句で総称している。

シャドウ領域補正曲線と中間領域補正曲線とハイライト領域補正曲線は、それぞれ個別のアルゴリズム（ニューラルネットワーク）によって作成されるので、入力幅（入力範囲）は所定の濃度領域により固定されているが、各補正曲線の出力幅（出力範囲）はばらばらとなる。従って、そのままシャドウ領域補正曲線と中間領域補正曲線とハイライト領域補正曲線を連結すると、実行補正曲線の出力幅が所定の階調範囲（例えば８ビットなら２５６階調）より下回ったり、上回ったりして、効率的な補正変換とはならない。このため、本発明による好適実施形態では、前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線との連結の前に、それぞれの補正曲線の出力幅が正規化され、連結によって得られる実行補正曲線の出力幅が所定値に規定される。例えば、シャドウ領域補正曲線の出力幅をａ、中間領域補正曲線の出力幅をｂ、ハイライト領域補正曲線の出力幅をｃとし、規定の出力階調値が８ビットとすれば、
シャドウ領域補正曲線の出力幅＝２５６×ａ／（ａ＋ｂ＋ｃ）
中間領域補正曲線の出力幅＝２５６×ｂ／（ａ＋ｂ＋ｃ）
ハイライト領域補正曲線の出力幅＝２５６×ｃ／（ａ＋ｂ＋ｃ）
というような正規化処理をすることにより、連結によって得られる実行補正曲線の出力幅はちょうど８ビットとなる。

各濃度領域の補正曲線の連結の際、その連結領域が出来るだけスムーズな曲線となるようにしたい。この目的のため、本発明の好適な実施形態の１つでは、前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線のそれぞれの連結端領域は互いに重複領域を有するように作成され、前記重複領域を平均、好ましくは重み付け平均したのちに補正曲線の連結が行われる。重み付け平均に関しては、写真画像の特性に鑑み、中間領域補正曲線の重みを大きくするとよい。

また、シャドウ領域補正曲線やハイライト領域補正曲線は中間領域補正曲線に較べやや極端な曲率をもつ傾向があるので、前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線との連結の際に、前記シャドウ領域補正曲線と前記ハイライト領域補正曲線が前記中間領域補正曲線の連結端に滑らかに接続するように変形させられると好都合となる。

さらに、画素値の変換曲線でもある補正曲線は、単調増加することが望ましく、減少曲線部があると不都合である。これは余り起こらない現象であるがこれを確実に避けるため、前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線との連結の際に、各連結領域の曲率を算定し、その連結領域の曲線が変曲点を持たないように連結されることも、重要である。

入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、上記課題を解決するため、本発明による装置は、用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す参照補正曲線のシャドウ領域を教師値として学習させて構築したシャドウ領域ニューラルネットワーク部と前記参照補正曲線の中間領域を教師値として学習させて構築した中間領域ニューラルネットワーク部と前記参照補正曲線のハイライト領域を教師値として学習させて構築したハイライト領域ニューラルネットワーク部とを含むニューラルネットワーク部と、前記入力画像から画像特徴量群を求める画像特徴量演算部と、前記入力画像の画像特徴量群を前記シャドウ領域ニューラルネットワーク部に入力することで前記シャドウ領域ニューラルネットワーク部から出力される出力値に基づいてシャドウ領域補正曲線を作成するシャドウ領域補正曲線生成部と、前記入力画像の画像特徴量群を前記中間領域ニューラルネットワーク部に入力することで前記中間領域ニューラルネットワーク部から出力される出力値に基づいて中間領域補正曲線を作成する中間領域補正曲線生成部と、前記入力画像の画像特徴量群を前記ハイライト領域ニューラルネットワーク部に入力することで前記ハイライト領域ニューラルネットワーク部から出力される出力値に基づいてハイライト領域補正曲線を作成するハイライト領域補正曲線生成部と、前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線とを連結して実行補正曲線を生成する補正曲線連結部と、前記実行補正曲線で前記入力画像を画像補正する画像補正部とからなる。当然ながら、この画像補正装置も上記画像補正方法で述べたすべての作用効果を得ることができ、さらに上述した付加的技術を組み込むことも可能である。

また、シャドウ領域と中間領域とハイライト領域のうちのいずれかをさらに区分けして４つ以上の濃度領域の補正曲線を個別のニューラルネットワーク部を用いて作成し、それぞれを結合する技術も本発明に含まれていることは当然である。

以下、本発明の実施形態を図面に基づいて説明するが、まず、本発明による補正技術の重要な構成要素となる、補正すべき画像から得られる画像特徴量群に基づいて各濃度領域（シャドウ領域、中間領域、ハイライト領域）のための補正曲線を生成する、より詳しくは補正曲線を規定する出力値を出力するニューラルネットワーク部の構築原理を述べる。

まずは、図１に模式的に示されているように、種々の撮影条件で取得された画像をサンプル画像として多数用意し、これらのサンプル撮影画像を元画像とし、モニタでの表示やテストプリントを通じて適正画像となるようにマニュアルで画像補正を行う（＃０１）。次に、元画像とマニュアル画像補正によって得られた適正画像との画素値を比較評価して、元画像の画素値と適正画像の画素値との対応関係を規定する画像補正量、結果的にはこの画像補正量によって規定されるマニュアル補正曲線を生成する（＃０２）。さらに、そのマニュアル補正曲線を所定の濃度領域で区分けして、シャドウ領域補正曲線、中間領域補正曲線、ハイライト領域補正曲線とする（＃０３）。

次に、元画像となっているサンプル画像から画像特徴量が算出されるが、ここでは、画像特徴量として、領域非依存画像特徴量と領域依存特徴量とが採用されているので、当該サンプル画像から生成された濃度ヒストグラムを用いて領域非依存画像特徴量が求められ（＃０４）、当該サンプル画像から区分けされた領域群を用いて領域依存画像特徴群が求められる（＃０５）。領域画像特徴量群としては、画像の全域又は部分域における平均濃度値、最大濃度値、最小濃度値といった特徴量が、領域非依存特徴群としては、濃度階調値部分領域毎の積算頻度値などが挙げられる。

ステップ＃０３で得られた各濃度領域の補正曲線を規定する係数と、ステップ＃０４と＃０５とで得られた画像特徴量群は、それぞれの濃度領域のためのニューラルネットワーク部を構築するための学習データとして利用されるため、ステップ＃０１からステップ＃０５までの作業は準備された全てのサンプル画像に対して実施される。そして、画像特徴量群を入力データとするとともにそれぞれの濃度領域の補正曲線を規定する係数が出力値となるように各ニューラルネットワークの内部変数を調整する反復シミュレーションを数千回以上行い、各濃度領域のニューラルネットワーク部を構築する（＃０６）。

このようにして構築された、濃度領域別の複数のニューラルネットワーク部、ここでは、シャドウ領域ニューラルネットワーク部、中間領域ニューラルネットワーク部、ハイライト領域ニューラルネットワーク部を用いて、補正すべき入力画像を適正画像に補正することができる。この画像補正の原理が図２に模式的に示されている。まず、補正目的で入力された画像から、あるいは必要に応じて所定サイズまでの縮小処理を施して生成された補正演算用画像から、濃度ヒストグラムを生成して（＃１１）、この濃度ヒストグラムから領域非依存画像特徴量群を算出する（＃１２）。さらに、入力画像または補正演算用画像に対して演算領域の区分けを設定し（＃１３）、各演算領域から領域依存画像特徴量群を算出する（＃１４）。このようにして得られた、入力画像に基づく画像特徴量群を、シャドウ領域ニューラルネットワーク部、中間領域ニューラルネットワーク部、ハイライト領域ニューラルネットワーク部に入力する（＃１５）。この結果、シャドウ領域ニューラルネットワーク部から出力される補正曲線を規定する係数からシャドウ領域補正曲線が作成され（＃１６）、中間領域ニューラルネットワーク部から出力される補正曲線を規定する係数から中間領域補正曲線が作成され（＃１７）、ハイライト領域ニューラルネットワーク部から出力される補正曲線を規定する係数からハイライト領域補正曲線が作成される（＃１８）。

次に、生成されたシャドウ領域補正曲線（シャドウ領域補正曲線を規定する係数）と中間領域補正曲線（中間領域補正曲線を規定する係数）とハイライト領域補正曲線（ハイライト領域補正曲線を規定する係数）とを連結することで、シャドウ領域から中間領域を経てハイライト領域に至る全濃度の補正曲線が得られるでもって融合して、融合補正曲線を得る（＃１９）。この各濃度領域補正曲線の連結にあたっては、その連結領域がスムーズに移行するように連結することが好ましいが、極端な変曲点を生じないようにすれば、ある程度満足できる結果が得られる。但し、連結後の全領域補正曲線の出力範囲が所定の階調値（例えば８ビット）を得るために、各濃度領域補正曲線に対してその出力幅に関して正規化を施してから連結することが好ましい。このようにして得られた全領域補正曲線が実行補正曲線として設定されることで（＃２０）、この全領域補正曲線（実行補正曲線）を用いて入力画像が画像補正される（＃２１）。さらに、この補正画像からプリントデータを生成し、このプリントデータをプリント部に転送することにより、画像プリントが出力される（＃２２）。

次に、上述したニューラルネットワークの具体的な構築手順の一例を図３から図６を用いて説明する。なお、各濃度領域のニューラルネットワーク部の構築手順は、その教師値がマニュアルで得られた補正曲線の対応する濃度領域を規定する係数であるということ以外は、実質的に同じであるので、ここではシャドウ領域ニューラルネットワーク部に代表させて説明する。図３にシャドウ領域ニューラルネットワーク部の模式的な構造が示されている。このシャドウ領域ニューラルネットワーク部は８９個の入力要素を有する入力層と４５個の中間要素を有する中間層と３０個の出力要素を有する出力層からなり、入力要素には入力画像の画像特徴量群：α0〜α88が入力され、出力要素には、図４に示されるような、各濃度領域の補正曲線を規定する１０個の代表点で示されている補正曲線を規定する係数としての出力値、つまりここではシャドウ領域Ｒ成分用出力値β(1)〜β(10)；シャドウ領域Ｇ成分用出力値β(11)〜β(20)；シャドウ領域Ｂ成分用出力値β(21)〜β(30)が出力されるものである。なお、この出力値を用いてスムーズな各色の補正曲線を作り出すアルゴリズムには公知の近似曲線作成アルゴリズムを用いることができる。上述したシャドウ領域ニューラルネットワーク部の構造は他の濃度領域のニューラルネットワーク部も同じである。

このシャドウ領域ニューラルネットワーク部の学習時に採用されている画像特徴量群：α0〜α88は、各濃度領域ニューラルネットワーク部共通である。
α0：画像全体の平均濃度値
α1：画像中央部（図５の（ａ）参照）の平均濃度値
α2：画像周辺部（図５の（ａ）参照）の平均濃度値
α3：画像上側部（図５の（ｂ）参照）の平均濃度値
α4：画像下側部（図５の（ｂ）参照）の平均濃度値
α5：画像左側部（図５の（ｃ）参照）の平均濃度値
α6：画像右側部（図５の（ｃ）参照）の平均濃度値
α7：画像全体の最大濃度値
α8：画像中央部（図５の（ａ）参照）の最大濃度値
α9：画像周辺部（図５の（ａ）参照）の最大濃度値
α10：画像上側部（図５の（ｂ）参照）の最大濃度値
α11：画像下側部（図５の（ｂ）参照）の最大濃度値
α12：画像左側部（図５の（ｃ）参照）の最大濃度値
α13：画像右側部（図５の（ｃ）参照）の最大濃度値
α14：画像全体の最小濃度値
α15：画像中央部（図５の（ａ）参照）の最小濃度値
α16：画像周辺部（図５の（ａ）参照）の最小濃度値
α17：画像上側部（図５の（ｂ）参照）の最小濃度値
α18：画像下側部（図５の（ｂ）参照）の最小濃度値
α19：画像左側部（図５の（ｃ）参照）の最小濃度値
α20：画像右側部（図５の（ｃ）参照）の最小濃度値
α21：上下に隣接する画素の差分値（図５の（ｄ）参照）の平均値
α22：画像全体の濃度標準偏差
α23：Ｒ色成分に関する画像全体の最大値
α24：Ｇ色成分に関する画像全体の最大値
α25：Ｂ色成分に関する画像全体の最大値
α26：Ｒ色成分に関する画像全体の最小値
α27：Ｇ色成分に関する画像全体の最小値
α28：Ｂ色成分に関する画像全体の最小値
α29〜α48：Ｒ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＲ積算頻度値
α49〜α68：Ｇ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＧ積算頻度値
α69〜α88：Ｂ色成分に関するヒストグラムの階調値軸を２０分割した各領域（図６参照）に含まれる階調値の頻度を積算して得られるＢ積算頻度値
上記α0からα28までの画像特徴量は領域依存画像特徴量、つまり画像領域に依存する特徴量であり、上記α29からα88までの画像特徴量は領域非依存画像特徴量、つまり画像領域に依存しない特徴量である。

以上のような入出力形態をもつシャドウ領域ニューラルネットワーク部の構築ルーチンが図７に示されている。
まず、用意しておいたサンプル画像を読み込み（＃３０）、そのサンプル画像から前述した各画像特徴量を算出し（＃３１）、それらを画像特徴量群としてメモリに格納する（＃３２）。読み込んだサンプル画像をモニタ表示しながら熟練者によるマニュアルの画像補正を行う（＃３３）。必要に応じて補正された画像のプリント出力を行い（＃３４）、補正された画像が適正であるかどうかをチェックする（＃３５）。補正された画像が適正と判定されるまで、マニュアル補正を繰り返し、適正な補正画像が得られると、その画像補正に基づいて元画像の画素値を適正補正画像の画素値に変換する補正曲線（補正曲線を規定する係数）を作成して、シャドウ領域と中間領域とハイライト領域毎にメモリに格納する（＃３６）。ステップ＃３０〜ステップ＃３６までの処理が用意されている全てのサンプル画像のための実行される（＃３７Yes分岐）。全てのサンプル画像に対する処理が完了すると（＃３７No分岐）、メモリに格納されている画像特徴量群とメモリに格納されているシャドウ領域の補正曲線、正確にはシャドウ領域のマニュアル補正曲線を規定する係数が学習データとしてシャドウ領域ニューラルネットワーク部に割り当てる（＃３８）。シャドウ領域ニューラルネットワーク部は、画像特徴量群を入力データ、シャドウ領域のマニュアル補正曲線を規定する係数を教師データとして学習し、その入出力関係（結合係数やしきい値）を確定させる（＃３９）。このようなニューラルネットワーク構築ルーチンを用いて、シャドウ領域ニューラルネットワーク部だけでなく、中間領域ニューラルネットワーク部やハイライト領域ニューラルネットワーク部を構築する。もちろん、ここでは、３つの濃度領域に区分けして、ニューラルネットワーク部を構築しているが、４つ以上の濃度領域に区分けしてニューラルネットワーク部を構築して、それぞれから得られた特定濃度領域補正曲線を連結して全領域補正曲線を作成してもよい。なお、濃度領域の区分けの仕方は、簡単には、全濃度領域を３等分して差し支えないが、写真画像的な観点からその区分けを等分にせず、いずれかの特定濃度領域を広くしたり、狭くしてもよい。

次に、図１と図２を用いて説明した画像補正技術を用いた画像補正装置を搭載し、画像として撮影画像を取り扱う写真プリント装置を説明する。図８はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリント部としてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図９からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図８参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に撮影画像と略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから撮影画像を取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図１０に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された撮影画像に対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の撮影画像や画像処理が完了した処理済み撮影画像などをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ撮影画像にサムネイル画像（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像が含まれていない場合は本データから縮小画像を作り出してサムネイル画像としてメモリ３０に送り込む。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット４０、メモリ３０に展開された撮影画像に対して各種画像処理を施す画像処理ユニット５０を備えている。

画像処理ユニット５０には、メモリ３０に展開された撮影画像に対してマニュアルで各種画像処理などを行うためのフォトレタッチプログラムを実装している第１画像補正ユニット６０と、前述したようなニューラルネットワーク画像補正技術を用いてメモリ３０に展開された入力撮影画像に対する自動的な画像補正を行う第２画像補正ユニット７０とが基本的にはプログラムの形で組み込まれている。

図１１で示されているように、本発明による画像補正装置としての機能を有する第２画像補正ユニット７０には、メモリ３０に展開された入力撮影画像から作り出された補正演算用撮影画像（２５６×３８４の画像）から前述した領域非依存画像特徴量と領域依存画像特徴量からなる画像特徴量を求める画像特徴量演算部７１と、図７を用いた説明された手順によって構築されたシャドウ領域ニューラルネットワーク部７２ａと中間領域ニューラルネットワーク部７２ｂとハイライト領域ニューラルネットワーク部７２ｃと、シャドウ領域ニューラルネットワーク部７２ａに画像特徴量群を入力することによって出力された出力値に基づいてシャドウ領域補正曲線を生成するシャドウ領域補正曲線生成部７３ａと、中間領域ニューラルネットワーク部７２ｂに画像特徴量群を入力することによって出力された出力値に基づいて中間領域補正曲線を生成する中間領域補正曲線生成部７３ｂと、ハイライト領域ニューラルネットワーク部７２ｃに画像特徴量群を入力することによって出力された出力値に基づいてハイライト領域補正曲線を生成するハイライト領域補正曲線生成部７３ｃと、生成された各濃度領域補正曲線の出力幅を正規化する正規化部７４と、正規化された各濃度領域補正曲線を連結して全領域補正曲線を生成する連結部７５と、この全領域補正曲線を実行補正曲線として入力撮影画像を画像補正する画像補正部７６が備えられている。画像補正部７６は、補正曲線設定部７６ｂによって設定された補正曲線に基づいて入力撮影画像を画像補正する画像補正実行部７６ａを備えている。

前記正規化部７４は、各濃度領域別の補正曲線生成部７３ａ、７３ｂ、７３ｃで生成された補正曲線をそのまま連結部７５で連結した場合、連結された全領域補正曲線の出力幅が所定の階調範囲ここでは、８ビット階調（２５６階調）より大きくなったり、小さくなったりする不都合を避けるため、連結の前にそれぞれの領域別の補正曲線の出力幅を正規化する。この正規化処理においては、シャドウ領域補正曲線の出力幅をａ、中間領域補正曲線の出力幅をｂ、ハイライト領域補正曲線の出力幅をｃとし、規定の出力階調値が８ビットとすれば、
シャドウ領域補正曲線の出力幅＝２５６×ａ／（ａ＋ｂ＋ｃ）
中間領域補正曲線の出力幅＝２５６×ｂ／（ａ＋ｂ＋ｃ）
ハイライト領域補正曲線の出力幅＝２５６×ｃ／（ａ＋ｂ＋ｃ）
というような処理が行われる。この正規化処理をうけた各濃度領域別の補正曲線の連結によって得られる全領域補正曲線の出力幅はちょうど８ビットとなる。

連結部７５における、各濃度領域の補正曲線の連結処理は、以下に述べる代表的ないくつかのモードの１つ又はそれらを組み合わせたモードで行うことができる。
その連結処理モードの１つは、シャドウ領域補正曲線と中間領域補正曲線とハイライト領域補正曲線のそれぞれの連結端領域を予め互いに重複領域を有するように作成しておき、この重複領域の２つの補正曲線を平均、好ましくは中間領域補正曲線に重きをおいた重み付け平均することによって得られる接続領域平均補正曲線部分を用いて互いの補正曲線の連結を行う。もう１つの連結処理モードは、前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線との連結の際に、前記シャドウ領域補正曲線と前記ハイライト領域補正曲線が前記中間領域補正曲線の連結端に滑らかに接続するように変形させる。ここでいう滑らかな接続を実現する１つの方法は、連結すべき曲線の双方の連結端の傾きの平均を求め、その平均傾きに各連結端の傾きを合わせて接続することである。連結端のさらに別な連結処理モードは、各連結領域の曲率を算定し、その連結領域の曲線が変曲点を持たないように、変曲点を取り除いて連結する。

以上のように構成された写真プリント装置における写真プリント処理を図１２のフローチャートを用いて説明する。まず、写真プリント出力を行うために入力された撮影画像を読み込み（＃５０）、その撮影画像から作り出された補正演算用画像から画像特徴量群を算出する（＃５１）。画像特徴量群をシャドウ領域ニューラルネットワーク部７２ａの入力要素に与える（＃５２）。シャドウ領域ニューラルネットワーク部７２ａからの出力値に基づいてシャドウ領域補正曲線を作成する（＃５３）。画像特徴量群を中間領域ニューラルネットワーク部７２ｂの入力要素に与える（＃５４）。中間領域ニューラルネットワーク部７２ｂからの出力値に基づいて中間領域補正曲線を作成する（＃５５）。画像特徴量群をハイライト領域ニューラルネットワーク部７２ｃの入力要素に与える（＃５６）。ハイライト領域ニューラルネットワーク部７２ｃからの出力値に基づいてハイライト領域補正曲線を作成する（＃５７）。シャドウ領域補正曲線と中間領域補正曲線とハイライト領域補正曲線とに対して正規化処理を施す（＃５８）。正規化されたシャドウ領域補正曲線と中間領域補正曲線とハイライト領域補正曲線を連結して全領域補正曲線を作成する（＃５９）。この作成された全領域補正曲線は、実行補正曲線として画像補正部７７の補正曲線設定部７６ｂに与えられる（＃６０）。続いて、画像補正実行部７６ａが設定された実行補正曲線を用いて入力撮影画像を画像補正し（＃６１）、この補正された撮影画像からプリントデータ生成部３６がプリントデータを生成する（＃６２）。プリントデータがプリントステーション１Ｂに転送されることによりプリント処理が行われ（＃６３）、写真プリントが出力される（＃６４）。

上述した実施形態では、シャドウ領域ニューラルネットワーク部７２ａ、中間領域ニューラルネットワーク部７２ｂ、ハイライト領域ニューラルネットワーク部７２ｃに入力される画像特徴量群の内容は全て同じであったが、それぞれの領域ニューラルネットワーク部によって異なる画像特徴量からなる画像特徴量群を入力してもよい。つまり、前述したα0からα88の画像特徴量群からそれぞれの領域ニューラルネットワーク部毎に適切に選択した複数の画像特徴量を入力して、それぞれの領域の補正曲線を作り出すようにしてもよい。

上述した実施形態の説明では、本発明による画像補正技術が、ＤＰショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやＤＰショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよいし、画像処理ソフトウエアの撮影画像補正機能の１つとして、この画像処理ソフトウエアのプログラムに組み込んでもよい。

なお、上述した実施の形態では、画像プリント出力部としてのプリントステーション１Ｂは、印画紙Ｐに対し、レーザ式露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明によって補正された撮影画像のプリント方式は、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を含む。

本発明による画像補正技術で用いられる基本原理を説明する説明図 本発明による画像補正技術で用いられる基本原理を説明する説明図 ニューラルネットワークの構成を示す模式図 ニューラルネットワークの出力としての補正曲線を説明する説明図 画像領域に依存する画像特徴量を説明する説明図 画像領域に依存しない画像特徴量を説明する説明図 ニューラルネットワークの構築ルーチンを示すフローチャート 本発明による画像補正技術を採用した写真プリント装置の外観図 写真プリント装置のプリントステーションの構成を模式的に示す模式図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 本発明の画像補正技術を採用した画像補正ユニットの機能構成を示す機能ブロック図 写真プリント処理の手順を示すフローチャート

符号の説明

１Ｂ：プリントステーション（プリント部）
３１：画像入力部
３６：プリントデータ生成部
７０：第２画像補正ユニット（画像補正装置）
７１：画像特徴量算出部
７２ａ：シャドウ領域ニューラルネットワーク部
７２ｂ：中間領域ニューラルネットワーク部
７２ｃ：ハイライト領域ニューラルネットワーク部
７３ａ：シャドウ領域補正曲線生成部
７３ｂ：中間領域補正曲線生成部
７３ｃ：ハイライト領域補正曲線生成部
７４：正規化部
７５：連結部
７６：画像補正部
７６ａ：画像補正実行部
７６ｂ：補正曲線設定部

Claims (6)

1. 入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、
   用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す参照補正曲線のシャドウ領域を教師値として学習させたシャドウ領域ニューラルネットワーク部を構築するステップと、
   前記参照補正曲線の中間領域を教師値として学習させた中間領域ニューラルネットワーク部を構築するステップと、
   前記参照補正曲線のハイライト領域を教師値として学習させたハイライト領域ニューラルネットワーク部を構築するステップと、
   前記入力画像から画像特徴量群を求めるステップと、
   前記入力画像の画像特徴量群を前記シャドウ領域ニューラルネットワーク部と前記中間領域ニューラルネットワーク部と前記ハイライト領域ニューラルネットワーク部とに入力することでそれぞれのニューラルネットワーク部から出力される出力値に基づいてシャドウ領域補正曲線と中間領域補正曲線とハイライト領域補正曲線とを作成するステップと、
   前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線とを連結して実行補正曲線を生成するステップと、
   前記実行補正曲線で前記入力画像を画像補正するステップと、
   からなる画像補正方法。
2. 前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線との連結の前に、それぞれの補正曲線の出力幅が正規化されることを特徴とする請求項１に記載の画像補正方法。
3. 前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線のそれぞれの連結端領域は互いに重複領域を有するように作成され、前記重複領域を平均化したのちに補正曲線の連結が行われることを特徴とする請求項１に記載の画像補正方法。
4. 前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線との連結の際に、前記シャドウ領域補正曲線と前記ハイライト領域補正曲線が前記中間領域補正曲線の連結端に滑らかに接続するように変形させられることを特徴とする請求項１に記載の画像補正方法。
5. 前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線との連結の際に、各連結領域の曲率を算定し、その連結領域の曲線が変曲点を持たないように連結されることを特徴とする請求項１に記載の画像補正方法。
6. 入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、
   用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す参照補正曲線のシャドウ領域を教師値として学習させて構築したシャドウ領域ニューラルネットワーク部と前記参照補正曲線の中間領域を教師値として学習させて構築した中間領域ニューラルネットワーク部と前記参照補正曲線のハイライト領域を教師値として学習させて構築したハイライト領域ニューラルネットワーク部とを含むニューラルネットワーク部と、
   前記入力画像から画像特徴量群を求める画像特徴量演算部と、
   前記入力画像の画像特徴量群を前記シャドウ領域ニューラルネットワーク部に入力することで前記シャドウ領域ニューラルネットワーク部から出力される出力値に基づいてシャドウ領域補正曲線を作成するシャドウ領域補正曲線生成部と、
   前記入力画像の画像特徴量群を前記中間領域ニューラルネットワーク部に入力することで前記中間領域ニューラルネットワーク部から出力される出力値に基づいて中間領域補正曲線を作成する中間領域補正曲線生成部と、
   前記入力画像の画像特徴量群を前記ハイライト領域ニューラルネットワーク部に入力することで前記ハイライト領域ニューラルネットワーク部から出力される出力値に基づいてハイライト領域補正曲線を作成するハイライト領域補正曲線生成部と、
   前記シャドウ領域補正曲線と前記中間領域補正曲線と前記ハイライト領域補正曲線とを連結して実行補正曲線を生成する補正曲線連結部と、
   前記実行補正曲線で前記入力画像を画像補正する画像補正部と、
   からなる画像補正装置。

Images