JP2004234069A - 画像処理方法、画像処理装置、及びプログラム - Google Patents

Abstract

【課題】写真撮影目的に応じた、また想定された主要被写体に応じた、好ましい調整をすることが可能な画像処理方法、画像処理装置及びプログラムの提供。
【解決手段】画像入力手段から得られた入力画像情報に基づいて画像処理を行い、出力画像情報を得る画像処理方法において、画像内に存在する被写体を識別して画像を複数に区分し、該区分された画像毎に、他の画像との関係から決定された方法で画像処理可能な被写体パターンとする工程を経る画像処理方法。
【選択図】 図１３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力手段から得られた入力画像情報に基づいて画像処理を行い出力画像情報を得る画像処理方法、装置、及びその動作制御を行うプログラムに関する。
【０００２】
【従来の技術】
デジタルスチルカメラ、銀塩フィルムを用いた旧来のカメラなどを用いて写真撮影を行い、得られた画像をハードコピー、またはＣＲＴ等の表示装置に表示して画像再現するシステムが従来から用いられている。
【０００３】
これら画像再現システムに於いては、写されている画像を好ましく再現するため、明るさ、コントラスト等、元画像に手を加えて調整し、再現するのが一般的である。
【０００４】
たとえば旧来の銀塩ネガポジシステムであれば、フィルムから印画紙に焼き付け露光する際に、露光時間や焼付け光源の光量を変化させる手法が古くから用いられている。
【０００５】
またデジタルスチルカメラからのプリントでは、得られた画像信号値をルックアップテーブル（ＬＵＴ）等で数値変換することで同様の処理が実現されている。
【０００６】
上述のような各種調整を行う場合、撮影された画像に合わせて好ましい調整、多くの場合は、画像内の主要被写体に対してもっとも好ましい調整、をすることが行われている。この調整を人手で行うのは高い技術、経験が必要であったり、工数がかかりすぎたりと困難な場合が多く、自動、あるいは半自動でこれら作業を行う画像処理方法が公開されている。一例としては、画像情報から顔情報を抽出し、これを好ましい階調に仕上げることで好ましい写真が得られるとされている（特許文献１参照）。
【０００７】
【特許文献１】
特開２００１−８４２７４号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、写真には様々な撮影目的があり、同じ被写体、更には同じ写真であっても、評価者によって、受け取り方や、最も好ましいとされる再現結果が異なる場合が多く存在する。これら多様な要望にこたえ、簡単に好ましい再現画像が得られる画像処理方法が求められていた。
【０００９】
また通常撮影される写真では、多種多様な主要被写体が想定される。その中には、たとえば遠方への旅行写真における地方独特の建物、団体旅行に代表される団体行動時の特定の制服、等、その写真にとっては重要でも、一般には認知し得ない特有の形態のものもある。例えば旅行時に撮影した記念写真の場合、一般には人物を中心に画像再現を考えた加工調整を施すが、顧客によっては、多少の人物の犠牲は有っても、背景の建造物を重視した加工調整を好む場合も有る。従来の技術は、それらに対し十分な対応が出来るものではなかった。
【００１０】
本発明は上記の事情に鑑みてなされたものであり、その目的は、写真撮影目的に応じた、また想定された主要被写体に応じた、好ましい調整をすることが可能な画像処理方法と、それを行える画像処理装置及び装置の動作を規制する画像処理プログラムを提供することにある。
【００１１】
【課題を解決するための手段】
本発明の上記目的は、以下により達成される。
【００１２】
１） 画像入力手段から得られた入力画像情報に基づいて画像処理を行い、出力画像情報を得る画像処理方法において、画像内に存在する被写体を識別して画像を複数に区分し、該区分された画像毎に、他の画像との関係から決定された方法で画像処理可能な被写体パターンとする工程を経る画像処理方法、
画像入力手段から得られた入力画像情報に基づいて出力画像情報を得る画像処理手段を有し、該画像処理手段が、画像内に存在する被写体を識別して画像を複数に区分し、該区分された画像毎に、他の画像との関係から決定された方法で画像処理可能な被写体パターンとする手段を有する画像処理装置、及び
画像入力手段から得られた入力画像情報に基づいて出力画像情報を得る画像処理手段を、画像内に存在する被写体を識別して画像を複数に区分し、該区分された画像毎に、他の画像との関係から決定された方法で画像処理可能な被写体パターンとする手段として機能させるプログラム。
【００１３】
これにより、写真撮影目的に応じた、また想定された主要被写体に応じた、好ましい調整をすることを可能ならしめる。
【００１４】
２） 個々の被写体パターンに関する情報から、被写体パターン毎の画像処理方法を決定する１）の画像処理方法、
前記画像処理手段が、個々の被写体パターンに関する情報から、被写体パターン毎の画像処理方法を決定する１）の画像処理装置、及び
個々の被写体パターンに関する情報から、被写体パターン毎の画像処理方法を決定する１）のプログラム。
【００１５】
これにより、複数の被写体が混在した写真において、それぞれの被写体を考慮した写真仕上がりを得ることが出来る。
【００１６】
３） 被写体パターンに関する情報は、各々の被写体パターンに対して設定される優先順位情報を含む２）の画像処理方法、画像処理装置、及び
被写体パターンに関する情報に、各々の被写体パターンに対して設定される優先順位情報を含有させる２）のプログラム。
【００１７】
これにより、複数の被写体が混在した写真において、被写体それぞれの重要さの序列を考慮した写真仕上がりを得ることが出来る。
【００１８】
４） 前記優先順位情報は、当該被写体パターンの重要さに対応する重み付けの値で表される３）の画像処理方法、画像処理装置、及び
前記優先順位情報を、当該被写体パターンの重要さに対応する重み付けの値とする３）のプログラム。
【００１９】
これにより、被写体それぞれの重要さの序列を簡単に数値表記でき、細かな考慮がしやすい。
【００２０】
５） 複数の被写体パターンを画像情報から検出、抽出するパターン抽出処理を行い、該抽出された個々の被写体パターンに関する情報から、画像処理方法を決定する３）又は４）の画像処理方法、
前記画像処理手段が、複数の被写体パターンを画像情報から検出、抽出するパターン抽出処理を行い、該抽出された個々の被写体パターンに関する情報から、画像処理方法を決定する３）又は４）に記載の画像処理装置、及び
前記画像処理手段に、複数の被写体パターンを画像情報から検出、抽出するパターン抽出処理を行なわせ、該抽出された個々の被写体パターンに関する情報から、画像処理方法を決定する３）は４）のプログラム。
【００２１】
これにより、複数の被写体が混在した写真においても、それぞれの重要度に応じた写真仕上がりを得ることが出来、簡単に高品位の写真が得られる。
【００２２】
６） 前記優先順位情報は、各々の被写体パターンの画面内における存在状況に対応する副優先順位情報をもとに修正される３）〜５）の何れかの画像処理方法、画像処理装置、及び
前記優先順位情報を、各々の被写体パターンの画面内における存在状況に対応する副優先順位情報をもとに修正する３）〜５）の何れかのプログラム。
【００２３】
これにより、被写体の画面内における存在意義を評価できる為、自然な補正結果が得られる。
【００２４】
７） 前記副優先順位情報は、被写体パターンの画面内に占める割合及び画面内に存在する位置の少なくとも１方に対応した情報である６）の画像処理方法、画像処理装置、及び
前記副優先順位情報を、被写体パターンの画面内に占める割合及び画面内に存在する位置の少なくとも１方に対応させる６）のプログラム。
【００２５】
これにより、有効、かつ確実に被写体の画面内における存在意義を評価できる為、自然な補正結果がより簡単に得られる。
【００２６】
８） 被写体パターンの区分は、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定められる１）〜７）の何れかの画像処理方法、
入力手段を有し、前記画像処理手段が、被写体パターンの区分を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定める１）〜７）の何れかの画像処理装置、及び
入力手段をシーン属性情報を指示入力する手段として機能させ、被写体パターンの区分を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定める１）〜７）の何れかのプログラム。
【００２７】
これにより、シーン属性に応じて好ましいパターンの選択が出来るので、より効率的なパターン抽出と、より好ましい補正結果が得られる。
【００２８】
９） 前記優先順位情報は、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定められることを特徴とする３）〜８）の何れかの画像処理方法、
入力手段を有し、前記画像処理手段が、前記優先順位情報を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定める３）〜７）の何れかの画像処理装置、
前記画像処理手段が、前記優先順位情報を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定める８）の画像処理装置、
入力手段をシーン属性情報を指示入力する手段として機能させ、前記優先順位情報を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定める３）〜７）の何れかのプログラム、及び前記優先順位情報を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定める８）のプログラム。
【００２９】
これにより、シーン属性を適時指定できるので、より主観的に好ましい画像処理結果を得ることが出来る。
【００３０】
１０） 前記被写体パターンを、複数の単位パターンから構成されるものとして、入力画像情報から単位パターンを抽出し、単位パターン同士の連結状態を被写体パターンの存在状態の検知に用いる１）〜９）の何れかの画像処理方法、プログラム、及び
前記画像処理手段が、前記被写体パターンを、複数の単位パターンから構成されるものとして、入力画像情報から単位パターンを抽出し、単位パターン同士の連結状態を被写体パターンの存在状態の検知に用いる１）〜９）の何れかの画像処理装置。
【００３１】
これにより、制服を着た人物、特定の神社、仏閣、樹木、等、全体の形態を特定することが困難なパターンであってもその単位要素から抽出することが出来る。
【００３２】
１１） 前記単位パターンの抽出は、入力画像情報により画像表示手段に表示した画像で、単位パターンの存在する位置の指定を順次受けることにより行い、抽出された全ての単位パターンの接続関係を求め、該接続関係情報を被写体パターン情報とし、該被写体パターン情報をもとに入力画像情報から被写体パターンを抽出する１０）の画像処理方法、
画像表示手段を有し、前記画像処理手段が、前記単位パターンの抽出を、入力画像情報により画像表示手段に表示した画像で、単位パターンの存在する位置の指定を順次受けることにより行い、抽出された全ての単位パターンの接続関係を求め、該接続関係情報を被写体パターン情報とし、該被写体パターン情報をもとに入力画像情報から被写体パターンを抽出する１０）の画像処理装置、及び
画像表示手段を入力画像情報により画像を表示する手段として機能させ、前記単位パターンの抽出を、画像表示手段に表示した画像で、単位パターンの存在する位置の指定を順次受けることにより行い、抽出された全ての単位パターンの接続関係を求め、該接続関係情報を被写体パターン情報とし、該被写体パターン情報をもとに入力画像情報から被写体パターンを抽出する１０）のプログラム。
【００３３】
これにより、一般に認知されていない被写体パターンであっても、新たに被写体パターンとして登録でき、簡単な手続きで被写体パターン抽出作業が出来る。
【００３４】
１２） 画像入力手段から得られた一連の複数の画像中から任意の画像を選択し、前記接続関係情報からなる被写体パターン情報を得て、当該被写体パターン情報を前記一連の複数の画像に適用して画像処理を行う１１）の画像処理方法、プログラム、及び
前記画像処理手段が、画像入力手段から得られた一連の複数の画像中から任意の画像を選択し、前記接続関係情報からなる被写体パターン情報を得て、当該被写体パターン情報を前記一連の複数の画像に適用して画像処理を行う１１）の画像処理装置。
【００３５】
これにより、新たな被写体パターンを設定する場合でも、代表の駒から求めるだけでよいので効率的に作業を進めることが出来る。
【００３６】
１３） 顧客情報と対応付けられた被写体パターンを抽出する１０）〜１２）の何れかの画像処理方法、
顧客情報を格納する記憶手段を有し、前記画像処理手段が、入力された又は記憶手段を参照して得た顧客情報と対応付けられた被写体パターンを抽出する１０）〜１２）の何れかの画像処理装置、
記憶手段を顧客情報を格納する手段として機能させ、入力された又は記憶手段を参照して得た顧客情報と対応付けられた被写体パターンを抽出する１０）〜１２）の何れかのプログラム。
【００３７】
これにより、特定の個人、顧客にとって重要、かつ特殊な被写体等、個別要素が強く、また、制服を着た人物、等、名称の重複がおきやすいパターンであっても、確実に単位要素から抽出することが出来る。
【００３８】
即ち本発明者は、多重解像度変換の手法を用い、画像内に存在する被写体を識別して画像を複数に区分すれば、写真撮影目的に応じ、また想定された主要被写体に応じて、特定の被写体及び、当該被写体と他の被写体との関係に着目した画像処理を施すことができると考え、本発明に至ったものである。
【００３９】
【発明の実施の形態】
以下、本発明の実施形態として、近年普及してきた、写真店で顧客からの注文に応じて、プリントやＣＤＲ等、記録メディアへの画像書き込みサービスを行う、デジタルミニラボを画像処理装置として本発明の画像処理方法を適用する例を説明する。
【００４０】
図１に、デジタルミニラボの機能の基本構成をブロック図として示す。
デジタルカメラ（以下、ＤＳＣ）１で撮影された画像は、スマートメディア、コンパクトフラッシュ（Ｒ）等、各種の画像記録メディア２に収められ、店頭に持ち込まれる。また旧来のカメラで撮影された（銀塩）フィルム３は、あらかじめ現像処理を施され、ネガフィルム、もしくはポジフィルムの画像原稿４となる。
【００４１】
ＤＳＣ１からの画像は、画像入力部にある、画像記録メディア２に対応したメディアドライバ５で画像信号として読み取られ、現像済みフィルム４の場合は同じく、フィルムスキャナ６で画像信号に変換される。
【００４２】
その他、反射原稿の場合はフラットベッドスキャナ等の反射スキャナで画像入力される、或いは、ＬＡＮやインターネット回線を通じて画像情報が入力されるといった様に、画像入力部１０に入力される画像種は、ＤＳＣ１からのものとは限らないが、ここでは図示しない。もちろんこれら画像に後述の画像処理を施すことも可能である。
【００４３】
この様に画像入力部１０で取得した入力画像情報は画像処理部２０に送られ、ここで、本発明の画像処理を含め、各種の処理加工がなされ、各種の処理加工がなされた出力画像情報は、各種出力装置（ここでは、銀塩露光プリンタ７、インクジェットプリンタ８、ＣＤＲ等、画像記録メディア９を例示）にあわせた色変換処理を施した後、出力される。なお、図中では、前記色変換処理は、画像処理部の処理内容の一部として扱い、図示しない。
【００４４】
さて、画像処理部２０にはシーン属性を入力、登録処理する機能が接続されている。これはたとえば、キーボード３１、マウス３２、さらに、画像表示部３３に表示された画像を見ながら、直接画面に触れて位置情報の指示が出来る接触センサー３４からなる指示入力部３０と、これらの指示、入力、登録情報を保存する情報記憶部４０と、から構成され、ここで、シーン属性を入力、あるいは選択指示することが出来る。
【００４５】
ここでシーン属性とは、その写真の主たる目的とするもののことを言い、例えば旅行写真、アウトドア、イベント写真、ネイチャーフォト、ポートレート等を挙げることができる。
【００４６】
またフィルムスキャナ６及びメディアドライバ５は、シーン属性や類する情報を記憶する機能を有するカメラで撮影されたフィルムやメディアから前記情報を読み取る機能を有する事が好ましい。これにより、確実にシーン属性情報を取得できる。
【００４７】
フィルムスキャナ６が読み取る情報としては、例えば、銀塩カメラのＡＰＳ（アドバンスドフォトシステム）において、フィルムに塗布された磁気層に記録された、各種の情報が有る。一例としては、プリント品質向上のために設定されたＰＱＩ情報、撮影時に設定され、プリントに表示されるメッセージ情報、その他が有る。
【００４８】
メディアドライバ５が読み取る情報としては、例えばＥｘｉｆなど、画像記録フォーマットの種類によって定義される、各種情報、前述の銀塩フィルムの例に記載の情報や、更に多様な情報が記録されている場合が有り、これらを読み取り有効に利用し得る。
【００４９】
これらメディアから得られる情報がある場合は、これらからシーン属性を得る、或いは類推すると、いちいち注文時にシーン属性を確認する手間が省けてよい。
【００５０】
更に、例えば写真店などで顧客情報を管理し、顧客ごとに、シーン属性を別途設定しておく、あるいはシーン属性そのものとして、顧客情報を用いると、後述の優先度設定時に、いったん設定された顧客の好みを簡単に引き出せるようになり、作業効率化と顧客満足度向上の点で好ましい。
【００５１】
これらの、さらには後述の各種情報は、情報記憶部４０に蓄積され、適宣利用される。
【００５２】
次いで、上記画像入力部、画像処理部、情報記憶部、及び指示入力部で行われる処理内容について説明する。
【００５３】
前述した各種の方法でシーン属性が定まったら、これに対応して、抽出すべき被写体パターンが定められる。ここで言う被写体パターンとは、人物、特定衣類（制服、スポーツのユニフォーム等）を着た人物、建物（和、洋、近代、歴史、宗教建築等）の様な、また、更には、雲、青空、海の様な、画像内に存在する、認識可能な別個、特定の被写体の事であり、被写体パターンに関する情報には、後述する、被写体パターンの優先順位情報（順位付け、または重み付け係数で表される値等で表記）が含まれ、更に、当該被写体の好ましい階調、色調再現に関する情報、また、被写体パターンの位置や大きさ、平均の階調、階調レンジ、色調などの情報が挙げられる。
【００５４】
なお顧客の注文状況によっては、被写体パターンの分類状況は異なってくる場合がある。たとえば人物を例にとると、単に「人物」であれば、人数にかかわり無く一つのパターンに関する情報として扱うことが出来るが、「学生」、「一般人」（あるいは「男性」、「女性」）の区分が注文主にとって意味あるものであれば、人物は２種類の被写体パターンとなる。
【００５５】
また顧客本人とそれ以外、結婚披露宴の「新婦」、「新郎」、「他の出席者」あるいは、仮に「Ａさん」と「Ｂさん」という場合も、注文主として識別可能な個体であり、別の被写体パターンとなり得る。
【００５６】
被写体パターンを抽出する手法は一般に知られている、各種のパターン抽出法を用いても良いが、新たに抽出法を設定しても良い。好ましい一例として、本発明者らが新たに見出した、Ｄｙａｄｉｃ Ｗａｖｅｌｅｔによる多重解像度変換処理を利用した、高い確度でパターン抽出ができる手法を説明する。
【００５７】
なおここで言う多重解像度変換は、画像情報の中に特定の周波数領域の信号強度がどの様に分布しているかを、周波数帯域をいくつかの帯域に分離することで捉える手法で、Ｄｙａｄｉｃ Ｗａｖｅｌｅｔは、後述の様に解像度変換を実施していく過程で画像サイズが小さくならず、画像の位置検出精度が変換レベルが上がっても（処理を多く繰り返しても）高いまま保たる性質が有り、本発明で利用する際に好ましい手法である。
【００５８】
以下、Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ処理について、述べる。
本発明で利用するＤｙａｄｉｃ Ｗａｖｅｌｅｔ（二項ウェーブレット）については、”Ｓｉｎｇｕｌａｒｉｔｙ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈ ｗａｖｅｌｅｔｓ”ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｗ．Ｌ．Ｈｗａｎｇ，ＩＥＥＥ Ｔｒａｎｓ． Ｉｎｆｏｒｍ． Ｔｈｅｏｒｙ３８ ６１７（１９９２）や“Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｓｉｇｎａｌｓ ｆｒｏｍ ｍｕｌｔｉｓｃａｌｅ ｅｄｇｅｓ”ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｓ．Ｚｈｏｎｇ，ＩＥＥＥ Ｔｒａｎｓ． ＰａｔｔｅｒｎＡｎａｌ． Ｍａｃｈｉｎｅ Ｉｎｔｅｌ． １４ ７１０（１９９２）や”Ａ ｗａｖｅｌｅｔ ｔｏｕｒ ｏｆ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ２ｅｄ．”ｂｙ Ｓ．Ｍａｌｌａｔ，Ａｃａｄｅｍｉｃ Ｐｒｅｓｓに詳細な説明があるが、以下に概要を説明する。
【００５９】
二項ウェーブレットのウェーブレット関数は下記のように定義される。
【００６０】
【数１】

【００６１】
つまり二項ウェーブレットはレベルｉにかかわらず位置の最小移動単位が一定である。これにより、二項ウェーブレット変換には下記の特徴が生じる。
【００６２】
特徴１：下記に示す一レベルの二項ウェーブレット変換で生成する、高周波数帯域成分Ｗ_ｉと低周波数帯域成分Ｓ_ｉの各々の信号量は、変換前の信号Ｓ_ｉ−１と同一である。
【００６３】
【数２】

【００６４】
特徴２：スケーリング関数φ_ｉ，ｊ（ｘ）とウェーブレット関数ψ_ｉ，ｊ（ｘ）の間に下記の関係が成立する。
【００６５】
【数３】

【００６６】
従って二項ウェーブレット変換で生成する、高周波数帯域成分Ｗ_ｉは、低周波数帯域成分Ｓ_ｉの一次微分（勾配）を表す。
【００６７】
特徴３：ウェーブレット変換のレベルｉに応じて定められた係数γ_ｉ（前出の二項ウェーブレットに関する参考文献参照）を高周波数帯域成分に乗じたＷ_ｉ・γ_ｉ（以下、これを補正済高周波数帯域成分と呼ぶ）について、入力信号の信号変化の特異性（ｓｉｎｇｕｌａｒｉｔｙ）に応じて、該変換後の補正済高周波数帯域成分Ｗ_ｉ・γ_ｉの信号強度のレベル間の関係が一定の法則に従う。すなわち図２の１や４に示すなだらかな（微分可能な）信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉが増大するほど信号強度が増大するのに対して、図２の２に示すステップ状の信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉに関わらず信号強度が一定となり、図２の３に示すδ関数状の信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉが増大するほど信号強度が減少する。
【００６８】
なおここで言うレベルｉは解像度レベルであって、何段階の処理を行うかを表す。
【００６９】
特徴４：画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、図３の様に行われる。この１レベルのウェーブレット変換により、低周波数帯域成分Ｓ_ｎ−１は２つの高周波数帯域成分Ｗｘ_ｎ、Ｗｙ_ｎと１つの低周波数帯域成分Ｓ_ｎに分解される。２つの高周波数帯域成分は低周波数帯域成分Ｓ_ｎの２次元における変化ベクトルＶ_ｎのｘ成分とｙ成分に相当する。変化ベクトルＶ_ｎの大きさＭ_ｎと偏角Ａ_ｎは下式で与えられる。
【００７０】
【数４】

【００７１】
また二項ウェーブレット変換で得られた２つの高周波数帯域成分Ｗｘ_ｎ、Ｗｙ_ｎと１つの低周波数帯域成分Ｓ_ｎに図４に示す二項ウェーブレット逆変換をほどこすことで、変換前のＳ_ｎ−１を再構成できる事が知られている。図においてＬＰＦは変換用ローパスフィルタ、ＨＰＦは変換用ハイパスフィルタを示し、ＬＰＦ’は逆変換用ローパスフィルタ、ＨＰＦ’は逆変換用ハイパスフィルタを示している。これらのフィルタ係数はウェーブレット関数に応じて適切に定められる（前述の参考文献を参照）。また、ＬＰＦｘ， ＨＰＦｘ， ＬＰＦ’ｘ， ＨＰＦ’ｘ，はｘ方向の処理を示し、ＬＰＦｙ， ＨＰＦｙ， ＬＰＦ’ｙ， ＨＰＦ’ｙはｙ方向の処理を示す。また二項ウェーブレットにおいては、レベル毎にフィルタ係数が異なり、レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２^ｎ−１−１個のゼロを挿入したものが用いられる（前述の参考文献を参照）。
【００７２】
さて、以上説明してきた、Ｄｙａｄｉｃ Ｗａｖｅｌｅｔを用いて、画像を多重解像度変換する事例の説明を図５の顔を用いて行う。
【００７３】
まず抽出するパターンに応じて、パターン抽出に利用する解像度レベルを設定する。
【００７４】
ここで言うパターン、特に被写体パターンとして一般に認知されるものは、その輪郭のみではなく、種々の固有の部分要素をもっているものがほとんどである。例えば人物の頭部であれば、その輪郭そのもののほか、目（さらに瞳、虹彩、まつげ、白目の血管）、鼻、口、ほほの起伏、えくぼ、眉、等がある。これらの内、抽出するパターンを識別するのに有効な部分要素をその「構成要素」と位置付け、それぞれに対し、パターン抽出に利用する解像度レベルを設定する。
【００７５】
例えば、図５及び図６のイメージ図で示される通り、人物の頭部の輪郭そのものは低レベルの分解画像に抽出されるエッジで、はっきりと、かつ正確に認識され、その内部に存在する、顔の構成要素の緩やかなパターン、たとえば鼻筋、唇の形状、笑顔の口唇周囲に出来る線、「えくぼ」、「ほほのふくらみ」などは、より高レベル分解画像に現れる、エッジ情報を用いることで、その特徴を的確に捉えることが出来る。
【００７６】
ここで、被写体パターンの構成要素の決定方法、及び、各々を識別する、好適解像度の決定方法について、好ましい１例を説明する。
【００７７】
まず、被写体パターンの構成要素を設定する。たとえば、一般的に「人物の顔」であれば、下記記載のような、あらかじめ記憶された、各種構成要素となる。
【００７８】
ａ：顔の輪郭
ｂ：瞳
ｃ：眉
ｄ：口
ｅ：髪の毛
ｆ：鼻梁
ｇ：鼻孔
ｈ：ほほの凸部
また、特定人物を被写体パターンとして登録したような場合は、これらに追加して以下の様な新たな構成要素を設定しても良く、個人特定が好ましく実施できる。
【００７９】
ｉ：しみ、ほくろ
ｊ：えくぼ
ｋ：髭
特定人物の場合では、ａ〜ｋの構成要素について、一般的な「人物の顔」という場合とは異なる特性を設定できるし、いくつかの構成要素は「無い」という場合もある。
【００８０】
目的とする被写体パターンについて各々の構成要素が設定できたら、この画像を二項ウェーブレット変換を用いて、多重解像度変換する。
【００８１】
各々の構成要素について、多重解像度変換の各レベルの分解信号における信号強度を求め、最大となるレベルを求める。
【００８２】
なお、この場合の信号強度とは、各々のレベルで検出されたエッジ成分を示す信号の最大値であるが、複数のレベル間で信号強度を比較する際には、信号値として、前出、二項ウェーブレットで説明した、補正済高周波帯域成分を用いることが好ましいのは言うまでもないことである。
【００８３】
前述の最大となるレベルを好適解像度として用いればよいが、実際の画像処理結果を評価して、若干のレベル変更を行ってもかまわない。
【００８４】
ところで、二項ウェーブレット変換を利用した場合、前述の特徴３に示される通り、ナイフエッジパターンのような、非常に輪郭のはっきりした構成要素の場合では、エッジの信号レベルが解像度レベルによって大きく変化しない特性がある。このような場合は、当該構成要素の輪郭形態がはっきりと認識できるレベル、または、もともとの画像解像度が十分でない場合においては、最も低レベルの分解解像度を好適解像度レベルとする。
【００８５】
前述の頭部の構成要素には、輪郭の比較的はっきりしたものと、はっきりしないものがあり、たとえばａ、ｃ、ｉなどが前者にあたり、ｆ、ｈ、ｊなどが後者にあたる。前者のような構成要件の抽出、登録は、たとえばモニタに画像を表示し、当該箇所をマウス、や接触型センサなどで指定して、近傍領域を自動的あるいは、手動的に切り抜いて行うことが出来る。後者のような場合には、当該構成要素の存在する領域を、存在しない領域と、はっきりと区別し、切り抜くことは困難である。
【００８６】
切り抜くことが困難な場合においては、その構成要素が存在する領域を大まかに指定すればよい。このような構成要件に対して設定される好適解像度は、前者の輪郭のはっきりしたものよりも高レベルとなっているのが普通である。したがって、大まかな領域指定を行った場合に実際に後者のような構成要素の抽出を行う際には、以下のようにして、目標とする構成要素を抽出できる。
【００８７】
構成要素を抽出する候補領域に検出されたエッジをすべて抽出し、これらについて、各解像度レベルの信号強度を比較し、好適解像度レベルより低レベルの分解画像で信号強度が強く検出されたエッジ成分は当該構成要素には含まれないものと考えられるため、候補領域から除外する。残った領域を、好適解像度レベルで検査して目的とする構成要素として抽出する。
【００８８】
以上の例では、分解前の画像をモニタに表示し、構成要素の指定を行ったが、たとえば画像処理技術に関してある程度の知識を有しているものが構成要素の指定を行う場合には、実際に解像度変換を行った分解画像をモニタに表示し、好ましくは分解前の画像と対比可能な構成で表示して表示されている解像度レベルで抽出すべき構成要素を指定できるようにすると、入力画像だけでは認識し得ない、新たな特徴点の発見も簡単に行うことが出来、より、被写体パターン識別精度を向上することが出来る。
【００８９】
図５において、瞳、上瞼のエッジをＡ、鼻筋、口唇周囲の線をＢ、ほほのふくらみをＣとすると、図６に示す様に、前述の通り、ＡよりＢ、ＢよりＣをより高レベルの解像度レベルの画像で検出することで、的確に顔の特徴認識が出来る。
【００９０】
更に、図７に示す様に、抽出すべきパターンの大きさに応じて、上記エッジ情報の検出に用いるレベルを設定すると、大きなパターンでは細かな情報まで用いたパターン検出、小さなパターンでは、その大きさで得られる情報までを用いて、最大限、効果的、かつ高速な検出処理が行えるという、優れた特徴を有する。
【００９１】
上記パターンの大きさは、別途、仮のパターン検出を行って、その大きさから求めてもよく、または、シーン属性（記念写真、ポートレートなど）、画像サイズ、から仮に求めても良い。ここで、パターンの大きさとは、たとえばパターンのサイズを画素数で表すことができるが、図示の例では、顔の大きさ「中」のサイズがあれば、Ａ、Ｂ、Ｃそれぞれに好ましい特徴抽出レベルが定められる。
【００９２】
もともとの画像サイズ（つまりパターンのサイズ、画像解像度）が非常に大きい場合、前述の「中」の大きさに相当する画像サイズまで解像度変換を行い、パターン抽出処理を行うことで、必要な計算処理量を大きく減らすことが出来、好都合である。
【００９３】
次ぎに画像内から抽出できる被写体パターンをすべて探す手法について述べる。前述のように、抽出すべき被写体パターンは決定されたシーン属性に応じて切り替える。以下にいくつかの例を示す。
【００９４】
シーン属性 → 抽出する被写体パターン（左のほうが、優先順位が高い）
修学旅行・京都 → 顔／制服を着た人物／歴史建築（和建築）
結婚披露宴 → 新婦／新郎／顔／ドレス／スポットライト
上記の例の、新婦・新郎と顔、スポットライトとドレスのように、重なり合って存在する被写体パターン要件もある。
【００９５】
ここで、上記被写体パターンは、あらかじめ定められているものでも良いが、例えば以下の手法で新たに設定することも出来る。
【００９６】
１）画像をモニタに表示し、主要画像部分を指示する。
２）指示部分を含む輪郭領域を自動抽出し、ここで得られたパターンを、単位パターンとする。必要とするパターン全体が含まれていない場合は、上記操作を繰り返し、微小輪郭を結合していく。
【００９７】
３）全体の輪郭抽出が終了したところで、前述の情報記録部に登録指示を行う（登録キーを押す）。登録情報は、選択された領域に関する情報（いくつの、どんな単位パターンが、どのように連結している集合か、や、領域全体に関する各種特性値）、領域の名称（制服を着た学生、等）、優先順位情報などからなる。
【００９８】
さらに前記単位パターンとして、「顔」や「制服」等、前出の被写体パターンに相当するやや複雑な構成のものを指定してもよく、これらの結合で、「学生」等の、より高度な被写体パターンの登録が簡単に出来る。
【００９９】
また、たとえば図８に示す結合状態を数式で表すことも可能で、「学生」というカテゴリに、「男子学生」（図８（ａ））、「女子学生」（図８（ｂ））の２種のカテゴリが含まれ、それぞれの定義ができ（男子学生は▲１▼ａｎｄ▲２▼ａｎｄ▲３▼、女子学生は▲１▼ａｎｄ▲４▼ａｎｄ▲５▼）、それぞれの結合で学生（｛▲１▼ａｎｄ▲２▼ａｎｄ▲３▼｝ｏｒ｛▲１▼ａｎｄ▲４▼ａｎｄ▲５▼｝）の定義が出来る（ここで、ａｎｄは論理積、ｏｒは論理和である）。
【０１００】
この場合▲２▼、▲３▼、▲４▼、▲５▼については特定パターン固有の定義が必要であろうが、例えば▲４▼については、図９（ａ）に示す様に、まずａ〜ｆを表示画像で指定して抽出し、ａ〜ｆの特性値と図９（ｂ）に示す連結状態を▲４▼として定義する。
【０１０１】
なお、写真店における写真プリントの一般的な状況として、ロールフィルムからの同時プリントや、デジタルカメラで撮影時に利用した画像記憶メディアからのプリントデータ等、関連した複数の駒について、一括してプリント注文する場合が多い（以下、一連の注文と表記）。
【０１０２】
一連の注文内に複数の画像がある場合には、その中の代表的な１枚の画像で、上記抽出、登録作業を行い、この情報を元に一連の画像群の全画像のパターン抽出作業を行うことが出来、パターン登録作業の回数を減らし、効率的な作業が出来る。
【０１０３】
また、前記登録パターンが、ある顧客固有のものであった場合には、パターン登録したパターンを顧客情報といっしょに保存しておき、次回のプリント注文時に顧客情報から、必要な登録パターンを呼び出すようにしておくと、より手間が省け、高度なサービスが実現できる。
【０１０４】
さらに前記のような、一連の注文処理を行うような場合、全画面から、色々な想定され得る被写体パターンを抽出し、その出現頻度や、画面内における存在位置の統計結果から、シーン属性や優先順位を類推することも出来る。
【０１０５】
このようにすれば、注文主からシーン属性に関する情報が得られない場合でも、顧客のもっとも大事にしたい被写体が推測できる為、より高い確率で、顧客にとって好ましいプリントが簡単に得られる。
【０１０６】
抽出した被写体に優先順位をつける手法について説明する。
シーン属性に対応して定められている優先順位情報を元につけるが、更に、被写体パターンの大きさ（大きいものを重視、等）、位置（中央部にあるものをより重視、等）により、優先順位情報に重み付けしても良く、これにより、被写体パターンの重要さに関し、更に好ましい情報が得られる。以下、このようにして得られた優先度に関する情報を「重要度」とする。
【０１０７】
抽出すべき被写体パターンと、それら被写体パターンの優先順位情報の決定法として、更に、ＧＰＳ信号と、時刻、地図、地勢情報や、インターネット等の自動検索エンジンを用いた検索情報、当該自治体、観光協会、商工会等の情報等やこれらをリンクした情報を用い、画像撮影地点において一般的に重要な被写体パターン、ランドマーク等を、優先順位の高い情報と位置付けることも出来る。
【０１０８】
そして顧客の満足度を高めるため、重要度の高い被写体パターンをより重視した画像処理を行う。一例としては、重要度の高い被写体パターンが、より好ましい階調に仕上がるよう階調変換条件を定めることが挙げられる。
【０１０９】
図１０で、修学旅行・京都の例で明るさに関する処理の説明をする。ここでは、
▲１▼制服を着た人物 ：優先順位１、重み付け係数５
▲２▼歴史建築（和建築） ：優先順位２、重み付け係数２
▲３▼顔 ：優先順位３、重み付け係数１
と、優先順位情報が設定されたとする。図の場合、原画像から、全要素が見つかったが、▲３▼は▲１▼の中に包含されていて（抽出要素としては▲１▼となる）、どちらもやや小さく、▲２▼が中央部に大きく存在している。
【０１１０】
そこで、副優先順位情報として大きさに対応する重み付けを
ａ：被写体「大」 重み付け係数 １．０
ｂ：被写体「中」 重み付け係数 ０．８
ｃ：被写体「やや小」 重み付け係数 ０．３
ｄ：被写体「小」 重み付け係数 ０．１
と設定すると、▲１▼と▲２▼の重み付けは、
▲１▼： ５×０．３＝１．５
▲２▼： ２×１．０＝２．０
となる、この画像は、歴史的建造物の前で撮影した記念写真と考えられるが、以上の処理により、人物写真であるが、建造物（旅行の目的物）に重点の置かれた写真が得られることになる。
【０１１１】
図１１（ａ）で示す上記の例が、図１１（ｂ）で示す明るさのヒストグラムを有するとし、▲１▼をもっとも好ましく仕上げる階調補正量がα、▲２▼をもっとも好ましく仕上げる階調補正量がβとすると、重みを考慮した階調補正量γは、例えば
γ＝（１．５×α＋２．０×β）／（１．５＋２．０）
で求められ、図１２（ａ）で示す様なヒストグラムで再現されることになる。
【０１１２】
なお、上記計算式（後述の計算式でも同様）の１．５、２．０の値は、前述、▲１▼と▲２▼の重み付け計算で一例として求めた重み付けの値であり、一般的な画像処理では変数として扱うものである。
【０１１３】
他の例として、重要度の高い被写体パターンが、もっとも好ましい階調に仕上がるよう全体の階調変換を行い、その他の被写体パターンについてはその領域のみの階調を選択的に変える覆い焼き的な手法を用いることが挙げられる。覆い焼き的な処理を加えることで、各被写体要素、▲１▼〜▲３▼の明るさをそれぞれ適当な状態に補正することが可能である。
【０１１４】
前記の数式例で説明すれば、全体の階調補正量を▲２▼をもっとも好ましく処理するβとし、▲１▼については、その領域のみ、（α−β）に相当する階調処理を行えばよい（図１２（ｂ））。
【０１１５】
一方で、▲１▼、▲２▼共に１枚の画像中に存在していることを考えると、ばらばらに補正することは画像の自然さを損なうこととなる。前記の数式例で（α−β）の階調補正量が、大きすぎる場合、１枚の写真としてのバランスを欠く結果となる懸念がある。
【０１１６】
自然な階調補正が出来る補正量の上限がδ（かつ、δ＜（α−β）、δ＞０）であったとすると、例えば
ε＝（α−β）−δ
▲２▼の階調補正量はβ＋ε×１．５／（１．５＋２．０）
▲１▼の階調補正量はε×１．５／（１．５＋２．０）＋δ（覆い焼き的処理分）のように階調補正すれば全体に自然な補正結果が得られる（図１２（ｃ））。
【０１１７】
以上説明したように、優先順位（重み付け情報）を決め、重みの大きい物を適切な明るさに、他の構成要素を、自然な明るさバランスに揃える手法を用いることが出来る。
【０１１８】
ところで、覆い焼き的処理が自然に行える限界δについては、覆い焼き的処理の行い方、特に、パターン境界近傍領域で、どのような処理を行うかによってその値が変わってくる。以下、本発明に係る処理を好ましく行う手法について、一例を説明する。
【０１１９】
図１３は、本発明の画像処理方法の実施の形態の概要を表すブロック図である。原画像は、釣鐘型の窓があいた室内の物体を撮影した状態を表している。室内の被写体は単純化のため、星型としている。
【０１２０】
室外、斜め右方向から日光が差し込んでいる状態で、星型の被写体を含む窓枠内の画像は、右側にかげりがあり写真として見苦しい状態である。この部分を領域Ａ、他の、窓枠内の部分を領域Ｂとする。領域Ａの影の部分を以下の覆い焼き処理によって明るく再現する。
【０１２１】
１）まず、画像を多重解像度変換する。
変換手法は一般的に知られている手法でかまわないが、ここでは好ましい例として、ウェーブレット変換、特にＤｙａｄｉｃ Ｗａｖｅｌｅｔ変換を用いる。順次、低レベルから高レベルまでの分解画像が出来、残渣の低周波画像▲１▼が出来上がる。
【０１２２】
ここで、領域Ａの部分に注目すると、領域右側（窓枠エッジ部）は低レベルの分解画像からはっきり認識できるが、領域左側（窓枠エッジが、室内に射影された影の輪郭）は低レベルの分解画像からは認識されず、高レベルの分解画像ではっきりと認識される。これは、窓枠エッジと比較し、影の輪郭がはっきりとしたものではなく、あいまいなぼんやりしたものと評価できることを意味している。
【０１２３】
２）次に、領域Ａに対しマスキング処理を行う。これは、分解画像を逆変換によって、もとの画像にもどす過程で行う。
【０１２４】
まず低周波画像▲１▼にマスク画像▲１▼を加算（便宜上、加算と表記したが、黒を０、白を正の大きな値と定義すれば、この図では減算。以下、同じ）し、これと、高レベル分解画像とを合成する逆変換処理を行い、より低レベル方向の、低周波画像▲２▼を得る。これにマスク画像▲２▼を加算し、前述と同様の処理によって、変換済み画像を得る。
【０１２５】
ところで前述のマスク画像▲１▼は、領域Ａの左半分、マスク画像▲２▼は、領域Ａの右半分を覆うマスクとなっている。逆変換の過程で、加算されたマスク画像はローパスフィルタを通過する為にぼやけるが、マスク画像▲１▼の方が、多回数、かつ、強いローパスフィルタ処理が施される為、ＡとＢ領域境界近傍のマスキング処理量がより緩やかに変化するマスキング処理として作用する。したがって、なだらかな変化を示す、影の輪郭に良好に対応した覆い焼き処理を行うことが出来る。
【０１２６】
同様な理由で、マスク画像▲２▼は小さなボケ量のマスクとして作用するので窓枠エッジに適合した覆い焼き処理を行うことが出来る。
【０１２７】
マスキング処理をどのレベルの逆変換でかけるかは、当該の領域境界の特性がもっとも強く出た解像度レベルの逆変換時にかければ良いが、画像の特性や、実際の試行結果から、前記、当該の領域境界の特性がもっとも強く出た解像度レベルから所定量移動したレベルにマスキング処理を施してもよく、これによって主観的に好ましい画像処理チューニングが可能になる。
【０１２８】
図１４〜図１６は、前述のような手法で用いることの出来るマスク形態の例を表したものである。
【０１２９】
図１４は、上記で述べたマスク部分の例で、かげの領域を２つの小領域、▲１▼と▲２▼に分けている。以下ここでは丸付き数字の大きいほうが、よりはっきりしたエッジに対応するマスクとする。小領域▲１▼と▲２▼の間にも、点線で図示される領域境界が存在する。
【０１３０】
ここで、領域を挟む、数字の小さい側のマスクは、この領域境界ではっきり切れていてもかまわないが、大きい側のマスクは、この領域境界で緩やかにマスキング処理量が変化する、好ましくは、境界を接する相手側のマスクが、当該マスクと合成されるまで、逆変換過程で施されるローパスフィルタの特性に適合した変化特性をもっていると、領域境界間のつながり感向上に好ましい効果を与える。
【０１３１】
図１５は、それぞれ別個の被写体パターン「雲」「樹木の葉、梢の部分」「人物、樹木の幹の部分」に、別解像度レベルのマスク処理を施す例で、▲１▼は雲など大まかなエッジに対応し、▲２▼はややはっきりしたエッジに、▲３▼ははっきりしたエッジに、それぞれ対応する。
【０１３２】
図１６は、模式的に、上辺のエッジが丸められた円柱に、水平に近い、斜め上、右方から光が差し込んだ状態の図である。
【０１３３】
なお、マスク画像の作成、即ち、選択的に覆い焼き加工する領域を設定する方法は、例えば、特開平１１−２８４８６０に記載される手法で、画像信号値のヒストグラムで被写体の明るさをいくつかのブロックに分割し、この分割状況から定めても良いし、また、本願記載の各種領域、或いは被写体パターン抽出手法を用いて定めても良い。この様にして定めた領域の境界付近の特性評価、実際のマスク加算処理を前述の様にして行う。
【０１３４】
以上、全体の補正レベルを決定する手法、及び部分的なマスク（覆い焼き的）手法を説明したが、さらにこれらを併用、或いはシーンに応じて切り替えて使用してもかまわない
また、以上では階調、明るさの例を示して説明したが、色再現、彩度再現等の各種条件設定に応用しても良い。
【０１３５】
たとえば図１１に示される▲１▼と▲２▼のそれぞれについて、
（項目） （▲１▼の望ましい処理） （▲２▼の望ましい処理）
色調再現 より記憶色に近い再現 より実物に近い再現
彩度再現 自然な再現 色強調度を強める
のような望ましい処理状態の差が考えられ、これらについて、前記のような平均的な処理や、領域を分けた個別処理、これらの併用処理を行うことが出来る。
【０１３６】
さらに、シャープネス、粒状性等の処理条件設定についても、複数の被写体パターンの、優先順位情報に応じた、重み付け平均を元に画面全体に対し画像処理を行って顧客の希望に添った画像処理結果を得ることが出来、さらに後述の手法を用いれば、領域を分けた個別処理、これらの併用処理を行うことが出来る。
【０１３７】
シャープネス、粒状性についても、図１１に示される▲１▼と▲２▼のそれぞれについて、
（項目） （▲１▼の望ましい処理） （▲２▼の望ましい処理）
鮮鋭性 やわらかい解像力 ▲１▼より低周波、コントラスト重視
粒状性 極力押さえる 多少残ってもディテール、ピント感重視
のような望ましい処理状態の差が考えられる。
【０１３８】
図１７は、鮮鋭性（ここでは強調処理）、粒状性（ここでは粒状除去処理）に関し、領域分割の例を示したものである。
【０１３９】
ここにおいては、領域を「Ｃ：雲」、「Ｂ：青空」、「Ａ：山、木々」３つに分けることが出来たものとする。
【０１４０】
図１７（ｂ）に示すように、Ａ、Ｂ、Ｃそれぞれ、好ましいとされる、鮮鋭性と粒状性の組み合わせは異なっている。またそれぞれの境界領域の関係は、ＡとＢの間ははっきりとした輪郭であり、ＢとＣはぼんやりとした輪郭となっている。
【０１４１】
この領域境界の特徴は、前述の図１３の処理例で述べた多重解像度変換処理で生成される、各解像度レベルの画像信号値の関係を評価することによって、容易に判断できることは明らかである。
【０１４２】
その上で、たとえば鮮鋭性処理の例では、鮮鋭性強調の程度を数値で表記した、鮮鋭性強調係数を画面位置に対応して並べたマスクを作成し（図１３の例におけるマスクと同様のものである）、領域Ａ〜Ｃ、それぞれに適合する解像度レベルを、前述図１３で説明したの手法などにより求め、それぞれのマスクを当該の適合解像度レベルに対応したぼかし量でぼかした、修正マスクを取得し、領域Ａ〜Ｃの合計３枚の修正マスクを合成する。
【０１４３】
合成されたマスクに記載された補正量情報に応じて、マスクと対応した位置にある画素の補正量を決めれば、Ａ〜Ｃ各領域の特性に応じた鮮鋭性強調が施され、さらに、ＡとＢの領域境界では、鮮鋭性強調の補正量がはっきり変化し、ＢとＣの領域境界では、鮮鋭性強調の補正量が緩やかに変化する、最も好ましい状態を得ることが出来る。
【０１４４】
また、たとえばカラー画像のように、複数の色次元を持っている画像情報の場合は、必要に応じて色座標変換を行い、必要な座標軸についてのみ、ここまで説明してきたような処理を行ってもかまわない。
【０１４５】
たとえば、覆い焼き的な階調補正をする上で特に重要となる明るさ補正について、ＲＧＢ３色で表された画像の場合は、いったん、輝度、色差（Ｌａｂなど）に変換し、輝度情報についてのみ処理を行うことで、画像処理品位の低下を押さえ、画像処理量を大幅に抑えることが出来る。
【０１４６】
また、花、海、空など、領域で区分すべき領域、被写体が、固有の色調をもっている場合に、領域境界を定める処理、領域境界の特性を評価する処理のいずれか１方、または両方を、固有色調をもっとも抽出しやすい色座標で行い、実際の領域ごとの画像処理は、これとは別の色座標、たとえば、輝度や彩度座標に対し、行うことも出来、「ある種（たとえば真っ赤なバラ）の花」など、特定、特殊な画像に対して特化した性能チューニングも行うことが可能である。
【０１４７】
以下、本発明の画像処理方法、画像処理装置及びプログラムを実行する工程をフローチャートに示す。
【０１４８】
図１８は最も基本的な工程を示す１例である。
まず入力画像情報を取得し（ステップ１）、フィルムやメディアにシーン属性や類する情報が有るかどうかチェックして（ステップ２）、有る場合は（ステップ２でＹＥＳ）取得情報を情報記憶部に格納する（ステップ３）。一方、画像表示部に画像を表示して顧客からもシーン属性の情報を取得し情報記憶部に格納する（ステップ４）。
【０１４９】
これらを元にシーン属性を決定し（ステップ５）、抽出する被写体パターンを定める（ステップ６）。
【０１５０】
次に、定められた被写体パターンを、例えば多重解像度変換処理を用いた手法で抽出し（ステップ７）、優先順位情報を重み付け係数等を用いるなどして付与し（ステップ８）、更に、抽出された被写体パターンの存在位置、大きさに応じて優先順位を修正する（ステップ９）。
【０１５１】
更に、抽出された各被写体パターンに対応する補正量を、情報記憶部に記憶されている各種情報、例えば好ましい階調、色調再現、或いは望ましい鮮鋭性、粒状性に関する情報を元に決定し（ステップ１０）、ステップ９で求めた各被写体パターンの重み付け係数を用いて、ステップ１０で求めた各被写体パターンの階調補正量の重み付け平均値を算出して（ステップ１１）、重み付け平均値に対応する分量の補正を画像に施して（ステップ１２）、処理を終了する。
【０１５２】
図１９は、本発明を階調補正に適用し、更に、覆い焼き処理を併用した、別の好ましい１例である。
【０１５３】
入力画像情報を取得し（ステップ１）、以降、抽出された各被写体パターンに対応する補正量を、情報記憶部に記憶されている各種情報、例えば好ましい階調、色調再現、或いは望ましい鮮鋭性、粒状性に関する情報を元に決定する（ステップ１０）ところまでは図１８の場合と同様であるが、ここでは階調補正に対象を限定しているため、求める補正量は階調補正量となっている。
【０１５４】
次に、各被写体パターンの階調補正量を、覆い焼き処理成分と残りの成分に分離し（ステップ１０１）、多重解像度変換処理を応用した、本願記載の覆い焼き手法を用いてマスキング処理を行い（ステップ１０２）、ステップ９で求めた各被写体パターンの重み付け係数を用いて、ステップ１０１で求めた各被写体パターンの階調補正量の、残りの成分の重み付け平均値を算出して（ステップ１０３）、重み付け平均値に対応する分量の階調補正を画像に施して（ステップ１０４）、処理を終了する。
【０１５５】
図２０は、シーン属性を決定する、もう一つの工程例を示す。
まず入力画像情報を取得し（ステップ１）、フィルムやメディアにシーン属性や類する情報が有るかどうかチェックして（ステップ２）、有る場合は（ステップ２でＹＥＳ）取得情報を情報記憶部に格納する（ステップ３）。一方、画像表示部に画像を表示して顧客からもシーン属性の情報を取得し情報記憶部に格納する（ステップ４）。ここまでの工程は前出の場合と同様である。
【０１５６】
ステップ２で情報無し（Ｎｏ）となった場合は、まず想定され得る複数の被写体パターンを設定し（ステップ２０１）、一連の入力画像情報から、これら被写体パターンの抽出処理を行う（ステップ２０２）。
【０１５７】
次に被写体パターンの抽出状況からシーン属性候補を推定し（ステップ２０３）、更に顧客情報を取得して（ステップ２０４）、情報記憶部に保存されている、過去に顧客が注文した処理画像のシーン属性の傾向を参照して候補を絞り込み（ステップ２０５）シーン属性を決定する（ステップ５）。
【０１５８】
更に、これら被写体パターンの抽出状況、シーン属性の設定状況を顧客情報とともに情報記憶部に蓄積、保存して（ステップ２０６）シーン属性設定フローを終了する。
【０１５９】
図２１は、新たな被写体パターンを登録する際の、実際の工程を表す一例である。
【０１６０】
まず入力画像情報を取得し（ステップ１）、取得した画像をモニタに表示する（ステップ３０２）。ここで登録する被写体パターンの存在する位置をオペレータが指定し、その位置情報を受け取る（ステップ３０３）。
【０１６１】
次に、受け取った位置情報を起点に、画像の関連領域を切り出し、抽出する処理を行い、抽出された領域をモニタに表示する（ステップ３０４）。
【０１６２】
オペレータはモニタに表示された画像を観察し、被写体パターン全ての抽出が終わったかどうか判断し、指示キーを押下する。押下されたキー情報を取得して終了指示がなされていない場合は（ステップ３０４でＮｏ）、ステップ３０３から処理を繰り返し、終了指示がされた場合は（ステップ３０４でＹＥＳ）後続のの処理に移行する。
【０１６３】
ここでは抽出処理が完了しているので、抽出領域、即ち、新たな被写体パターンの名称を入力手段から取得し（ステップ３０６）、更に、関連する各種情報、例えば、被写体パターンの構成要素とそれらの連結状態、優先順位、好ましい階調、色再現に関する情報、等を被写体パターンの名称とリンクして（ステップ３０７）、これら情報群を情報記憶部に保管し（ステップ３０８）、被写体パターン登録作業を終了する。
【０１６４】
【発明の効果】
本発明によれば、画像内に存在する被写体を識別して画像を複数に区分するので、写真撮影目的に応じ、また想定された主要被写体に応じて、特定の被写体に着目した画像処理を施すことができる。
【図面の簡単な説明】
【図１】デジタルミニラボの機能の基本構成を示すブロック図。
【図２】入力信号の信号変化の例を示す図。
【図３】２次元信号における１レベルの二項ウェーブレット変換の方法を示す図。
【図４】二項ウェーブレット逆変換を示す図。
【図５】人物の頭部のイメージ図。
【図６】解像度レベルに対応する画像の検出のイメージ図。
【図７】抽出すべきパターンの大きさとエッジ情報の検出に用いるレベル設定の対応のイメージ図。
【図８】単位パターンで構成される被写体パターンのイメージ図。
【図９】単位パターンを連結状態で定義づけする例のイメージ図。
【図１０】修学旅行・京都の例で処理の説明をする図。
【図１１】原画像の明るさのヒストグラムの例を示す図。
【図１２】階調補正を行って再現する場合のヒストグラムの例を示す図。
【図１３】本発明の画像処理方法の実施の形態の概要を表すブロック図である。
【図１４】マスク形態の例を示す図である。
【図１５】マスク形態の他の例を示す図である。
【図１６】マスク形態の更に他の例を示す図である。
【図１７】鮮鋭性、粒状性に関し、領域分割の例を示した図である。
【図１８】本発明を実行する工程の１例を示すフローチャートである。
【図１９】本発明を階調補正に適用し、更に、覆い焼き処理を併用した例を示すフローチャートである。
【図２０】シーン属性を決定する他の工程例を示すフローチャートである。
【図２１】新たな被写体パターンを登録する際の、実際の工程を表す一例示すフローチャートである。
【符号の説明】
１ デジタルカメラ
２ 画像記録メディア
３ 銀塩フィルム
４ 現像済みフィルム
５ メディアドライバ
６ フィルムスキャナ

Claims (41)

1. 画像入力手段から得られた入力画像情報に基づいて画像処理を行い、出力画像情報を得る画像処理方法において、画像内に存在する被写体を識別して画像を複数に区分し、該区分された画像毎に、他の画像との関係から決定された方法で画像処理可能な被写体パターンとする工程を経ることを特徴とする画像処理方法。
2. 個々の被写体パターンに関する情報から、被写体パターン毎の画像処理方法を決定することを特徴とする請求項１に記載の画像処理方法。
3. 被写体パターンに関する情報は、各々の被写体パターンに対して設定される優先順位情報を含むことを特徴とする請求項２に記載の画像処理方法。
4. 前記優先順位情報は、当該被写体パターンの重要さに対応する重み付けの値で表されることを特徴とする請求項３に記載の画像処理方法。
5. 複数の被写体パターンを画像情報から検出、抽出するパターン抽出処理を行い、該抽出された個々の被写体パターンに関する情報から、画像処理方法を決定することを特徴とする請求項３又は４に記載の画像処理方法。
6. 前記優先順位情報は、各々の被写体パターンの画面内における存在状況に対応する副優先順位情報をもとに修正されることを特徴とする請求項３乃至５の何れか１項に記載の画像処理方法。
7. 前記副優先順位情報は、被写体パターンの画面内に占める割合及び画面内に存在する位置の少なくとも１方に対応した情報であることを特徴とする請求項６に記載の画像処理方法。
8. 被写体パターンの区分は、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定められることを特徴とする請求項１乃至７の何れか１項に記載の画像処理方法。
9. 前記優先順位情報は、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定められることを特徴とする請求項３乃至８の何れか１項に記載の画像処理方法。
10. 前記被写体パターンを、複数の単位パターンから構成されるものとして、入力画像情報から単位パターンを抽出し、単位パターン同士の連結状態を被写体パターンの存在状態の検知に用いることを特徴とする請求項１乃至９の何れか１項に記載の画像処理方法。
11. 前記単位パターンの抽出は、入力画像情報により画像表示手段に表示した画像で、単位パターンの存在する位置の指定を順次受けることにより行い、抽出された全ての単位パターンの接続関係を求め、該接続関係情報を被写体パターン情報とし、該被写体パターン情報をもとに入力画像情報から被写体パターンを抽出することを特徴とする請求項１０に記載の画像処理方法。
12. 画像入力手段から得られた一連の複数の画像中から任意の画像を選択し、前記接続関係情報からなる被写体パターン情報を得て、当該被写体パターン情報を前記一連の複数の画像に適用して画像処理を行うことを特徴とする請求項１１に記載の画像処理方法。
13. 顧客情報と対応付けられた被写体パターンを抽出することを特徴とする請求項１０乃至１２の何れか１項に記載の画像処理方法。
14. 画像入力手段から得られた入力画像情報に基づいて出力画像情報を得る画像処理手段を有し、該画像処理手段が、画像内に存在する被写体を識別して画像を複数に区分し、該区分された画像毎に、他の画像との関係から決定された方法で画像処理可能な被写体パターンとする手段を有することを特徴とする画像処理装置。
15. 前記画像処理手段が、個々の被写体パターンに関する情報から、被写体パターン毎の画像処理方法を決定することを特徴とする請求項１４に記載の画像処理装置。
16. 被写体パターンに関する情報は、各々の被写体パターンに対して設定される優先順位情報を含むことを特徴とする請求項１５に記載の画像処理装置。
17. 前記優先順位情報は、当該被写体パターンの重要さに対応する重み付けの値で表されることを特徴とする請求項１６に記載の画像処理装置。
18. 前記画像処理手段が、複数の被写体パターンを画像情報から検出、抽出するパターン抽出処理を行い、該抽出された個々の被写体パターンに関する情報から、画像処理方法を決定することを特徴とする請求項１６又は１７に記載の画像処理装置。
19. 前記優先順位情報は、各々の被写体パターンの画面内における存在状況に対応する副優先順位情報をもとに修正されることを特徴とする請求項１６乃至１８の何れか１項に記載の画像処理装置。
20. 前記副優先順位情報は、被写体パターンの画面内に占める割合及び画面内に存在する位置の少なくとも１方に対応した情報であることを特徴とする請求項１９に記載の画像処理装置。
21. 入力手段を有し、前記画像処理手段が、被写体パターンの区分を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定めることを特徴とする請求項１４乃至２０の何れか１項に記載の画像処理装置。
22. 入力手段を有し、前記画像処理手段が、前記優先順位情報を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定めることを特徴とする請求項１６乃至２０の何れか１項に記載の画像処理装置。
23. 前記画像処理手段が、前記優先順位情報を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定めることを特徴とする請求項２１に記載の画像処理装置。
24. 前記画像処理手段が、前記被写体パターンを、複数の単位パターンから構成されるものとして、入力画像情報から単位パターンを抽出し、単位パターン同士の連結状態を被写体パターンの存在状態の検知に用いることを特徴とする請求項１４乃至２３の何れか１項に記載の画像処理装置。
25. 画像表示手段を有し、前記画像処理手段が、前記単位パターンの抽出を、入力画像情報により画像表示手段に表示した画像で、単位パターンの存在する位置の指定を順次受けることにより行い、抽出された全ての単位パターンの接続関係を求め、該接続関係情報を被写体パターン情報とし、該被写体パターン情報をもとに入力画像情報から被写体パターンを抽出することを特徴とする請求項２４に記載の画像処理装置。
26. 前記画像処理手段が、画像入力手段から得られた一連の複数の画像中から任意の画像を選択し、前記接続関係情報からなる被写体パターン情報を得て、当該被写体パターン情報を前記一連の複数の画像に適用して画像処理を行うことを特徴とする請求項２５に記載の画像処理装置。
27. 顧客情報を格納する記憶手段を有し、前記画像処理手段が、入力された又は記憶手段を参照して得た顧客情報と対応付けられた被写体パターンを抽出することを特徴とする請求項２４乃至２６の何れか１項に記載の画像処理装置。
28. 画像入力手段から得られた入力画像情報に基づいて出力画像情報を得る画像処理手段を、画像内に存在する被写体を識別して画像を複数に区分し、該区分された画像毎に、他の画像との関係から決定された方法で画像処理可能な被写体パターンとする手段として機能させることを特徴とするプログラム。
29. 個々の被写体パターンに関する情報から、被写体パターン毎の画像処理方法を決定することを特徴とする請求項２８に記載のプログラム。
30. 被写体パターンに関する情報に、各々の被写体パターンに対して設定される優先順位情報を含有させることを特徴とする請求項２９に記載のプログラム。
31. 前記優先順位情報を、当該被写体パターンの重要さに対応する重み付けの値とすることを特徴とする請求項３０に記載のプログラム。
32. 前記画像処理手段に、複数の被写体パターンを画像情報から検出、抽出するパターン抽出処理を行なわせ、該抽出された個々の被写体パターンに関する情報から、画像処理方法を決定することを特徴とする請求項３０又は３１に記載のプログラム。
33. 前記優先順位情報を、各々の被写体パターンの画面内における存在状況に対応する副優先順位情報をもとに修正することを特徴とする請求項３０乃至３２の何れか１項に記載のプログラム。
34. 前記副優先順位情報を、被写体パターンの画面内に占める割合及び画面内に存在する位置の少なくとも１方に対応させることを特徴とする請求項３３に記載のプログラム。
35. 入力手段をシーン属性情報を指示入力する手段として機能させ、被写体パターンの区分を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定めることを特徴とする請求項２８乃至３４の何れか１項に記載のプログラム。
36. 入力手段をシーン属性情報を指示入力する手段として機能させ、前記優先順位情報を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定めることを特徴とする請求項３０乃至３４の何れか１項に記載のプログラム。
37. 前記優先順位情報を、入力画像情報に付随した、又は指示入力されたシーン属性情報が存在する場合、該シーン属性に対応して定めることを特徴とする請求項３５に記載のプログラム。
38. 前記被写体パターンを、複数の単位パターンから構成されるものとして、入力画像情報から単位パターンを抽出し、単位パターン同士の連結状態を被写体パターンの存在状態の検知に用いることを特徴とする請求項２８乃至３７の何れか１項に記載のプログラム。
39. 画像表示手段を入力画像情報により画像を表示する手段として機能させ、前記単位パターンの抽出を、画像表示手段に表示した画像で、単位パターンの存在する位置の指定を順次受けることにより行い、抽出された全ての単位パターンの接続関係を求め、該接続関係情報を被写体パターン情報とし、該被写体パターン情報をもとに入力画像情報から被写体パターンを抽出することを特徴とする請求項３８に記載のプログラム。
40. 画像入力手段から得られた一連の複数の画像中から任意の画像を選択し、前記接続関係情報からなる被写体パターン情報を得て、当該被写体パターン情報を前記一連の複数の画像に適用して画像処理を行うことを特徴とする請求項３９に記載のプログラム。
41. 記憶手段を顧客情報を格納する手段として機能させ、入力された又は記憶手段を参照して得た顧客情報と対応付けられた被写体パターンを抽出することを特徴とする請求項３８乃至４０の何れか１項に記載のプログラム。

Images