JP2004240622A - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】従来、原画像から被写体を抽出する作業は、高い技術と経験を必要とし、手間のかかるものであった。このような問題を解決し、自動又は半自動で被写体を高い確度で抽出する画像処理技術を提供する。
【解決手段】画像情報に対して多重解像度変換を施し、シーン属性に基づいて、被写体パターンの構成要素を検出し、検出された構成要素に基づいて被写体パターンを抽出する。
【選択図】 図２４

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力手段から得られた入力画像情報に基づいて画像処理を行い、出力画像情報を得る画像処理方法、装置及びその作動制御を行う画像処理プログラムに関する。
【０００２】
【従来の技術】
銀塩フィルムを用いた旧来のカメラや近年普及してきたデジタルスチルカメラなどを用いて写真撮影を行い、得られた画像をハードコピー、またはＣＲＴ等の表示装置に表示して画像再現するシステムが従来から用いられている。
【０００３】
これら画像再現システムに於いては、写されている画像を好ましく再現する為、明るさ、コントラスト等、元画像に手を加えて調整し、鑑賞画像として再現するのが一般的である。
【０００４】
たとえば旧来の銀塩ネガポジシステムであれば、フィルムから印画紙に焼き付け露光する際に、露光時間や焼付け光源の光量を変化させる手法が古くから用いられている。
【０００５】
デジタルスチルカメラからのプリントでは、得られた画像信号値をルックアップテーブル（ＬＵＴ）等で数値変換することで同様の処理が実現されている。
【０００６】
以上述べたような各種調整を行う場合、撮影された画像に合わせて好ましい調整、多くの場合は、画像内の主要被写体に対してもっとも好ましい調整をすることが必須となる。この調整を人手で行うのは高い技術、経験が必要であったり、工数がかかりすぎたりと困難な場合が多く、自動、あるいは半自動で簡単に好ましい調整が出来る画像処理方法が求められていた。これに対し、人物の顔に代表されるパターンを画像内から抽出し、それら抽出された情報から階調変換条件を求める手法が各種提案されている。
【０００７】
一例として、特許文献１では、画像情報から顔情報を抽出し、これを好ましい階調に仕上げる事で好ましい写真が得られるとしている。
【０００８】
しかしながら、通常撮影される写真では、たとえば人物の顔というように主要被写体を限定しても、その撮影されている大きさによって画像中に保存されている情報量や性質は異なり、十分な抽出性能を得ることはなかなか困難であった。また一般には、人は身の回りの人物をそれぞれ別人として特定していることから明らかなように、画像観察者の要求によっては、特定の人物のみを主要被写体とする必要も生じ、当然、自動的な処理はより困難なものであった。さらに一般的には、主要被写体は顔だけにとどまらず、多種多様な個体が想定され、その中には、その写真にとっては重要でも、一般には認知し得ない特有の形態のものもあり、これら多くの画像情報に対して、十分な画像処理を行うことは非常に困難であった。
【０００９】
さらに最近は、人物の表情を好みに応じて変化させ「目つぶり」等の不快な写真を加工してプリントするようなサービスが始まっている（特許文献２参照）。
【００１０】
また、通常、赤目と呼ばれる、暗所でのストロボ撮影時に発生しやすい、瞳が赤、或いは金色に光って見える不快な写真撮影上の現象を修正するサービスもある。これらに関しては、対象とする領域が限定され、正しく領域抽出する必要があるが、前述の場合と同様、自動で簡単に行える手法はなく、また有っても、単にパターンの色調や外形から被写体の予測を行うものが多く、類似パターンによる誤判別の危険があり、十分な性能があるとは言えないものであった。
【００１１】
【特許文献１】
特開２００１−８４２７４号公報
【００１２】
【特許文献２】
特開２００２−１９９２０２号公報
【００１３】
【発明が解決しようとする課題】
本発明はこのような事情に鑑みてなされたものであり、状況により様々に設定されうる主要被写体を、画像中からより高い性能で抽出し、さらには、抽出結果を応用して高度な画像処理サービスを簡単に実施する事を可能とする画像処理技術を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の目的は下記の発明により達成される。
【００１５】
１．各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理方法において、
入力画像情報に対して多重解像度変換処理を行い、前記１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出する事を特徴とする画像処理方法。
【００１６】
２．前記好適解像度レベルは、前記被写体パターンに応じて個別に定められるものであることを特徴とする前記１に記載の画像処理方法。
【００１７】
３．前記好適解像度レベルは、入力画像情報中に存在する被写体パターンの大きさ情報に応じて定められるものである事を特徴とする前記１又は前記２に記載の画像処理方法。
【００１８】
４．前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする前記１〜３のいずれか１項に記載の画像処理方法。
【００１９】
５．前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする前記１〜４のいずれか１項に記載の画像処理方法。
【００２０】
６．各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理方法において、入力画像情報中に存在する、被写体パターンの大きさ情報を取得し、該大きさ情報に基づいて入力画像情報を解像度変換して解像度変換画像を取得し、該解像度変換画像に多重解像度変換処理を施して前記、１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の構成要素の検出を行い、前記構成要素で構成される被写体パターンを抽出する事を特徴とする画像処理方法。
【００２１】
７．前記好適解像度レベルと、解像度変換画像の解像度とは、前記被写体パターンに応じて個別に定められるものであることを特徴とする前記６に記載の画像処理方法。
【００２２】
８．前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする前記６又は前記７に記載の画像処理方法。
【００２３】
９．前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする前記６〜８のいずれか１項に記載の画像処理方法。
【００２４】
１０．各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理手段を有する画像処理装置において、
前記画像処理手段は、入力画像情報に対して多重解像度変換処理を行い、前記１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出する事を特徴とする画像処理装置。
【００２５】
１１．前記好適解像度レベルは、前記被写体パターンに応じて個別に定められるものであることを特徴とする前記１０に記載の画像処理装置。
【００２６】
１２．前記好適解像度レベルは、入力画像情報中に存在する被写体パターンの大きさ情報に応じて定められるものである事を特徴とする前記１０又は前記１１に記載の画像処理装置。
【００２７】
１３．前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする前記１０〜１２のいずれか１項に記載の画像処理装置。
【００２８】
１４．前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする前記１０〜１３のいずれか１項に記載の画像処理装置。
【００２９】
１５．各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理手段を有する画像処理装置において、前記画像処理手段は、入力画像情報中に存在する、被写体パターンの大きさ情報を取得し、該大きさ情報に基づいて入力画像情報を解像度変換して解像度変換画像を取得し、該解像度変換画像に多重解像度変換処理を施して前記、１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出する事を特徴とする画像処理装置。
【００３０】
１６．前記好適解像度レベルと、解像度変換画像の解像度とは、前記被写体パターンに応じて個別に定められるものであることを特徴とする前記１５に記載の画像処理装置。
【００３１】
１７．前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする前記１５又は前記１６に記載の画像処理装置。
【００３２】
１８．前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする前記１０〜１７のいずれか１項に記載の画像処理装置。
【００３３】
１９．各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出するように画像処理手段を機能させる画像処理プログラムにおいて、
該画像処理プログラムは、入力画像情報に対して多重解像度変換処理を行い、前記１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出するものである事を特徴とする画像処理プログラム。
【００３４】
２０．前記好適解像度レベルは、前記被写体パターンに応じて個別に定められるものであることを特徴とする前記１９に記載の画像処理プログラム。
【００３５】
２１．前記好適解像度レベルは、入力画像情報中に存在する被写体パターンの大きさ情報に応じて定められるものである事を特徴とする前記１９又は前記２０に記載の画像処理プログラム。
【００３６】
２２．前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする前記１９〜２１のいずれか１項に記載の画像処理プログラム。
【００３７】
２３．前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする前記１９〜２２のいずれか１項に記載の画像処理プログラム。
【００３８】
２４．各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出するように画像処理手段を機能させる画像処理プログラムにおいて、入力画像情報中に存在する、被写体パターンの大きさ情報を取得し、該大きさ情報に基づいて入力画像情報を解像度変換して解像度変換画像を取得し、該解像度変換画像に多重解像度変換処理を施して前記、１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出するように前記画像処理手段を機能させる事を特徴とする画像処理プログラム。
【００３９】
２５．前記好適解像度レベルと、解像度変換画像の解像度とは、前記被写体パターンに応じて個別に定められるものであることを特徴とする前記２４に記載の画像処理プログラム。
【００４０】
２６．前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする前記２４又は前記２５に記載の画像処理プログラム。
【００４１】
２７．前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする前記２４〜２６のいずれか１項に記載の画像処理プログラム。
【００４２】
２８．各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出して、画像処理を行い、出力画像情報を得る画像処理方法において、
所定の第１の解像度で、第１の画像情報を取得し、該第１の画像情報から被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて、第２の解像度を設定して、第２の画像情報を取得し、さらに、該第２の画像情報を多重解像度変換し、前記構成要素の各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、検出された前記構成要素で構成される被写体パターンを抽出する事を特徴とする画像処理方法。
【００４３】
２９．各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理手段を有する画像処理装置において、
前記画像処理手段は、所定の第１の解像度で、第１の画像情報を取得し、該第１の画像情報から被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて、第２の解像度を設定して、第２の画像情報を取得し、さらに、該第２の画像情報を多重解像度変換し、前記構成要素の各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、検出された前記構成要素で構成される被写体パターンを抽出する事を特徴とする画像処理装置。
【００４４】
３０．各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出するように画像処理手段を機能させる画像処理プログラムにおいて、
該画像処理プログラムは、所定の第１の解像度で、第１の画像情報を取得し、該第１の画像情報から被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて、第２の解像度を設定して、第２の画像情報を取得し、さらに、該第２の画像情報を多重解像度変換し、前記構成要素の各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、検出された前記構成要素で構成される被写体パターンを抽出するものである事を特徴とする画像処理プログラム。
【００４５】
３１．各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出して、画像処理を行い、出力画像情報を得る画像処理方法において、
前記入力画像情報を多重解像度変換し、前記複数の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、それらの検出状況に基づいて被写体パターンを特定し、検出された前記構成要素の内、少なくとも一つに対して所定の画像処理を行う事を特徴とする画像処理方法。
【００４６】
３２．前記画像情報を取得するに先だって、所定の第１の解像度で事前画像情報を取得し、前記被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて設定された第２の解像度を設定し、該第２の解像度で前記入力画像情報を取得することを特徴とする前記３１に記載の画像処理方法。
【００４７】
３３．各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出して、画像処理を行い、出力画像情報を得る画像処理手段を有する画像処理装置において、
前記画像処理手段は、前記入力画像情報を多重解像度変換し、前記複数の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、それらの検出状況に基づいて被写体パターンを特定し、検出された前記構成要素の内、少なくとも一つに対して所定の画像処理を行う事を特徴とする画像処理装置。
【００４８】
３４．前記画像処理手段は、前記画像情報を取得するに先だって、所定の第１の解像度で事前画像情報を取得し、前記被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて設定された第２の解像度を設定し、該第２の解像度で前記入力画像情報を取得することを特徴とする前記３３に記載の画像処理装置。
【００４９】
３５．各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出して、画像処理を行い、出力画像情報を得る画像処理手段を機能させる画像処理プログラムにおいて、
前記画像処理プログラムは、前記入力画像情報を多重解像度変換し、前記複数の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、それらの検出状況に基づいて被写体パターンを特定し、検出された前記構成要素の内、少なくとも一つに対して所定の画像処理を行うものである事を特徴とする画像処理プログラム。
【００５０】
３６．前記画像処理プログラムは、前記画像情報を取得するに先だって、所定の第１の解像度で事前画像情報を取得し、前記被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて設定された第２の解像度を設定し、該第２の解像度で前記入力画像情報を取得するものであることを特徴とする前記３５に記載の画像処理プログラム。
【００５１】
【発明の実施の形態】
本発明の実施の形態について、写真店において、近年普及してきた顧客からの注文に応じて、プリントやＣＤＲ等、記録メディアへの画像書き込みサービスを行う、デジタルミニラボを例に説明する。
【００５２】
図１は、本発明の実施の形態に係る画像処理装置を備えたデジタルミニラボの基本的な構成をブロック図として表したものである。
【００５３】
デジタルカメラ１（以下、ＤＳＣと言う）で撮影された画像は、スマートメディア、コンパクトフラッシュ（Ｒ）等、各種の画像記録メディア２に収められ、店頭に持ち込まれる。
【００５４】
また、旧来のカメラ３で撮影された画像は、現像処理を施され、ネガ画像もしくはポジ画像としてフィルム４に記録される。
【００５５】
ＤＳＣ１からの画像は、画像入力部７にある、対応したメディアドライバ５で画像信号として読み取られ、フィルム４の画像は、フィルムスキャナ６で画像信号に変換される。
【００５６】
その他、反射原稿の場合は、フラットベッドスキャナ等の反射スキャナ（図示せず）で画像入力される、あるいは、ＬＡＮ、インターネット回線を通じて画像情報が入力されるなど、画像入力部７に入力される画像種は、ＤＳＣ１からのものとは限らないが、ここでは図示しない。もちろんこれら画像に後述の画像処理を施すことが可能である。
【００５７】
画像入力部７で取得した入力画像情報は画像処理部８に送られ、ここで、本発明の画像処理を含む各種の処理加工がなされる。
【００５８】
各種の処理加工がなされた出力画像情報は、各種出力装置に出力される。画像出力装置としては、銀塩露光プリンタ９、インクジェットプリンタ１０等がある。また、画像出力情報は、各種の画像記録メディア１１に記録される場合もある。
【００５９】
画像処理部８にはシーン属性を入力、登録処理する機能が接続されている。即ちたとえば、キーボード１３、マウス１４、さらに、画像表示部１６に表示された画像を見ながら、直接画面に触れて位置情報の指示が出来る接触センサー１５を備えた指示入力部１２と、これらの指示、入力、登録情報を保存する情報記憶部１７と、画像処理部８に接続され、情報記憶部１７に記憶されている情報が画像処理部８に取り込まれるとともに、画像処理部８で処理された画像情報の画像が画像表示部１６に表示されモニタされる。
【００６０】
指示入力部１２においては、シーン属性を入力、あるいは選択指示することが出来る。ここでシーン属性とは、写真の種類、撮影の動機、撮影場所等、写真に記録されている被写体を特徴付けるキーワードであり、たとえば：旅行写真、アウトドア、イベント写真、ネイチャーフォト、ポートレート等がある。
【００６１】
また、フィルムスキャナ６、メディアドライバ５は、シーン属性やこれに類する情報を記憶する機能を有するカメラで撮影されたフィルムやメディアから前記情報を読み取る機能を有する事が好ましい。これにより、確実にシーン属性情報を取得出来る。
【００６２】
フィルムスキャナ６及びメディアドライバ５が読み取る情報としては、たとえば、銀塩カメラのＡＰＳ（アドバンスドフォトシステム）において、フィルムに塗布された磁気層に記録された各種の情報がある。一例としては、プリント品質向上のために設定されているＰＱＩ情報、撮影時に設定され、プリントに表示されるメッセージ情報、その他がある。メディアドライバ５が読み取る情報としては、例えば、Ｅｘｉｆなど画像記録フォーマットの種類によって、定義される各種情報、前述の銀塩フィルムの例に記載の情報や、さらに、多様な情報が記録されている場合があり、これらを読みとり有効に利用しうる。
【００６３】
これらメディアから得られる情報がある場合は、これらからシーン属性を得る、あるいは類推すると、いちいち受付注文時にシーン属性を確認する手間が省けてよい。
【００６４】
さらには、たとえば写真店などで顧客情報を管理し、顧客ごとに、シーン属性を別途設定しておく、あるいはシーン属性そのものとして、顧客情報を用いることも出来る。これにより、後述の優先順位設定時に、いったん設定された顧客の好みを簡単に引き出せるようになり、作業効率化と顧客満足度向上の点で好ましい。
【００６５】
これらの情報及びさらには後述の各種情報は、情報記憶部１７に蓄積され、適宣利用される。
【００６６】
画像処理装置の主要部をなす画像処理手段としての画像処理部８は、演算処理を行うＣＰＵ８ａ、後述する各種処理のプログラムを格納するメモリ８ｂ、ワークメモリとしてのメモリ８ｃ及び画像処理演算を行う画像処理回路８ｄを有する。
【００６７】
以下、主として画像処理部８が行う処理内容について説明する。
前述した各種の方法でシーン属性が定まったら、これに対応して、抽出すべき被写体パターンが定まる。
【００６８】
ここでいう被写体パターンとは、以下に示すような、画像内に存在する、認識可能な別個、特定の被写体の事であり、被写体パターンに関する情報には、後述する、被写体パターンの優先順位情報（順位付け、または重み付け係数で表される値などで表記）が含まれ、さらに、当該被写体の好ましい階調、色調再現に関する情報、また、被写体パターンの位置や大きさ、平均の階調、階調レンジ、色調などの情報が挙げられる。
【００６９】
被写体パターンの例としては、人物、特定衣類（制服、スポーツのユニフォーム等）を着た人物、建物（和、洋、近代、歴史、宗教建築等）等があり、さらには、雲、青空、海のようなものがある。
【００７０】
顧客の注文状況によっては、被写体パターンの分類状況は異なってくる場合がある。たとえば人物を例にとると、単に「人物」であれば、人数にかかわり無く一つのパターンに関する情報として扱うことが出来るが、「学生」、「一般人」（あるいは「男性」「女性」）の区分が注文主にとって意味あるものであれば、人物は２種類の被写体パターンとなる。
【００７１】
また、顧客本人とそれ以外、結婚披露宴の「新婦」「新郎」「他の出席者」あるいは、仮に「Ａさん」と「Ｂさん」という場合も、注文主として識別可能な個体であり、別の被写体パターンとなり得る。
【００７２】
さて、被写体パターンを抽出する手法は一般に知られており、各種のパターン抽出法を用いても良いが、新たに抽出法を設定しても良い。
【００７３】
好ましい一例として、われわれが新たに見出した、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）による多重解像度変換処理を利用して、高い確度でパターン抽出出来る手法を説明する。
【００７４】
多重解像度変換は、画像情報から異なる解像度レベルで切り分けられた複数の分解像を得る処理であり、好ましくは二項ウェーブレット（Ｄｉａｄｉｃ Ｗａｖｅｌｅｔ）変換を用いて行われるが、このほかの変換処理を用いることも可能であり、例えば、直交ウェーブレット変換、双直交ウェーブレット変換を用いることが出来る。
【００７５】
次に、ウェーブレット（Ｗａｖｅｌｅｔ）変換について、簡単に説明する。
画像の局所部位毎に周波数帯域の分割を行い、周波数帯域別に抑制・強調を行なう効率的な方法として、ウェーブレット変換を応用する技術が知られている。
【００７６】
ウェーブレット変換の詳細については、例えば“Ｗａｖｅｌｅｔ ａｎｄ Ｆｉｌｔｅｒ Ｂａｎｋｓ” ｂｙ Ｇ． Ｓｔｒａｎｇ ＆ Ｔ． Ｎｇｕｙｅｎ， Ｗｅｌｌｅｓｌｅｙ−Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ（邦訳 「ウェーブレット解析とフィルタバンク」， Ｇ．ストラング・Ｔ．グエン共著， 培風館）や、“Ａ ｗａｖｅｌｅｔ ｔｏｕｒ ｏｆ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ２ｅｄ．” ｂｙ Ｓ．Ｍａｌｌａｔ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ に記載されているが、ここでは概要を説明する。
【００７７】
ウェーブレット変換とは図２に例示されるような有限範囲で振動するウェーブレット関数
【００７８】
【数１】

【００７９】
を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数〈ｆ，ψ_ａ，_ｂ〉を
【００８０】
【数２】

【００８１】
で求める事により、入力信号を下記のようなウェーブレット関数の総和に分解する変換である。
【００８２】
【数３】

【００８３】
上式で、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図２に例示するように、スケールａの値が大きいほどウェーブレット関数ψ_ａ，_ｂ（ｘ）の周波数は小さくなり、また位置ｂの値に従ってウェーブレット関数ψ_ａ，_ｂ（ｘ）が振動する位置が移動する。従って式（３）は、入力信号ｆ（ｘ）を種々のスケールと位置を持つウェーブレット関数ψ_ａ，_ｂ（ｘ）の総和に分解する事を意味している。
【００８４】
上記のような変換を可能にするウェーブレット関数は多くのものが知られているが、画像処理分野では計算が高速な直交ウェーブレット（ｏｒｔｈｏｇｏｎａｌ ｗａｖｅｌｅｔ）・双直交ウェーブレット（ｂｉｏｒｔｈｏｇｏｎａｌ ｗａｖｅｌｅｔ）が広く用いられている。以下、直交ウェーブレット・双直交ウェーブレットの変換計算の概要を説明する。
【００８５】
直交ウェーブレット・双直交ウェーブレットのウェーブレット関数は下記のように定義される。
【００８６】
【数４】

【００８７】
式（４）と式（１）を比べると、直交ウェーブレット・双直交ウェーブレットではスケールａの値が２のｉ乗で離散的に定義され、また位置ｂの最小移動単位が２^ｉで離散的に定義されている事が判る。このｉの値はレベルと呼ばれる。また実用的にはレベルｉを有限な上限Ｎまでに制限して、入力信号を下記のように変換することが行われる。
【００８８】
【数５】

【００８９】
式（５）の第２項は、レベル１のウェーブレット関数ψ_１，_ｊ（ｘ）の総和で表せない残差の低周波数帯域成分を、レベル１のスケーリング関数φ_１，_ｊ（ｘ）の総和で表したものである。スケーリング関数はウェーブレット関数に対応して適切なものが用いられる（前記文献を参照）。式（５）に示す１レベルのウェーブレット変換により入力信号ｆ（ｘ）≡Ｓ_０は、レベル１の高周波数帯域成分Ｗ_１と低周波数帯域成分Ｓ_１に信号分解された事になる。ウェーブレット関数ψ_ｉ，_ｊ（ｘ）の最小移動単位は２^ｉなので、入力信号Ｓ_０の信号量に対して高周波数帯域成分Ｗ_１と低周波数帯域成分Ｓ_１の信号量は各々１／２となり、Ｗ_１とＳ_１の信号量の総和は、入力信号Ｓ_０の信号量と等しくなる。レベル１の低周波数帯域成分Ｓ_１は式（６）でレベル２の高周波数帯域成分Ｗ_２と低周波数帯域成分Ｓ_２に分解され、以下同様にレベルＮ迄の変換を繰り返すことで、入力信号Ｓ_０は、式（７）に示すようにレベル１〜Ｎの高周波数帯域成分の総和とレベルＮの低周波数帯域成分の和に分解される。
【００９０】
ここで、式（６）で示す１レベルのウェーブレット変換は、図３に示すようなフィルタ処理で計算できる事が知られている（前記文献を参照）。図３においてＬＰＦはローパスフィルタ、ＨＰＦはハイパスフィルタを示している。フィルタ係数はウェーブレット関数に応じて適切に定められる（前記文献及び表１を参照）。
【００９１】
【表１】

【００９２】
また２↓は、信号を１つおきに間引くダウンサンプリングを示す。画像信号のような２次元信号における１レベルのウェーブレット変換は、図４に示すようなフィルタ処理で計算される。図４においてＬＰＦｘ，ＨＰＦｘ，２↓ｘはｘ方向の処理を示し、ＬＰＦｙ，ＨＰＦｙ，２↓ｙはｙ方向の処理を示す。この１レベルのウェーブレット変換により、低周波数帯域成分Ｓ_ｎ−１は３つの高周波数帯域成分Ｗｖ_ｎ，Ｗｈ_ｎ，Ｗｄ_ｎと１つの低周波数帯域成分Ｓ_ｎに分解される。分解で生成するＷｖ_ｎ，Ｗｈ_ｎ，Ｗｄ_ｎ，Ｓ_ｎの各々の信号量は、分解前のＳ_ｎ−１に比べて縦横ともに１／２となるので、分解後の４成分の信号量の総和は、分解前のＳ_ｎ−１の信号と等しくなる。入力信号Ｓ_０が３レベルのウェーブレット変換で信号分解される過程の模式図を図５に示す。
【００９３】
また、分解で生成したＷｖ_ｎ，Ｗｈ_ｎ，Ｗｄ_ｎ，Ｓ_ｎに図６で示すようなフィルタ処理で計算されるウェーブレット逆変換をほどこすことにより、分解前の信号Ｓ_ｎ−１を完全再構成できる事が知られている。図６においてＬＰＦ’はローパスフィルタ、ＨＰＦ’はハイパスフィルタを示している。このフィルタ係数は、直交ウェーブレットの場合にはウェーブレット変換に用いたのと同じ係数が使用されるが、双直交ウェーブレットの場合にはウェーブレット変換に用いたのと異なる係数が使用される。（前述の参考文献を参照）。また２↑は、信号に１つおきにゼロを挿入するアップサンプリングを示す。またＬＰＦ’ｘ，ＨＰＦ’ｘ，２↑ｘはｘ方向の処理を示し、ＬＰＦ’ｙ，ＨＰＦ’ｙ，２↓ｙはｙ方向の処理を示す。
【００９４】
本発明で利用する二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換については、“Ｓｉｎｇｕｌａｒｉｔｙ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｐｒｏｃｅｓｓｉｎｇ ｗｉｔｈ ｗａｖｅｌｅｔｓ” ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｗ．Ｌ．Ｈｗａｎｇ， ＩＥＥＥ Ｔｒａｎｓ． Ｉｎｆｏｒｍ． Ｔｈｅｏｒｙ ３８ ６１７ （１９９２） や “Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｓｉｇｎａｌｓ ｆｒｏｍ ｍｕｌｔｉｓｃａｌｅ ｅｄｇｅｓ”ｂｙ Ｓ．Ｍａｌｌａｔ ａｎｄ Ｓ．Ｚｈｏｎｇ， ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌ． Ｍａｃｈｉｎｅ Ｉｎｔｅｌ． １４ ７１０ （１９９２） や “Ａ ｗａｖｅｌｅｔ ｔｏｕｒ ｏｆ ｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ ２ｅｄ．” ｂｙ Ｓ．Ｍａｌｌａｔ， Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ に詳細な説明があるが、以下に概要を説明する。
【００９５】
二項ウェーブレットのウェーブレット関数は下記のように定義される。
【００９６】
【数６】

【００９７】
直交ウェーブレット・双直交ウェーブレットのウェーブレット関数は前述のようにレベルｉにおける位置の最小移動単位が２^ｉで離散的に定義されていたのに対し、二項ウェーブレットはレベルｉにかかわらず位置の最小移動単位が一定である。この相違により、二項ウェーブレット変換には下記の特徴が生じる。
【００９８】
特徴１：下記に示す１レベルの二項ウェーブレット変換で生成する、高周波数帯域成分Ｗ_ｉと低周波数帯域成分Ｓ_ｉの各々の信号量は、変換前の信号Ｓ_ｉ−１と同一である。
【００９９】
【数７】

【０１００】
特徴２：スケーリング関数φ_ｉ，_ｊ（ｘ）とウェーブレット関数ψ_ｉ，_ｊ（ｘ）の間に下記の関係が成立する。
【０１０１】
【数８】

【０１０２】
従って二項ウェーブレット変換で生成する、高周波数帯域成分Ｗ_ｉは、低周波数帯域成分Ｓ_ｉの一次微分（勾配）を表す。
【０１０３】
特徴３：ウェーブレット変換のレベルｉに応じて定められた表２に示される係数γ_ｉ（前出の二項ウェーブレットに関する参考文献参照）を高周波数帯域成分に乗じたＷ_ｉ・γ_ｉ（以下、これを補正済高周波数帯域成分と呼ぶ）について、入力信号の信号変化の特異性（ｓｉｎｇｕｌａｒｉｔｙ）に応じて、前記変換後の補正済高周波数帯域成分Ｗ_ｉ・γ_ｉの信号強度のレベル間の関係が一定の法則に従う。すなわち図７の１や４に示すなだらかな（微分可能な）信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉが増大するほど信号強度が増大するのに対して、図７の２に示すステップ状の信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉに関わらず信号強度が一定となり、図７の３に示すδ関数状の信号変化に対応する補正済高周波数帯域成分Ｗ_ｉ・γ_ｉはレベル数ｉが増大するほど信号強度が減少する。
【０１０４】
【表２】

【０１０５】
特徴４：画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、前述の直交ウェーブレット・双直交ウェーブレットの方法と異なり、図８のように行われる。この１レベルのウェーブレット変換により、低周波数帯域成分Ｓ_ｎ−１は２つの高周波数帯域成分Ｗｘ_ｎ，Ｗｙ_ｎと１つの低周波数帯域成分Ｓ_ｎに分解される。２つの高周波数帯域成分は低周波数帯域成分Ｓ_ｎの２次元における変化ベクトルＶ_ｎのｘ成分とｙ成分に相当する。変化ベクトルＶ_ｎの大きさＭ_ｎと偏角Ａ_ｎは下式で与えられる。
【０１０６】
【数９】

【０１０７】
また二項ウェーブレット変換で得られた２つの高周波数帯域成分Ｗｘ_ｎ，Ｗｙ_ｎと１つの低周波数帯域成分Ｓ_ｎに図８に示す二項ウェーブレット逆変換をほどこす事で、変換前のＳ_ｎ−１を再構成できる事が知られている。
【０１０８】
また、入力信号Ｓ_０に対してＮレベルの二項ウェーブレット変換を行う場合の概念を図１０に示す。入力信号Ｓ_０に対してＮレベルの二項ウェーブレット変換を行い、得られた高周波数成分に対して、必要に応じ、操作１の作業を行った後に、Ｎレベルの二項ウェーブレット逆変換を行い、また、低周波成分について、前述の二項ウェーブレット逆変換の操作の各ステップにおいて、操作２の作業を行う。なお、本実施の形態の一例においては、操作１とはエッジ検出、パターン検出等の操作であり、操作２とはマスキング処理にあたる。
【０１０９】
図１０においてＬＰＦは変換用ローパスフィルタ、ＨＰＦは変換用ハイパスフィルタを示し、ＬＰＦ’は逆変換用ローパスフィルタ、ＨＰＦ’は逆変換用ハイパスフィルタを示している。これらのフィルタ係数はウェーブレット関数に応じて適切に定められる（前述の参考文献及び表３を参照）。
【０１１０】
【表３】

【０１１１】
また、ＬＰＦｘ， ＨＰＦｘ， ＬＰＦ’ｘ， ＨＰＦ’ｘ，はｘ方向の処理を示し、ＬＰＦｙ， ＨＰＦｙ， ＬＰＦ’ｙ， ＨＰＦ’ｙはｙ方向の処理を示す。また二項ウェーブレットにおいては、レベル毎にフィルタ係数が異なり、レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２^ｎ−１−１個のゼロを挿入したものが用いられる（前述の参考文献及び表３を参照）。
【０１１２】
前述の二項ウェーブレット変換の特徴１で、変換後の分解画像サイズが、変換前の画像と同一である旨説明したが、このことにより、特徴３に示されるような画像構造の解析において高い位置精度をもって評価を行うことが出来るという副次的な特徴も得られる。
【０１１３】
次に、多重解像度変換の手法を用いた被写体パターンの抽出について、図１１〜１３の例により説明する。
【０１１４】
前記に説明した二項ウェーブレット変換を用いて画像を多重解像度変換し、多重解像度変換の各レベルに現れたエッジを検出、領域分割を行う。
【０１１５】
そして、抽出するパターンに応じて、パターン抽出に利用する解像度レベルを設定する。
【０１１６】
ここでいうパターン、特に被写体パターンとして一般に認知されるものは、その輪郭のみではなく、種種の固有の部分要素をもっているものがほとんどである。
【０１１７】
たとえば人物の頭部であれば、その輪郭そのもののほか、目（さらに瞳、虹彩、まつげ、白目の血管）、鼻、口、ほほの起伏、えくぼ、眉、などがある。
【０１１８】
これらの内、抽出するパターンを識別するのに有効な部分要素をその「構成要素」と位置付け、それぞれに対し、パターン抽出に利用する解像度レベルを設定する。
【０１１９】
たとえば、図１２に示される通り、人物の頭部の輪郭そのものは低レベルの分解画像に抽出されるエッジで、はっきりと、かつ正確に認識され、その内部に存在する、顔の構成要素の緩やかなパターン、たとえば鼻筋、唇の形状、笑顔の口唇周囲に出来る線、「えくぼ」、「ほほのふくらみ」などは、より高レベル分解画像に現れる、エッジ情報を用いることで、その特徴を的確に捉えることが出来る。
【０１２０】
次に、被写体パターンの構成要素の決定方法、及び、各々を識別する、好適解像度レベルの決定方法について、好ましい１例を説明する。
【０１２１】
まず、被写体パターンの構成要素を設定する。たとえば、一般的に「人物の顔」であれば、下記記載のような、あらかじめ記憶された、各種構成要素となる。
【０１２２】
（「人物の顔」の場合の構成要素の１例）
ａ：顔の輪郭
ｂ：瞳
ｃ：眉
ｄ：口
ｅ：髪の毛
ｆ：鼻梁
ｇ：鼻孔
ｈ：ほほの凸部
また、特定人物を被写体パターンとして登録したような場合は、これらに追加して新たな構成要素を設定しても良く、個人特定が好ましく実施出来る。
【０１２３】
（「特定人物の顔」で追加される構成要素の例）
ｉ：しみ、ほくろ
ｊ：えくぼ
ｋ：髭
特定人物の場合では、ａ〜ｆの構成要素について、一般的な「人物の顔」という場合とは異なる特性を設定出来るし、いくつかの構成要素は「無い」という場合もある。
【０１２４】
目的とする被写体パターンについて各々の構成要素が設定できたら、この画像を二項ウェーブレット変換を用いて、多重解像度変換し、各々の構成要素について、多重解像度変換の各レベルの分解信号における信号強度を求め、最大となるレベルを求める。前述の最大となるレベルを好適解像度として用いればよいが、実際の画像処理結果を評価して、若干のレベル変更を行ってもかまわない。
【０１２５】
なお、この場合の信号とは、各々のレベルで検出されたエッジ成分を示す信号の最大値であるが、複数のレベル間で信号強度を比較する際には、信号値として、前出の二項ウェーブレットで説明した、補正済高周波帯域成分を用いる事が好ましいことは言うまでも無い事である。
【０１２６】
ところで、二項ウェーブレット変換を利用した場合、ナイフエッジパターンのような、非常に輪郭のはっきりした構成要素の場合では、エッジの信号レベルが解像度レベルによって大きく変化しない特性があるが、このような場合は、当該構成要素の輪郭形態がはっきりと認識出来るレベル、または、もともとの画像解像度が十分でない場合においては、最も低レベルの分解解像度を好適解像度レベルとする。
【０１２７】
前述の構成要素には、輪郭の比較的はっきりしたものと、はっきりしないものがある。
【０１２８】
たとえばａ、ｆ、ｉなどが前者にあたり、ｆ、ｈ、ｊなどが後者にあたる。前者のような構成要件の抽出、登録は、たとえばモニタに画像を表示し、当該箇所をマウス、や接触型センサなどで指定して、近傍領域を自動的あるいは、手動的に切り抜いて行うことが出来る。
【０１２９】
後者のような場合には、当該構成要素の存在する領域を、存在しない領域と、はっきりと区別し、切り抜くことは困難であるが、そのような場合においては、その構成要素が存在する領域を大まかに指定すればよい。
【０１３０】
このような構成要件に対して設定される好適解像度は、前者の輪郭のはっきりしたものよりも高レベルとなっているのが普通である。
【０１３１】
したがって、前述のように、大まかな領域指定を行った場合に実際に後者のような構成要素の抽出を行う際には、以下のようにして、目標とする構成要素を抽出出来る。
【０１３２】
構成要素を抽出する候補領域に検出されたエッジをすべて抽出し、これらについて、各解像度レベルの信号強度を比較する。
【０１３３】
好適解像度レベルより低レベルの分解画像で信号強度が強く検出されたエッジ成分は当該構成要素には含まれないものと考えられるため、候補領域から除外する。そして、残った領域を、好適解像度レベルで検査して目的とする構成要素を抽出する。
【０１３４】
以上の例では、分解前の画像をモニタに表示し、構成要素の指定を行ったが、たとえば画像処理技術に関してある程度の知識を有しているものが構成要素の指定を行う場合には、実際に解像度変換を行った分解画像をモニタに表示し、好ましくは分解前の画像と対比可能な構成で表示して表示されている解像度レベルで抽出すべき構成要素を指定出来るようにすると、元画像だけでは認識し得ない、新たな特徴点の発見も簡単に行うことが出来、より、被写体パターン識別精度を向上することが出来る。
【０１３５】
図示の例では、瞳、上瞼のエッジをＡ、鼻筋、口唇周囲の線をＢ、ほほのふくらみをＣとしている。
【０１３６】
前述の通り、ＡよりＢ、ＢよりＣをより高い解像度レベルの画像で検出することで、的確に顔の特徴認識が出来る。
【０１３７】
さらに、図示されたように、抽出すべきパターンの大きさに応じて、前記構成要素の検出に用いるレベルを設定すると、たとえば抽出すべきパターンが十分に大きな場合には、パターンを構成する要素各々の特性が良く分離され、それぞれの構成要素に適した解像度レベルが設定でき、上記エッジ情報の検出に用いるレベルを設定すると、大きなパターンでは細かな情報まで用いたパターン検出、小さなパターンでは、その大きさで得られる情報までを用いて、最大限、効果的、かつ高速な検出処理が行えるという、優れた特徴を有する。
【０１３８】
上記パターンの大きさは、別途、仮のパターン検出を行って、その大きさから求めてもよく、または、シーン属性（記念写真、ポートレートなど）、画像サイズ、から仮に求めても良い。
【０１３９】
仮のパターン抽出は、たとえば次の方法により行うことが出来る。
顔のパターン抽出を行うような場合は、まず肌色領域を画面内から抽出し、その領域の形状評価を行って、丸い形をしていたら「顔候補」として、抽出する手法がある。
【０１４０】
制服のような、特定色を持っているものの場合は、特定色領域を抽出し、領域形状の評価条件が、丸から、長方形、三角等、他の形態に変わるだけである。
【０１４１】
その他、画像からエッジ成分を求めて、外形パターンが似ているものをすべて抽出する方法も用いることが出来、この際のエッジ成分を求める処理は、前述多重解像度変換の、所定レベルの分解画像から求めても良いし、一般的なラプラシアンフィルタ処理で抽出しても良い。
【０１４２】
ここで、パターンの大きさとは、たとえばパターンのサイズを画素数で表す事が出来るが、図示の例では、顔の大きさ「中」のサイズがあれば、Ａ、Ｂ、Ｃそれぞれに好ましい特徴抽出レベルが定められる。
【０１４３】
もともとの画像サイズ（つまりパターンのサイズ、画像解像度）が非常に大きい場合、前述の「中」の大きさに相当する画像サイズまで解像度変換を行い、パターン抽出処理を行うことで、必要な計算処理量を大きく減らすことが出来、好都合である。
【０１４４】
前処理として行う解像度変換は、たとえば周知の技術である、最近傍法、線形補間法等の手法で簡単に行うことが出来る。
【０１４５】
特開２０００−１８８６８９号や、特開２００２−２６２０９４号には、拡大、縮小の手法について詳細な記載があるので、これらに記載の手法を用いるのも良い。
【０１４６】
さらに、フィルムスキャナやフラットベッドスキャナのように、あらかじめプレスキャンを行い、画像スキャン領域、あるいは本スキャン駒を確定するような処理シーケンスを有する画像処理装置の場合、前述の仮のパターン抽出とパターンの大きさ評価をプレスキャンの段階で行い、本スキャンの読み取り解像度を、パターン抽出に適した画像解像度で読み取るようにしても良い。
【０１４７】
このようにすることで、抽出するパターンが小さい場合にも十分な解像度が確保出来るし、大きい場合には本スキャンの解像度を必要十分な値に設定することで、スキャンに要する時間を軽減することが出来る。
【０１４８】
同様の処理は、たとえば通常良く用いられているＰｈｏｔｏＣＤのように、画像が複数の解像度で多重的に構成、記録されているフォーマットで保存されているような場合にも勿論応用出来る。たとえば仮のパターン抽出をサムネイル画像や、相当する、サイズの小さい画像で行い、実際のパターン抽出は、必要な画像解像度に最も近い階層の保存情報を読み込んで実施することが可能で、記録メディアからの画像呼び出しを最小限、且つすばやく行うことが出来る。
【０１４９】
次に、画像内から抽出出来る被写体パターンをすべて探す方法を例を挙げて説明する。前述のように、抽出すべき被写体パターンは決定されたシーン属性に応じて切り替える。以下にいくつかの例を示す。
（例）シーン属性 → 抽出する被写体パターン（左のほうが、優先順位が高い）
修学旅行・京都 → 顔／制服を着た人物／歴史建築（和建築）
結婚披露宴 → 新婦／新郎／顔／ドレス／スポットライト
上記例の、新婦、新郎と顔、スポットライトとドレスのように、重なり合って存在するパターン要件もある。
【０１５０】
ここで、上記被写体パターンは、あらかじめ定められているものでも良いが、たとえば図１４、１５で示されるような、以下の手法で新たに設定することも出来る。
【０１５１】
画像をモニタに表示し、主要画像部分を指示する。そして、指示部分を含む輪郭領域を自動抽出し、得られたパターンを、仮に単位パターンと称する事にする。
【０１５２】
必要とするパターン全体が含まれていない場合は、上記操作を繰り返し、微小輪郭を結合していき、全体の輪郭抽出が終了したところで、登録指示を行う（登録キーを押す）。
【０１５３】
登録情報は、選択された領域に関する情報（いくつの、どんな単位パターンが、どのように連結している集合か、や、領域全体に関する各種特性値）、領域の名称（制服を着た学生、等）、優先順位情報などからなる。
【０１５４】
さらに前記単位パターンとして、「顔」や「制服」等、前出の被写体パターンに相当するやや複雑な構成のものを指定してもよく、これらの結合で、「学生」等の、より高度な被写体パターンの登録が簡単に出来る。
【０１５５】
このようにして登録された被写体パターンの一例について、図１４、１５を用いて説明する。図１４に示されるように、「学生」というカテゴリには、（ａ）男子学生（ｂ）女子学生の二つのカテゴリがあり、それぞれ、▲１▼、▲２▼及び▲３▼と、▲１▼、▲４▼及び▲５▼という固有の要素を持っており、これらを単位パターンとした結合状態で、「学生」が定義される。
【０１５６】
これを論理式を用いて表すと、
「学生」＝（▲１▼ａｎｄ▲２▼ａｎｄ▲３▼）ｏｒ（▲１▼ａｎｄ▲４▼ａｎｄ▲５▼）となる。
【０１５７】
以上の▲１▼〜▲５▼の構成要素それぞれは、各々が個別の単位パターンが結合した状態で定義されるが、その一例として、女子学生の上衣について、図１５に示すが、図示のとおり、図１５（ａ）中の構成要素は、さらに単位パターンａ〜ｆの各要素から構成されており、その結合状態を表した図１５（ｂ）で定義される。
【０１５８】
なお、写真店における写真プリントの一般的な状況として、ロールフィルムからの同時プリント、デジタルカメラで撮影時に利用した画像記憶メディア等、関連した複数の駒について、一括してプリント注文する場合が多い（以下、一連の注文と表記）。
【０１５９】
一連の注文内に複数の画像がある場合には、その中の代表的な１枚の画像で、上記抽出、登録作業を行い、この情報を元に一連の画像群内、全画像のパターン抽出作業を行うことが出来、パターン登録作業の回数を減らし、効率的な作業が出来る。
【０１６０】
また、前記登録パターンが、ある個別顧客固有のものであった場合には、パターン登録したパターンを顧客情報といっしょに保存しておき、次回のプリント注文時に顧客情報から、必要な登録パターンを呼び出すようにしておくと、より手間が省け、高度なサービスが実現出来る。
【０１６１】
さらに前記のような、一連の注文処理を行うような場合、全画面から、色々な想定され得る被写体パターンを抽出し、その出現頻度や、画面内における存在位置の統計結果から、シーン属性や優先順位を類推することも出来る。
【０１６２】
このようにすれば、注文主からシーン属性に関する情報が得られない場合でも、顧客のもっとも大事にしたい被写体が推測出来る為、より高い確率で、顧客にとって好ましいプリントが簡単に得られる。
【０１６３】
次に、前記の処理により抽出した被写体に優先順位をつける。シーン属性に対応して定められている優先順位情報を元につけるが、さらに、被写体パターンの大きさ（大きいものを重視、など）、位置（中央部にあるものをより重視、など）により、優先順位情報に重み付けしても良く、これにより、被写体パターンの重要さに関し、さらに好ましい情報が得られる。以下、このようにして得られた優先度に関する情報を「重要度」とする。
【０１６４】
抽出すべき被写体パターンと、それら被写体パターンの優先順位情報の決定法として、さらに、ＧＰＳ信号と、時刻、地図、地勢情報や、インターネット等の自動検索エンジンを用いた検索情報、当該自治体、観光協会、商工会等の情報、など、やこれらをリンクした情報を用い、画像撮影地点において一般的に重要な被写体パターン、ランドマーク等を、優先順位の高い情報と位置付けることも出来る。
【０１６５】
重要度の高い被写体パターンをより重視した画像処理を行う。
一例として、重要度の高い被写体パターンが、より好ましい階調に仕上がるように階調変換条件を定める画像処理を説明する。
【０１６６】
この例は、明るさについての階調補正の例である。図１６に示す、前記修学旅行・京都の例では、
「修学旅行・京都」の例
▲１▼制服を着た人物 ：優先順位１、重み付け係数５
▲２▼歴史建築（和建築） ：優先順位２、重み付け係数２
▲３▼顔 ：優先順位３、重み付け係数１
と、優先順位情報が設定されていたとする。
【０１６７】
実画像から、全要素が見つかったが、▲３▼は▲１▼の中に包含されていて（抽出要素としては▲１▼となる）、どちらもやや小さく、▲２▼が中央部に大きく存在していたとする。副優先順位情報として、大きさに対応する重み付けを以下のとおりとすると、
ａ：被写体「大」 重み付け係数 １．０
ｂ：被写体「中」 重み付け係数 ０．８
ｃ：被写体「やや小」 重み付け係数 ０．３
ｄ：被写体「小」 重み付け係数 ０．１
▲１▼と▲２▼の重み付けは、
▲１▼： ５×０．３ ＝ １．５
▲２▼： ２×１．０ ＝ ２．０
となる。この画像は、歴史的建造物の前で撮影した記念写真と考えられるが、以上の処理により、人物写真であるが、建造物（旅行の目的物）に重点の置かれた写真が得られることになる。
【０１６８】
図１６の画像に対する前記の重み付けに従った階調補正について図１７、１８により説明する。
【０１６９】
上記の例に於いて、▲１▼をもっとも好ましく仕上げる階調補正量がα、▲２▼をもっとも好ましく仕上げる階調補正量がβとすると重みを考慮した階調補正量γは、たとえば下記の式で求められる。
【０１７０】
γ＝（１．５×α＋２．０×β）／（１．５＋２．０）
なお、上記計算式（後述の計算式でも同様）の１．５、２．０の値は、前述、▲１▼と▲２▼の重み付け計算の一例として求めた重み付けの値であり、一般的な画像処理では変数として扱うものである。
【０１７１】
もう一つの例としては、重要度の高い被写体パターンが、もっとも好ましい階調に仕上がるよう全体の階調変換を行い、その他の被写体パターンについてはその領域のみの階調を選択的に変える覆い焼き的な手法を用い例がある。
【０１７２】
覆い焼き的な処理を加えることで、各被写体要素、▲１▼〜▲３▼の明るさをそれぞれ適当な状態に補正することが可能である。
【０１７３】
前記の数式例で説明すれば、全体の階調補正量を▲２▼をもっとも好ましく処理するβとし、▲１▼については、その領域のみ、（α−β）に相当する階調処理を行えばよい。
【０１７４】
一方で、１枚の画像中に複数の被写体が存在している場合、ばらばらに補正することは画像の自然さを損なうこととなる。すなわち、前記の数式例で（α−β）の階調補正量が、大きすぎる場合、１枚の写真としてのバランスを欠く結果となる懸念がある。
【０１７５】
自然な階調補正が出来る補正量の上限がδ｛δ＜（α−β）、δ＞０｝であったとすると、たとえば以下のように階調補正すれば全体に自然な補正結果が得られる。
【０１７６】
ε ＝（α−β）−δ
▲２▼の階調補正量はβ＋ε×１．５／（１．５＋２．０）
▲１▼の階調補正量はε×１．５／（１．５＋２．０）＋δ（覆い焼き的処理分）
以上説明したように、優先順位（重み付け情報）を決め、重みの大きい物を適切な明るさに、他の構成要素を、自然な明るさバランスに揃える手法を用いることが出来る。
【０１７７】
ところで、覆い焼き的処理が自然に行える限界δについては、覆い焼き的処理の行い方、特に、パターン境界近傍領域で、どのような処理を行うかによってその値が変わってくる。以下、本処理を好ましく行う手法について、一例を説明する。
【０１７８】
図１９は、実施の形態の概要を表すブロック図である。原画像は、釣鐘型の窓があいた室内の物体を撮影した状態を表している。室内の被写体は単純化のため、星型としている。
【０１７９】
室外、斜め右方向から日光が差し込んでいる状態で、星型の被写体を含む窓枠内の画像は、右側にかげりがあり写真として見苦しい状態である。このかげりのある部分を領域Ａ、他の、窓枠内の部分を領域Ｂとする。このＡの影の部分を覆い焼き処理によって明るく再現するのが本実施例の目的である。
【０１８０】
まず、画像を多重解像度変換する。変換手法は一般的に知られている手法でかまわないが、ここでは好ましい例として、前述のウェーブレット変換、特に、二項ウェーブレット変換を用いる。
【０１８１】
該変換により、順次、低レベルから高レベルまでの分解画像が出来、残渣の低周波画像▲１▼が出来上がる。ここで、領域Ａの部分に注目すると、領域右側（窓枠エッジ部）は低レベルの分解画像からはっきり認識出来るが、領域左側（窓枠エッジが、室内に射影された影の輪郭）は低レベルの分解画像からは認識されず、高レベルの分解画像ではっきりと認識される。これは、窓枠エッジと比較し、影の輪郭がはっきりとしたものではなく、あいまいなぼんやりしたものと評価出来ることを意味している。
【０１８２】
次に、領域Ａに対しマスキング処理を行う。これは、分解画像を逆変換によって、もとの画像にもどす過程で行われる。まず低周波画像▲１▼にマスク画像▲１▼を加算（便宜上、加算と表記したが、黒を０、白を正の大きな値と定義すれば、この図では減算。以下、同じ）し、これと、高レベル分解画像とを合成する逆変換処理を行い、より低レベル方向の、低周波画像▲２▼を得る。次に、これにマスク画像▲２▼を加算し、前述と同様の処理によって、変換済み画像を得る。
【０１８３】
ところで前述のマスク画像▲１▼は、領域Ａの左半分、マスク画像▲２▼は、領域Ａの右半分を覆うマスクとなっている。図９及び図１０で示された通り逆変換の過程で、加算されたマスク画像はローパスフィルタを通過する為にぼやけるが、マスク画像▲１▼の方が、多回数、かつ、強いローパスフィルタ処理が施される為、ＡとＢ領域境界近傍のマスキング処理量がより緩やかに変化するマスキング処理として作用する。したがって、なだらかな変化を示す、影の輪郭に良好に対応した覆い焼き処理を行うことが出来る。同様な理由で、マスク画像▲２▼は小さなボケ量のマスクとして作用するので窓枠エッジに適合した覆い焼き処理を行うことが出来る。
【０１８４】
マスキング処理をどのレベルの逆変換にかけるかは、当該の領域境界の特性がもっとも強く出た解像度レベルの逆変換時にかければ良いが、画像の特性や、実際の試行結果から、前記、当該の領域境界の特性がもっとも強く出た解像度レベルから所定量移動したレベルにマスキング処理を施してもよく、これによって主観的に好ましい画像処理チューニングが可能になる。
【０１８５】
マスクは次のようにして用意される。
階調、色調、彩度補正に関するマスクについては、あらかじめ領域が分割され、たとえば図２０のとおりに作成し利用される。領域分割については大きく分けて以下の２方式が挙げられるが、これに限定されない。
【０１８６】
（１）被写体パターン抽出した結果に基づいて、たとえば図１７（ａ）の例でいえば、被写体パターン▲１▼（人物）と被写体パターン▲２▼（寺社）を切り抜き、マスクとする。それぞれのマスクにおける画像代表（多くは平均）値を求め、それぞれの被写体に好ましい階調再現からの隔たりが階調補正量となるが、この階調補正量が、（本例のように）人物と寺社とで大きく異なっている場合に、領域ごとの補正が必要になる。このケースでは、「人物」「寺社」「その他」という３領域について、各々補正量α、β、γが計算出来、画面全体を何らかの補正量ωとすると、それぞれのマスク補正量は、
「人物」 α−ω
「寺社」 β−ω
「その他」 γ−ω となり、これらの値を当該領域に配置し、その他の領域を補正量０としたものが各々のマスクとなる。たとえばすべてのマスクを同一のレベルで作用させることになれば、３つのマスクを合成し、所定のレベルで低周波画像に加算する。
【０１８７】
（２）たとえば、同一の被写体パターンでも影が強く、うまく階調再現できない場合があり、この場合は、たとえば画面全体から画像信号値のヒストグラムを作成し、たとえば２階調化の手法などを用いて、被写体の明るさをいくつかのブロックに分解し、それぞれに所属する画素について、１と同様に補正値を与え、マスクを作成する。このマスクは画像信号によってはきれいな領域分割とはならず、ノイズによる微小領域が多数出来たりするが、これはノイズフィルタ（単純な平滑化フィルタでも可）を用いて単純化することが出来る。ヒストグラムを分割し、異なった補正量を与える手法については、特開平１１−２８４８６０号に詳しく記載されている。そして、この計算結果から領域境界を定め、その境界の特性を、多重解像度変換の手法を用いて評価し、マスクを作用させるレベルを決定する。（１）との違いは、パターンの区切りとは別に領域を切り分けるということで、実際の覆い焼きでは、一つの被写体が光と影で分断されているような場合が良くあり、そのような条件では、（２）が有効である。
【０１８８】
鮮鋭性、粒状性については、マスクに記載される補正値が、エッジ強調フィルタや、ノイズフィルタの強度パラメータとなる。また、このマスクを施す段階が階調、色調、彩度補正とは異なり、多重解像度変換されていない画像、または、特定解像度レベルの、分解画像となる。また、マスクの作り方そのものは階調、色調、彩度補正のケースと同一であるが、そのマスクを作用させる前に、マスクそのものに、ぼかしフィルタを作用させる必要がある。これは、階調、色調、彩度補正のケースでは、低周波画像にマスクをかけていたため、マスクの輪郭がはっきりしていても、その後の逆変換過程で、適切なローパスフィルタを通過するから、輪郭が自然にボケる為で、鮮鋭性、粒状性の処理シーケンスではこの効果が得られない為である。どの程度のぼかしフィルタをかけるかについては、前述（２）と同じ方法でエッジを評価し、実際には、前述（２）のマスク画像が受けるであろうぼかし量を与えるフィルタが妥当なところとなる。
【０１８９】
図２０〜図２２は、前述のような手法で用いることの出来るマスク形態の他の例を表したものである。
【０１９０】
図２０は、図１９のマスク部分の例で、前述のとおりかげの領域を２つの小領域、▲１▼と▲２▼に分けている。ここで丸付き数字の大きいほうが、よりはっきりしたエッジに対応するマスクである。小領域▲１▼と▲２▼の間にも、点線で図示される領域境界が存在する。ここで、領域を挟む、数字の小さい側のマスクは、この領域境界ではっきり切れていてもかまわないが、大きい側のマスクは、この領域境界で緩やかにマスキング処理量が変化する、好ましくは、境界を接する相手側のマスクが、当該マスクと合成されるまで、逆変換過程で施されるローパスフィルタの特性に適合した変化特性をもっていると、領域境界間のつながり感向上に好ましい効果を与える。
【０１９１】
図２１はそれぞれ別個の被写体パターン▲１▼「雲」、▲２▼「樹木の葉、梢の部分」、▲３▼「人物、樹木の幹の部分」に、別解像レベルのマスク処理を施す例である。
【０１９２】
図２２は、模式的に、上辺のエッジが丸められた円柱に、水平に近い、斜め上、右方から光が差し込んだ状態の図である。
【０１９３】
以上、全体の補正レベルを決定する手法、部分的なマスク（覆い焼き的）手法を説明したが、さらに上記２例を併用、あるいはシーンに応じて切り替えて使用してもかまわない。
【０１９４】
また、以上の説明では階調、明るさの例を示したが、色再現、彩度再現等の各種条件設定に応用しても良い。たとえば図１６に示される▲１▼と▲２▼、それぞれについて、以下のような望ましい処理状態の差が考えられ、これらについて、前記のような平均的な処理や、領域を分けた個別処理、これらの併用処理を行うことが出来る。
【０１９５】
（項目） （▲１▼の望ましい処理） （▲２▼の望ましい処理）
色調再現 より記憶色に近い再現 より実物に近い再現
彩度再現 自然な再現 色強調度を強める
さらに、シャープネス、粒状性等の処理条件設定についても、複数の被写体パターンの、優先順位情報に応じた、重み付け平均を元に画面全体に対し画像処理を行って顧客の希望に添った画像処理結果を得ることが出来、さらに後述の手法を用いれば、領域を分けた個別処理、これらの併用処理を行うことが出来る。
【０１９６】
シャープネス、粒状性についても、図１６に示される▲１▼と▲２▼、それぞれについて、以下のような望ましい処理状態の差が考えられる。
【０１９７】

図２３は、鮮鋭性（ここでは強調処理）、粒状性（ここでは粒状除去処理）に関し、領域分割の例を示したものである。
【０１９８】
例として、領域を「Ｃ：雲」、「Ｂ：青空」、「Ａ：山、木々」３つに分けることが出来たとする。図示のように、Ａ、Ｂ、Ｃそれぞれ、好ましいとされる、鮮鋭性と粒状性の組み合わせは異なっている。またそれぞれの境界領域の関係は、ＡとＢの間ははっきりとした輪郭であり、ＢとＣはぼんやりとした輪郭となっている。この領域境界の特徴は、前述、図１９で述べた多重解像度変換処理で生成される、各解像度レベルの画像を評価することによって、容易に判断出来ることは明らかである。
【０１９９】
その上で、たとえば鮮鋭性処理の例では、鮮鋭性強調係数を画面位置に対応して並べたマスクを作成し（図１９の例におけるマスクと同様のものである）、領域Ａ〜Ｃ、それぞれに適合する解像度レベルを、前述図１９で説明した手法などにより求め、それぞれのマスクを当該の適合解像度レベルに対応したぼかし量でぼかした、修正マスクを取得し、領域Ａ〜Ｃの合計３枚の修正マスクを合成する。
【０２００】
合成されたマスクに記載された補正量情報に応じて、マスクと対応した位置にある画素の補正量を決めれば、Ａ〜Ｃ各領域の特性に応じた鮮鋭性強調が施され、さらに、ＡとＢの領域境界では、鮮鋭性強調の補正量がはっきり変化し、ＢとＣの領域境界では、鮮鋭性強調の補正量が緩やかに変化する、最も好ましい状態を得ることが出来る。
【０２０１】
また、たとえばカラー画像のように、複数の色次元を持っている画像情報の場合は、必要に応じて色座標変換を行い、必要な座標軸についてのみ、ここまで説明してきたような処理を行ってもかまわない。
【０２０２】
たとえば、覆い焼き的な階調補正をする上で特に重要となる明るさ補正について、ＲＧＢ３色で表された画像の場合は、いったん、輝度、色差（Ｌａｂなど）に変換し、輝度情報についてのみ処理を行うことで、画像処理品位の低下を抑え、画像処理量を大幅に抑えることが出来る。
【０２０３】
また、花、海、空など、領域で区分すべき領域、被写体が、固有の色調をもっている場合に、領域境界を定める処理、領域境界の特性を評価する処理のいずれか１方、または両方を、固有色調をもっとも抽出しやすい色座標で行い、実際の領域ごとの画像処理は、これとは別の色座標、たとえば、輝度や彩度座標に対し、行うことも出来、「ある種（たとえば真っ赤なバラ）の花」など、特定、特殊な画像に対して特化した性能チューニングも行うことが可能である。
【０２０４】
次に、本発明に係る画像処理方法を実行し、また、本発明に係る画像処理装置の画像処理手段を機能させるプログラムを実行する工程を図２４〜２７のフローチャートで説明する。
【０２０５】
図２４は基本的な工程を示す。
まず、画像情報を取得して（ステップ１）、シーン属性情報を取得する（ステップ２）。
【０２０６】
次いで、取得されたシーン属性情報から抽出すべき被写体パターンを定め（ステップ３）、各々の被写体パターンを特徴付ける構成要素を定める（ステップ４）。
【０２０７】
さらに、構成要素各々について、構成要素の抽出に好ましい好適解像度レベルを設定し（ステップ５）、画像情報を多重解像度変換する（ステップ６）。
【０２０８】
各々の構成要素を、各々の好適解像度レベルで抽出し（ステップ７）、抽出された構成要素に基づいて被写体パターンの抽出を行う（ステップ８）。
【０２０９】
最後に、抽出された被写体パターンに応じて、階調調整、鮮鋭性調整、その他、画像切り出し等の各種画像処理を行い（ステップ９）、処理を終了する。
【０２１０】
図２５は、被写体パターンの大きさ情報に応じて、被写体パターンを特徴付ける構成要素を抽出する好適解像度レベルを設定する好ましい一例である。
【０２１１】
被写体パターンを特徴付ける構成要素を定めるステップ４までは、図２４の例と同様である。その後、被写体パターンの大きさ情報を取得し（ステップ２０１）、構成要素各々について、被写体パターンの大きさ情報に基づいて設定された構成要素の抽出に好ましい好適解像度レベルを設定する（ステップ６）。以降の処理は図２４の場合と同様である。
【０２１２】
図２６は、被写体パターンの大きさ情報に応じて、元画像の解像度変換処理を行い、被写体パターンを特徴付ける構成要素を抽出する別の好ましい例である。
【０２１３】
被写体パターンを特徴付ける構成要素を定め（ステップ４）、さらに、構成要素各々について、構成要素の抽出を行い、好適解像度レベルを設定するステップ５までは図２４の場合と同様である。
【０２１４】
その後、被写体パターンの大きさ情報を取得し（ステップ３０１）、被写体パターンの大きさが、パターン抽出に好ましい大きさになるよう、画像サイズ変換或いは解像度変換を行う（ステップ３０２）。
【０２１５】
画像サイズ変換を施した画像を多重解像度変換し（ステップ６）、以降の処理は、前記２例と同様である。
【０２１６】
図２７は、さらに別の、好ましい例を示したものであり、プレスキャン情報を元に被写体パターンの大きさ情報を取得し、これをもとに被写体パターン抽出に好ましい画像解像度で画像採取するものである。
【０２１７】
まず、プレスキャン画像情報を取得し（ステップ４０１）、シーン属性情報を取得する（ステップ２）。
【０２１８】
次いで、取得されたシーン属性情報から抽出すべき被写体パターンを定め（ステップ３）、各々の被写体パターンを特徴付ける構成要素を定める（ステップ４）。さらに、構成要素各々について、構成要素の抽出に好ましい好適解像度レベルを設定する（ステップ５）。ここで、被写体パターンに関し、仮の被写体パターン抽出処理を行い（ステップ４０２）、被写体パターンの大きさ情報を取得する（ステップ４０３）。
【０２１９】
ステップ４０３で求められた被写体パターンの大きさが、好ましい画像サイズになるように本スキャン時の解像度設定を行い（ステップ４０４）、本スキャンを実施して画像情報を取得する（ステップ４０５）。次に、本スキャンで取得された画像情報を多重解像度変換処理する（ステップ６）。以降の処理は前記３例と同様である。
【０２２０】
以上述べてきたように、本実施の形態で用いられる被写体パターンの抽出方法は、高い被写体パターン抽出能力を有するが、このような手法で抽出された被写体パターンそのものについて、各種加工処理を施すことも可能であり、高い精度で目的とする被写体パターンの加工を行うことが出来る。
【０２２１】
一例として入力画像情報から顔情報を抽出し、顔を構成するパーツの加工、特に、通常「赤目」と呼ばれる、薄暗い部屋でストロボ撮影をした場合に、瞳が明るく写ってしまう不具合の補正に応用する方法を簡単に説明する。
【０２２２】
まず、前述の手法により、顔を複数の構成要素として画像中から抽出する。次に、構成要素の中で「瞳」に相当する部分にあたる領域を抽出するが、本発明の手法によれば、瞳の周辺部には、さらに複数の構成要素が存在する。たとえば、瞳も両側には、通称「白目」と呼ばれる部分、その外側には、瞼、目の隅に相当する部分、さらに眉、鼻梁、「ほほのふくらみ」等の構成要素が隣接し、最も外側に、顔の輪郭が存在する。本発明では、既に説明してきたように、これら顔を構成する複数の構成要素を、それぞれに好ましい解像度レベルの分解像で検出し、さらに、これら複数の構成要素の結合状態で顔パターンの存在を判断出来るので、確実な瞳領域の抽出が出来る。さらに、顔領域の仮抽出を行って、その大きさ情報を取得し、それに応じた解像度の画像を取得して、その中で前述の抽出を行えば、画像内に存在する顔の大きさにかかわりなく、安定した顔領域抽出性能を得ることが出来る。
【０２２３】
このようにして抽出した顔領域を、瞳に相当する領域を抽出、加工するのであるが、その際に、瞳領域境界に対応する信号強度を、多重解像度変換画像の各解像度レベルで評価し、境界領域の特性を評価する。これによって、たとえば、瞳領域の明瞭な輪郭があるか、輪郭がにじんであいまいであるか、を簡単に評価することが出来る。ここで、赤目領域の輪郭の評価結果に基づいて、前述のような領域を分割した色調、階調補正を実施する。これにより、元画像の瞳部分の輪郭描写に与える影響を最小限度にとどめて瞳部分の階調補正が出来るので、自然な補正結果が得られるという優れた特徴を有する。
【０２２４】
以上説明した赤目補正の手法を実行する、最も基本的な工程を、図２８のフローチャートで説明する。
【０２２５】
まず、画像情報を取得する（ステップ５０１）が、本例では、被写体パターンは人物の顔である。人物の顔に関して、瞳を含む、人物の顔を特徴付ける構成要素を定める（ステップ５０２）。次に、構成要素各々について、構成要素の抽出に好ましい、好適解像度レベルを設定し（ステップ５０３）、画像情報を、多重解像度変換する（ステップ５０４）。
【０２２６】
各々の構成要素を、各々の好適解像度レベルで抽出し（ステップ５０５）、抽出された構成要素に基づいて人物の顔の抽出を行う（ステップ５０６）。
【０２２７】
さらに、抽出された顔領域内の、瞳に相当する領域の階調情報を取得して、赤目状態であるかどうかの判別を行う（ステップ５０７）。なお、本ステップの判断は、顔パターンの特定構成要素、たとえば、白目に相当する領域や、唇、ほほ等の階調情報との比較を行い、所定の基準より瞳の階調が明るい状態となっているときは赤目状態と判断するなど、各種の手法がある。
【０２２８】
赤目と判断されたら、前述の多重解像度変換で得られた複数の分解画像で赤目領域の境界に相当する部分の信号強度を比較し、輪郭の特性を評価する（ステップ５０８）。
【０２２９】
最後に、輪郭の評価結果に基づいて、入力画像情報の輪郭領域階調調整処理を行い（ステップ５０９）、処理を終了する。
【０２３０】
【発明の効果】
請求項１〜３６のいずれかの発明により、被写体パターンの抽出を行う際のパターン識別を、該被写体パターンの構成要素に応じて最適な解像度レベルで実施出来る為、確度の高い抽出処理を行うことが可能となる。
【０２３１】
請求項２、７、１１、１６、２０または２５の発明により、被写体パターンの複雑さ、輪郭の明確さ等の特性に応じた最適レベルを設定することが出来る為、より確実に被写体パターンを抽出することが可能となる。
【０２３２】
請求項３、１２または２１の発明により、被写体パターンの大きさに応じて、構成要素の検出レベルを変えることが出来る為、より好ましい抽出処理を行うことが可能となる。
【０２３３】
請求項４、８、１３、１７、２２または２６の発明により、解像度レベルを切り替えても位置特定精度が低下しない為、比較的簡単な処理で高い精度の抽出を行うことが可能となる。
【０２３４】
請求項５、９、１４、１８、２３または２７の発明により、たとえば顔抽出で、髪の毛、瞳を輝度座標や緑座標、唇を色相座標や青座標を用いて、抽出を行うなど、ノイズが少なく、より検出力の高い被写体パターン抽出を行うことが可能となる。
【０２３５】
請求項６〜９、１５、１６、２４または２５のいずれかの発明により、被写体パターン抽出に適した画像サイズにいったん画像変換してから抽出処理を行うことが出来、さらに、パターン識別を、その構成要素に応じた最適な解像度レベルで実施出来る為、確度の高い抽出処理を、高速に行うことが可能となる。
【０２３６】
請求項２８〜３０のいずれかの発明により、抽出する被写体パターンが小さい場合でも、十分な解像力で画像情報が取得出来るので、被写体パターンが小さい場合でも好ましい抽出結果が得られる。
【０２３７】
請求項３１〜３６のいずれかの発明により、形態の似通ったパターンから目的とする被写体パターンを高確度で抽出でき、さらに、その構成要素を高い確度で抽出出来るため、赤目補正、表情補正等を簡単、確実に行うことが出来る。
【０２３８】
請求高３２、３４又は３６の発明により、被写体パターンの大きさに適合した画像解像度で画像処理を行うことが出来るので、画像中の被写体パターンのサイズにかかわりなく、その構成要素を正しく抽出することが出来る。従って、赤目補正、表情補正等を、簡単に行うことが出来る。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理装置を備えたデジタルミニラボの基本的な構成を示すブロック図である。
【図２】ウェーブレット関数の示す図である。
【図３】ウェーブレット変換の概念図である。
【図４】ウェーブレット変換の概念図である。
【図５】ウェーブレット変換で信号分解する過程の概念図である。
【図６】ウェーブレット変換の概念図である。
【図７】画像信号の例を示す図である。
【図８】逆ウェーブレット変換の概念図である。
【図９】ウェーブレット変換の概念図である。
【図１０】ウェーブレット変換の概念図である。
【図１１】被写体パターン及び構成要素の例を示す図である。
【図１２】解像度レベルと検出される構成要素の関係を示す図である。
【図１３】パターンの大きさと検出される構成要素との関係を示す図である。
【図１４】被写体パターン及び構成要素の例を示す図である。
【図１５】複数の構成要素を結合する論理を説明する図である。
【図１６】被写体パターンの抽出を説明する図である。
【図１７】複数の被写体パターンに対する階調補正を説明する図である。
【図１８】複数の被写体パターンに対する階調補正を説明する図である。
【図１９】覆い焼き的な処理を示すブロック図である。
【図２０】覆い焼き的な処理において用いられるマスクの例を示す図である。
【図２１】覆い焼き的な処理の例を示す図である。
【図２２】覆い焼き的な処理の例を示す図である。
【図２３】先鋭性や粒状性に関連した領域分割による処理の例を示す図である。
【図２４】本発明の実施の形態に係る画像処理方法を実行し、また、本発明の実施の形態に係る画像処理装置の画像処理手段を機能させるプログラムのフローチャートの例である。
【図２５】本発明の実施の形態に係る画像処理方法を実行し、また、本発明の実施の形態に係る画像処理装置の画像処理手段を機能させるプログラムのフローチャートの例である。
【図２６】本発明の実施の形態に係る画像処理方法を実行し、また、本発明の実施の形態に係る画像処理装置の画像処理手段を機能させるプログラムのフローチャートの例である。
【図２７】本発明の実施の形態に係る画像処理方法を実行し、また、本発明の実施の形態に係る画像処理装置の画像処理手段を機能させるプログラムのフローチャートの例である。
【図２８】赤目補正工程のフローチャートである。
【符号の説明】
１ デジタルカメラ
２ 画像記録メディア
３ カメラ
４ フィルム
５ メディアドライバ
６ フィルムスキャナ
７ 画像入力部
８ 画像処理部
９ 銀塩露光プリンタ
１０ インクジェットプリンタ
１１ 画像記録メディア
１２ 指示入力部
１３ キーボード
１４ マウス
１５ 接触センサ
１６ 画像表示部
１７ 情報記憶部

Claims (36)

1. 各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理方法において、
   入力画像情報に対して多重解像度変換処理を行い、前記１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出する事を特徴とする画像処理方法。
2. 前記好適解像度レベルは、前記被写体パターンに応じて個別に定められるものであることを特徴とする請求項１に記載の画像処理方法。
3. 前記好適解像度レベルは、入力画像情報中に存在する被写体パターンの大きさ情報に応じて定められるものである事を特徴とする請求項１又は請求項２に記載の画像処理方法。
4. 前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする請求項１〜３のいずれか１項に記載の画像処理方法。
5. 前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする請求項１〜４のいずれか１項に記載の画像処理方法。
6. 各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理方法において、入力画像情報中に存在する、被写体パターンの大きさ情報を取得し、該大きさ情報に基づいて入力画像情報を解像度変換して解像度変換画像を取得し、該解像度変換画像に多重解像度変換処理を施して前記、１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の構成要素の検出を行い、前記構成要素で構成される被写体パターンを抽出する事を特徴とする画像処理方法。
7. 前記好適解像度レベルと、解像度変換画像の解像度とは、前記被写体パターンに応じて個別に定められるものであることを特徴とする請求項６に記載の画像処理方法。
8. 前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする請求項６又は請求項７に記載の画像処理方法。
9. 前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする請求項６〜８のいずれか１項に記載の画像処理方法。
10. 各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理手段を有する画像処理装置において、
    前記画像処理手段は、入力画像情報に対して多重解像度変換処理を行い、前記１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出する事を特徴とする画像処理装置。
11. 前記好適解像度レベルは、前記被写体パターンに応じて個別に定められるものであることを特徴とする請求項１０に記載の画像処理装置。
12. 前記好適解像度レベルは、入力画像情報中に存在する被写体パターンの大きさ情報に応じて定められるものである事を特徴とする請求項１０又は請求項１１に記載の画像処理装置。
13. 前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする請求項１０〜１２のいずれか１項に記載の画像処理装置。
14. 前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする請求項１０〜１３のいずれか１項に記載の画像処理装置。
15. 各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理手段を有する画像処理装置において、前記画像処理手段は、入力画像情報中に存在する、被写体パターンの大きさ情報を取得し、該大きさ情報に基づいて入力画像情報を解像度変換して解像度変換画像を取得し、該解像度変換画像に多重解像度変換処理を施して前記、１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出する事を特徴とする画像処理装置。
16. 前記好適解像度レベルと、解像度変換画像の解像度とは、前記被写体パターンに応じて個別に定められるものであることを特徴とする請求項１５に記載の画像処理装置。
17. 前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする請求項１５又は請求項１６に記載の画像処理装置。
18. 前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする請求項１０〜１７のいずれか１項に記載の画像処理装置。
19. 各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出するように画像処理手段を機能させる画像処理プログラムにおいて、
    該画像処理プログラムは、入力画像情報に対して多重解像度変換処理を行い、前記１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出するものである事を特徴とする画像処理プログラム。
20. 前記好適解像度レベルは、前記被写体パターンに応じて個別に定められるものであることを特徴とする請求項１９に記載の画像処理プログラム。
21. 前記好適解像度レベルは、入力画像情報中に存在する被写体パターンの大きさ情報に応じて定められるものである事を特徴とする請求項１９又は請求項２０に記載の画像処理プログラム。
22. 前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする請求項１９〜２１のいずれか１項に記載の画像処理プログラム。
23. 前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする請求項１９〜２２のいずれか１項に記載の画像処理プログラム。
24. 各種画像入力手段から入力画像情報を取得し、１以上の構成要素からなる被写体パターンを前記入力画像情報から抽出するように画像処理手段を機能させる画像処理プログラムにおいて、入力画像情報中に存在する、被写体パターンの大きさ情報を取得し、該大きさ情報に基づいて入力画像情報を解像度変換して解像度変換画像を取得し、該解像度変換画像に多重解像度変換処理を施して前記、１以上の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の構成要素の検出を行い、前記構成要素で構成される前記被写体パターンを抽出するように前記画像処理手段を機能させる事を特徴とする画像処理プログラム。
25. 前記好適解像度レベルと、解像度変換画像の解像度とは、前記被写体パターンに応じて個別に定められるものであることを特徴とする請求項２４に記載の画像処理プログラム。
26. 前記多重解像度変換処理は、二項ウェーブレット（Ｄｙａｄｉｃ Ｗａｖｅｌｅｔ）変換処理によるものであることを特徴とする請求項２４又は請求項２５に記載の画像処理プログラム。
27. 前記入力画像情報はカラー画像であり、前記被写体パターンの前記構成要素の抽出は、前記構成要素に対応して定められた、表色空間の内の特定色座標に対応した信号値を用いて行われるものであることを特徴とする請求項２４〜２６のいずれか１項に記載の画像処理プログラム。
28. 各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出して、画像処理を行い、出力画像情報を得る画像処理方法において、
    所定の第１の解像度で、第１の画像情報を取得し、該第１の画像情報から被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて、第２の解像度を設定して、第２の画像情報を取得し、さらに、該第２の画像情報を多重解像度変換し、前記構成要素の各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、検出された前記構成要素で構成される被写体パターンを抽出する事を特徴とする画像処理方法。
29. 各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出する画像処理手段を有する画像処理装置において、
    前記画像処理手段は、所定の第１の解像度で、第１の画像情報を取得し、該第１の画像情報から被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて、第２の解像度を設定して、第２の画像情報を取得し、さらに、該第２の画像情報を多重解像度変換し、前記構成要素の各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、検出された前記構成要素で構成される被写体パターンを抽出する事を特徴とする画像処理装置。
30. 各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出するように画像処理手段を機能させる画像処理プログラムにおいて、
    該画像処理プログラムは、所定の第１の解像度で、第１の画像情報を取得し、該第１の画像情報から被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて、第２の解像度を設定して、第２の画像情報を取得し、さらに、該第２の画像情報を多重解像度変換し、前記構成要素の各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、検出された前記構成要素で構成される被写体パターンを抽出するものである事を特徴とする画像処理プログラム。
31. 各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出して、画像処理を行い、出力画像情報を得る画像処理方法において、
    前記入力画像情報を多重解像度変換し、前記複数の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、それらの検出状況に基づいて被写体パターンを特定し、検出された前記構成要素の内、少なくとも一つに対して所定の画像処理を行う事を特徴とする画像処理方法。
32. 前記画像情報を取得するに先だって、所定の第１の解像度で事前画像情報を取得し、前記被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて設定された第２の解像度を設定し、該第２の解像度で前記入力画像情報を取得することを特徴とする請求項３１に記載の画像処理方法。
33. 各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出して、画像処理を行い、出力画像情報を得る画像処理手段を有する画像処理装置において、
    前記画像処理手段は、前記入力画像情報を多重解像度変換し、前記複数の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、それらの検出状況に基づいて被写体パターンを特定し、検出された前記構成要素の内、少なくとも一つに対して所定の画像処理を行う事を特徴とする画像処理装置。
34. 前記画像処理手段は、前記画像情報を取得するに先だって、所定の第１の解像度で事前画像情報を取得し、前記被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて設定された第２の解像度を設定し、該第２の解像度で前記入力画像情報を取得することを特徴とする請求項３３に記載の画像処理装置。
35. 各種画像入力手段から入力画像情報を取得し、複数の構成要素からなる被写体パターンを前記入力画像情報から抽出して、画像処理を行い、出力画像情報を得る画像処理手段を機能させる画像処理プログラムにおいて、
    前記画像処理プログラムは、前記入力画像情報を多重解像度変換し、前記複数の構成要素各々について定められた好適解像度レベルの分解画像を用いて、各々の前記構成要素の検出を行い、それらの検出状況に基づいて被写体パターンを特定し、検出された前記構成要素の内、少なくとも一つに対して所定の画像処理を行うものである事を特徴とする画像処理プログラム。
36. 前記画像処理プログラムは、前記画像情報を取得するに先だって、所定の第１の解像度で事前画像情報を取得し、前記被写体パターンに関する情報を抽出して評価を行い、該評価の結果に基づいて設定された第２の解像度を設定し、該第２の解像度で前記入力画像情報を取得するものであることを特徴とする請求項３５に記載の画像処理プログラム。

Images