JP2007094549A - 画像処理方法および装置ならびにプログラム - Google Patents

画像処理方法および装置ならびにプログラム Download PDF

Info

Publication number
JP2007094549A
JP2007094549A JP2005280306A JP2005280306A JP2007094549A JP 2007094549 A JP2007094549 A JP 2007094549A JP 2005280306 A JP2005280306 A JP 2005280306A JP 2005280306 A JP2005280306 A JP 2005280306A JP 2007094549 A JP2007094549 A JP 2007094549A
Authority
JP
Japan
Prior art keywords
sharpness
image
parameter
processing
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005280306A
Other languages
English (en)
Inventor
Yuanzhong Li
元中 李
Wataru Ito
渡 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005280306A priority Critical patent/JP2007094549A/ja
Priority to US11/527,601 priority patent/US7751640B2/en
Publication of JP2007094549A publication Critical patent/JP2007094549A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】画像中の所定の構造物がより適切に表現されるようにシャープネスを調整する。
【解決手段】パラメータ取得部３２が、顔検出部３１によって検出された画像Ｐ0′中の所定の構造物の一例としての顔部分Ｐ0f′を、異なるシャープネス度合の下における人間の顔部分が表された複数のサンプル画像に基づいてＡＡＭ等の統計的手法によって生成されたモデルＭに適応させることによって、顔部分Ｐ0f′におけるシャープネス度合を表す主成分に対する重みづけパラメータλ1を取得する。さらに、そのパラメータλ1の値に基づいて、画像Ｐ0´の少なくとも一部についてシャープネスを調整する。例えば、パラメータ変更部３３が、取得されたパラメータλ1の値を、予め設定された顔部分のシャープネスの最適値に変更し、画像再構成部３４が、変更後のパラメータλ1′に基づいて画像の再構成を行い、シャープネス調整後の画像Ｐ1を出力する。
【選択図】図４

Description

本発明は、入力画像のシャープネスを調整する画像処理を行う方法や装置、この方法をコンピュータに実行させるためのプログラムに関するものである。
写真画像のシャープネスを調整することによって、画像中の被写体の輪郭を強調したり、画像に表れたピンボケを補正したりする画像処理手法が知られている。
例えば、画像データを低周波数成分、中間周波数成分および高周波数成分に分解し、再生画像の鮮鋭度に影響を及ぼす高周波数成分を強調するとともに、再生画像にざらつきとなって表れるフイルム粒状を表す中間周波数成分を抑制する強調抑制処理を行った後、処理後の各周波数成分および低周波数成分を合成して処理済画像データを得る方法が知られている（例えば、特許文献１）。
特開平９−２２４６０号公報
しかしながら、特許文献１記載のシャープネス強調処理は、特定の周波数成分を強調することにより実現されているが、画像中の主題部分を認識した処理ではないため、シャープネスの強調度合がその画像において最適であるとは限らない。例えば、シャープネス強調処理の対象となる高周波成分に、画像中の主題部分よりもボケた状態で表された背景のエッジ部分の周波数成分が多く含まれているとともに、シャープネスの強調度合が、この背景のエッジ部分の周波数成分を基準として決定された場合には、シャープネス強調処理の結果、顔のシャープネスが強くなりすぎるという問題が生じる。
本発明はこのような事情に鑑みてなされたものであり、画像中の所定の構造物がより適切に表現されるようにシャープネスを調整する画像処理方法および装置ならびにプログラムを提供することを目的とするものである。
本発明による画像処理の方法は、異なるシャープネス度合で所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、その構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって、その構造物を表現するモデルに、入力画像中のその構造物を適応させることによって、その入力画像中の構造物におけるシャープネス度合を表す統計的特徴量に対する重みづけパラメータを取得し、取得された重みづけパラメータの値に基づいて、入力画像の少なくとも一部についてシャープネスを調整することを特徴とする。
本発明による画像処理装置は上記の画像処理を行う装置である。すなわち、異なるシャープネス度合で所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、その構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって、その構造物を表現するモデルに、入力画像中のその構造物を適応させることによって、その入力画像中の構造物におけるシャープネス度合を表す統計的特徴量に対する重みづけパラメータを取得するパラメータ取得手段と、パラメータ取得手段によって取得された重みづけパラメータの値に基づいて、入力画像少なくとも一部についてシャープネスを調整するシャープネス調整手段とを設けたことを特徴とする。
さらに、本発明による画像処理プログラムは、コンピュータに上記の画像処理方法を実行させる（上記各手段として機能させる）ものである。
次に、本発明による画像処理方法、装置、プログラムの詳細について説明する。
本発明による「（所定の）構造物を表現するモデル」の具体的実現手法としては、ＡＡＭ(Active Appearance Models)の手法を利用することが考えられる。ＡＡＭは、モデルに基づいて画像の内容の解釈を試みるアプローチの１つであり、例えば、顔を解釈の対象とする場合、学習対象となる複数の画像中の顔部分の形状や、形状を正規化した後の輝度の情報に対して主成分分析を行うことによって顔の数学モデルを生成し、新たな入力画像中の顔部分を、数学モデルにおける各主成分と各主成分に対する重みづけパラメータで表現し、顔画像を再構成する手法である（Ｔ．Ｆ．クーツ(Cootes), Ｇ．Ｊ．エドワーズ(Edwards), Ｃ．Ｊ．テイラー(Taylor)、「動的見えモデル(Active Appearance Models)」、第５回計算機視覚欧州会議報(In Proc. 5th European Conference on Computer Vision)、ドイツ、シュプリンガー(Springer)、1998年、vol.2、p.p.484-498；以下、参考文献１とする）。
「シャープネス度合」とは、画像の鮮鋭さの程度を意味する。具体的には、輪郭が強調された状態からピンボケ状態までのあらゆる段階が考えられる。すなわち、本発明におけるシャープネス調整処理には、通常の撮影画像の輪郭強調や輪郭のソフト化、ピンボケの補正等の処理が含まれる。さらに、後述するように、人物に対して背景をぼかすポートレート効果のような処理も含まれうる。
「所定の構造物」は、モデル化に適したもの、すなわち、その構造物の画像中における形状や輝度の変動が一定の範囲に収まるもの、特に、統計処理を行うことによって形状や輝度についての説明力のより高い統計的特徴量が得られるものであることが好ましい。また、画像中の主題部分であることが好ましい。具体例としては人間の顔が挙げられる。
「異なるシャープネス度合で所定の構造物が表された画像」は、異なるシャープネス度合で所定の構造物を実際に撮影することによって得られた画像であってもよいし、特定のシャープネス度合で撮影された画像に基づくシミュレーションによって生成された画像であってもよい。
「所定の統計処理」としては、所定の構造物を、その構造物を表す画素の数よりも少ない次元数の統計的特徴量に圧縮して表すことができる次元圧縮処理が好ましい。具体例としては主成分分析等の多変量解析手法が考えられる。また、「所定の統計処理」として主成分分析を行った場合、「統計的特徴量」とは、主成分分析によって得られる複数の主成分を意味する。
なお、上記の説明力の高低とは、所定の統計処理が主成分分析である場合を例にすると、上位の主成分ほど説明力が高く、下位主成分ほど説明力が低いという意味になる。
「統計的特徴量」には、少なくともその構造物の輝度に基づく情報が表現されている必要がある。シャープネス度合は、輝度の分布によって画像中に表現されるものだからである。
また、「シャープネス度合を表す統計的特徴量」は、１つの統計的特徴量であってもよいし、複数の統計的特徴量であってもよい。
「入力画像中の（所定の）構造物」は、自動的に検出するようにしてもよいし、手動で検出するようにしてもよい。また、本発明は、入力画像中の前記構造物を検出する処理（手段）をさらに有していてもよいし、入力画像から前記構造物の部分を予め検出しておいてもよい。
また、本発明におけるモデルを所定の構造物の属性毎に複数準備しておき、入力画像中のその構造物の属性を表す情報を取得し、取得された属性に応じてモデルを選択する処理（手段）を付加し、選択されたモデルに入力画像中のその構造物を適応させることによって、重みづけパラメータを取得するようにしてもよい。
ここで、「属性」とは、例えば、所定の構造物が人間の顔の場合、性別や年齢、人種等が考えられる。また、個人を特定する情報であってもよい。この場合には、属性毎のモデルは個人毎のモデルを意味する。
この「属性」の具体的取得方法としては、画像に対する公知の認識処理（例えば、特開平11-175724号公報記載）や、ＧＰＳ情報等の画像の付帯情報からの推定・取得が考えられる。
「その構造物を表現するモデルに、入力画像中のその構造物を適応させる」とは、入力画像中のこの構造物をモデルによって表現するための演算処理等を意味する。具体的には、上記のＡＡＭの手法を用いた場合を例にすると、数学モデルにおける各主成分に対する重みづけパラメータの値を求めることを意味する。
「取得された（シャープネス度合を表す統計的特徴量に対する）重みづけパラメータに基づいて、前記入力画像の少なくとも一部についてシャープネスを調整する」方法の具体例としては、まず、シャープネス度合を表す統計的特徴量に対する重みづけパラメータの値を変更することによって、前記所定の構造物の領域のシャープネスを調整する方法が考えられる。また、シャープネス度合を表す統計的特徴量に対する重みづけパラメータの値に対応する前記構造物のシャープネス度合に基づいた処理強度で、シャープネスの調整を行う方法も考えられる。この場合、シャープネス調整処理自体は、特許文献１等に記載の公知の方法を採用することが可能であり、シャープネス度合を表す統計的特徴量に対する重みづけパラメータの値とシャープネス調整処理の処理強度の対応づけを予め実験的、統計的に準備しておくことが考えられる。
なお、前者のパラメータ値の変更による方法では、シャープネスの調整は前記所定の構造物の領域のみに対して行われるが、後者の公知技術をベースとした方法では、それに限らず、入力画像全体や入力画像の任意の一部分に対して行うことが可能である。また、入力画像中の所定の構造物の領域とそれ以外の領域で同じシャープネス調整処理（後者の方法）を適用してもよいし、所定の構造物の領域は前者の方法、それ以外の領域は後者の方法というように、異なる方法を適用してもよい。
シャープネスの調整処理は、入力画像中のその構造物の領域だけでなく、その構造物に隣接する同じ被写体の領域に対しても行ってもよい（その所定の構造物が被写体の一部であるものとする）。ここで、この構造物が人間の顔の場合、「その構造物に隣接する同じ被写体の領域」には、例えば、首の領域が該当する。
また、シャープネスの調整処理を入力画像中の一部の領域に対して行う場合には、調整処理を行わない領域に近づくにつれて調整処理の度合（強度）が小さくなるように、シャープネスの調整処理を行うようにしてもよい。
その他、シャープネスの調整処理として、入力画像中の前記構造物の領域に対するシャープネスの強調処理と、前記構造物の領域以外の領域に対するシャープネスの抑制処理の少なくとも一方を行うようにしてもよい。
本発明の画像処理方法および装置ならびにプログラムによれば、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量とその統計的特徴量に対する重みづけパラメータとによって画像中の所定の構造物を表現するモデルに、入力画像中のその構造物を適応させることによって、その入力画像中の構造物におけるシャープネス度合を表す統計的特徴量に対する重みづけパラメータを取得し、取得された重みづけパラメータの値に基づいて、入力画像の少なくとも一部についてシャープネスを調整することができる。したがって、画像中の所定の構造物のシャープネス度合を基準とした、より適切なシャープネス調整処理が実現され、より好ましい画像を得ることが可能になる。特に、人間の顔等、主要被写体となる可能性が高い構造物をモデルで表現した場合には、主要被写体が適切なシャープネスに調整された、より好ましい画像が得られる。
別の観点から見ると、本発明では、シャープネス度合を表す統計的特徴量に着目し、入力画像中のその構造物毎のこの統計的特徴量に対する重みづけパラメータの値に応じて適切な度合（処理強度）でシャープネスを調整するので、影による濃淡や信号の飛び等のシャープネス度合以外の要素の影響が少ない、シャープネス度合を高精度に反映したシャープネスの調整処理が可能になり、より好ましい画像が得られる。
このシャープネスの調整処理を、シャープネス度合を表す統計的特徴量に対する重みづけパラメータの値を変更することによって、入力画像中の前記構造物の領域に対して行うようにした場合には、特許文献１等に記載されているようなシャープネス調整処理を別途行う必要がなくなり、構成の単純化、処理の効率化が図られる。
一方、シャープネス調整処理を、例えば、特許文献１等に記載されているような方法で、シャープネス度合を表す統計的特徴量に対する重みづけパラメータの値に対応する前記構造物のシャープネス度合に基づいた処理強度で行うようにした場合には、シャープネス調整処理の対象が前記所定の構造物に限定されず、入力画像の任意の領域を対象とすることができるので、より柔軟な処理が実現される。
また、シャープネスの調整処理を、その構造物（例えば、顔）に隣接する被写体の領域（例えば、首）に対しても行うようにした場合には、その構造物とその隣接領域との間でシャープネスの違いによる違和感をなくすことができ、より好ましい画像が得られる。
シャープネスの調整処理を入力画像中の一部の領域に対して行う場合において、調整処理を行わない領域に近づくにつれて調整処理の度合（強度）が小さくなるように、シャープネスの調整処理を行うようにすれば、シャープネス調整を行う領域と行わない領域との間でのシャープネスの違いによる違和感がなくなり、さらに好ましい画像が得られる。
また、シャープネスの調整処理として、顔等の所定の構造物の領域に対するシャープネスの強調処理と、その領域以外の背景領域に対するシャープネスの抑制処理の少なくとも一方を行うようにすれば、その構造物を主題として背景をぼかしたポートレート写真として、きわめて好ましい画像が得られる。
また、入力画像中のその構造物を検出する処理（手段）を付加した場合には、その構造物の自動検出が可能になり、操作性が向上する。
また、本発明におけるモデルを所定の構造物の属性毎に複数備えるとともに、入力画像中のその構造物の属性を取得し、取得された属性に応じたモデルを選択する処理（手段）を付加し、選択されたモデルに入力画像中のその構造物を適応させることによって、重みづけパラメータを取得するようにした場合、入力画像中のその構造物を、より適切なモデルに適応させることが可能になるため、処理精度が向上し、より高品質の画像が得られる。
以下、図面を参照しつつ、本発明の実施の形態について説明する。
図１は、本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に表したものである。図に示したように、このデジタル写真プリンタは、フィルムスキャナ５１、フラットヘッドスキャナ５２、メディアドライブ５３、ネットワークアダプタ５４、ディスプレイ５５、キーボード５６、マウス５７、ハードディスク５８、写真プリント出力機５９が演算・制御装置５０に接続された構成となっている。
演算・制御装置５０は、ＣＤ−ＲＯＭ等の記憶媒体からインストールされたプログラムの実行により、この装置内のＣＰＵや主記憶装置、各種入出力インターフェースと連携して、画像の入力、補正、加工、出力のフローを制御したり、画像の補正や加工のための画像処理の演算を行ったりするものである。本発明によるシャープネス調整処理はこの装置で行われる。
フィルムスキャナ５１は、現像機（図示なし）によって現像済みのＡＰＳネガフィルムや１３５ネガフィルムを光電的に読み取って、これらのネガフィルムに記録されている写真画像を表すデジタル画像データＰ0を取得するものである。
フラットヘッドスキャナ５２は、Ｌサイズ写真プリント等のハードコピーに表された写真画像を光電的に読み取って、デジタル画像データＰ0を取得するものである。
メディアドライブ５３は、メモリカードやＣＤ、ＤＶＤ等の記録媒体に記録された写真画像を表す画像データＰ0を取得するものである。また、これらの記録媒体に、出力対象の画像データＰ2を書き込むことも可能である。なお、このメモリカードには、例えば、デジタルカメラによって、撮影された画像の画像データが書き込まれている。また、ＣＤやＤＶＤ等には、例えば、前回のプリント注文時に、フィルムスキャナによって読み取られた画像の画像データが書き込まれている。
ネットワークアダプタ５４は、公知のネットワークフォトサービスシステムにおける注文受付機（図示なし）から画像データＰ0を取得するものである。この画像データＰ0は、ユーザからの写真プリントの注文に基づく画像データであり、ユーザのパソコンからインターネット経由で送信してきたものである。また、ラボ店の店頭に設置された写真注文受付機から送信されてきたものであってもよい。
ディスプレイ５５は、このデジタル写真プリンタにおける画像の入力、補正、加工、出力のための操作画面を表示するものであり、操作内容を選択するためのメニューや処理対象の画像等が表示される。また、キーボード５６やマウス５７は、処理内容を指示するものである。
ハードディスク５８には、このデジタル写真プリンタを制御するプログラムが記憶されている他、フィルムスキャナ５１、フラットヘッドスキャナ５２、メディアドライブ５３、ネットワークアダプタ５４において取得された画像データＰ0や、画像補正後の画像データＰ1、画像加工後の画像データ（出力対象の画像データ）Ｐ2も一時的に記憶される。
写真プリント出力機５９は、出力対象の画像を表す画像データＰ2に基づいたレーザーによる印画紙への走査露光、現像、乾燥を行うとともに、プリント情報等の裏印字、印画紙のプリント単位での切断や注文単位でのソート等を行うものである。なお、写真プリントの方式は、レーザー露光熱現像転写方式等であってもよい。
図２は、このデジタル写真プリンタの機能と処理の流れを示すブロック図である。図に示したように、機能の観点からは、このデジタル写真プリンタは、写真プリント対象の画像の画像データＰ0を入力する画像入力手段１と、画像データＰ0を入力として、所定の画像処理条件に基づく画像処理を行って、画像データＰ0による画像（以下、画像データとその画像データによる画像を同じ符号で表す）の画質の自動補正を行う画像補正手段２と、自動補正後の画像データＰ1を入力として、操作者からの指示に基づいた画像処理を行う画像加工手段３と、加工済みの画像データＰ2を入力として、写真プリントの出力や記録メディアへの出力を行う画像出力手段４とから構成されている。
画像補正手段２では、コントラスト補正、ホワイトバランスの調整、ノイズ軽減・除去等の処理が行われる他、本発明によるシャープネスの調整処理も行われる。また、画像加工手段３では、画像補正手段２による処理結果の操作者の指示に応じた修正や、トリミング、拡大・縮小、セピア化、白黒化、装飾フレームとの合成等の画像の加工が行われる。
このデジタル写真プリンタの操作とこのプリンタで行われる処理の流れは以下のようになる。
まず、画像入力手段１による画像データＰ0の入力が行われる。操作者は、現像済みのフィルムに記録された画像からのプリント等の出力を行う場合には、そのフィルムをフィルムスキャナ５１にセットしておき、メモリカード等の記録メディアに記録された画像データからのプリント等の出力を行う場合には、その記録メディアをメディアドライブ５３にセットしておく。一方、ディスプレイ５５には、画像データの入力元を選択する画面が表示され、操作者はキーボード５６やマウス５７の操作によって、入力元の選択を行う。入力元としてフィルムが選択された場合には、フィルムスキャナ５１は、セットされたフィルムを光電的に読み取り、デジタル変換することによって、生成された画像データＰ0を演算・制御装置５０に送信する。写真プリント等のハードコピー原稿が選択された場合には、フラットヘッドスキャナ５２は、セットされた写真プリント等のハードコピー原稿を光電的に読み取り、デジタル変換することによって、生成された画像データＰ0を演算・制御装置５０に送信する。メモリカード等の記録メディアが選択された場合には、演算・制御装置５０は、メディアドライブ５３にセットされたメモリカード等の記録メディアに記憶されている画像データＰ0を読み込む。また、ネットワークフォトサービスシステムや店頭での写真受付注文機による注文の場合には、演算・制御装置５０が、ネットワークアダプタ５４経由で画像データＰ0を受信する。このようにして取得された画像データＰ0は、ハードディスク５８に一時的に記憶される。
次に、画像補正手段２が、画像Ｐ0による画像に対する自動画質補正処理を行う。具体的には、演算・制御装置５０で実行される画像処理プログラムにより、予め、このデジタル写真プリンタに設定されているセットアップ条件に基づいて、公知のコントラスト補正、ホワイトバランス調整、ノイズ軽減・除去等の処理の他、本発明のシャープネス調整処理が行われ、処理済みの画像データＰ1が出力される。出力された画像データＰ1は演算・制御装置５０のメモリに格納される。なお、ハードディスク５９に一時的に記憶するようにしてもよい。
その後、画像加工手段３は、補正後の画像Ｐ1のサムネイル画像を生成し、ディスプレイ５５に表示させる。図３（ａ）は、ディスプレイ５５に表示される画面の一例である。操作者が、表示されたサムネイル画像を確認し、画質のさらなる補正が必要なものや、画像の加工の注文があるものを、マウス５７やキーボード５６の操作によって選択すると（図３（ａ）では左上の画像DSCF0001を選択）、図３（ｂ）に一例を示すように、選択されたサムネイル画像が拡大されてディスプレイ５５に表示されるとともに、その画像に対する画質のさらなる補正や加工の処理内容を選択するボタンが表示される。操作者は、表示されたボタンの中から所望のものをマウス５７やキーボード５６の操作によって選択し、必要に応じて、選択された処理内容のさらに詳細な設定等を行う。画像加工手段３は、選択された処理内容に応じた画像処理を行い、処理済みの画像データＰ2を出力する。出力された画像データＰ2は演算・制御装置５０のメモリに格納される。なお、ハードディスク５９に一時的に記憶するようにしてもよい。なお、以上の画像加工手段３による、ディスプレイ５５への画面表示、マウス５７やキーボード５６による入力の受付、画質の補正や加工の画像処理等は、演算・制御装置５０で実行されているプログラムによって制御される。
最後に、画像出力手段４が、画像Ｐ2の出力を行う。ここでは、演算・制御装置５０が、ディスプレイ５５に出力先を選択する画面を表示させ、操作者は、マウス５７やキーボード５６の操作によって、所望の出力先を選択する。演算・制御装置５０は、選択された出力先に対して画像データＰ2を送信する。写真プリント出力を行う場合には、画像データＰ2は写真プリント出力機５９に送信され、画像Ｐ2が写真プリントとして出力される。ＣＤ等の記録メディアに出力を行う場合には、メディアドライブ５３にセットされたＣＤ等に画像データＰ2の書込みが行われる。
ここで、画像補正手段２によって行われる本発明によるシャープネス調整処理の詳細について以下に説明する。図４は、このシャープネス調整処理の詳細を表すブロック図である。図に示したように、画像Ｐ0′中の顔部分Ｐ0f′を検出する顔検出部３１と、異なるシャープネス度合の下で人間の顔部分が表された複数のサンプル画像に基づいてＡＡＭ（前記の参考文献１参照）の手法によって生成された数学モデルＭに、検出された顔部分Ｐ0f′を適応させることによって、顔部分Ｐ0f′におけるシャープネス度合を表す主成分に対する重みづけパラメータλ1を取得するパラメータ取得部３２と、取得されたパラメータλ1の値を、予め設定された顔部分のシャープネスの最適値に変更するパラメータ変更部３３と、変更後のパラメータλ1′に基づいて画像の再構成を行い、シャープネス調整後の画像Ｐ1を出力する画像再構成部３４とによって、このシャープネス調整処理が実現される。なお、これらの処理の制御は演算・制御装置５０にインストールされたプログラムによって行われる。
この数学モデルＭは、図５のフローチャートに基づいて生成されたものであり、上記のプログラムとともに予めインストールされている。以下では、この数学モデルＭの生成過程について説明する。
まず、サンプルとなる異なるシャープネス度合の下における人間の顔部分が表された複数の顔画像（サンプル画像）の各々に対して、図６に示すように、顔形状を表す特徴点を設定する（ステップ#1）。ここでは、特徴点の数は１２２箇所とする（ただし、図６では簡潔に表現するため６０箇所しか表していない）。各特徴点は、例えば、１番目の特徴点は左目の左端、３８番目の特徴点は眉の間の中央というように、顔のどの部位を示すものであるかが予め定められている。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定するようにしてもよいし、自動的に設定後、必要に応じて手作業で修正するようにしてもよい。
次に、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する（ステップ#2)。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。
さらに、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う（ステップ#3)。その結果、任意の顔形状は次式（１）によって近似することができる。
ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ1,ｙ1,・・・,ｘ122，ｙ122）であり、Ｓ0は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐiは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂiは各固有ベクトルｐiに対する重みづけ係数を表す。図７は、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ1、ｐ2に対する重みづけ係数ｂ1、ｂ2の値を変化させた場合の顔形状の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔形状を上式（１）で表した場合における重みづけ係数ｂ1、ｂ2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔形状の中央のものは平均値の場合である。この例では、主成分分析の結果、第１主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数ｂ1を変化させることによって、細長い顔（-3sd）から丸顔（+3sd）まで顔形状が変化することがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ2を変化させることによって、口が開いた状態で顎の長い顔（-3sd）から口が閉じられた状態で顎が短い顔（+3sd）まで顔の形状が変化することがわかる。なお、ｉの値が小さいほど、形状に対する説明力が高い、すなわち、顔形状への寄与が大きいことを意味する。
次に、各サンプル画像をステップ#2で得られた平均顔形状に変換（ワーピング）する（ステップ#4）。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出し、そのシフト量に基づいて、式（２）から（５）の２次元５次多項式により各サンプル画像の画素毎の平均顔形状へのシフト量を算出し、各サンプル画像を画素毎に平均顔形状へワーピングする。
ここで、ｘ，ｙは各サンプル画像中の各特徴点の座標、ｘ′，ｙ′はワーピングされる平均顔形状上の座標、Δｘ，Δｙは平均形状へのシフト量、ｎは次数、ａij，ｂijは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。このとき、ワーピング後の座標が整数ではなく小数点以下を含む位置に移動する画素については、４近傍から１次近似で画素値を求める。つまり、ワーピング後の座標を囲む４つの画素に対して、ワーピング後の座標から各画素の座標までの距離に比例して画素値をそれぞれ分配するようにする。図８は、２つのサンプル画像について、各々の画像中の顔形状を平均顔形状に変換した状態を表したものである。
さらに、平均顔形状に変換後のサンプル画像毎の各画素の輝度を変数として主成分分析を行う（ステップ#5)。その結果、任意の顔画像の平均顔形状下での輝度は次式（６）によって近似することができる。
ここで、Ａは平均顔形状下での各画素の輝度を並べて表現される輝度ベクトル（ａ1,・・・,ａm）（ａは輝度、１からｍは各画素を識別する添え字、ｍは平均顔形状での総画素数）であり、また、Ａ0は平均顔形状における各サンプル画像の画素毎の輝度の平均値を並べて表現される平均顔輝度ベクトル、ｑiは主成分分析によって得られた顔輝度についての第ｉ主成分を表す固有ベクトル、λiは各固有ベクトルｑiに対する重みづけ係数を表す。なお、主成分の順位ｉの値が小さいほど、輝度に対する説明力が高い、すなわち、輝度への寄与が大きいことを意味する。
図９は、主成分分析によって得られた主成分のうち第ｉ1、第ｉ2の主成分を表す固有ベクトルｑi1、ｑi2に対する重みづけ係数λi1、λi2の値を変化させた場合の顔の画素値の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔の画素値を上式（６）で表した場合における重みづけ係数λi1、λi2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔画像の中央のものは平均値の場合である。この例では、主成分分析の結果、第ｉ1主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λi1を変化させることによって、ヒゲの濃い顔（-3sd）からヒゲのない顔（+3sd）まで変化することがわかる。同様に、第ｉ2主成分としてはシャープネスに寄与する成分が抽出されており、重みづけ係数λi2を変化させることによって、輪郭が強調された顔（-3sd）からピンボケの顔（+3sd）まで変化することがわかる。なお、各主成分がどのような要素に寄与しているかは人間の解釈によって決定される。また、シャープネスに寄与する主成分が必ずしも第１主成分として抽出されている必要はない。シャープネスに寄与する成分が第Ｋ主成分（Ｋ≠１）として抽出されている場合には、以下の説明の「第１」を「第Ｋ」に置き換えて考えることができる。また、シャープネス度合が１つの主成分のみによって表現される必要はなく、複数の主成分がシャープネス度合を説明することもありうる。
以上のステップ#1から#5までの処理によって、顔の数学モデルＭが生成される。すなわち、この数学モデルＭは、顔形状を表す複数の固有ベクトルｐiと、平均顔形状下での顔の画素値を表す固有ベクトルｑiによって表現されるものであり、各固有ベクトルの合計数が、顔画像を形成する画素数よりも大幅に少ない、次元圧縮されたものとなっている。なお、上記参考文献１記載の実施例では、約10,000画素により形成される顔画像に対して122の特徴点を設定して上記の処理を行うことによって、顔形状についての23の固有ベクトルと顔の画素値についての114の固有ベクトルで表される顔画像の数学モデルが生成され、各固有ベクトルに対する重みづけ係数を変化させることによって、約90％の顔形状や画素値のバリエーションを表現できることが示されている。
次に、この数学モデルＭを利用したＡＡＭの手法に基づくシャープネス調整処理の流れについて、図４を参照しながら説明する。
まず、顔検出部３１が、画像データＰ0′を読み込み、画像Ｐ0′中の顔部分Ｐ0f′を検出する。具体的には、特開２００５−１０８１９５号公報（参考文献２）に記載されているように、画像Ｐ0′の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器（後述）に入力することによって画像Ｐ0′中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器（後述）に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分Ｐ0f′として検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力とする、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。
なお、顔部分Ｐ１fの検出方法としては、特表２００４−５２７８６３号公報（参考文献３）に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、肌色検出，テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を用いることができる。なお、画像Ｐ0′がディスプレイ５５に表示された際に、マウス５７やキーボード５６の操作により、手作業で顔形状Ｐ0f′を指定するようにしてもよいし、自動検出の結果を手作業で修正するようにしてもよい。
次に、パラメータ取得部３２は、顔部分Ｐ0f′を数学モデルＭに適応させる処理を行う。具体的には、上記式（１）（６）の上位の主成分の固有ベクトルｐi、ｑiに対する重みづけ係数ｂi、λiから順に係数の値を変化させながら、上記式（１）（６）に基づいて画像を再構成し、再構成された画像と顔部分Ｐ0f′との差異が最小となる時の重みづけ係数ｂi、λiを求める（詳細は、参考文献３等参照）。このときの重みづけ係数λ1がシャープネス度合を表すパラメータであるとする。なお、重みづけ係数ｂi、λiの値は、モデル生成時のサンプル画像を上記（１）（６）で表したときのｂi、λiの分布の標準偏差sdに基づき、例えば-3sdから+3sdまでの範囲の値のみを許容し、その範囲を超える場合には、上記の分布における平均値を設定するようにすることが好ましい。これにより、モデルの誤適応を回避することができる。
パラメータ変更部３３は、パラメータλ1の値を予め設定された顔部分のシャープネスの最適値に変更する（変更後のパラメータをλ1′とする）。この最適値は、このシャープネス調整を行わせるプログラムによってアクセスされる設定ファイルに定義されており、この設定ファイルは、上記のプログラムとともに演算・制御装置５０にインストールされている。なお、顔画像の場合、輪郭等がシャープなほど好ましいわけではないため、経験的、統計的に、好ましいと考えられるシャープネスに対応する値が初期設定されている。また、この値は、操作者が適宜変更することも可能である。
画像再構成部３４は、変更後のパラメータλ1′、およびそれ以外のパラメータｂi、λiと式（１）（６）に基づいて、顔部分の画像を再構成した画像Ｐ1fを生成する。さらに、もとの入力画像Ｐ0′の顔部分Ｐ0f′を画像Ｐ1fに置き換えた画像Ｐ1を生成する。
以上のように、本発明の実施形態となるシャープネス調整処理によれば、パラメータ取得部３２が、顔検出部３１によって検出された画像Ｐ0′中の顔部分Ｐ0f′を、異なるシャープネス度合の下における人間の顔部分が表された複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させることによって、顔部分Ｐ0f′におけるシャープネス度合を表す主成分に対する重みづけパラメータλ1を取得し、パラメータ変更部３３が、取得されたパラメータλ1の値を、予め設定された顔部分のシャープネスの最適値に変更し、画像再構成部３４が、変更後のパラメータλ1′に基づいて画像の再構成を行い、シャープネス調整後の画像Ｐ1を出力するので、画像中で主要被写体である可能性が高い顔部分がより適切なシャープネスとなるように調整された、より好ましい画像を得ることが可能になる。また、ＡＡＭに基づく顔部分の数学モデルを採用し、シャープネス度合を表す主成分に対する重みづけパラメータの変更によってシャープネスを調整するようにしたことから、影による濃淡や信号の飛び等のシャープネス度合以外の要素の影響が少ない、シャープネス度合を高精度に反映したシャープネスの調整処理が可能になり、より好ましい画像が得られる。さらに、特許文献１等に記載されているようなシャープネス調整処理を別途行う必要がなくなり、構成の単純化、処理の効率化が図られる。
次に、上記の実施形態におけるシャープネスの調整処理の変形例について説明する。
図１０は、第１の変形例によるシャープネス調整処理の詳細を表すブロック図である。図に示したように、上記実施形態におけるパラメータ変更部３３と画像再構成部３４とが、シャープネス調整部３５に置換された構成となっている。
シャープネス調整部３５は、まず、パラメータ取得部３２で取得されたパラメータλ1に基づいて参照テーブルＴを参照し、シャープネス調整処理の処理強度αを取得する。ここで、参照テーブルＴは、予め実験的、統計的に求めておいた、パラメータλ1と処理強度αとの対応づけを定義したものである。処理強度αについては後述する。また、参照テーブルを用いずに、パラメータλ1を入力として処理強度αを出力する関数を定義し、その関数に基づいて処理強度αを求めるようにしてもよい。
次に、シャープネス調整部３５は、顔部分Ｐ0f′に対して、次式（７）に示したようなシャープネス調整処理を行い、シャープネス調整後の顔部分Ｐ1fを出力する。
ここで、Ｓ′は出力画像データ、Ｓorgは入力画像データ（Ｐ0f′）、ＳUSはＳorgを非鮮鋭化したボケマスクを表す。なお、シャープネス調整処理は様々な公知の手法を採用することが可能である。例えば、特許文献１記載のように、画像データ（Ｐ0f′）を低周波数成分ＲL ，ＧL ，ＢLおよび中間・高周波数成分ＲMH，ＧMH，ＢMHに分解し、さらにこれをＹＩＱ基底に変換し、Ｉ成分、Ｑ成分を0にして輝度成分ＹMHを得、この輝度成分ＹMHを中間周波数成分ＹM と高周波数成分ＹH に分解し、中間周波数成分ＹM のゲインＭを高周波数成分ＹH のゲインＨよりも小さくして各成分ＹM ，ＹH にゲインＭ，Ｈをそれぞれ乗じ、ゲインを乗じた後の各成分ＹM ′，ＹH ′を合成して輝度成分ＹYM′を得、これを低周波数成分ＲL ，ＧL ，ＢL ，と合成して、シャープネス調整処理後の画像信号Ｒ′，Ｇ′，Ｂ′を得るようにしてもよい。この場合は、ゲインＭ，Ｈの値が前述の処理強度に相当する。
さらに、シャープネス調整部３５は、もとの入力画像Ｐ0′の顔部分Ｐ0f′をシャープネス調整後の画像Ｐ1fに置き換えた画像Ｐ1を生成する。
以上のようにすれば、上記の実施形態と同様の効果を得ることができるが、公知のシャープネス調整処理も実装する分だけ構成が複雑になってしまう。
一方、上記の実施形態では、数学モデルＭにおける重みづけパラメータλ1の値を変更することによってシャープネスを調整するため、シャープネスの調整範囲がモデルＭによって表現される顔部分に限定されてしまう。これに対して、この変形例では、公知のシャープネス調整処理を行うため、入力画像Ｐ0′における任意の領域に対してシャープネスの調整を行うことが可能になる。
例えば、顔部分Ｐ0f′の周辺の肌色領域（例えば首部分等）を公知の手法（例えば、特開２００２−１５２７７２号公報記載の手法）によって検出し、検出された肌色領域に対しても同様のシャープネス調整処理を行ってもよい。
また、シャープネス調整処理を画像Ｐ0′全体に適用して画像Ｐ1′を生成してもよい。
なお、画像Ｐ0′の一部の領域に対してのみシャープネス調整処理を行う場合には、処理を行わない領域に近づくにつれて、シャープネスの調整量が小さくなるように、処理強度αを変化させながら、処理を行うようにしてもよい。
さらに、顔部分Ｐ0f′と顔以外の背景部分でシャープネス調整処理の処理強度を変えるようにしてもよい。具体的には、顔部分Ｐ0f′では、ある程度輪郭をはっきりさせるための処理強度α1でシャープネス強調処理を行い、背景部分では、輪郭をぼかすための処理強度α2でシャープネス抑制処理を行う。上記のシャープネス強調処理と抑制処理の一方だけを行うようにしてもよい。これにより、顔の輪郭をシャープに表現するとともに、背景をぼかした、ポートレート写真として好ましい画像を得ることができる。また、本発明では、顔画像の数学モデルＭを用いて顔部分Ｐ0f′を検出するため、検出精度が高く、よりポートレート写真の画像を得ることができる。
また、この場合、顔部分Ｐ0f′のシャープネス強調処理は、シャープネス度合を表す重みづけパラメータλ1の値を調整することによって行い、顔以外の背景領域のシャープネス抑制処理は、パラメータλ1の値に基づいて得られる処理強度α3での公知の方法で行うようにしてもよい。図１１は、この場合のシャープネス調整処理のブロック図を第２の変形例として示したものである。図に示したように、上記の実施形態（図４）の画像再構成部３４を顔画像再構成部３４’に置換した構成に、第１の変形例（図１０）の構成を組み合わせ、さらに画像合成部３６を付加した構成となっている。この変形例では、顔画像再構成部３４’が、顔部分の画像の再構成のみを行って、パラメータ値変更によるシャープネス強調済みの顔部分Ｐ1fを生成し、シャープネス調整部３５が、画像Ｐ0′全体を対象にして処理強度α3でのシャープネス抑制処理を行って、画像Ｐ1aを生成する。そして、画像合成部３６が、シャープネス調整部３５で生成された画像Ｐ1aの顔部分を、顔画像再構成部３４’で生成された顔画像Ｐ1fに置き換えることによって、ポートレート写真の画像処理がなされた画像Ｐ1を生成することができる。
なお、上記の様々なシャープネス調整処理のうちのどの方法をどのような画像に対して適用するかについては、別途適用条件を定義しておき、その適用条件毎にシャープネス調整処理の種類を定義しておけばよい。例えば、画像データＰ0のメタデータとしてＥｘｉｆタグに記録された撮影モードの情報を判定し、人物撮影モードであれば、ポートレート写真の画像処理を行うように定義することができる。また、パラメータ変更部３３が参照する設定ファイルに定義されている変更後のパラメータ値や、シャープネス調整部３５が参照する参照テーブルＴに定義されている処理強度の値は、この適用条件毎に定義しておけばよい。
上記の説明では、シャープネスを表す主成分が１つだけであることを前提としたが、複数ある場合には、パラメータ変更部３３によるシャープネス調整では、それら複数の主成分に対する重みづけ係数（例えば、λ1，λ2，・・・，λJ）の各々の値を変更するようにすればよい。また、シャープネス調整部３５によるシャープネス調整では、それら複数の主成分に対する重みづけ係数の値の組合せに基づいて処理強度αを決定すればよい。すなわち、参照テーブルＴにおいて、これら複数の重みづけ係数の値の組合せ毎に処理強度αの値を定義しておいてもよいし、次式（８）のように、各重みづけ係数の線形結合として新たな１つのパラメータＣを求め、このパラメータＣの値毎に処理強度αを定義しておいてもよいし（αiは、重みづけ係数λiに対応する主成分のシャープネス度合に対する寄与度を表す係数）、
各重みづけ係数の値の組合せと新たなパラメータＣの値を対応づける高次元の参照テーブルによって求めるようにしてもよい。さらに、各重みづけ係数λ1，λ2，・・・，λJを入力として、処理強度αを出力する関数を定義しておいてもよい。
なお、上記の実施形態では、数学モデルＭが１つだけ存在するようにしていたが、人種別、年齢別、性別等の属性別に複数の数学モデルＭi（i=1,2,・・・）を生成しておいてもよい。図１２は、この場合のシャープネス調整処理の詳細を表すブロック図である。図に示したように、画像データＰ0′に基づいて、画像中の被写体の属性情報ＡKを取得する属性取得部３４と、取得した属性情報ＡKに基づいて、その属性を有する被写体を表すサンプル画像のみから生成された数学モデルＭKを選択するモデル選択部３５とを有している点で、上記の実施形態（図４）とは異なる。
ここで、複数の数学モデルＭiは、例えば、同じ人種、年代、性別等を有する被写体表すサンプル画像のみから前述の方法（図５参照）に基づいて各々生成されたものであり、サンプル画像における共通の属性を表す属性情報Ａiと関連づけられて記憶されている。
属性取得部３４は、画像Ｐ0′に対する公知の認識処理（例えば、特開平11-175724号公報記載）を行うことによって、被写体の属性を判定し、属性情報ＡKを取得してもよいし、撮影時に被写体の属性を画像データＰ0′の付帯情報としてヘッダ等に記録しておき、記録された情報を取得するようにしてもよい。また、付帯情報に基づいて被写体の属性を推定するようにしてもよい。例えば、撮影場所のＧＰＳ情報があれば、そのＧＰＳ情報に対応する国や地域を特定することができるので、撮影された被写体の人種をある程度推定することができることに着目し、ＧＰＳ情報と人種情報を関連づける参照テーブルを予め用意しておき、撮影時にＧＰＳ情報を取得して画像データＰ0′のヘッダ領域に記録するデジタルカメラ（例えば、特開2004-153428号公報記載）で得られた画像データＰ0′を入力として、画像データＰ0′のヘッダ領域に記録されているＧＰＳ情報を取得し、取得したＧＰＳ情報に基づいて前記の参照テーブルを参照し、そのＧＰＳ情報に関連づけられた人種情報を被写体の人種として推定することが考えられる。
モデル選択部３５は、属性取得部３４によって得られた属性情報ＡKと関連づけられた数学モデルＭKを取得し、パラメータ取得部３２は、画像Ｐ1の顔部分Ｐ0f′を数学モデルＭKに適応させる。
このように、複数の属性に応じた数学モデルＭiを予め用意しておき、モデル選択部３５が、属性取得部３４で取得した画像Ｐ0′の被写体の属性ＡKと関連づけられた数学モデルＭKを選択し、パラメータ取得部３２が、選択された数学モデルＭKに顔形状Ｐ0f′を適応させるようにした場合には、数学モデルＭKには属性ＡKの違いに起因する顔形状や輝度のバリエーションを説明する固有ベクトルは存在しないので、顔形状や輝度を決定する他の要因を表す固有ベクトルのみに基づいて、顔形状Ｐ0f′を表現することが可能になり、処理精度が向上し、より高品質の画像が得られる。
なお、処理精度の向上の観点からは、属性別の数学モデルをさらに特化させ、被写体の個人別の数学モデルを構築しておくことが好ましい。この場合には、画像Ｐ0f′と個人を特定する情報とを関連づけておく必要がある。
また、上記の実施形態では、数学モデルは予めデジタル写真プリンタにインストールされているものとしているが、人種別の数学モデルを予め準備しておき、そのプリンタの出荷先の国や地域によって、インストールする数学モデルを変えることも処理精度の向上の観点からは好ましい。
さらに、この数学モデルを生成する機能をデジタル写真プリンタに実装するようにしてもよい。具体的には、図５のフローチャートに基づいて説明した処理を行わせるプログラムを演算・制御装置５０にインストールしておけばよい。また、出荷時にはデフォルトの数学モデルをインストールしておき、そのデジタル写真プリンタへの入力画像を用いて、その数学モデルをカスタマイズ（変更）できるようにしたり、デフォルトの数学モデルとは異なる新たなモデルを生成するようにしたりすることも考えられる。これは、前記のように個人別のモデルを生成する場合に特に有効である。
また、上記の実施形態では、顔形状と輝度についての別個の重みづけ係数ｂi、λiによって、個別の顔画像を表現していたが、顔形状と輝度のバリエーションには相関性があることから、重みづけ係数ｂi、λiを結合して得られるベクトル（ｂ1,ｂ2,・・・,ｂi,・・・,λ1,λ2,・・・,λi,・・・）に対してさらに主成分分析を行うことにより、次式（９）（１０）に示したように、顔形状と輝度の画素値の両方を制御する新しいアピアランスパラメータｃを得ることができる。
ここで、アピアランスパラメータｃとベクトルＱSによって平均顔形状からの形状の変動分が表現され、アピアランスパラメータｃとベクトルＱAによって顔の画素値の平均からの輝度の変動分要素が表現される。
このモデルを用いた場合には、パラメータ取得部３２は、アピアランスパラメータｃの値を変化させながら、上記式（１０）に基づいて平均顔形状下での顔の画素値を求め、さらに、上記式（９）に基づいて平均顔形状からの変換を行うことによって、顔画像を再構成し、再構成された画像と顔部分Ｐ0f′との差異が最小となる時のアピアランスパラメータｃを求めることになる。
本発明の他の実施形態としては、上記のシャープネス調整処理をデジタルカメラに実装することが考えられる。図１３は、このようなデジタルカメラの構成を模式的に表したものである。図に示すように、このデジタルカメラは、レンズ、絞り、シャッター、ＣＣＤ等からなり、被写体の撮像を行う撮像部７１、撮像部７１のＣＣＤに蓄積された電荷によるアナログ信号をデジタル化して、デジタル画像データＰ0を得るＡ／Ｄ変換部７２、画像データＰ0等に対して各種画像処理を行う画像処理部７３、メモリカードに記録する画像データの圧縮処理やメモリカードから読み込んだ圧縮形式の画像データに対する伸長処理を行う圧縮／伸長部７４、ストロボ等からなり、ストロボ発光を行うストロボ部７５、各種操作ボタン等からなり、撮影条件や画像処理条件等の設定を行う操作部７６、画像データが記録されるメモリカードとのインターフェースとなるメディア記録部７７、液晶ディスプレイ等からなり、スルー画や撮影された画像、各種設定メニュー等を表示する表示部７８、前記各部による処理の制御を行う制御部７０、制御プログラムや画像データ等を記憶する内部メモリ７９を有している。
ここで、図２の画像入力手段１は撮像部７１とＡ／Ｄ変換部７２、画像補正手段２は画像処理部７３、画像加工手段３は画像処理部７３と操作部７６と表示部７８、画像出力手段４はメディア記録部７７によって、制御部７０による制御の下で内部メモリ７９も使用しつつ、各々の機能が実現される。
次に、このデジタルカメラの操作と処理の流れについて説明する。
まず、撮影者によるシャッターの全押し操作によって、撮像部７１がレンズに入射した被写体光をＣＣＤの光電面に結像させ、光電変換の後、アナログ画像信号を出力し、Ａ／Ｄ変換部７２が、出力されたアナログ画像信号をデジタル画像信号に変換し、デジタル画像データＰ0として出力することによって、画像入力手段１として機能する。
次に、画像処理部７３が、階調補正処理、濃度補正処理、色補正処理、ホワイトバランス調整処理等を行うとともに、本発明のシャープネス調整処理も行い、処理済みの画像データＰ1を出力することによって、画像補正手段２として機能する。ここで、シャープネス調整処理は、制御部７０が、内部メモリ７９に記憶されているシャープネス調整用プログラムを起動し、内部メモリ７９に予め記憶されている数学モデルＭ等を用いた前述のシャープネス調整処理を画像処理部７３に行わせることによって実現される。
ここで、画像Ｐ1が表示部７８により液晶ディスプレイに表示される。表示レイアウトとしては、図３（ａ）に示したサムネイル形式による複数の画像の表示が考えられる。撮影者は、操作部７６の操作ボタンの操作により、加工対象の画像を選択して拡大表示し、メニュー選択によりさらなる画像の手動補正や加工を行い、処理済みの画像データＰ２を出力する。以上のようにして、画像加工手段３の機能が実現される。
そして、圧縮／伸長部７４が画像データＰ2をＪＰＥＧなどの圧縮形式に基づく圧縮処理を行い、メディア記録部７７経由でこのデジタルカメラに装填されたメモリカードに圧縮後の画像データを書き込むことによって、画像出力手段４の機能が実現される。
このように、本発明のシャープネス調整処理をデジタルカメラの画像処理機能として実装することによって、上記のデジタル写真プリンタの場合と同様の効果を得ることができる。
なお、手動補正や加工処理は、メモリカードに一旦記録された画像に対しても行えるようにしてもよい。具体的には、メモリカードに記憶されている画像データを圧縮／伸長部７４が伸長（解凍）した後、伸長済みの画像データによる画像を表示部７８の液晶ディスプレイに表示し、撮影者が、前記と同様の操作によって所望の画像処理を選択し、画像処理部７３が、選択された画像処理を行う。
また、図１２等で説明した被写体の属性別の数学モデルをデジタルカメラに実装してもよいし、図５で示した数学モデルの生成処理を実装してもよい。ここで、個々のデジタルカメラによる撮影の被写体となる人物はある程度限定されることが多いことから、そのデジタルカメラで主に被写体となる人物の顔についての個人別の数学モデルを生成するようにすれば、顔の個人差による変動のないモデルを生成できるため、その人物の顔に対するシャープネス調整処理をきわめて高い精度で行うことが可能になる。
上記の実施形態のほか、本発明のシャープネス調整処理をパソコン等に行わせるプログラムを、画像編集ソフトウェアに組み込むことも考えられる。これにより、ユーザは、このソフトウェアが記憶されているＣＤ−ＲＯＭ等の記憶媒体からパソコン等にインストールしたり、インターネット上の所定のサイトからこのソフトウェアをダウンロードしてインストールしたりすることによって、自分のパソコンでの画像の編集加工の１パターンとして、本発明のシャープネス調整処理を利用することが可能になる。
本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に示した図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラの機能と処理の流れを示すブロック図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラのディスプレイに表示される画面の一例を示す図 本発明の一態様となるシャープネス調整処理の詳細を表すブロック図 本発明における顔画像の数学モデルを生成する処理の流れを表すフローチャート 顔の特徴点の設定例を表す図 顔形状に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔形状の変化の様子を模式的に表した図 サンプル画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度の様子を表した図 顔の画素値に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔の画素値の変化の様子を模式的に表した図 本発明のシャープネス調整処理の第１の変形例の詳細を表すブロック図 本発明のシャープネス調整処理の第２の変形例の詳細を表すブロック図 本発明の一態様となるシャープネス調整処理の他の態様を表すブロック図 本発明の他の実施形態となるデジタルカメラの構成を模式的に示した図
符号の説明
１ 画像入力手段
２ 画像補正手段
３ 画像加工手段
４ 画像出力手段
３１ 顔検出部
３２ パラメータ取得部
３３ パラメータ変更部
３４ 画像再構成部
３４’ 顔画像再構成部
３５ シャープネス調整部
３６ 画像合成部
３７ 属性取得部
３８ モデル選択部
５１ フィルムスキャナ
５２ フラットヘッドスキャナ
５３ メディアドライブ
５４ ネットワークアダプタ
５５ ディスプレイ
５６ キーボード
５７ マウス
５８ ハードディスク
５９ 写真プリント出力機
７０ 制御部
７１ 撮像部
７２ Ａ／Ｄ変換部
７３ 画像処理部
７４ 圧縮／伸長部
７５ ストロボ部
７６ 操作部
７７ メディア記録部
７８ 表示部
７９ 内部メモリ

Claims (11)

  1. 異なるシャープネス度合で所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物における前記シャープネス度合を表す統計的特徴量に対する重みづけパラメータを取得し、
    取得された前記重みづけパラメータの値に基づいて、前記入力画像の少なくとも一部についてシャープネスを調整することを特徴とする画像処理方法。
  2. 異なるシャープネス度合で所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物における前記シャープネス度合を表す統計的特徴量に対する重みづけパラメータを取得するパラメータ取得手段と、
    該パラメータ取得手段によって取得された前記重みづけパラメータの値に基づいて、前記入力画像の少なくとも一部についてシャープネスを調整するシャープネス調整手段とを備えたことを特徴とする画像処理装置。
  3. 前記シャープネス調整手段が、前記シャープネス度合を表す統計的特徴量に対する重みづけパラメータの値を変更することによって、前記構造物の領域のシャープネスを調整するものであることを特徴とする請求項２記載の画像処理装置。
  4. 前記シャープネス調整手段が、前記シャープネス度合を表す統計的特徴量に対する重みづけパラメータの値に対応する前記構造物のシャープネス度合に基づいた処理強度で、シャープネスの調整を行うものであることを特徴とする請求項２記載の画像処理装置。
  5. 前記シャープネス調整手段が、前記入力画像中の前記構造物の領域に対するシャープネスの強調処理と、該構造物の領域以外の領域に対するシャープネスの抑制処理の少なくとも一方を行うものであることを特徴とする第２項から第４項のいずれか１項記載の画像処理装置。
  6. 前記シャープネス調整手段が、前記所定の構造物と、該構造物に隣接する、該構造物と同じ色の領域に対してもシャープネスの調整を行うものであることを特徴とする第２項から第４項のいずれか１項記載の画像処理装置。
  7. 前記シャープネス調整手段が、前記シャープネスの調整が行われる領域において、該調整を行わない領域に近づくにつれて該調整の度合が小さくなるように、シャープネスの調整を行うものであることを特徴とする第２項から第４項、第６項のいずれか１項記載の画像処理装置。
  8. 前記入力画像中の前記構造物を検出する検出手段をさらに備え、
    前記パラメータ取得手段が、前記モデルに、検出された前記構造物を適応させることによって、前記重みづけパラメータを取得するものであることを特徴とする第２項から第７項のいずれか１項記載の画像処理装置。
  9. 前記入力画像中の前記構造物の属性を取得し、前記所定の構造物の属性毎に該構造物が表現された複数の前記モデルから、取得された属性に応じた前記モデルを選択する選択手段をさらに備え、
    前記パラメータ取得手段が、選択されたモデルに前記構造物を適応させることによって、前記重みづけパラメータを取得するものであることを特徴とする第２項から第８項のいずれか１項記載の画像処理装置。
  10. 前記所定の構造物が人間の顔であることを特徴とする第２項から第９項のいずれか１項記載の画像処理装置。
  11. コンピュータに、
    異なるシャープネス度合で所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、シャープネス度合を表す統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物における前記シャープネス度合を表す統計的特徴量に対する重みづけパラメータを取得するパラメータ取得手段と、
    該パラメータ取得手段によって取得された前記重みづけパラメータの値に基づいて、前記入力画像の少なくとも一部についてシャープネスを調整するシャープネス調整手段として機能させることを特徴とする画像処理プログラム。
JP2005280306A 2005-09-27 2005-09-27 画像処理方法および装置ならびにプログラム Withdrawn JP2007094549A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005280306A JP2007094549A (ja) 2005-09-27 2005-09-27 画像処理方法および装置ならびにプログラム
US11/527,601 US7751640B2 (en) 2005-09-27 2006-09-27 Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005280306A JP2007094549A (ja) 2005-09-27 2005-09-27 画像処理方法および装置ならびにプログラム

Publications (1)

Publication Number Publication Date
JP2007094549A true JP2007094549A (ja) 2007-04-12

Family

ID=37908179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005280306A Withdrawn JP2007094549A (ja) 2005-09-27 2005-09-27 画像処理方法および装置ならびにプログラム

Country Status (2)

Country Link
US (1) US7751640B2 (ja)
JP (1) JP2007094549A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250774A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP2014010788A (ja) * 2012-07-03 2014-01-20 Dainippon Printing Co Ltd 画像出力受付端末および画像出力受付方法、並びにプログラム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7471846B2 (en) * 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
EP2115662B1 (en) 2007-02-28 2010-06-23 Fotonation Vision Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
KR101247147B1 (ko) * 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
CN102027505A (zh) * 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8861836B2 (en) * 2011-01-14 2014-10-14 Sony Corporation Methods and systems for 2D to 3D conversion from a portrait image
US8836808B2 (en) 2011-04-19 2014-09-16 Canon Kabushiki Kaisha Adaptive color imaging by using an imaging assembly with tunable spectral sensitivities
WO2017165363A1 (en) 2016-03-21 2017-09-28 The Procter & Gamble Company Systems and methods for providing customized product recommendations
US10621771B2 (en) 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
US10614623B2 (en) * 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
EP3631679B1 (en) 2017-05-31 2023-09-13 The Procter & Gamble Company Systems and methods for determining apparent skin age
CN110678875B (zh) 2017-05-31 2023-07-11 宝洁公司 用于引导用户拍摄自拍照的系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922460A (ja) * 1995-02-09 1997-01-21 Fuji Photo Film Co Ltd 画像処理方法および装置
US6801339B1 (en) * 1998-03-26 2004-10-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US6724942B1 (en) * 1999-05-24 2004-04-20 Fuji Photo Film Co., Ltd. Image processing method and system
US6856704B1 (en) * 2000-09-13 2005-02-15 Eastman Kodak Company Method for enhancing a digital image based upon pixel color
US20030231324A1 (en) * 2002-03-05 2003-12-18 Makoto Kagaya Image processing method and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250774A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
JP2014010788A (ja) * 2012-07-03 2014-01-20 Dainippon Printing Co Ltd 画像出力受付端末および画像出力受付方法、並びにプログラム

Also Published As

Publication number Publication date
US20070070440A1 (en) 2007-03-29
US7751640B2 (en) 2010-07-06

Similar Documents

Publication Publication Date Title
JP4799101B2 (ja) 画像処理方法および装置ならびにプログラム
JP4767718B2 (ja) 画像処理方法および装置ならびにプログラム
JP2007094549A (ja) 画像処理方法および装置ならびにプログラム
JP4795718B2 (ja) 画像処理装置および方法並びにプログラム
US8107764B2 (en) Image processing apparatus, image processing method, and image processing program
JP2006350498A (ja) 画像処理装置および方法並びにプログラム
JP2007006182A (ja) 画像処理装置および方法並びにプログラム
US7848588B2 (en) Method and apparatus for judging direction of blur and computer-readable recording medium storing a program therefor
JP4906034B2 (ja) 撮影装置および方法並びにプログラム
JP4519708B2 (ja) 撮影装置および方法並びにプログラム
JP2006295303A (ja) 画像処理方法および装置ならびにプログラム
JP2007257585A (ja) 画像処理方法および装置ならびにプログラム
JP2007066227A (ja) 画像処理装置および方法並びにプログラム
US7433079B2 (en) Image processing apparatus and method
EP1883049B1 (en) Data correction method, apparatus and program
JP2006350769A (ja) 画像処理装置および方法並びにプログラム
JP4043708B2 (ja) 画像処理方法および装置
JP2021082118A (ja) 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法
JP2006113658A (ja) 画像処理装置及び方法、及びプログラムを記録した記憶媒体
EP1883048B1 (en) Data correction method, apparatus and program
JP2007124112A (ja) 画像処理方法および装置ならびにプログラム
JP2005004656A (ja) 画像処理装置およびその方法
JP2005006213A (ja) 画像処理装置およびその方法
JP2005228138A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2007166307A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081202