JP2007096405A - ぶれ方向判定方法および装置ならびにプログラム - Google Patents

ぶれ方向判定方法および装置ならびにプログラム Download PDF

Info

Publication number
JP2007096405A
JP2007096405A JP2005279389A JP2005279389A JP2007096405A JP 2007096405 A JP2007096405 A JP 2007096405A JP 2005279389 A JP2005279389 A JP 2005279389A JP 2005279389 A JP2005279389 A JP 2005279389A JP 2007096405 A JP2007096405 A JP 2007096405A
Authority
JP
Japan
Prior art keywords
blur
image
input image
representing
statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005279389A
Other languages
English (en)
Inventor
Yuanzhong Li
元中 李
Wataru Ito
渡 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005279389A priority Critical patent/JP2007096405A/ja
Priority to US11/525,073 priority patent/US7848588B2/en
Publication of JP2007096405A publication Critical patent/JP2007096405A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

【課題】加速度センサのような特殊なハードウェアを用いずに、高精度な手ぶれ等のぶれの方向の判定を可能にする。
【解決手段】パラメータ取得部３２が、顔検出部３１によって検出された画像Ｐ1中の顔部分Ｐ1fを、異なるぶれ条件下における人間の顔部分が表された複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させることによって、顔部分Ｐ1fにおけるぶれ方向を表す主成分に対する重みづけ係数λd1, λd2, λd3,・・・, λdJを取得し、ぶれ方向判定部３３が、重みづけ係数λd1, λd2, λd3,・・・, λdJに基づいてぶれ方向Ｄを判定する。さらに、ぶれ幅取得部３５が、エッジ検出部３４によって検出された、ぶれ方向Ｄに垂直なエッジ成分Ｅに基づいてぶれ幅Ｗを求め、ぶれ補正部３６が、ぶれ方向Ｄとぶれ幅Ｗに基づいて入力画像Ｐ1のぶれを補正するようにしてもよい。
【選択図】図４

Description

本発明は、入力画像に表れたぶれの方向を判定する方法やこの判定を行う装置、この方法をコンピュータに実行させるためのプログラムに関するものである。
デジタルカメラやカメラ付携帯電話等の撮像装置の小型化・軽量化の結果、シャッターボタンの押下の際に撮像装置本体が動いてしまうことにより、手ぶれが生じやすくなっている。また、記録画素数の向上、望遠機能の標準装備化も進んでおり、撮影された画像において、手ぶれが目立ちやすくなってきている。
このような手ぶれを検出する方法として、撮像装置に設けられた角速度センサを用いた方法が知られている（例えば、特許文献１）。
特開２００２−１１２０９９号公報
しかしながら、特許文献１記載の手ぶれ検出方法では、角速度センサのような特殊なハードウェアが必要であり、例えば、カメラ付き携帯電話のような小型の撮像装置に実装することは困難である。
また、このようなハードウェアによって検出された手ぶれに関する情報がない場合に、撮像された画像のみに基づいて、その画像に表れた手ぶれを検出する方法は開示されていない。
本発明はこのような事情に鑑みてなされたものであり、加速度センサのような特殊なハードウェアを用いずに、高精度な手ぶれ等のぶれの方向の判定を可能にするぶれ方向の判定方法およびこの判定を行う装置ならびにプログラムを提供することを目的とするものである。
本発明によるぶれ方向の判定方法は、異なるぶれ条件下における所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、ぶれ方向を表す１以上の統計的特徴量を含む１以上の統計的特徴量と、その構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって、その構造物を表現するモデルに、入力画像中のその構造物を適応させることによって、その入力画像中の構造物におけるぶれ方向を表す統計的特徴量に対する重みづけパラメータを取得し、取得された重みづけパラメータの値に基づいて、その入力画像に表れたぶれの方向を判定することを特徴とする。
本発明によるぶれ方向判定装置は上記の画像処理を行う装置である。すなわち、異なるぶれ条件下における所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、ぶれ方向を表す１以上の統計的特徴量を含む１以上の統計的特徴量と、その構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって、その構造物を表現するモデルに、入力画像中のその構造物を適応させることによって、その入力画像中の構造物におけるぶれ方向を表す統計的特徴量に対する重みづけパラメータを取得するパラメータ取得手段と、パラメータ取得手段によって取得された重みづけパラメータの値に基づいて、入力画像に表れたぶれ方向を判定するぶれ方向判定手段とを設けたことを特徴とする。
さらに、本発明によるぶれ方向判定プログラムは、コンピュータに上記の画像処理方法を実行させる（上記各手段として機能させる）ものである。
次に、本発明による画像処理方法、装置、プログラムの詳細について説明する。
本発明による「（所定の）構造物を表現するモデル」の具体的実現手法としては、ＡＡＭ(Active Appearance Models)の手法を利用することが考えられる。ＡＡＭは、モデルに基づいて画像の内容の解釈を試みるアプローチの１つであり、例えば、顔を解釈の対象とする場合、学習対象となる複数の画像中の顔部分の形状や、形状を正規化した後の輝度の情報に対して主成分分析を行うことによって顔の数学モデルを生成し、新たな入力画像中の顔部分を、数学モデルにおける各主成分と各主成分に対する重みづけパラメータで表現し、顔画像を再構成する手法である（Ｔ．Ｆ．クーツ(Cootes), Ｇ．Ｊ．エドワーズ(Edwards), Ｃ．Ｊ．テイラー(Taylor)、「動的見えモデル(Active Appearance Models)」、第５回計算機視覚欧州会議報(In Proc. 5th European Conference on Computer Vision)、ドイツ、シュプリンガー(Springer)、1998年、vol.2、p.p.484-498；以下、参考文献１とする）。
「ぶれ」は、手ぶれと被写体ぶれのどちらであってもよい。
「ぶれ条件」とは、少なくともぶれの方向を表すものであり、さらに、ぶれの大きさを表すものを含んでいてもよい。
「所定の構造物」は、モデル化に適したもの、すなわち、その構造物の画像中における形状や輝度の変動が一定の範囲に収まるもの、特に、統計処理を行うことによって形状や輝度についての説明力のより高い統計的特徴量が得られるものであることが好ましい。また、画像中において主題となる可能性が高い部分であることが好ましい。具体例としては人間の顔が挙げられる。
「異なるぶれ条件下における所定の構造物が表された複数の画像」は、異なるぶれ条件下において所定の構造物を実際に撮影することによって得られた画像であってもよいし、特定のぶれ条件において撮影された画像に基づくシミュレーションによって生成された画像であってもよい。
「所定の統計処理」としては、所定の構造物を、その構造物を表す画素の数よりも少ない次元数の統計的特徴量に圧縮して表すことができる次元圧縮処理が好ましい。具体例としては主成分分析等の多変量解析手法が考えられる。また、「所定の統計処理」として主成分分析を行った場合、「統計的特徴量」とは、主成分分析によって得られる複数の主成分を意味する。
なお、上記の説明力の高低とは、所定の統計処理が主成分分析である場合を例にすると、上位の主成分ほど説明力が高く、下位主成分ほど説明力が低いという意味になる。
「統計的特徴量」には、少なくともその構造物の輝度に基づく情報が表現されている必要がある。ぶれは、輝度の分布によって画像中に表現されるものだからである。
また、「ぶれ方向を表す１以上の統計的特徴量」は、１つの統計的特徴量であってもよいし、複数の統計的特徴量であってもよい。例えば、ぶれの方向毎に異なる統計的特徴量であることが考えられる。
「入力画像中の（所定の）構造物」は、自動的に検出するようにしてもよいし、手動で検出するようにしてもよい。また、本発明は、入力画像中の前記構造物を検出する処理（手段）をさらに有していてもよいし、入力画像から前記構造物の部分を予め検出しておいてもよい。
また、本発明におけるモデルを所定の構造物の属性毎に複数準備しておき、入力画像中のその構造物の属性を表す情報を取得し、取得された属性に応じてモデルを選択する処理（手段）を付加し、選択されたモデルに入力画像中のその構造物を適応させることによって、重みづけパラメータを取得するようにしてもよい。
ここで、「属性」とは、例えば、所定の構造物が人間の顔の場合、性別や年齢、人種等が考えられる。また、個人を特定する情報であってもよい。この場合には、属性毎のモデルは個人毎のモデルを意味する。
この「属性」の具体的取得方法としては、画像に対する公知の認識処理（例えば、特開平11-175724号公報記載）や、ＧＰＳ情報等の画像の付帯情報からの推定・取得が考えられる。
「その構造物を表現するモデルに、入力画像中のその構造物を適応させる」とは、入力画像中のこの構造物をモデルによって表現するための演算処理等を意味する。具体的には、上記のＡＡＭの手法を用いた場合を例にすると、数学モデルにおける各主成分に対する重みづけパラメータの値を求めることを意味する。
「取得された（ぶれ方向を表す統計的特徴量に対する）重みづけパラメータに基づいて、その入力画像に表れたぶれの方向を判定する」具体的方法としては、予め実験的、統計的に求めておいたぶれ方向を表す統計的特徴量に対する重みづけパラメータの値とぶれの方向との関係に基づいて、その入力画像中の構造物をモデルに適応させることによって得られるぶれ方向を表す統計的特徴量に対する重みづけパラメータの値に対応するぶれ方向を求めることが考えられる。
また、判定されたぶれ方向におけるぶれの幅も求めるようにしてもよい。具体的には、判定されたぶれ方向を表す統計的特徴量に対する重みづけパラメータの値に基づいて求めることが考えられる。この場合、ぶれ方向を表す統計的特徴量に対する重みづけパラメータの値とその方向におけるぶれ幅との関係を予め実験的，統計的に求めておき、この関係に基づいてぶれ幅を求めることが考えられる。また、判定されたぶれ方向に垂直なエッジの幅を求め、これをぶれ幅としてもよい。この場合、例えば、ぶれ方向に垂直な方向におけるエッジを公知の方向依存型のエッジ検出処理によって求め、検出されたエッジの平均幅を求めることが考えられる。
さらに、判定されたぶれ方向と、求められたぶれ幅とに基づいて、入力画像に表れたぶれを補正するようにしてもよい。このとき、ぶれ方向を表す統計的特徴量に対する重みづけパラメータの値を変更することによって、入力画像中の前記構造物のぶれを補正するようにしてもよい。また、求められたぶれ幅に応じた処理強度で、判定されたぶれ方向とほぼ直交する方向のエッジを強調するシャープネス補正を入力画像全体に対して行ってもよい（特開2004-070421号公報参照）。さらに、入力画像中の前記構造物は上記のパラメータ値の変更により、前記構造物以外の部分は上記のシャープネス補正により、ぶれ補正を行うようにしてもよい。
本発明のぶれ方向判定方法および装置ならびにプログラムによれば、ぶれ方向を表す１以上の統計的特徴量を含む１以上の統計的特徴量とその統計的特徴量に対する重みづけパラメータとによって画像中の所定の構造物を表現するモデルに、入力画像中のその構造物を適応させることによって、その入力画像中の構造物におけるぶれ方向を表す統計的特徴量に対する重みづけパラメータを取得し、取得された重みづけパラメータの値に基づいて、その入力画像に表れたぶれ方向を判定するので、加速度センサのような特殊なハードウェアを用いずに、高精度な手ぶれ等のぶれの検出をすることができ、撮像時に検出されたぶれの情報がない場合であっても、本発明によれば、撮像された画像からぶれ方向を判定することが可能になる。
また、入力画像中のその構造物を検出する処理（手段）を付加した場合には、その構造物の自動検出が可能になり、操作性が向上する。
また、本発明におけるモデルを所定の構造物の属性毎に複数備えるとともに、入力画像中のその構造物の属性を取得し、取得された属性に応じたモデルを選択する処理（手段）を付加し、選択されたモデルに入力画像中のその構造物を適応させることによって、重みづけパラメータを取得するようにした場合、入力画像中のその構造物を、より適切なモデルに適応させることが可能になるため、処理精度が向上する。
また、判定されたぶれ方向におけるぶれの幅も求める処理（手段）を付加し、判定されたぶれ方向と、求められたぶれ幅とに基づいて、入力画像に表れたぶれを補正する処理（手段）も付加した場合には、高精度なぶれ検出の結果を用いてぶれを補正することができるので、より好ましい画像が得られる。
なお、ぶれ方向を表す統計的特徴量に対する重みづけパラメータの値に基づいて、ぶれ幅を求めるようにした場合には、エッジ検出等の他の画像解析処理を行うことなく、ぶれ幅を求めることが可能になるので、構成の単純化、処理の効率化が図られる。
同様に、ぶれのぶれ方向を表す統計的特徴量に対する重みづけパラメータの値を変更することによって、入力画像中の前記構造物のぶれを補正するようにした場合には、シャープネス補正等の他の画像処理を行うことなく、ぶれの補正が可能になるので、構成の単純化、処理の効率化が図られる。
以下、図面を参照しつつ、本発明の実施の形態について説明する。
図１は、本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に表したものである。図に示したように、このデジタル写真プリンタは、フィルムスキャナ５１、フラットヘッドスキャナ５２、メディアドライブ５３、ネットワークアダプタ５４、ディスプレイ５５、キーボード５６、マウス５７、ハードディスク５８、写真プリント出力機５９が演算・制御装置５０に接続された構成となっている。
演算・制御装置５０は、ＣＤ−ＲＯＭ等の記憶媒体からインストールされたプログラムの実行により、この装置内のＣＰＵや主記憶装置、各種入出力インターフェースと連携して、画像の入力、補正、加工、出力のフローを制御したり、画像の補正や加工のための画像処理の演算を行ったりするものである。本発明によるぶれ方向の判定およびぶれ補正処理はこの装置で行われる。
フィルムスキャナ５１は、現像機（図示なし）によって現像済みのＡＰＳネガフィルムや１３５ネガフィルムを光電的に読み取って、これらのネガフィルムに記録されている写真画像を表すデジタル画像データＰ0を取得するものである。
フラットヘッドスキャナ５２は、Ｌサイズ写真プリント等のハードコピーに表された写真画像を光電的に読み取って、デジタル画像データＰ0を取得するものである。
メディアドライブ５３は、メモリカードやＣＤ、ＤＶＤ等の記録媒体に記録された写真画像を表す画像データＰ0を取得するものである。また、これらの記録媒体に、出力対象の画像データＰ2を書き込むことも可能である。なお、このメモリカードには、例えば、デジタルカメラによって、撮影された画像の画像データが書き込まれている。また、ＣＤやＤＶＤ等には、例えば、前回のプリント注文時に、フィルムスキャナによって読み取られた画像の画像データが書き込まれている。
ネットワークアダプタ５４は、公知のネットワークフォトサービスシステムにおける注文受付機（図示なし）から画像データＰ0を取得するものである。この画像データＰ0は、ユーザからの写真プリントの注文に基づく画像データであり、ユーザのパソコンからインターネット経由で送信してきたものである。また、ラボ店の店頭に設置された写真注文受付機から送信されてきたものであってもよい。
ディスプレイ５５は、このデジタル写真プリンタにおける画像の入力、補正、加工、出力のための操作画面を表示するものであり、操作内容を選択するためのメニューや処理対象の画像等が表示される。また、キーボード５６やマウス５７は、処理内容を指示するものである。
ハードディスク５８には、このデジタル写真プリンタを制御するプログラムが記憶されている他、フィルムスキャナ５１、フラットヘッドスキャナ５２、メディアドライブ５３、ネットワークアダプタ５４において取得された画像データＰ0や、画像補正後の画像データＰ1、画像加工後の画像データ（出力対象の画像データ）Ｐ2も一時的に記憶される。
写真プリント出力機５９は、出力対象の画像を表す画像データＰ2に基づいたレーザーによる印画紙への走査露光、現像、乾燥を行うとともに、プリント情報等の裏印字、印画紙のプリント単位での切断や注文単位でのソート等を行うものである。なお、写真プリントの方式は、レーザー露光熱現像転写方式等であってもよい。
図２は、このデジタル写真プリンタの機能と処理の流れを示すブロック図である。図に示したように、機能の観点からは、このデジタル写真プリンタは、写真プリント対象の画像の画像データＰ0を入力する画像入力手段１と、画像データＰ0を入力として、所定の画像処理条件に基づく画像処理を行って、画像データＰ0による画像（以下、画像データとその画像データによる画像を同じ符号で表す）の画質の自動補正を行う画像補正手段２と、自動補正後の画像データＰ1を入力として、操作者からの指示に基づいた画像処理を行う画像加工手段３と、加工済みの画像データＰ2を入力として、写真プリントの出力や記録メディアへの出力を行う画像出力手段４とから構成されている。
画像補正手段２では、ホワイトバランスの調整、コントラスト補正、シャープネス補正、ノイズ軽減・除去等の処理が行われる。また、画像加工手段３では、画像補正手段２による処理結果の手作業による修正や、トリミング、拡大・縮小、セピア化、白黒化、装飾フレームとの合成等の画像の加工の他、本発明によるぶれ方向の判定およびぶれ補正処理も行われる。
このデジタル写真プリンタの操作とこのプリンタで行われる処理の流れは以下のようになる。
まず、画像入力手段１による画像データＰ0の入力が行われる。操作者は、現像済みのフィルムに記録された画像からのプリント等の出力を行う場合には、そのフィルムをフィルムスキャナ５１にセットしておき、メモリカード等の記録メディアに記録された画像データからのプリント等の出力を行う場合には、その記録メディアをメディアドライブ５３にセットしておく。一方、ディスプレイ５５には、画像データの入力元を選択する画面が表示され、操作者はキーボード５６やマウス５７の操作によって、入力元の選択を行う。入力元としてフィルムが選択された場合には、フィルムスキャナ５１は、セットされたフィルムを光電的に読み取り、デジタル変換することによって、生成された画像データＰ0を演算・制御装置５０に送信する。写真プリント等のハードコピー原稿が選択された場合には、フラットヘッドスキャナ５２は、セットされた写真プリント等のハードコピー原稿を光電的に読み取り、デジタル変換することによって、生成された画像データＰ0を演算・制御装置５０に送信する。メモリカード等の記録メディアが選択された場合には、演算・制御装置５０は、メディアドライブ５３にセットされたメモリカード等の記録メディアに記憶されている画像データＰ0を読み込む。また、ネットワークフォトサービスシステムや店頭での写真受付注文機による注文の場合には、演算・制御装置５０が、ネットワークアダプタ５４経由で画像データＰ0を受信する。このようにして取得された画像データＰ0は、ハードディスク５８に一時的に記憶される。
次に、画像補正手段２が、画像Ｐ0による画像に対する自動画質補正処理を行う。具体的には、演算・制御装置５０で実行される画像処理プログラムにより、予め、このデジタル写真プリンタに設定されているセットアップ条件に基づいて、公知のホワイトバランス調整、コントラスト補正、シャープネス補正、ノイズ軽減・除去等の処理が行われ、処理済みの画像データＰ1が出力される。出力された画像データＰ1は演算・制御装置５０のメモリに格納される。なお、ハードディスク５９に一時的に記憶するようにしてもよい。
その後、画像加工手段３は、補正後の画像Ｐ1のサムネイル画像を生成し、ディスプレイ５５に表示させる。図３（ａ）は、ディスプレイ５５に表示される画面の一例である。操作者が、表示されたサムネイル画像を確認し、画質の手動補正が必要なものや、画像の加工の注文があるものを、マウス５７やキーボード５６の操作によって選択すると（図３（ａ）では左上の画像DSCF0001を選択）、図３（ｂ）に一例を示すように、選択されたサムネイル画像が拡大されてディスプレイ５５に表示されるとともに、その画像に対する手動補正や加工の処理内容を選択するボタンが表示される。操作者は、表示されたボタンの中から所望のものをマウス５７やキーボード５６の操作によって選択し、必要に応じて、選択された処理内容のさらに詳細な設定等を行う。画像加工手段３は、選択された処理内容に応じた画像処理を行い、処理済みの画像データＰ2を出力する。出力された画像データＰ2は演算・制御装置５０のメモリに格納される。なお、ハードディスク５９に一時的に記憶するようにしてもよい。なお、以上の画像加工手段３による、ディスプレイ５５への画面表示、マウス５７やキーボード５６による入力の受付、手動補正や加工の画像処理等は、演算・制御装置５０で実行されているプログラムによって制御される。
最後に、画像出力手段４が、画像Ｐ2の出力を行う。ここでは、演算・制御装置５０が、ディスプレイ５５に出力先を選択する画面を表示させ、操作者は、マウス５７やキーボード５６の操作によって、所望の出力先を選択する。演算・制御装置５０は、選択された出力先に対して画像データＰ2を送信する。写真プリント出力を行う場合には、画像データＰ2は写真プリント出力機５９に送信され、画像Ｐ2が写真プリントとして出力される。ＣＤ等の記録メディアに出力を行う場合には、メディアドライブ５３にセットされたＣＤ等に画像データＰ2の書込みが行われる。
ここで、上記の処理の流れの中で、図３（ｂ）の画面で「ぶれ補正」を選択した場合に行われる、本発明によるぶれ方向判定処理と後続するぶれ補正処理の詳細について以下に説明する。図４は、このぶれ方向判定およびぶれ補正処理の詳細を表すブロック図である。図に示したように、画像Ｐ1中の顔部分を検出する顔検出部３１と、異なるぶれ条件下における人間の顔部分が表された複数のサンプル画像に基づいてＡＡＭ（前記の参考文献１参照）の手法によって生成された数学モデルＭに、検出された顔部分Ｐ1fを適応させることによって、顔部分Ｐ1fにおけるぶれ方向を表す主成分に対する重みづけ係数λd1, λd2, λd3, ・・・, λdJを取得するパラメータ取得部３２と、取得された重みづけ係数に基づいてぶれ方向Ｄを判定するぶれ方向判定部３３と、ぶれ方向Ｄに垂直なエッジ成分Ｅを画像Ｐ1から検出するエッジ検出部３４と、エッジ成分Ｅに基づいてぶれ幅Ｗを求めるぶれ幅取得部３５と、ぶれ方向Ｄとエッジ幅Ｗとに基づいて入力画像Ｐ1のぶれを補正するぶれ補正部３６とによって、このぶれ方向判定およびぶれ補正処理が実現される。なお、これらの処理の制御は演算・制御装置５０にインストールされたプログラムによって行われる。
ここで、数学モデルＭは、図５のフローチャートに基づいて生成されたものであり、上記のプログラムとともに予めインストールされている。以下では、この数学モデルＭの生成過程について説明する。
まず、ぶれの方向と大きさが異なる複数の顔画像（サンプル画像）の各々に対して、図６に示すように、顔形状を表す特徴点を設定する（ステップ#1）。ここでは、特徴点の数は１２２箇所とする（ただし、図６では簡潔に表現するため６０箇所しか表していない）。各特徴点は、例えば、１番目の特徴点は左目の左端、３８番目の特徴点は眉の間の中央というように、顔のどの部位を示すものであるかが予め定められている。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定するようにしてもよいし、自動的に設定後、必要に応じて手作業で修正するようにしてもよい。
次に、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する（ステップ#2)。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。
さらに、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う（ステップ#3)。その結果、任意の顔形状は次式（１）によって近似することができる。
Figure 2007096405
ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ1,ｙ1,・・・,ｘ122，ｙ122）であり、Ｓ0は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐiは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂiは各固有ベクトルｐiに対する重みづけ係数を表す。図７は、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ1、ｐ2に対する重みづけ係数ｂ1、ｂ2の値を変化させた場合の顔形状の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔形状を上式（１）で表した場合における重みづけ係数ｂ1、ｂ2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔形状の中央のものは平均値の場合である。この例では、主成分分析の結果、第１主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数ｂ1を変化させることによって、細長い顔（-3sd）から丸顔（+3sd）まで顔形状が変化することがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ2を変化させることによって、口が開いた状態で顎の長い顔（-3sd）から口が閉じられた状態で顎が短い顔（+3sd）まで顔の形状が変化することがわかる。なお、ｉの値が小さいほど、形状に対する説明力が高い、すなわち、顔形状への寄与が大きいことを意味する。
次に、各サンプル画像をステップ#2で得られた平均顔形状に変換（ワーピング）する（ステップ#4）。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出し、そのシフト量に基づいて、式（２）から（５）の２次元５次多項式により各サンプル画像の画素毎の平均顔形状へのシフト量を算出し、各サンプル画像を画素毎に平均顔形状へワーピングする。
Figure 2007096405
ここで、ｘ，ｙは各サンプル画像中の各特徴点の座標、ｘ′，ｙ′はワーピングされる平均顔形状上の座標、Δｘ，Δｙは平均形状へのシフト量、ｎは次数、ａij，ｂijは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。このとき、ワーピング後の座標が整数ではなく小数点以下を含む位置に移動する画素については、４近傍から１次近似で画素値を求める。つまり、ワーピング後の座標を囲む４つの画素に対して、ワーピング後の座標から各画素の座標までの距離に比例して画素値をそれぞれ分配するようにする。図８は、２つのサンプル画像について、各々の画像中の顔形状を平均顔形状に変換した状態を表したものである。
さらに、平均顔形状に変換後のサンプル画像毎の各画素の輝度を変数として主成分分析を行う（ステップ#5)。その結果、任意の顔画像の平均顔形状下での輝度は次式（６）によって近似することができる。
Figure 2007096405
ここで、Ａは平均顔形状下での各画素の輝度を並べて表現される輝度ベクトル（ａ1,・・・,ａm）（ａは輝度、１からｍは各画素を識別する添え字、ｍは平均顔形状での総画素数）であり、また、Ａ0は平均顔形状における各サンプル画像の画素毎の輝度の平均値を並べて表現される平均顔輝度ベクトル、ｑiは主成分分析によって得られた顔輝度についての第ｉ主成分を表す固有ベクトル、λiは各固有ベクトルｑiに対する重みづけ係数を表す。なお、主成分の順位ｉの値が小さいほど、輝度に対する説明力が高い、すなわち、輝度への寄与が大きいことを意味する。
図９は、主成分分析によって得られた主成分のうち第ｉ1、第ｉ2の主成分を表す固有ベクトルｑi1、ｑi2に対する重みづけ係数λi1、λi2の値を変化させた場合の顔の画素値の変化の様子の一例を模式的に表したものである。変化の幅は、サンプル画像の各々の顔の画素値を上式（６）で表した場合における重みづけ係数λi1、λi2の値の標準偏差sdに基づいて、-3sdから+3sdまでの間であり、各主成分についての３つの顔画像の中央のものは平均値の場合である。この例では、主成分分析の結果、第ｉ1主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λi1を変化させることによって、ヒゲの濃い顔（-3sd）からヒゲのない顔（+3sd）まで顔輝度が変化することがわかる。また、本実施形態では、サンプル画像として、ぶれの方向や大きさの異なる複数の顔画像を用いているので、第ｉ2主成分としてはぶれに寄与する成分が抽出されており、重みづけ係数λi2を変化させることによって、左右方向のぶれの大きさが変化することがわかる。同様にして、他の方向のぶれに寄与する成分は、別の主成分として抽出される。なお、各主成分がどのような要素に寄与しているかは人間の解釈によって決定される。さらに、ぶれ方向は上記のように複数の主成分によって表現されていてもよいし、１つの主成分によって表現されていてもよい。
以上のステップ#1から#5までの処理によって、顔の数学モデルＭが生成される。すなわち、この数学モデルＭは、顔形状を表す複数の固有ベクトルｐiと、平均顔形状下での顔輝度を表す固有ベクトルｑiによって表現されるものであり、各固有ベクトルの合計数が、顔画像を形成する画素数よりも大幅に少ない、次元圧縮されたものとなっている。なお、上記参考文献１記載の実施例では、約10,000画素により形成される顔画像に対して122の特徴点を設定して上記の処理を行うことによって、顔形状についての23の固有ベクトルと顔輝度についての114の固有ベクトルで表される顔画像の数学モデルが生成され、各固有ベクトルに対する重みづけ係数を変化させることによって、９０％以上の顔形状や輝度のバリエーションを表現できることが示されている。
次に、この数学モデルＭを利用したＡＡＭの手法に基づくぶれ方向判定およびぶれ補正処理の流れについて、図４を参照しながら説明する。
まず、顔検出部３１が、画像データＰ1を読み込み、画像Ｐ1中の顔部分Ｐ1fを検出する。具体的には、特開２００５−１０８１９５号公報（参考文献２）に記載されているように、画像Ｐ１の各画素におけるエッジの向きと大きさを表す勾配ベクトルの向きを表す第１の特徴量を、複数の第１の識別器（後述）に入力することによって画像Ｐ１中に顔候補領域が存在するかどうかを判定し、さらに、顔候補領域が存在する場合には、その領域を抽出し、抽出された顔候補領域の各画素における勾配ベクトルの大きさを正規化し、正規化後の勾配ベクトルの大きさと向きを表す第２の特徴量を、第２の識別器（後述）に入力することによって、抽出された顔候補領域が真の顔領域であるかどうかを判定し、真の顔領域であれば、その領域を顔部分Ｐ１fとして検出することが考えられる。ここで、第１／第２の識別器は、学習用サンプルとなる顔であることがわかっている複数の画像と顔でないことがわかっている複数の画像の各々について算出された第１／第２の特徴量を入力とする、AdaBoost等のマシンラーニングの手法を用いた学習処理によって各々得られたものである。
なお、顔部分Ｐ１fの検出方法としては、特表２００４−５２７８６３号公報（参考文献３）に記載されているような固有顔表現と画像自体との相関スコアを用いる方法や、知識ベース、特徴抽出、肌色検出，テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の方法を用いることができる。また、画像Ｐ1がディスプレイ５５に表示された際に、マウス５７やキーボード５６の操作により、手作業で顔形状Ｐ1fを指定するようにしてもよいし、自動検出の結果を手作業で修正するようにしてもよい。
次に、パラメータ取得部３２は、顔部分Ｐ1fを数学モデルＭに適応させる処理を行う。具体的には、上記式（１）（６）の上位の主成分の固有ベクトルｐi、ｑiに対する重みづけ係数ｂi、λiから順に係数の値を変化させながら、上記式（１）（６）に基づいて画像を再構成し、再構成された画像と顔部分Ｐ1fとの差異が最小となる時の重みづけ係数ｂi、λiを求める（詳細は、参考文献３参照）。ここでは、求められた重みづけ係数のうち、各ぶれ方向を表す複数の主成分に対応するものをλd1, λd2, λd3, ・・・, λdJとする。なお、重みづけ係数ｂi、λiの値は、モデル生成時のサンプル画像を上記（１）（６）で表したときのｂi、λiの分布の標準偏差sdに基づき、例えば-3sdから+3sdまでの範囲の値のみを許容し、その範囲を超える場合には、上記の分布における平均値を設定するようにすることが好ましい。これにより、モデルの誤適応を回避することができる。
ぶれ方向判定部３３は、取得された重みづけ係数λd1, λd2, λd3,・・・, λdJに基づいてぶれ方向Ｄを判定する。具体的には、各ぶれ方向を表す単位方向ベクトルを、各単位方向ベクトルに対応した重みづけ係数λd1, λd2, λd3,・・・, λdJの絶対値で重みづけて合成することによって、顔部分Ｐ1fにおけるぶれ方向を表す方向ベクトルとし、このベクトルの方向をぶれ方向Ｄとすることが考えられる。または、予め実験的、統計的に求めておいた重みづけ係数λd1, λd2, λd3,・・・, λdJの値の組合せとぶれ方向Ｄとの関係を定義した参照テーブルを、取得された重みづけ係数λd1, λd2, λd3,・・・, λdJに基づいて参照することによってぶれ方向Ｄを求めるようにしてもよい。
エッジ検出部３４は、空間一次微分等を用いたぶれ方向Ｄに垂直なエッジを検出するオペレータＥi（iはエッジの方向を識別する添え字、i=1,2,・・・）による方向依存型のエッジ検出処理により、ぶれ方向Ｄに垂直な方向におけるエッジ成分Ｅを検出する。
ぶれ取得部３５は、エッジ成分Ｅの幅の平均値をぶれ幅Ｗとして求める。
ぶれ補正部３６は、まず、ぶれ幅Ｗに基づいて参照テーブルＴWを参照し、ぶれ幅Ｗの大きさに応じたエッジの強調度合を表す強調係数αj（jは個々の強調係数を識別する添え字、j=1,2,・・・）を取得する。参照テーブルＴWは、実験的、統計的データをもとに、ぶれ幅Ｗと強調係数αjの対応づけを定義したものである。
さらに、ぶれ補正部３６は、エッジ検出部３４で用いた、オペレータＥiを再度用い、オペレータＥiと強調係数αjに基づいて、入力画像データＰ1に対してぶれ方向に垂直な方向のエッジを強調する選択的鮮鋭化処理を行い、出力画像データＰ2を出力する。具体的には、次式（７）に示す変換処理を行う。
Figure 2007096405
ここで、Ｐ2（ｘ，ｙ）は出力画像、Ｐ1（ｘ，ｙ）は入力画像、Ｌ（ｘ，ｙ）は入力画像Ｐ1のラプラシアン画像を表す。
以上のように、本発明の実施形態となるぶれ方向判定およびぶれ補正処理によれば、パラメータ取得部３２が、顔検出部３１によって検出された画像Ｐ1中の顔部分Ｐ1fを、異なるぶれ条件下における人間の顔部分が表された複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させることによって、顔部分Ｐ1fにおけるぶれ方向を表す主成分に対する重みづけ係数λd1, λd2, λd3,・・・, λdJを取得し、ぶれ方向判定部３３が、重みづけ係数λd1, λd2, λd3,・・・, λdJに基づいてぶれ方向Ｄを判定し、ぶれ幅取得部３５が、エッジ検出部３４によって検出された、ぶれ方向Ｄに垂直なエッジ成分Ｅに基づいてぶれ幅Ｗを求め、ぶれ補正部３６が、ぶれ方向Ｄとぶれ幅Ｗに基づいて入力画像Ｐ1のぶれを補正する。したがって、加速度センサのような特殊なハードウェアを用いずに、高精度な手ぶれ等のぶれの検出・補正をすることができ、より好ましい画像が得られる。
上記の実施形態において、ぶれ方向判定部３３によるぶれ方向Ｄの明示的な判定を行わずに、エッジ検出部３４が、予め実験的、統計的に求めておいた重みづけ係数λd1, λd2, λd3,・・・, λdJの値の組合せとオペレータＥiとの関係を定義した参照テーブルを、取得された重みづけ係数λd1, λd2, λd3,・・・, λdJに基づいて参照することによってオペレータＥiを求めるようにしてもよい。この場合、このテーブル参照によって、ぶれ方向に垂直なエッジを検出するオペレータＥiを求めているので、ぶれ方向Ｄを暗示的に判定したことになる。
上記の実施形態において、エッジ検出部３４は、顔検出部３１において第１の特徴量を求める際に算出した画像Ｐ1の各画素におけるエッジの向きと大きさのうち、ぶれ方向Ｄに垂直な方向におけるエッジの向きのものを抽出するようにしてもよい。これにより、エッジ検出処理の重複が回避され、処理の効率化が図られる。
上記の実施形態では、重みづけ係数λd1, λd2, λd3,・・・, λdJはぶれ方向Ｄのみに寄与するものとして説明したが、これらの重みづけ係数が各々の対応する方向におけるぶれ幅にも寄与する場合、例えば、重みづけ係数の絶対値が大きくなるほど、ぶれ幅の大きくなる場合等には、エッジ検出部３４による処理を行わずに、重みづけ係数からぶれ幅Ｗを求めることも可能になり、構成の単純化、処理の効率化が図られる。
具体的には、図１０のようなブロック図となる。図に示したように、パラメータ取得部３２によって取得された重みづけ係数λd1, λd2, λd3,・・・, λdJに基づいて、手ぶれ補正部３３’は、参照テーブルＴを参照して、ぶれの方向に垂直なエッジを検出するオペレータＥiとぶれの大きさに応じたエッジの強調度合を表す強調係数αjを取得する。図１１は、参照テーブルＴの構成と値の例を示したものである。図に示すように、重みづけ係数λd1, λd2, λd3,・・・, λdJの各値に対してオペレータＥiと強調係数αjとが対応づけられている。この対応づけは、予め実験的、統計的に求めておいたものである。なお、ぶれ補正部３３’は、このテーブル参照によって、ぶれ方向に垂直なエッジを検出するオペレータＥiを求めているので、ぶれ方向Ｄを暗示的に判定したことになる。
なお、テーブル参照を行う前に、次式（８）のように、各重みづけ係数の線形結合を計算することによって合成パラメータλDを求めるようにしてもよい（βiは、重みづけ係数λiに対応する主成分のぶれ方向と幅に対する寄与度を表す係数）。
Figure 2007096405
この場合、参照テーブルＴは、合成パラメータλDとオペレータＥiと強調係数αjとの関係を対応づければよくなるので、設定内容の簡略化が図られる。
また、各重みづけ係数λd1, λd2, λd3,・・・, λdJを入力として、オペレータＥiと強調係数αjを出力する関数を定義し、その関数に基づいてオペレータＥiと強調係数αjを求めるようにしてもよい。
上記の実施形態では、ぶれ補正処理として、公知の選択的鮮鋭化処理を画像Ｐ1全体に適用しているが、顔部分Ｐ1fについては、重みづけ係数λd1, λd2, λd3,・・・, λdJの値を、ぶれが生じていない状態に相当する値（例えば、0）に変更することによって、ぶれ補正を行うようにしてもよい。
なお、上記の実施形態では、数学モデルＭが１つだけ存在するようにしていたが、人種別、年齢別、性別等の属性別に複数の数学モデルＭi（i=1,2,・・・）を生成しておいてもよい。図１２は、この場合のぶれ補正処理の詳細を表すブロック図である。図に示したように、画像Ｐ1に基づいて、画像中の被写体の属性情報ＡKを取得する属性取得部３７と、取得した属性情報ＡKに基づいて、その属性を有する被写体を表すサンプル画像のみから生成された数学モデルＭKを選択するモデル選択部３８とを有している点で、上記の実施形態（図４）とは異なる。
ここで、複数の数学モデルＭiは、例えば、同じ人種、年代、性別等を有する被写体表すサンプル画像のみから前述の方法（図５参照）に基づいて各々生成されたものであり、サンプル画像における共通の属性を表す属性情報Ａiと関連づけられて記憶されている。
属性取得部３７は、画像Ｐ1に対する公知の認識処理（例えば、特開平11-175724号公報記載）を行うことによって、被写体の属性を判定し、属性情報ＡKを取得してもよいし、撮影時に被写体の属性を画像データＰ1の付帯情報としてヘッダ等に記録しておき、記録された情報を取得するようにしてもよい。また、付帯情報に基づいて被写体の属性を推定するようにしてもよい。例えば、撮影場所のＧＰＳ情報があれば、そのＧＰＳ情報に対応する国や地域を特定することができるので、撮影された被写体の人種をある程度推定することができることに着目し、ＧＰＳ情報と人種情報を関連づける参照テーブルを予め用意しておき、撮影時にＧＰＳ情報を取得して画像データＰ1のヘッダ領域に記録するデジタルカメラ（例えば、特開2004-153428号公報記載）で得られた画像データＰ1を入力として、画像データＰ1のヘッダ領域に記録されているＧＰＳ情報を取得し、取得したＧＰＳ情報に基づいて前記の参照テーブルを参照し、そのＧＰＳ情報に関連づけられた人種情報を被写体の人種として推定することが考えられる。
モデル選択部３８は、属性取得部３７によって得られた属性情報ＡKと関連づけられた数学モデルＭKを取得し、パラメータ取得部３２は、画像Ｐ1の顔部分Ｐ1fを数学モデルＭKに適応させる。
このように、複数の属性に応じた数学モデルＭiを予め用意しておき、モデル選択部３８が、属性取得部３７で取得した属性ＡKと関連づけられた数学モデルＭKを選択し、パラメータ取得部３２が、選択された数学モデルＭKに顔形状Ｐ1fを適応させるようにした場合には、数学モデルＭKには属性ＡKの違いに起因する顔形状や輝度のバリエーションを説明する固有ベクトルは存在しないので、顔形状や輝度を決定する他の要因を表す固有ベクトルのみに基づいて、顔形状Ｐ1fを表現することが可能になり、処理精度が向上し、より高品質の画像が得られる。
なお、処理精度の向上の観点からは、属性別の数学モデルをさらに特化させ、被写体の個人別の数学モデルを構築しておくことが好ましい。この場合には、画像Ｐ1と個人を特定する情報とを関連づけておく必要がある。
また、上記の実施形態では、数学モデルは予めデジタル写真プリンタにインストールされているものとしているが、人種別の数学モデルを予め準備しておき、そのプリンタの出荷先の国や地域によって、インストールする数学モデルを変えることも処理精度の向上の観点からは好ましい。
さらに、この数学モデルを生成する機能をデジタル写真プリンタに実装するようにしてもよい。具体的には、図５のフローチャートに基づいて説明した処理を行わせるプログラムを演算・制御装置５０にインストールしておけばよい。また、出荷時にはデフォルトの数学モデルをインストールしておき、そのデジタル写真プリンタへの入力画像を用いて、その数学モデルをカスタマイズ（変更）できるようにしたり、デフォルトの数学モデルとは異なる新たなモデルを生成するようにしたりすることも考えられる。これは、前記のように個人別のモデルを生成する場合に特に有効である。
また、上記の実施形態では、顔形状と輝度についての別個の重みづけ係数ｂi、λiによって、個別の顔画像を表現していたが、顔形状と輝度のバリエーションには相関性があることから、重みづけ係数ｂi、λiを結合して得られるベクトル（ｂ1,ｂ2,・・・,ｂi,・・・,λ1,λ2,・・・,λi,・・・）に対してさらに主成分分析を行うことにより、次式（９）（１０）に示したように、顔形状と輝度の両方を制御する新しいアピアランスパラメータｃを得ることができる。
Figure 2007096405
ここで、アピアランスパラメータｃとベクトルＱSによって平均顔形状からの形状の変動分が表現され、アピアランスパラメータｃとベクトルＱAによって平均顔輝度からの輝度の変動分要素が表現される。
このモデルを用いた場合には、パラメータ取得部３２は、アピアランスパラメータｃの値を変化させながら、上記式（１０）に基づいて平均顔形状下での顔輝度を求め、さらに、上記式（９）に基づいて平均顔形状からの変換を行うことによって、顔画像を再構成し、再構成された画像と顔部分Ｐ1fとの差異が最小となる時のアピアランスパラメータｃを求めることになる。
本発明の他の実施形態としては、上記のぶれ補正処理をデジタルカメラに実装することが考えられる。図１３は、このようなデジタルカメラの構成を模式的に表したものである。図に示すように、このデジタルカメラは、レンズ、絞り、シャッター、ＣＣＤ等からなり、被写体の撮像を行う撮像部７１、撮像部７１のＣＣＤに蓄積された電荷によるアナログ信号をデジタル化して、デジタル画像データＰ0を得るＡ／Ｄ変換部７２、画像データＰ0等に対して各種画像処理を行う画像処理部７３、メモリカードに記録する画像データの圧縮処理やメモリカードから読み込んだ圧縮形式の画像データに対する伸長処理を行う圧縮／伸長部７４、ストロボ等からなり、ストロボ発光を行うストロボ部７５、各種操作ボタン等からなり、撮影条件や画像処理条件等の設定を行う操作部７６、画像データが記録されるメモリカードとのインターフェースとなるメディア記録部７７、液晶ディスプレイ等からなり、スルー画や撮影された画像、各種設定メニュー等を表示する表示部７８、前記各部による処理の制御を行う制御部７０、制御プログラムや画像データ等を記憶する内部メモリ７９を有している。
ここで、図２の画像入力手段１は撮像部７１とＡ／Ｄ変換部７２、画像補正手段２は画像処理部７３、画像加工手段３は画像処理部７３と操作部７６と表示部７８、画像出力手段４はメディア記録部７７によって、制御部７０による制御の下で内部メモリ７９も使用しつつ、各々の機能が実現される。
次に、このデジタルカメラの操作と処理の流れについて説明する。
まず、撮影者によるシャッターの全押し操作によって、撮像部７１がレンズに入射した被写体光をＣＣＤの光電面に結像させ、光電変換の後、アナログ画像信号を出力し、Ａ／Ｄ変換部７２が、出力されたアナログ画像信号をデジタル画像信号に変換し、デジタル画像データＰ0として出力することによって、画像入力手段１として機能する。
次に、画像処理部７３が、ホワイトバランス調整処理、階調補正処理、濃度補正処理、色補正処理、シャープネス処理等を行い、処理済みの画像データＰ1を出力することによって、画像補正手段２として機能する。
ここで、画像Ｐ1が表示部７８により液晶ディスプレイに表示される。表示レイアウトとしては、図３（ａ）に示したサムネイル形式による複数の画像の表示が考えられる。撮影者は、操作部７６の操作ボタンの操作により、加工対象の画像を選択して拡大表示し、メニュー選択によりさらなる画像の手動補正や加工を行う。ここで、「ぶれ補正処理」を選択した場合には、制御部７０が、内部メモリ７９に記憶されているぶれ方向判定およびぶれ補正用プログラムを起動し、内部メモリ７９に予め記憶されている数学モデルＭを用いた前述のぶれ方向判定およびぶれ補正処理（図４等参照）を画像処理部７３に行わせ、処理済みの画像データＰ２を出力する。以上のようにして、画像加工手段３の機能が実現される。
そして、圧縮／伸長部７４が画像データＰ2をＪＰＥＧなどの圧縮形式に基づく圧縮処理を行い、メディア記録部７７経由でこのデジタルカメラに装填されたメモリカードに圧縮後の画像データを書き込むことによって、画像出力手段４の機能が実現される。
このように、本発明のぶれ補正処理をデジタルカメラの画像処理機能として実装することによって、上記のデジタル写真プリンタの場合と同様の効果を得ることができる。
なお、手動補正や加工処理は、メモリカードに一旦記録された画像に対しても行えるようにしてもよい。具体的には、メモリカードに記憶されている画像データを圧縮／伸長部７４が伸長（解凍）した後、伸長済みの画像データによる画像を表示部７８の液晶ディスプレイに表示し、撮影者が、前記と同様の操作によって所望の画像処理を選択し、画像処理部７３が、選択された画像処理を行う。
また、図１２等で説明した被写体の属性別の数学モデルをデジタルカメラに実装してもよいし、図５で示した数学モデルの生成処理を実装してもよい。ここで、個々のデジタルカメラによる撮影の被写体となる人物はある程度限定されることが多いことから、そのデジタルカメラで主に被写体となる人物の顔についての個人別の数学モデルを生成するようにすれば、顔の個人差による変動のないモデルを生成できるため、その人物の顔を含む画像に対するぶれ補正処理をきわめて高い精度で行うことが可能になる。
上記の実施形態のほか、本発明のぶれ補正処理をパソコン等に行わせるプログラムを、画像編集ソフトウェアに組み込むことも考えられる。これにより、ユーザは、このソフトウェアが記憶されているＣＤ−ＲＯＭ等の記憶媒体からパソコン等にインストールしたり、インターネット上の所定のサイトからこのソフトウェアをダウンロードしてインストールしたりすることによって、自分のパソコンでの画像の編集加工の１パターンとして、本発明のぶれ補正処理を利用することが可能になる。
本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に示した図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラの機能と処理の流れを示すブロック図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラのディスプレイに表示される画面の一例を示す図 本発明の一態様となるぶれ方向判定処理およびぶれ補正処理の詳細を表すブロック図 本発明における顔画像の数学モデルを生成する処理の流れを表すフローチャート 顔の特徴点の設定例を表す図 顔形状に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔形状の変化の様子を模式的に表した図 サンプル画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度の様子を表した図 顔輝度に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔輝度の変化の様子を模式的に表した図 本発明の他の一態様となるぶれ方向判定処理およびぶれ補正処理の詳細を表すブロック図 ぶれ補正処理で用いられる参照テーブルの構成と値の一例を示す図 ぶれ補正処理の発展的態様を表すブロック図 本発明の他の実施形態となるデジタルカメラの構成を模式的に示した図
符号の説明
１ 画像入力手段
２ 画像補正手段
３ 画像加工手段
４ 画像出力手段
３１ 顔検出部
３２ パラメータ取得部
３３ ぶれ方向判定部
３４ エッジ検出部
３５ ぶれ幅取得部
３６ ぶれ補正部
３７ 属性取得部
３８ モデル選択部
５１ フィルムスキャナ
５２ フラットヘッドスキャナ
５３ メディアドライブ
５４ ネットワークアダプタ
５５ ディスプレイ
５６ キーボード
５７ マウス
５８ ハードディスク
５９ 写真プリント出力機
７０ 制御部
７１ 撮像部
７２ Ａ／Ｄ変換部
７３ 画像処理部
７４ 圧縮／伸長部
７５ ストロボ部
７６ 操作部
７７ メディア記録部
７８ 表示部
７９ 内部メモリ

Claims (10)

  1. 異なるぶれ条件下における所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、ぶれ方向を表す１以上の統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物における前記ぶれ方向を表す統計的特徴量に対する重みづけパラメータを取得し、
    取得された前記重みづけパラメータの値に基づいて、前記入力画像に表れたぶれの方向を判定することを特徴とするぶれ方向の判定方法。
  2. 異なるぶれ条件下における所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、ぶれ方向を表す１以上の統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物における前記ぶれ方向を表す統計的特徴量に対する重みづけパラメータを取得するパラメータ取得手段と、
    該パラメータ取得手段によって取得された前記重みづけパラメータの値に基づいて、前記入力画像に表れたぶれ方向を判定するぶれ方向判定手段とを備えたことを特徴とするぶれ方向判定装置。
  3. 前記ぶれ方向判定手段によって判定されたぶれ方向におけるぶれの幅を求めるぶれ幅取得手段をさらに備えたことを特徴とする請求項２記載のぶれ方向判定装置。
  4. 前記ぶれ幅取得手段が、前記ぶれ方向を表す統計的特徴量に対する重みづけパラメータの値に基づいて、ぶれ幅を求めるものであることを特徴とする請求項３記載のぶれ方向判定装置。
  5. 前記ぶれ方向判定手段によって判定されたぶれ方向と前記ぶれ幅取得手段によって取得されたぶれ幅とに基づいて、前記入力画像に表れたぶれを補正するぶれ補正手段をさらに備えたことを特徴とする請求項３または４記載のぶれ方向判定装置。
  6. 前記ぶれ補正手段が、前記ぶれ方向を表す統計的特徴量に対する重みづけパラメータの値を変更することによって、前記入力画像中の前記構造物のぶれを補正するものであることを特徴とする請求項５記載のぶれ方向判定装置。
  7. 前記入力画像中の前記構造物を検出する検出手段をさらに備え、
    前記パラメータ取得手段が、前記モデルに、検出された前記構造物を適応させることによって、前記重みづけパラメータを取得するものであることを特徴とする第２項から第６項のいずれか１項記載のぶれ方向判定装置。
  8. 前記入力画像中の前記構造物の属性を取得し、前記所定の構造物の属性毎に該構造物が表現された複数の前記モデルから、取得された属性に応じた前記モデルを選択する選択手段をさらに備え、
    前記パラメータ取得手段が、選択されたモデルに前記構造物を適応させることによって、前記重みづけパラメータを取得するものであることを特徴とする第２項から第７項のいずれか１項記載のぶれ方向判定装置。
  9. 前記所定の構造物が人間の顔であることを特徴とする第２項から第８項のいずれか１項記載のぶれ方向判定装置。
  10. コンピュータに、
    異なるぶれ条件下における所定の構造物が表された複数の画像に対して所定の統計処理を行うことによって得られた、ぶれ方向を表す１以上の統計的特徴量を含む１以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、入力画像中の前記構造物を適応させることによって、該入力画像中の前記構造物における前記ぶれ方向を表す統計的特徴量に対する重みづけパラメータを取得するパラメータ取得手段と、
    該パラメータ取得手段によって取得された前記重みづけパラメータの値に基づいて、前記入力画像に表れたぶれの方向を判定するぶれ方向判定手段として機能させることを特徴とするぶれ方向判定プログラム。
JP2005279389A 2005-09-27 2005-09-27 ぶれ方向判定方法および装置ならびにプログラム Withdrawn JP2007096405A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005279389A JP2007096405A (ja) 2005-09-27 2005-09-27 ぶれ方向判定方法および装置ならびにプログラム
US11/525,073 US7848588B2 (en) 2005-09-27 2006-09-22 Method and apparatus for judging direction of blur and computer-readable recording medium storing a program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005279389A JP2007096405A (ja) 2005-09-27 2005-09-27 ぶれ方向判定方法および装置ならびにプログラム

Publications (1)

Publication Number Publication Date
JP2007096405A true JP2007096405A (ja) 2007-04-12

Family

ID=37894045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005279389A Withdrawn JP2007096405A (ja) 2005-09-27 2005-09-27 ぶれ方向判定方法および装置ならびにプログラム

Country Status (2)

Country Link
US (1) US7848588B2 (ja)
JP (1) JP2007096405A (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720302B2 (en) * 2003-09-25 2010-05-18 Fujifilm Corporation Method, apparatus and program for image processing
WO2005086089A1 (ja) * 2004-03-03 2005-09-15 Nec Corporation 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム
US7755678B2 (en) * 2005-10-28 2010-07-13 Hewlett-Packard Development Company, L.P. Programmable anti-aliasing systems and methods for cameras
JP4182990B2 (ja) * 2006-06-02 2008-11-19 セイコーエプソン株式会社 印刷装置、画像がぼやけているか否かを決定する方法、およびコンピュータプログラム
JP4193881B2 (ja) * 2006-07-04 2008-12-10 セイコーエプソン株式会社 画像処理装置およびぼやけ検出方法
JP4241814B2 (ja) * 2006-12-06 2009-03-18 三洋電機株式会社 画像補正装置及び方法並びに電子機器
US7903166B2 (en) * 2007-02-21 2011-03-08 Sharp Laboratories Of America, Inc. Methods and systems for display viewer motion compensation based on user image data
US20090079862A1 (en) * 2007-09-25 2009-03-26 Micron Technology, Inc. Method and apparatus providing imaging auto-focus utilizing absolute blur value
US8532344B2 (en) * 2008-01-09 2013-09-10 International Business Machines Corporation Methods and apparatus for generation of cancelable face template
JP2010186288A (ja) * 2009-02-12 2010-08-26 Seiko Epson Corp 顔画像の所定のテクスチャー特徴量を変更する画像処理
US8411982B2 (en) * 2010-02-16 2013-04-02 Dialogic Corporation Universal blurriness measurement approach for digital imagery
US8805112B2 (en) 2010-05-06 2014-08-12 Nikon Corporation Image sharpness classification system
JP5725194B2 (ja) 2010-11-03 2015-05-27 株式会社ニコン 夜景画像ボケ検出システム
WO2013025220A1 (en) 2011-08-18 2013-02-21 Nikon Corporation Image sharpness classification system
US9124635B2 (en) * 2012-11-30 2015-09-01 Intel Corporation Verified sensor data processing
CN103325314B (zh) * 2013-06-18 2015-07-01 友达光电(厦门)有限公司 显示装置
CN108574794B (zh) * 2018-03-30 2021-01-22 京东方科技集团股份有限公司 图像处理方法、装置及显示设备、计算机可读存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5828769A (en) * 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding
US6470097B1 (en) * 1999-01-22 2002-10-22 Siemens Corporation Research, Inc. Total variational blind image restoration from image sequences
JP4389371B2 (ja) 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
JP4167390B2 (ja) * 2000-11-20 2008-10-15 日本電気株式会社 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
JP2002170112A (ja) * 2000-12-04 2002-06-14 Minolta Co Ltd 解像度変換プログラムを記録したコンピュータ読取可能な記録媒体、解像度変換装置および解像度変換方法
GB0112773D0 (en) * 2001-05-25 2001-07-18 Univ Manchester Object identification
JP4596222B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN1305006C (zh) * 2001-07-12 2007-03-14 杜莱布斯公司 向图象处理装置提供格式化信息的方法和系统
GB2389289B (en) * 2002-04-30 2005-09-14 Canon Kk Method and apparatus for generating models of individuals
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
JP4196274B2 (ja) * 2003-08-11 2008-12-17 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに記録媒体
US20060078162A1 (en) * 2004-10-08 2006-04-13 Dynapel, Systems, Inc. System and method for stabilized single moving camera object tracking
JP2007066227A (ja) * 2005-09-02 2007-03-15 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2007006182A (ja) * 2005-06-24 2007-01-11 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
JP2007094549A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP4767718B2 (ja) * 2006-02-24 2011-09-07 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
JP2007233247A (ja) * 2006-03-03 2007-09-13 Fujifilm Corp 焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置
US7616826B2 (en) * 2006-07-28 2009-11-10 Massachusetts Institute Of Technology Removing camera shake from a single photograph using statistics of a natural image

Also Published As

Publication number Publication date
US20070071346A1 (en) 2007-03-29
US7848588B2 (en) 2010-12-07

Similar Documents

Publication Publication Date Title
JP4799101B2 (ja) 画像処理方法および装置ならびにプログラム
JP4767718B2 (ja) 画像処理方法および装置ならびにプログラム
JP4795718B2 (ja) 画像処理装置および方法並びにプログラム
US7848588B2 (en) Method and apparatus for judging direction of blur and computer-readable recording medium storing a program therefor
US7751640B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
US8107764B2 (en) Image processing apparatus, image processing method, and image processing program
US20060280380A1 (en) Apparatus, method, and program for image processing
JP2007006182A (ja) 画像処理装置および方法並びにプログラム
US7565073B2 (en) Photography apparatus, photography method, and photography program for obtaining an image of a subject
JP4519708B2 (ja) 撮影装置および方法並びにプログラム
JP2006295303A (ja) 画像処理方法および装置ならびにプログラム
JP2002152492A (ja) 画像処理装置、方法及び記録媒体
JP2005086516A (ja) 撮像装置、印刷装置、画像処理装置およびプログラム
US20090231628A1 (en) Image Processing Apparatus, Image Processing Method, Computer Program for Image Processing
US20070014483A1 (en) Apparatus, method and program for image processing
JP3913604B2 (ja) 証明写真の作成方法
JP4672587B2 (ja) 画像出力方法および装置ならびにプログラム
JP2006350769A (ja) 画像処理装置および方法並びにプログラム
US20090231627A1 (en) Image Processing Apparatus, Image Processing Method, Computer Program for Image Processing
JP2007124112A (ja) 画像処理方法および装置ならびにプログラム
JP2003187257A (ja) 画像作成システム
JP2005006213A (ja) 画像処理装置およびその方法
US20090232402A1 (en) Image Processing Apparatus, Image Processing Method, and Computer Program for Image Processing
JP2008084236A (ja) 画像処理装置、画像処理方法及びプログラム
JP2004094680A (ja) 画像処理方法、画像処理装置、画像記録装置及び記録媒体

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081202