JP2006318103A - 画像処理装置および方法並びにプログラム - Google Patents

画像処理装置および方法並びにプログラム Download PDF

Info

Publication number
JP2006318103A
JP2006318103A JP2005138566A JP2005138566A JP2006318103A JP 2006318103 A JP2006318103 A JP 2006318103A JP 2005138566 A JP2005138566 A JP 2005138566A JP 2005138566 A JP2005138566 A JP 2005138566A JP 2006318103 A JP2006318103 A JP 2006318103A
Authority
JP
Japan
Prior art keywords
image
noise component
periodic noise
input image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005138566A
Other languages
English (en)
Other versions
JP2006318103A5 (ja
Inventor
Sukekazu Kameyama
祐和 亀山
Wataru Ito
渡 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2005138566A priority Critical patent/JP2006318103A/ja
Priority to US11/431,599 priority patent/US8107764B2/en
Publication of JP2006318103A publication Critical patent/JP2006318103A/ja
Publication of JP2006318103A5 publication Critical patent/JP2006318103A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7557Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]

Abstract

【課題】 画像から不要な周期的ノイズ成分のみを精度良く除去する。
【解決手段】 再構成部32が、顔検出部31によって検出された画像P0中の顔部分P0fを、人間の顔部分が表された周期的ノイズ成分を含まない複数のサンプル画像に基づいてAAMの手法によって生成された数学モデルMに適応させることによって、周期的ノイズ成分を含まない再構成画像P1fを生成する。顔部分P0fと再構成画像P1fとの差分により周期的ノイズ成分N0を抽出し、周期的ノイズ成分N0の周期を決定する。決定した周期のノイズ成分を画像P0から除去する。
【選択図】 図4

Description

本発明は、入力画像に含まれる周期的ノイズ成分を除去する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
写真画像を理想的な画質で再現するために、画像に対して、階調変換処理、濃度補正処理、およびシャープネス処理等の画像処理を施すことが行われている。また、とくにスキャナにより写真を読み取ることにより取得した画像には、スキャナの性能に起因する周期的なムラが含まれたり、網点を含む画像を読み取った場合には網点の部分にモアレが生じる場合がある。このような周期的ムラおよびモアレのような画像に含まれる周期的ノイズ成分は、画像に周波数処理を施すことにより除去することができる。
例えば、特許文献1には、グリッドを用いて撮影を行うことにより取得した放射線画像に生じる、グリッドに起因する周期的ノイズ成分を除去する手法が提案されている。この手法は、画像にウェーブレット変換を施し、グリッド成分を含む周波数帯域の信号成分を0にする処理を施した後に、逆ウェーブレット変換を行って画像を再構成するものである。
特開2001−273490号公報
しかしながら、画像に含まれる周期的ノイズ成分がランダムな周波数帯域に亘ると、周期的ノイズ成分が、周期的なムラやモアレであるのか、または被写体を表す周波数成分であるか判別ができない。このため、特許文献1の手法により周期的ノイズ成分を除去しようとすると、被写体を表す周波数成分を除去してしまうおそれがある。したがって、特許文献1に記載の手法を用いた場合、周期的ノイズ成分を画像から精度良く除去することができない。
本発明は上記事情に鑑みなされたものであり、画像から不要な周期的ノイズ成分のみを精度良く除去することを目的とするものである。
本発明による画像処理装置は、所定の構造物が表された、周期的ノイズ成分を含まない複数の画像に対して所定の統計処理を行うことによって得られた1以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、周期的ノイズ成分を含む入力画像中の前記構造物を適応させることによって、適応後の前記構造物を表す画像を再構成して前記構造物の再構成画像を取得する再構成手段と、
前記再構成画像と前記入力画像の前記所定の構造物との相対応する画素値の差分値を算出することにより、前記入力画像中の前記構造物における前記周期的ノイズ成分を抽出するノイズ成分抽出手段と、
該抽出された周期的ノイズ成分の周期を決定するノイズ周期決定手段と、
前記決定された周期のノイズ成分を前記入力画像から除去することによりノイズ成分除去画像を生成するノイズ除去手段とを備えたことを特徴とするものである。
本発明による画像処理方法は、所定の構造物が表された、周期的ノイズ成分を含まない複数の画像に対して所定の統計処理を行うことによって得られた1以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、周期的ノイズ成分を含む入力画像中の前記構造物を適応させることによって、適応後の前記構造物を表す画像を再構成して前記構造物の再構成画像を取得し、
前記再構成画像と前記入力画像の前記所定の構造物との相対応する画素値の差分値を算出することにより、前記入力画像中の前記構造物における前記周期的ノイズ成分を抽出し、
該抽出された周期的ノイズ成分の周期を決定し、
前記決定された周期のノイズ成分を前記入力画像から除去することによりノイズ成分除去画像を生成することを特徴とするものである。
さらに、本発明による画像処理プログラムは、コンピュータに上記の画像処理方法を実行させる(上記各手段として機能させる)ものである。
次に、本発明による画像処理装置、方法およびプログラムの詳細について説明する。
本発明による「(所定の)構造物を表現するモデル」の具体的実現手法としては、AAM(Active Appearance Models)の手法を利用することが考えられる。AAMは、モデルに基づいて画像の内容の解釈を試みるアプローチの1つであり、例えば、顔を解釈の対象とする場合、学習対象となる複数の画像中の顔部分の形状や、形状を正規化した後の輝度の情報に対して主成分分析を行うことによって顔の数学モデルを生成し、新たな入力画像中の顔部分を、数学モデルにおける各主成分と各主成分に対する重みづけパラメータで表現し、顔画像を再構成する手法である(T.F.クーツ(Cootes), G.J.エドワーズ(Edwards), C.J.テイラー(Taylor)、「動的見えモデル(Active Appearance Models)」、第5回計算機視覚欧州会議報(In Proc. 5th European Conference on Computer Vision)、ドイツ、シュプリンガー(Springer)、1998年、vol.2、p.p.484-498;以下、参考文献1とする)。
「周期的ノイズ成分」の具体例としては、網点画像をスキャナで読み取ることにより生じるモアレ、スキャナの性能に起因するムラ、静止グリッドを用いて撮影を行うことにより取得された画像に生じるモアレ等が挙げられる。
「所定の構造物」は、モデル化に適したもの、すなわち、その構造物の画像中における形状や色の変動が一定の範囲に収まるもの、とくに、統計処理を行うことによって形状や色についての説明力のより高い統計的特徴量が得られるものであることが好ましい。また、画像中の主題部分であることが好ましい。具体例としては人間の顔が挙げられる。
「所定の構造物が表された画像」は、所定の構造物を実際に撮影することによって得られた画像であってもよいし、撮影された画像に基づくシミュレーションによって生成された画像であってもよい。
「所定の統計処理」としては、所定の構造物を、その構造物を表す画素の数よりも少ない次元数の統計的特徴量に圧縮して表すことができる次元圧縮処理が好ましい。具体例としては主成分分析等の多変量解析手法が考えられる。また、「所定の統計処理」として主成分分析を行った場合、「統計的特徴量」とは、主成分分析によって得られる複数の主成分を意味する。
なお、上記の説明力の高低とは、所定の統計処理が主成分分析である場合を例にすると、上位の主成分ほど説明力が高く、下位主成分ほど説明力が低いという意味になる。
「入力画像中の(所定の)構造物」は、自動的に検出するようにしてもよいし、手動で検出するようにしてもよい。また、本発明は、入力画像中の前記構造物を検出する処理(手段)をさらに有していてもよいし、入力画像から構造物の部分を予め検出しておいてもよい。
また、本発明におけるモデルを所定の構造物の属性毎に複数準備しておき、入力画像中のその構造物の属性を表す情報を取得し、取得された属性に応じてモデルを選択する処理(手段)を付加し、選択されたモデルに入力画像中のその構造物を適応させることによって、重みづけパラメータを取得するようにしてもよい。
ここで、「属性」とは、例えば、所定の構造物が人間の顔の場合、性別や年齢、人種等が考えられる。また、個人を特定する情報であってもよい。この場合には、属性毎のモデルは個人毎のモデルを意味する。
この「属性」の具体的取得方法としては、画像に対する公知の認識処理(例えば、特開平11−175724号公報記載)や、GPS情報等の画像の付帯情報からの推定・取得が考えられる。
「その構造物を表現するモデルに、入力画像中のその構造物を適応させる」とは、入力画像中のこの構造物をモデルによって表現するための演算処理等を意味する。具体的には、上記のAAMの手法を用いた場合を例にすると、数学モデルにおける各主成分に対する重みづけパラメータの値を求めることを意味する。
本発明の画像処理方法および装置並びにプログラムによれば、周期的ノイズ成分を含まない複数の画像に対して所定の統計処理を行うことによって得られた1以上の統計的特徴量と、構造物の個別の特徴に応じて統計的特徴量に対する重みづけをする重みづけパラメータとによって、構造物を表現するモデルに、周期的ノイズ成分を含む入力画像中の構造物を適応させることによって、適応後の構造物を表す画像を再構成して再構成画像を取得する。この再構成画像は、構造物から所定の構造物の周波数成分を含まない周期的ノイズ成分が除去されたものとなっている。そして、再構成画像と入力画像との所定の構造物における相対応する画素値の差分を算出することにより、入力画像中の構造物における周期的ノイズ成分を抽出し、この周期的ノイズ成分の周期を決定する。このため、入力画像の周期的ノイズ成分がランダムな周波数帯域に亘る場合であって、周期的ノイズ成分を精度良く抽出して、周期的ノイズ成分の周期を精度良く決定することができる。したがって、決定された周期のノイズ成分を入力画像から除去することにより、不要な周期的ノイズ成分のみが精度良く除去された高画質のノイズ成分除去画像を取得することができる。
なお、この構造物を人間の顔とした場合には、顔が画像中の主題部分となっていることが多いため、その主題部分に最適化した周期的ノイズ成分の除去を行うことが可能になる。
また、入力画像中のその構造物を検出する処理(手段)を付加した場合には、その構造物の自動検出が可能になり、操作性が向上する。
また、本発明におけるモデルを所定の構造物の属性毎に複数備えるとともに、入力画像中のその構造物の属性を取得し、取得された属性に応じたモデルを選択する処理(手段)を付加し、選択されたモデルに入力画像中のその構造物を適応させることによって、重みづけパラメータを取得するようにした場合、入力画像中のその構造物を、より適切なモデルに適応させることが可能になるため、処理精度が向上する。
以下、図面を参照しつつ、本発明の実施の形態について説明する。
図1は、本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に表したものである。図に示したように、このデジタル写真プリンタは、フィルムスキャナ51、フラットヘッドスキャナ52、メディアドライブ53、ネットワークアダプタ54、ディスプレイ55、キーボード56、マウス57、ハードディスク58、および写真プリント出力機59が演算・制御装置50に接続された構成となっている。
演算・制御装置50は、CD−ROM等の記憶媒体からインストールされたプログラムの実行により、この装置内のCPUや主記憶装置、各種入出力インターフェースと連携して、画像の入力、補正、加工、出力のフローを制御したり、画像の補正や加工のための画像処理の演算を行ったりするものである。本発明による周期的ノイズ成分の除去処理はこの装置で行われる。
フィルムスキャナ51は、現像機(図示なし)によって現像済みのAPSネガフィルムや135ネガフィルムを光電的に読み取って、これらのネガフィルムに記録されている写真画像を表すデジタル画像データP0を取得するものである。
フラットヘッドスキャナ52は、Lサイズ写真プリント等のハードコピーに表された写真画像を光電的に読み取って、デジタル画像データP0を取得するものである。
メディアドライブ53は、メモリカードやCD、DVD等の記録媒体に記録された写真画像を表す画像データP0を取得するものである。また、これらの記録媒体に、出力対象の画像データP2を書き込むことも可能である。なお、このメモリカードには、例えば、デジタルカメラによって、撮影された画像の画像データが書き込まれている。また、CDやDVD等には、例えば、前回のプリント注文時に、フィルムスキャナによって読み取られた画像の画像データが書き込まれている。
ネットワークアダプタ54は、公知のネットワークフォトサービスシステムにおける注文受付機(図示なし)から画像データP0を取得するものである。この画像データP0は、ユーザからの写真プリントの注文に基づく画像データであり、ユーザのパソコンからインターネット経由で送信してきたものである。また、ラボ店の店頭に設置された写真注文受付機から送信されてきたものであってもよい。
ディスプレイ55は、このデジタル写真プリンタにおける画像の入力、補正、加工、出力のための操作画面を表示するものであり、操作内容を選択するためのメニューや処理対象の画像等が表示される。また、キーボード56やマウス57は、処理内容を指示するものである。
ハードディスク58には、このデジタル写真プリンタを制御するプログラムが記憶されている他、フィルムスキャナ51、フラットヘッドスキャナ52、メディアドライブ53、ネットワークアダプタ54において取得された画像データP0や、画像補正後の画像データP1、画像加工後の画像データ(出力対象の画像データ)P2も一時的に記憶される。
写真プリント出力機59は、出力対象の画像を表す画像データP2に基づいたレーザーによる印画紙への走査露光、現像、乾燥を行うとともに、プリント情報等の裏印字、印画紙のプリント単位での切断や注文単位でのソート等を行うものである。なお、写真プリントの方式は、レーザー露光熱現像転写方式等であってもよい。
図2は、このデジタル写真プリンタの機能と処理の流れを示すブロック図である。図に示したように、機能の観点からは、このデジタル写真プリンタは、写真プリント対象の画像の画像データP0を入力する画像入力手段1と、画像データP0を入力として、所定の画像処理条件に基づく画像処理を行って、画像データP0による画像(以下、画像データとその画像データによる画像を同じ符号で表す)の画質の自動補正を行う画像補正手段2と、自動補正後の画像データP1を入力として、操作者からの指示に基づいた画像処理を行う画像加工手段3と、加工済みの画像データP2を入力として、写真プリントの出力や記録メディアへの出力を行う画像出力手段4とから構成されている。
画像補正手段2では、階調補正、濃度補正、色補正、シャープネス補正、およびホワイトバランス調整等の処理が行われる他、本発明による周期的ノイズ成分の除去処理も行われる。また、画像加工手段3では、画像補正手段2による処理結果の手作業による修正や、トリミング、拡大・縮小、セピア化、白黒化、装飾フレームとの合成等の画像の加工が行われる。
このデジタル写真プリンタの操作とこのプリンタで行われる処理の流れは以下のようになる。
まず、画像入力手段1による画像データP0の入力が行われる。操作者は、現像済みのフィルムに記録された画像からのプリント等の出力を行う場合には、そのフィルムをフィルムスキャナ51にセットしておき、メモリカード等の記録メディアに記録された画像データからのプリント等の出力を行う場合には、その記録メディアをメディアドライブ53にセットしておく。一方、ディスプレイ55には、画像データの入力元を選択する画面が表示され、操作者はキーボード56やマウス57の操作によって、入力元の選択を行う。入力元としてフィルムが選択された場合には、フィルムスキャナ51は、セットされたフィルムを光電的に読み取り、デジタル変換することによって、生成された画像データP0を演算・制御装置50に送信する。写真プリント等のハードコピー原稿が選択された場合には、フラットヘッドスキャナ52は、セットされた写真プリント等のハードコピー原稿を光電的に読み取り、デジタル変換することによって、生成された画像データP0を演算・制御装置50に送信する。メモリカード等の記録メディアが選択された場合には、演算・制御装置50は、メディアドライブ53にセットされたメモリカード等の記録メディアに記憶されている画像データP0を読み込む。また、ネットワークフォトサービスシステムや店頭での写真受付注文機による注文の場合には、演算・制御装置50が、ネットワークアダプタ54経由で画像データP0を受信する。このようにして取得された画像データP0は、ハードディスク58に一時的に記憶される。
次に、画像補正手段2が、画像データP0による画像に対する自動画質補正処理を行う。具体的には、演算・制御装置50で実行される画像処理プログラムにより、予め、このデジタル写真プリンタに設定されているセットアップ条件に基づいて、公知の階調補正、濃度補正、色補正、シャープネス補正、およびホワイトバランス調整等の処理の他、本発明の周期的ノイズ成分の除去処理が行われ、補正後の画像データP1が出力される。出力された画像データP1は演算・制御装置50のメモリに格納される。なお、ハードディスク58に一時的に記憶するようにしてもよい。
その後、画像加工手段3は、補正後の画像P1のサムネイル画像を生成し、ディスプレイ55に表示させる。図3(a)は、ディスプレイ55に表示される画面の一例である。操作者が、表示されたサムネイル画像を確認し、画質の手動補正が必要なものや、画像の加工の注文があるものを、マウス57やキーボード56の操作によって選択すると(図3(a)では左上の画像DSCF0001を選択)、図3(b)に一例を示すように、選択されたサムネイル画像が拡大されてディスプレイ55に表示されるとともに、その画像に対する手動補正や加工の処理内容を選択するボタンが表示される。操作者は、表示されたボタンの中から所望のものをマウス57やキーボード56の操作によって選択し、必要に応じて、選択された処理内容のさらに詳細な設定等を行う。画像加工手段3は、選択された処理内容に応じた画像処理を行い、加工済みの画像データP2を出力する。出力された画像データP2は演算・制御装置50のメモリに格納される。なお、ハードディスク58に一時的に記憶するようにしてもよい。なお、以上の画像加工手段3による、ディスプレイ55への画面表示、マウス57やキーボード56による入力の受付、手動補正や加工の画像処理等は、演算・制御装置50で実行されているプログラムによって制御される。
最後に、画像出力手段4が、画像P2の出力を行う。ここでは、演算・制御装置50が、ディスプレイ55に出力先を選択する画面を表示させ、操作者は、マウス57やキーボード56の操作によって、所望の出力先を選択する。演算・制御装置50は、選択された出力先に対して画像データP2を送信する。写真プリント出力を行う場合には、画像データP2は写真プリント出力機59に送信され、画像P2が写真プリントとして出力される。CD等の記録メディアに出力を行う場合には、メディアドライブ53にセットされたCD等に画像データP2の書込みが行われる。
ここで、画像補正手段2によって行われる本発明による周期的ノイズ成分の除去処理の詳細について以下に説明する。図4は、周期的ノイズ成分の除去処理の詳細を表すブロック図である。図に示したように、画像P0中の顔部分P0fを検出する顔検出部31と、人間の顔部分が表された周期的ノイズ成分を含まない複数のサンプル画像に基づいてAAM(前記の参考文献1参照)の手法によって生成された数学モデルMに、検出された顔部分P0fを適応させ、適応後の顔部分を再構成して顔部分の再構成画像P1fを得る再構成部32と、顔部分P0fと再構成画像P1fとの相対応する画素値の差分を算出することにより、顔部分P0fにおける周期的ノイズ成分N0を抽出するノイズ成分抽出部33と、周期的ノイズ成分N0の周期を決定するノイズ周期決定部34と、決定された周期のノイズ成分を画像P0から除去して、ノイズ成分が除去された画像P1′を取得するノイズ除去部35とによって、この周期的ノイズ成分の除去処理が実現される。ここで、画像P1′はノイズ除去処理のみが行われた画像であり、画像P1は上述した階調補正、ホワイトバランス調整等の等のすべての処理が施された後の画像である。なお、これらの処理の制御は演算・制御装置50にインストールされたプログラムによって行われる。
この数学モデルMは、図5のフローチャートに基づいて生成されたものであり、上記のプログラムとともに予めインストールされている。以下では、この数学モデルMの生成過程について説明する。
まず、サンプルとなる人間の顔部分が表された周期的ノイズ成分を含まない複数の顔画像(サンプル画像)の各々に対して、図6に示すように、顔形状を表す特徴点を設定する(ステップ#1)。ここでは、特徴点の数は122箇所とする(ただし、図6では簡潔に表現するため60箇所しか表していない)。各特徴点は、例えば、1番目の特徴点は左目の左端、38番目の特徴点は眉の間の中央というように、顔のどの部位を示すものであるかが予め定められている。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定するようにしてもよいし、自動的に設定後、必要に応じて手作業で修正するようにしてもよい。
次に、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する(ステップ#2)。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。
さらに、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う(ステップ#3)。その結果、任意の顔形状は次式(1)によって近似することができる。
Figure 2006318103
ここで、Sは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル(x1,y1,・・・,x122,y122)であり、S0は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、piは主成分分析によって得られた顔形状についての第i主成分を表す固有ベクトル、biは各固有ベクトルpiに対する重みづけ係数を表す。図7は、主成分分析によって得られた上位2つの主成分の固有ベクトルp1、p2に対する重みづけ係数b1、b2の値を変化させた場合の顔形状の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔形状を上式(1)で表した場合における重みづけ係数b1、b2の値の標準偏差sdに基づいて、−3sdから+3sdまでの間であり、各主成分についての3つの顔形状の真ん中のものは平均値の場合である。この例では、主成分分析の結果、第1主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数b1を変化させることによって、細長い顔(−3sd)から丸顔(+3sd)まで顔形状が変化することがわかる。同様に、第2主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数b2を変化させることによって、口が開いた状態で顎の長い顔(−3sd)から口が閉じられた状態で顎が短い顔(+3sd)まで顔の形状が変化することがわかる。なお、iの値が小さいほど、形状に対する説明力が高い、すなわち、顔形状への寄与が大きいことを意味する。
次に、各サンプル画像をステップ#2で得られた平均顔形状に変換(ワーピング)する(ステップ#4)。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出し、そのシフト量に基づいて、式(2)から(5)の2次元5次多項式により各サンプル画像の画素毎の平均顔形状へのシフト量を算出し、各サンプル画像を画素毎に平均顔形状へワーピングする。
Figure 2006318103
ここで、x,yは各サンプル画像中の各特徴点の座標、x′,y′はワーピングされる平均顔形状上の座標、Δx,Δyは平均形状へのシフト量、nは次数、aij,bijは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。このとき、ワーピング後の座標が整数ではなく小数点以下を含む位置に移動する画素については、4近傍から1次近似で画素値を求める。つまり、ワーピング後の座標を囲む4つの画素に対して、ワーピング後の座標から各画素の座標までの距離に比例して画素値をそれぞれ分配するようにする。図8は、2つのサンプル画像について、各々の画像中の顔形状を平均顔形状に変換した状態を表したものである。
さらに、平均顔形状に変換後のサンプル画像毎の各画素のR,G,B三原色の画素値を変数として主成分分析を行う(ステップ#5)。その結果、任意の顔画像の平均顔形状下でのR,G,B三原色の画素値は次式(6)によって近似することができる。
Figure 2006318103
ここで、Aは平均顔形状下での各画素のR,G,B三原色の各々の画素値を並べて表現されるベクトル(r1,g1,b1,r2,g2,b2,・・・,rm,gm,bm)(r、g、bは各々R,G,Bの三原色の画素値、1からmは各画素を識別する添え字、mは平均顔形状での総画素数)であるが、ベクトルの成分の並び順は上記の順に限定されず、例えば、(r1,r2,・・・,rm,g1,g2,・・・,gm,b1,b2,・・・,bm)のような順であってもよい。また、A0は平均顔形状における各サンプル画像の画素毎のR,G,B三原色の各々の画素値の平均値を並べて表現される平均ベクトル、qiは主成分分析によって得られた顔のR,G,B三原色の画素値についての第i主成分を表す固有ベクトル、λiは各固有ベクトルqiに対する重みづけ係数を表す。なお、主成分の順位iの値が小さいほど、R,G,B三原色の画素値に対する説明力が高い、すなわち、R,G,B三原色の画素値への寄与が大きいことを意味する。
図9は、主成分分析によって得られた主成分のうち第i1、第i2の主成分を表す固有ベクトルqi1、qi2に対する重みづけ係数λi1、λi2の値を変化させた場合の顔の画素値の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔の画素値を上式(6)で表した場合における重みづけ係数λi1、λi2の値の標準偏差sdに基づいて、−3sdから+3sdまでの間であり、各主成分についての3つの顔画像の中央のものは平均値の場合である。この例では、主成分分析の結果、第i1主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λi1を変化させることによって、ヒゲの濃い顔(−3sd)からヒゲのない顔(+3sd)まで変化することがわかる。同様に、第i2主成分としては顔にかかる影の状態に寄与する成分が抽出されており、重みづけ係数λi2を変化させることによって、顔の右側に影がかかった顔(−3sd)から左側に影がかかった顔(+3sd)まで変化することがわかる。なお、各主成分がどのような要素に寄与しているかは人間の解釈によって決定される。
本実施形態では、サンプル画像として、人間の顔が表された複数の顔画像を用いているので、顔の輝度の相違に寄与する成分が第1主成分として抽出されるものとすると、第1主成分の固有ベクトルq1に対する重みづけ係数λ1の値を変化させた場合、例えば、画像P0中の顔部分P0fの輝度が変化する。なお、顔の輝度の相違に寄与する主成分が必ずしも第1主成分として抽出されている必要はない。顔の輝度の相違に寄与する成分が第K主成分(K≠1)として抽出されている場合には、以下の説明の「第1」を「第K」に置き換えて考えることができる。また、顔の輝度の相違が1つの主成分のみによって表現される必要はなく、複数の主成分が顔の輝度の相違を説明することもありうる。
以上のステップ#1から#5までの処理によって、顔の数学モデルMが生成される。すなわち、この数学モデルMは、顔形状を表す複数の固有ベクトルpiと、平均顔形状下での顔の画素値を表す固有ベクトルqiによって表現されるものであり、各固有ベクトルの合計数が、顔画像を形成する画素数よりも大幅に少ない、次元圧縮されたものとなっている。なお、上記参考文献1記載の実施例では、約10,000画素により形成される顔画像に対して122の特徴点を設定して上記の処理を行うことによって、顔形状についての23の固有ベクトルと顔の画素値についての114の固有ベクトルで表される顔画像の数学モデルが生成され、各固有ベクトルに対する重みづけ係数を変化させることによって、約98%の顔形状や画素値のバリエーションを表現できることが示されている。
次に、この数学モデルMを利用したAAMの手法に基づく周期的ノイズ成分の除去処理の流れについて、図4および図10を参照しながら説明する。図10は、周期的ノイズ成分除去処理における画像の変遷を説明するための図である。
まず、顔検出部31が、画像データP0を読み込み、画像P0中の顔部分P0fを検出する。具体的には、特表2004−527863号公報(参考文献2)に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、肌色検出,テンプレートマッチング、グラフマッチング、統計的手法(ニューラルネットワーク、SVM、HMM)等の様々な公知の手法を用いることができる。なお、画像P0がディスプレイ55に表示された際に、マウス57やキーボード56の操作により、手作業で顔部分P0fを指定するようにしてもよいし、自動検出の結果を手作業で修正するようにしてもよい。図10(a)は画像P0を、図10(b)は顔部分P0fを示す図である。画像P0および顔部分P0fには周期的ノイズ成分が含まれており、それを斜線で示すものとする。
次に、再構成部32は、顔部分P0fを数学モデルMに適応させて、顔部分P0fを再構成する処理を行う。具体的には、上記式(1)、(6)の上位の主成分の固有ベクトルpi、qiに対する重みづけ係数bi、λiから順に係数の値を変化させながら、上記式(1)、(6)に基づいて画像を再構成し、再構成された画像と顔部分P0fとの差異が最小となるときの重みづけ係数bi、λiを求める(詳細は、参考文献2参照)。なお、重みづけ係数bi、λiの値は、モデル生成時のサンプル画像を上記(1)、(6)で表したときのbi、λiの分布の標準偏差sdに基づき、例えば−3sdから+3sdまでの範囲の値のみを許容し、その範囲を超える場合には、上記の分布における平均値を設定するようにすることが好ましい。これにより、モデルの誤適応を回避することができる。
そして再構成部32は、求めた重みづけ係数bi、λiを用いて再構成画像P1fを取得する。図10(c)は再構成画像P1fを示す図である。図10(c)に示すように再構成画像P1fは、数学モデルMが周期的ノイズ成分を含まないサンプル画像から作成されたものであるため、周期的ノイズ成分を含まないものとなっている。
次に、ノイズ成分抽出部33は、顔部分P0fと再構成画像P1fとの相対応する画素値の差分値を周期的ノイズ成分N0として算出する。具体的には、顔部分P0fの画素値から再構成画像P1fの画素値を相対応する画素間において減算して差分値を算出する。図10(d)は周期的ノイズ成分N0を示す図である。図10(d)に示すように周期的ノイズ成分N0は、顔部分P0fに対応する領域のノイズ成分を表すものとなっている。
次に、ノイズ周期決定部34は、周期的ノイズ成分N0の周期を決定する。具体的には、周期的ノイズ成分N0に対してフーリエ変換およびウェーブレット変換等の周波数変換処理を施して周期的ノイズ成分N0を複数の周波数成分に分解し、成分が存在する周波数帯域をノイズの周期とする。なお、周期的ノイズ成分N0の周波数は1つの周波数帯域のみならず、複数の周波数帯域に亘る場合もあるため、決定される周期は複数となる場合もある。
そして、ノイズ除去部35が画像P0から決定された周期のノイズ成分を除去して、ノイズ成分が除去された画像P1′を生成する。具体的には、画像P0に対して、フーリエ変換およびウェーブレット変換等の周波数変換処理を施して周期的ノイズ成分N0を複数の周波数成分に分解し、決定された周期に対応する周波数帯域の周波数成分を低減する、好ましくは0にする処理を行い、処理後の周波数成分を逆周波数変換することにより画像P1′を生成する。図10(e)は画像P1′を示す図である。図10(e)に示すように、画像P1′は画像P0に含まれる周期的ノイズ成分が除去されたものとなっている。
以上のように、本発明の実施形態となる周期的ノイズ成分の除去処理によれば、再構成部32が、顔検出部31によって検出された画像P0中の顔部分P0fを、人間の顔部分が表された周期的ノイズ成分を含まない複数のサンプル画像に基づいてAAMの手法によって生成された数学モデルMに適応させることによって顔部分P0fを再構成して、顔部分P0fの周波数成分を含まない周期的ノイズ成分が除去された再構成画像P1fを生成する。そして、再構成画像P1fと顔部分P0fとの相対応する画素値の差分値を算出することにより、顔部分P0fにおける周期的ノイズ成分N0を抽出し、この周期的ノイズ成分N0の周期を決定するようにしたものである。このため、画像P0に含まれる周期的ノイズ成分がランダムな周波数帯域に亘る場合であっても、不要な周期的ノイズ成分のみを精度良く抽出して、周期的ノイズ成分の周期を精度良く決定することができる。したがって、決定された周期のノイズ成分を画像P0から除去することにより、顔部分P0fの周波数成分を含まない周期的ノイズ成分が精度良く除去された高画質の画像P1′を取得することができ、その結果、高画質の画像P2を取得することができる。
なお、上記の実施形態では、数学モデルMが1つだけ存在するようにしていたが、人種別、年齢別、性別等の属性別に複数の数学モデルMi(i=1,2,・・・)を生成しておいてもよい。図11は、この場合の周期的ノイズ成分の除去処理の詳細を表すブロック図である。図に示したように、画像P0に基づいて、画像中の被写体の属性情報AKを取得する属性取得部36と、取得した属性情報AKに基づいて、その属性を有する被写体を表すサンプル画像のみから生成された数学モデルMKを選択するモデル選択部37とを有している点で、上記の実施形態(図4)とは異なる。
ここで、複数の数学モデルMiは、例えば、同じ人種、年代、性別等を有する被写体を表すサンプル画像のみから前述の方法(図5参照)に基づいて各々生成されたものであり、サンプル画像における共通の属性を表す属性情報Aiと関連づけられて記憶されている。
属性取得部36は、画像P0に対する公知の認識処理(例えば、特開平11−175724号公報記載)を行うことによって、被写体の属性を判定し、属性情報AKを取得してもよいし、撮影時に被写体の属性を画像データP0の付帯情報としてヘッダ等に記録しておき、記録された情報を取得するようにしてもよい。また、付帯情報に基づいて被写体の属性を推定するようにしてもよい。例えば、撮影場所のGPS情報があれば、そのGPS情報に対応する国や地域を特定することができるので、撮影された被写体の人種をある程度推定することができることに着目し、GPS情報と人種情報を関連づける参照テーブルを予め用意しておき、撮影時にGPS情報を取得して画像データP0のヘッダ領域に記録するデジタルカメラ(例えば、特開2004−153428号公報記載)で得られた画像データP0を入力として、画像データP0のヘッダ領域に記録されているGPS情報を取得し、取得したGPS情報に基づいて前記の参照テーブルを参照し、そのGPS情報に関連づけられた人種情報を被写体の人種として推定することが考えられる。
モデル選択部37は、属性取得部36によって得られた属性情報AKと関連づけられた数学モデルMKを取得し、再構成部32は、画像P0の顔部分P0fを数学モデルMKに適応させる。
このように、複数の属性に応じた数学モデルMiを予め用意しておき、モデル選択部37が、属性取得部36で取得した属性AKと関連づけられた数学モデルMKを選択し、再構成部32が、選択された数学モデルMKに顔部分P0fを適応させるようにした場合には、数学モデルMKには属性AKの違いに起因する顔形状や輝度のバリエーションを説明する固有ベクトルは存在しないので、顔形状や輝度を決定する他の要因を表す固有ベクトルにのみ基づいて、顔部分P0fを表現することが可能になり、処理精度が向上する。
なお、処理精度の向上の観点からは、属性別の数学モデルをさらに特化させ、被写体の個人別の数学モデルを構築しておくことが好ましい。この場合には、画像P0と個人を特定する情報とを関連づけておく必要がある。
また、上記の実施形態では、数学モデルは予めデジタル写真プリンタにインストールされているものとしているが、人種別の数学モデルを予め準備しておき、そのプリンタの出荷先の国や地域によって、インストールする数学モデルを変えることも処理精度の向上の観点からは好ましい。
さらに、この数学モデルを生成する機能をデジタル写真プリンタに実装するようにしてもよい。具体的には、図5のフローチャートに基づいて説明した処理を行わせるプログラムを演算・制御装置50にインストールしておけばよい。また、出荷時にはデフォルトの数学モデルをインストールしておき、そのデジタル写真プリンタへの入力画像を用いて、その数学モデルをカスタマイズ(変更)できるようにしたり、デフォルトの数学モデルとは異なる新たなモデルを生成するようにしたりすることも考えられる。これは、前記のように個人別のモデルを生成する場合にとくに有効である。
また、上記の実施形態では、顔形状とR,G,B三原色の画素値についての別個の重みづけ係数bi、λiによって、個別の顔画像を表現していたが、顔形状とR,G,B三原色の画素値のバリエーションには相関性があることから、重みづけ係数bi、λiを結合して得られるベクトル(b1,b2,・・・,bi,・・・,λ1,λ2,・・・,λi,・・・)に対してさらに主成分分析を行うことにより、次式(7)、(8)に示したように、顔形状とR,G,B三原色の画素値の両方を制御する新しいアピアランスパラメータcを得ることができる。
Figure 2006318103
ここで、アピアランスパラメータcとベクトルQSによって平均顔形状からの形状の変動分が表現され、アピアランスパラメータcとベクトルQAによって顔の画素値の平均からの画素値の変動分要素が表現される。
このモデルを用いた場合には、再構成部32は、アピアランスパラメータcの値を変化させながら、上記式(8)に基づいて平均顔形状下での顔の画素値を求め、さらに、上記式(7)に基づいて平均顔形状からの変換を行うことによって、顔部分P0fを再構成し、再構成された画像と顔部分P0fとの差異が最小となるときのアピアランスパラメータcを求めることになる。
本発明の他の実施形態としては、上記の周期的ノイズ成分の除去処理をデジタルカメラに実装することが考えられる。すなわち、デジタルカメラの画像処理機能として実装した場合である。図12は、このようなデジタルカメラの構成を模式的に表したものである。図に示すように、このデジタルカメラは、レンズ、絞り、シャッター、CCD等からなり、被写体の撮像を行う撮像部71、撮像部71のCCDに蓄積された電荷によるアナログ信号をデジタル化して、デジタル画像データP0を得るA/D変換部72、画像データP0等に対して各種画像処理を行う画像処理部73、メモリカードに記録する画像データの圧縮処理やメモリカードから読み込んだ圧縮形式の画像データに対する伸長処理を行う圧縮/伸長部74、ストロボ等からなり、ストロボ発光を行うストロボ部75、各種操作ボタン等からなり、撮影条件や画像処理条件等の設定を行う操作部76、画像データが記録されるメモリカードとのインターフェースとなるメディア記録部77、液晶ディスプレイ等からなり、スルー画や撮影された画像、各種設定メニュー等を表示する表示部78、前記各部による処理の制御を行う制御部70、および制御プログラムや画像データ等を記憶する内部メモリ79を有している。
ここで、図2の画像入力手段1は撮像部71とA/D変換部72、画像補正手段2は画像処理部73、画像加工手段3は画像処理部73と操作部76と表示部78、画像出力手段4はメディア記録部77によって、制御部70による制御の下で内部メモリ79も使用しつつ、各々の機能が実現される。
次に、このデジタルカメラの操作と処理の流れについて説明する。
まず、撮影者によるシャッターの全押し操作によって、撮像部71がレンズに入射した被写体光をCCDの光電面に結像させ、光電変換の後、アナログ画像信号を出力し、A/D変換部72が、出力されたアナログ画像信号をデジタル画像信号に変換し、デジタル画像データP0として出力することによって、画像入力手段1として機能する。
次に、画像処理部73が、階調補正処理、濃度補正処理、色補正処理、ホワイトバランス調整処理、およびシャープネス処理等を行うとともに、本発明の周期的ノイズ成分の除去処理も行い、補正後の画像データP1を出力することによって、画像補正手段2として機能する。ここで、周期的ノイズ成分の除去処理は、制御部70が、内部メモリ79に記憶されている周期的ノイズ成分の除去用プログラムを起動し、内部メモリ79に予め記憶されている数学モデルMを用いた前述の周期的ノイズ成分の除去処理(図4等参照)を画像処理部73に行わせることによって実現される。
ここで、画像P1が表示部78により液晶ディスプレイに表示される。表示レイアウトとしては、図3(a)に示したサムネイル形式による複数の画像の表示が考えられる。撮影者は、操作部76の操作ボタンの操作により、加工対象の画像を選択して拡大表示し、メニュー選択によりさらなる画像の手動補正や加工を行い、加工済みの画像データP2を出力する。以上のようにして、画像加工手段3の機能が実現される。
そして、圧縮/伸長部74が画像データP2をJPEG等の圧縮形式に基づく圧縮処理を行い、メディア記録部77経由でこのデジタルカメラに装填されたメモリカードに圧縮後の画像データを書き込むことによって、画像出力手段4の機能が実現される。
このように、本発明の周期的ノイズ成分の除去処理をデジタルカメラの画像処理機能として実装することによって、上記のデジタル写真プリンタの場合と同様の効果を得ることができる。
なお、手動補正や加工処理は、メモリカードに一旦記録された画像に対しても行えるようにしてもよい。具体的には、メモリカードに記憶されている画像データを圧縮/伸長部74が伸長(解凍)した後、伸長済みの画像データによる画像を表示部78の液晶ディスプレイに表示し、撮影者が、前記と同様の操作によって所望の画像処理を選択し、画像処理部73が、選択された画像処理を行う。
また、図10で説明した被写体の属性別の数学モデルをデジタルカメラに実装してもよいし、図5で示した数学モデルの生成処理を実装してもよい。ここで、個々のデジタルカメラによる撮影の被写体となる人物はある程度限定されることが多いことから、そのデジタルカメラで主に被写体となる人物の顔についての個人別の数学モデルを生成するようにすれば、顔の個人差による変動のないモデルを生成できるため、その人物の顔に対する周期的ノイズ成分の除去処理をきわめて高い精度で行うことが可能になる。
上記の実施形態のほか、本発明の周期的ノイズ成分の除去処理をパソコン等に行わせるプログラムを、画像編集ソフトウェアに組み込むことも考えられる。これにより、ユーザは、このソフトウェアが記憶されているCD−ROM等の記憶媒体からパソコン等にインストールしたり、インターネット上の所定のサイトからこのソフトウェアをダウンロードしてインストールしたりすることによって、自分のパソコンでの画像の編集加工の1パターンとして、本発明の周期的ノイズ成分の除去処理を利用することが可能になる。
本発明の実施形態となるデジタル写真プリンタのハードウェア構成を模式的に示した図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラの機能と処理の流れを示すブロック図 本発明の実施形態となるデジタル写真プリンタおよびデジタルカメラのディスプレイに表示される画面の一例を示す図 本発明の一態様となる周期的ノイズ成分の除去処理の詳細を表すブロック図 本発明における顔の数学モデルを生成する処理の流れを表すフローチャート 顔の特徴点の設定例を表す図 顔形状に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔形状の変化の様子を模式的に表した図 サンプル画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度の様子を表した図 顔の画素値に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔の画素値の変化の様子を模式的に表した図 周期的ノイズ成分除去処理における画像の変遷を説明するための図 本発明の一態様となる周期的ノイズ成分の除去処理の発展的態様を表すブロック図 本発明の他の実施形態となるデジタルカメラの構成を模式的に示した図
符号の説明
1 画像入力手段
2 画像補正手段
3 画像加工手段
4 画像出力手段
31 顔検出部
32 再構成部
33 ノイズ成分抽出部
34 ノイズ周期決定部
35 ノイズ除去部
36 属性取得部
37 モデル選択部
51 フィルムスキャナ
52 フラットヘッドスキャナ
53 メディアドライブ
54 ネットワークアダプタ
55 ディスプレイ
56 キーボード
57 マウス
58 ハードディスク
59 写真プリント出力機
70 制御部
71 撮像部
72 A/D変換部
73 画像処理部
74 圧縮/伸長部
75 ストロボ部
76 操作部
77 メディア記録部
78 表示部
79 内部メモリ

Claims (6)

  1. 所定の構造物が表された、周期的ノイズ成分を含まない複数の画像に対して所定の統計処理を行うことによって得られた1以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、周期的ノイズ成分を含む入力画像中の前記構造物を適応させることによって、適応後の前記構造物を表す画像を再構成して前記構造物の再構成画像を取得する再構成手段と、
    前記再構成画像と前記入力画像の前記所定の構造物との相対応する画素値の差分値を算出することにより、前記入力画像中の前記構造物における前記周期的ノイズ成分を抽出するノイズ成分抽出手段と、
    該抽出された周期的ノイズ成分の周期を決定するノイズ周期決定手段と、
    前記決定された周期のノイズ成分を前記入力画像から除去することによりノイズ成分除去画像を生成するノイズ除去手段とを備えたことを特徴とする画像処理装置。
  2. 前記所定の構造物が人間の顔であることを特徴とする請求項1記載の画像処理装置。
  3. 前記入力画像中の前記構造物を検出する検出手段をさらに備え、
    前記パラメータ取得手段が、前記モデルに、検出された前記構造物を適応させることによって、前記重みづけパラメータを取得するものであることを特徴とする請求項1または2記載の画像処理装置。
  4. 前記入力画像中の前記構造物の属性を取得し、前記所定の構造物の属性毎に該構造物が表現された複数の前記モデルから、取得された属性に応じた前記モデルを選択する選択手段をさらに備え、
    前記パラメータ取得手段が、選択されたモデルに前記構造物を適応させることによって、前記重みづけパラメータを取得するものであることを特徴とする請求項1から3のいずれか1項記載の画像処理装置。
  5. 所定の構造物が表された、周期的ノイズ成分を含まない複数の画像に対して所定の統計処理を行うことによって得られた1以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、周期的ノイズ成分を含む入力画像中の前記構造物を適応させることによって、適応後の前記構造物を表す画像を再構成して前記構造物の再構成画像を取得し、
    前記再構成画像と前記入力画像の前記所定の構造物との相対応する画素値の差分値を算出することにより、前記入力画像中の前記構造物における前記周期的ノイズ成分を抽出し、
    該抽出された周期的ノイズ成分の周期を決定し、
    前記決定された周期のノイズ成分を前記入力画像から除去することによりノイズ成分除去画像を生成することを特徴とする画像処理方法。
  6. コンピュータを、
    所定の構造物が表された、周期的ノイズ成分を含まない複数の画像に対して所定の統計処理を行うことによって得られた1以上の統計的特徴量と、前記構造物の個別の特徴に応じて該統計的特徴量に対する重みづけをする重みづけパラメータとによって、前記構造物を表現するモデルに、周期的ノイズ成分を含む入力画像中の前記構造物を適応させることによって、適応後の前記構造物を表す画像を再構成して前記構造物の再構成画像を取得する再構成手段と、
    前記再構成画像と前記入力画像の前記所定の構造物との相対応する画素値の差分値を算出することにより、前記入力画像中の前記構造物における前記周期的ノイズ成分を抽出するノイズ成分抽出手段と、
    該抽出された周期的ノイズ成分の周期を決定するノイズ周期決定手段と、
    前記決定された周期のノイズ成分を前記入力画像から除去することによりノイズ成分除去画像を生成するノイズ除去手段として機能させることを特徴とする画像処理プログラム。
JP2005138566A 2005-05-11 2005-05-11 画像処理装置および方法並びにプログラム Pending JP2006318103A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005138566A JP2006318103A (ja) 2005-05-11 2005-05-11 画像処理装置および方法並びにプログラム
US11/431,599 US8107764B2 (en) 2005-05-11 2006-05-11 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005138566A JP2006318103A (ja) 2005-05-11 2005-05-11 画像処理装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2006318103A true JP2006318103A (ja) 2006-11-24
JP2006318103A5 JP2006318103A5 (ja) 2008-03-27

Family

ID=37419183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005138566A Pending JP2006318103A (ja) 2005-05-11 2005-05-11 画像処理装置および方法並びにプログラム

Country Status (2)

Country Link
US (1) US8107764B2 (ja)
JP (1) JP2006318103A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010520521A (ja) * 2007-02-28 2010-06-10 フォトネーション ビジョン リミテッド テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離
US8326066B2 (en) 2003-06-26 2012-12-04 DigitalOptics Corporation Europe Limited Digital image adjustable compression and resolution using face detection information
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US8633999B2 (en) 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
WO2021210612A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法
WO2021210617A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、放射線画像処理システム、及び機械学習方法
WO2021210618A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
CN2804798Y (zh) * 2005-06-21 2006-08-09 吴东明 一种带磁性装置的水平尺
DE602007012246D1 (de) 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
EP2188759A1 (en) 2007-03-05 2010-05-26 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
JP2008234342A (ja) * 2007-03-20 2008-10-02 Fujifilm Corp 画像処理装置及び画像処理方法
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP4666179B2 (ja) * 2007-07-13 2011-04-06 富士フイルム株式会社 画像処理方法および画像処理装置
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
CN106919911A (zh) 2008-07-30 2017-07-04 快图有限公司 使用脸部检测的自动脸部和皮肤修饰
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
SE1750159A1 (sv) * 2017-02-17 2018-08-18 Fingerprint Cards Ab Cancelling out impairment data in fingerprint images
CN107564049B (zh) * 2017-09-08 2019-03-29 北京达佳互联信息技术有限公司 人脸模型重建方法、装置以及存储介质、计算机设备
CN111476737B (zh) * 2020-04-15 2022-02-11 腾讯科技(深圳)有限公司 一种图像处理方法、智能设备及计算机可读存储介质
CN111539008B (zh) * 2020-05-22 2023-04-11 蚂蚁金服(杭州)网络技术有限公司 保护隐私的图像处理方法及装置
US11798136B2 (en) 2021-06-10 2023-10-24 Bank Of America Corporation Automated teller machine for detecting security vulnerabilities based on document noise removal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273490A (ja) * 2000-01-20 2001-10-05 Fuji Photo Film Co Ltd 周期的パターン抑制処理方法および装置
JP2003162730A (ja) * 2001-09-28 2003-06-06 Canon Inc 個人のモデルを生成する方法及び装置
JP2003274320A (ja) * 2002-03-15 2003-09-26 Konica Corp 画像撮像装置、画像情報処理装置及び画像情報処理方法
JP2004041694A (ja) * 2002-05-13 2004-02-12 Fuji Photo Film Co Ltd 画像生成装置およびプログラム、画像選択装置、画像出力装置、画像提供サービスシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1120743B1 (en) 2000-01-20 2006-07-26 Fuji Photo Film Co., Ltd. Method and unit for suppressing a periodic pattern
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7426292B2 (en) * 2003-08-07 2008-09-16 Mitsubishi Electric Research Laboratories, Inc. Method for determining optimal viewpoints for 3D face modeling and face recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273490A (ja) * 2000-01-20 2001-10-05 Fuji Photo Film Co Ltd 周期的パターン抑制処理方法および装置
JP2003162730A (ja) * 2001-09-28 2003-06-06 Canon Inc 個人のモデルを生成する方法及び装置
JP2003274320A (ja) * 2002-03-15 2003-09-26 Konica Corp 画像撮像装置、画像情報処理装置及び画像情報処理方法
JP2004041694A (ja) * 2002-05-13 2004-02-12 Fuji Photo Film Co Ltd 画像生成装置およびプログラム、画像選択装置、画像出力装置、画像提供サービスシステム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326066B2 (en) 2003-06-26 2012-12-04 DigitalOptics Corporation Europe Limited Digital image adjustable compression and resolution using face detection information
US8582896B2 (en) 2007-02-28 2013-11-12 DigitalOptics Corporation Europe Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
US8509561B2 (en) 2007-02-28 2013-08-13 DigitalOptics Corporation Europe Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
US8542913B2 (en) 2007-02-28 2013-09-24 DigitalOptics Corporation Europe Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
US8565550B2 (en) 2007-02-28 2013-10-22 DigitalOptics Corporation Europe Limited Separating directional lighting variability in statistical face modelling based on texture space decomposition
JP2010520521A (ja) * 2007-02-28 2010-06-10 フォトネーション ビジョン リミテッド テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US8633999B2 (en) 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8977056B2 (en) 2010-07-26 2015-03-10 Fotonation Limited Face detection using division-generated Haar-like features for illumination invariance
WO2021210612A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法
WO2021210617A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、放射線画像処理システム、及び機械学習方法
WO2021210618A1 (ja) * 2020-04-16 2021-10-21 浜松ホトニクス株式会社 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム

Also Published As

Publication number Publication date
US20060257047A1 (en) 2006-11-16
US8107764B2 (en) 2012-01-31

Similar Documents

Publication Publication Date Title
JP4799101B2 (ja) 画像処理方法および装置ならびにプログラム
JP4795718B2 (ja) 画像処理装置および方法並びにプログラム
JP2006318103A (ja) 画像処理装置および方法並びにプログラム
JP4767718B2 (ja) 画像処理方法および装置ならびにプログラム
JP2006350498A (ja) 画像処理装置および方法並びにプログラム
JP2007006182A (ja) 画像処理装置および方法並びにプログラム
US7751640B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
JP4906034B2 (ja) 撮影装置および方法並びにプログラム
US7848588B2 (en) Method and apparatus for judging direction of blur and computer-readable recording medium storing a program therefor
JP4519708B2 (ja) 撮影装置および方法並びにプログラム
JP2006295303A (ja) 画像処理方法および装置ならびにプログラム
JP2004062651A (ja) 画像処理装置、画像処理方法、その記録媒体およびそのプログラム
JP2007066227A (ja) 画像処理装置および方法並びにプログラム
JP2004096506A (ja) 画像形成方法、画像処理装置及び画像記録装置
JP2006350769A (ja) 画像処理装置および方法並びにプログラム
JP2005196270A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2006262404A (ja) 光源推定装置、画像処理装置、光源推定方法、および画像処理方法
JP2007124112A (ja) 画像処理方法および装置ならびにプログラム
JP4250498B2 (ja) 画像処理サービス方法
JP2009060359A (ja) 画像処理装置、画像処理方法および画像印刷装置
US20090232402A1 (en) Image Processing Apparatus, Image Processing Method, and Computer Program for Image Processing
JP2005006213A (ja) 画像処理装置およびその方法
JP2005031878A (ja) 画像処理方法および画像処理装置
JP2005228138A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2005316581A (ja) 画像処理方法、画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110729

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110808

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110902