JP2013536960A

JP2013536960A - 写真から肖像スケッチを合成するシステム及び方法

Info

Publication number: JP2013536960A
Application number: JP2013526296A
Authority: JP
Inventors: シャオガンワン; シャオオウタン; ウェイチャン
Original assignee: シャオガンワン
Priority date: 2010-09-03
Filing date: 2010-09-03
Publication date: 2013-09-26
Also published as: CN103080979B; CN103080979A; US20130308853A1; WO2012027904A1; US9569699B2; EP2613294A1

Abstract

本出願は、写真から肖像スケッチを合成するシステム及び方法を開示している。この方法は、テスト写真を等間隔で重なる複数のテスト写真パッチに分割するステップと、各テスト写真パッチと、複数のトレーニング集合写真において予め分割された写真パッチとのマッチング情報を確定するステップと、各テスト写真パッチと、複数のトレーニング集合スケッチ画像において予め分割されたスケッチパッチとのマッチング情報を確定するステップと、合成されるスケッチ画像の形状事前分布を確定するステップと、隣接する二つのトレーニング集合スケッチパッチの間の階調一貫性情報と、隣接する二つのトレーニング集合スケッチパッチの間の勾配一貫性情報とを確定するステップと、前記マッチング情報、形状事前分布、階調一貫性情報及び勾配一貫性情報に基づいて、前記各テスト写真パッチに対して、最もマッチングするトレーニングスケッチパッチを確定するステップと、確定されたトレーニングスケッチパッチを肖像スケッチ画像に合成するステップと、を備える。

Description

本出願は、写真から肖像スケッチを合成するシステム及び方法に関する。

最近、自動肖像合成技術は、司法分野とデジタル娯楽産業において広く応用されているため、ますます注目を浴びている。例えば、司法分野において、警察側がスケッチ肖像を利用して写真データベースにおいて犯罪容疑者を検索することは、非常に重要な応用の一つである。人の顔写真をスケッチに変換させ、画家の描いたスケッチと、コンピューターで合成したスケッチとを、顔識別技術で直接にマッチングさせることによって、顔識別の正確性を向上することができる。映画産業において、スケッチ自動合成システムにより、芸術家は顔動画を製作する時間を大幅に短縮できる。普通の人々でも、このようなシステムがあれば、デジタル分野において、例えばMSNアイコンのような身分シンボルを簡単に作ることができるようになる。

流行されるスケッチ合成方法は、ほとんどサンプルライブラリーに基づくものである。対応する写真とスケッチ画像から構成されるトレーニングライブラリーを利用して、写真から豊かなテクスチャを持つスケッチを生成できる。これらの方法は、トレーニングライブラリーを変更させることによって様々なスタイルのスケッチを合成できる。従来技術において、全体的特徴変換により写真からスケッチを合成する方法を提案されているが、人によって髪型が大いに変わるため、もし毛髪領域まで含まれると、このような全体的な線形モデルでは効率よく運用できなくなる。そこで、この問題点を解決するために、この分野において、パッチに基づく合成方法が提案された。しかし、このような方法には、各領域のパッチはそれぞれ個別に合成され、各パッチ間の空間関係へ配慮されていないため、合成の結果として人間の顔の構造がよく維持できないという問題点が存する。また、トレーニングサンプルの線形組合せによって肖像スケッチ合成を行う場合、ぼやけてしまうおそれがある。

要するには、従来の方法は、画像形成の条件が厳しく制限された写真の場合に適用されるが、光照射や姿勢の変化があった写真には応対できない。

本発明は、写真から肖像スケッチを合成する方法であって、テスト写真を複数のテスト写真パッチに分割するステップと、各テスト写真パッチと、複数のトレーニング集合写真において予め分割された写真パッチとの間の第一マッチング情報を確定するステップと、各テスト写真パッチと、複数のトレーニング集合スケッチ画像において予め分割されたパッチとの間の第二マッチング情報を確定するステップと、合成されるスケッチ画像の形状事前分布（shape prior）を確定するステップと、前記第一マッチング情報、前記第二マッチング情報及び前記形状事前分布に基づいて、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するステップと、確定されたトレーニング集合スケッチパッチを肖像スケッチ画像に合成するステップと、を備えることを特徴とする。

前記方法において、更に、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するステップは、前記第一マッチング情報、前記第二マッチング情報及び前記形状事前分布に基づいて、マルコフ確率場モデルを立てるステップと、立てられたマルコフ確率場モデルを最適化させ、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するステップとを備えていてもよい。

また、本発明は写真から肖像スケッチを合成する方法であって、テスト写真を等間隔で重なる複数のテスト写真パッチに分割するステップと、各テスト写真パッチと、複数のトレーニング集合写真において予め分割された写真パッチとの間の第一マッチング情報を確定するステップと、各テストパッチと、複数のトレーニング集合スケッチ画像において予め分割されたパッチとの間の第二マッチング情報を確定するステップと、前記各テスト写真の形状事前分布を確定するステップと、隣接する二つのトレーニング集合パッチの間の階調一貫性情報（gray consistency information）と、隣接する二つのトレーニング集合スケッチパッチの間の勾配一貫性情報（gradient consistency information）とを確定するステップと、前記第一マッチング情報、前記第二マッチング情報、前記形状事前分布、前記階調一貫性情報及び前記勾配一貫性情報に基づいて、前記各テスト写真パッチに対して、最もマッチングするトレーニングスケッチ画像を確定するステップと、確定されたトレーニングスケッチパッチを肖像スケッチ画像に合成するステップと、を備えることを特徴とする。

前記方法において、前記各テスト写真パッチに対して、最もマッチングするトレーニングスケッチ画像を確定するステップは、前記第一マッチング情報、前記第二マッチング情報、前記形状事前分布、前記階調一貫性情報及び前記勾配一貫性情報に基づいて、マルコフ確率場モデルを立てるステップと、立てられたマルコフ確率場モデルを最適化させ、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するステップとを備えていてもよい。

また、本発明は、写真から肖像スケッチを合成する方法であって、テスト写真を複数のテスト写真パッチに分割するステップと、複数のトレーニング集合写真と複数のトレーニング集合スケッチ画像で、前記各テスト写真パッチに対してマルコフ確率場モデルを立てるステップと、前記マルコフ確率場モデルを最適化させ、前記各テストパッチに対して、前記複数のトレーニング集合スケッチ画像から最もマッチングするトレーニングスケッチパッチを選出するステップと、選出されたトレーニングスケッチパッチを肖像スケッチ画像に合成するステップとを備え、前記マルコフ確率場モデルは、前記各テストスケッチ画像の形状事前分布と、前記各テスト写真パッチと前記トレーニング集合写真の写真パッチとの間の第一マッチング情報と、前記各テストパッチと前記トレーニング集合スケッチ画像のパッチとの間の第二マッチング情報とを含むことを特徴とする。

また、本発明は写真から肖像スケッチを合成するためのシステムであって、テスト写真を複数のテスト写真パッチに分割する分割モジュールと、各テスト写真パッチと、複数のトレーニング集合写真において予め分割された写真パッチとの間の第一マッチング情報を確定する写真−写真マッチングモジュールと、各テスト写真パッチと、複数のトレーニング集合スケッチ画像において予め分割されたパッチとの間の第二マッチング情報を確定する写真−画素マッチングモジュールと、各テストパッチの形状事前分布を確定する形状事前分布確定モジュールと、前記第一マッチング情報、前記第二マッチング情報及び前記形状事前分布に基づいて、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定する最適化モジュールと、確定されたトレーニング集合スケッチパッチを肖像スケッチ画像に合成する合成モジュールと、を備えることを特徴とする。

一つの実施形態において、前記最適化モジュールは、前記第一マッチング情報、前記第二マッチング情報及び前記形状事前分布に基づいてマルコフ確率場モデルを立て、立てられたマルコフ確率場モデルを最適化させ、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するように配置される。

また、上記写真から肖像スケッチを合成するシステムは、更に、隣接する二つのトレーニング集合パッチの間の階調一貫性情報と、隣接する二つのトレーニング集合スケッチパッチの勾配一貫性情報とを確定するための平滑モジュールを備えても良い。この場合、前記最適化モジュールは、前記第一マッチング情報、第二マッチング情報、形状事前分布、階調一貫性情報及び勾配一貫性情報に基づいてマルコフ確率場モデルを立て、立てられたマルコフ確率場モデルを最適化させ、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するように配置される。

本発明の写真から肖像スケッチを合成する方法及びシステムは、様々な光照射条件と様々な姿勢による顔写真に対して処理を施すことができる。下記の技術内容から少なくとも一つが導入されているため、本発明の上記方法及びシステムは、光照射と写真の姿勢とに対して頑健性（robustness）を持っている。

（１）顔の特徴部位に関する形状事前分布を導入することにより、光照射条件や姿勢の変化による歪みを低減させる。

（２）新規のパッチ記述子と計量を導入することにより、提供された写真パッチが対応するスケッチパッチを捜す。

（３）隣接するパッチに対して階調一貫性情報及び勾配一貫性情報で制限を行う。

本発明の実施形態に係る、写真から肖像スケッチを合成する方法を示す図である。マルコフ確率場ネットワークモデル模式図である。本発明の実施形態に係る、写真から肖像スケッチを合成するシステムを示す図である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。

［実施形態1］
図１は、本発明の一実施形態に係る、写真から肖像スケッチを合成する方法１０００を示す。方法はステップＳ１０１から始まり、このステップにおいては、入力されたテスト写真をＮ個の写真パッチに分割できる。一つの実施形態において、テスト写真は、等間隔で重なるＮ個の写真パッチに分割される。また、分割する前に、両眼の中心が固定位置にあるように、全ての写真と以下で説明するスケッチ画像に対して平行移動、回転及び縮小によって前処理を行う。一つの実施形態において、画像のサイズを２５０×２００とし、両眼の中心の位置を（７５、１２５）、（１２５、１２５）とする。すべてのカラ画像をグレースケール画像に変換する。

経験では、光がほぼ正面から照射される場合、上記したアルゴリズムは前処理ステップを含まなくてもいい。側面から照射の場合は、ＣＬＡＨＥ（Contrast Limited Adaptive Histogram Equalization）を使用して前処理を行うことができる。

ステップＳ１０２においては、ステップＳ１０１において分割したＮ個のパッチに基づいて、複数のトレーニング集合写真とトレーニング集合スケッチ画像によって、前記各テスト写真パッチに対して、マルコフ確率場（MRF）ネットワークモデルを立てる。

MRFネットワークにおける各ノードはテスト写真のパッチｘ^ｐ _ｉである。MRFネットワークモデルによって推定する目標は、ノードの状態ｙ_ｉ＝（ｙ^ｐ _ｉ，ｙ^ｓ _ｉ）である。言い換えると、各ｘ^ｐ _ｉに対して、トレーニング集合において１対の写真−スケッチパッチを確定する。ここで、トレーニング集合において写真とスケッチが幾何学的に整列されている。ｙ^ｐ _ｉとｙ^ｓ _ｉはそれぞれ、対応する写真パッチとスケッチパッチを示す。テスト写真においてパッチｉとｊは隣接する場合、一つの辺によってノードｙ_ｉとノードｙ_ｊを繋がる。つまり、これらに対して一貫性制約（consistency constraints）を加える。全ての｛ｙ^ｓ _ｉ｝をまとめると、テスト写真のスケッチが合成される。

図２は上記形成されたMRFネットワークモデル模式図である。このMRFモデルのエネルギー関数は以下のように定義される。

本発明において、２スケールMRF（two-scale MRF）を使用できる。この場合において、テスト写真とトレーニング集合写真の２層のパッチのサイズは例えばそれぞれ１０×１０と２０×２０としてもいい。説明の便宜をはかるために、以下では１スケールMRFモデル（single-scale MRF）を使用して説明する。

ステップＳ１０３において、上記MRFモデルを最適化させて、複数のトレーニングスケッチ画像において、各テスト写真パッチに対して、最もマッチングするトレーニングスケッチパッチを選出する。一つの実施形態において、確率伝搬アルゴリズム（belief propagation algorithm）を利用して上記MRFモデルを最適化させることができる。即ち、式（１）における

の最小値を求めることにより、入力写真のパッチｘ^ｐ _ｉと最もマッチングする肖像パッチｙ_ｉを取得する。また、確率伝搬アルゴリズムは最大事後確率（MAP： Maximum a posteriori）推定を使用できるが、これは従来の技術に属するため、ここでは説明を省略する。

計算量を減少するため、MRFモデルを最適化する前に、候補パッチを予め選出するアルゴリズムを利用してもよい。各テスト写真パッチｘ^ｐ _ｉに対して、トレーニング集合において、最も小さいエネルギーＥ_Ｌ（ｘ^ｐ _ｉ，ｙ_ｉ）＋Ｅｐ_ｉ（ｙ_ｉ）を有するランキングトップK（K＝２０）個の写真−スケッチパッチ対を選出する。顔構造を利用するために、候補パッチを、全体画像において選出するのではなく、パッチiの周辺の２５×２５領域で選出する。ノードｉに対する最終的な推定

は、MRFネットワークにおける全てのノードを同時に最適化させることによりＫ個の候補パッチから一つを選出する。

最後に、ステップＳ１０４において、選出されたトレーニングスケッチパッチを肖像スケッチ画像に合成する。一つの実施形態において、ぼやける問題を避けるために、二つのパッチの重なる領域に対して最低誤差境界分割アルゴリズム（minimum error boundary cut algorithm）を利用することができる。これはテクスチャ合成においてよく使われるアルゴリズムである。

［実施形態２］
本発明に係る実施形態２は、ステップＳ１０２において、MRFモデルは、

となっている。この点を除き、上記実施形態１と同じであるため、ここでは、その説明を省略する。

以下に、上記式（１）又は（１’）におけるローカル証拠関数、形状事前分布関数及び隣接一貫性関数についてそれぞれ説明する。

１. ローカル証拠関数
ローカル証拠関数は、トレーニングライブラリーにおいて、テスト写真パッチｘ^ｐ _ｉとマッチングするスケッチパッチｙ^ｓ _ｉを確定するためのものである。写真はスケッチ画像と異なった形態を有するため、これらを直接にマッチングさせることは非常に難しい。そのため、通常、トレーニングスケッチパッチｙ^ｓ _ｉと対応する写真パッチｙ^ｐ _ｉを利用する。ｙ^ｐ _ｉとｘ^ｐ _ｉが非常に接近するとする場合、ｙ^ｓ _ｉは合成される対象スケッチパッチと非常に近くなる可能性が高い。本出願では、テスト写真パッチとトレーニング写真パッチとのマッチング度合い、並びに、テスト写真パッチとトレーニングスケッチパッチとのマッチング度合いが同時に計算される。つまり、ローカル証拠関数は写真−写真平方偏差距離（squared difference distance）ｄ^２ _Ｌ１と、写真−画像平方偏差距離ｄ^２ _Ｌ２との加重和であると定義付けられる。

すなわち、

式（2）から分かるように、上記ローカル証拠関数は以下の両方を含む。

1.1 写真―写真のパッチマッチングｄ^２ _Ｌ１（ｘ^ｐ _ｉ，ｙ^ｐ _ｉ）
E_L（）関数の簡単な例は、例えば、従来の技術で使用したｘ^ｐ _ｉとｙ^ｐ _ｉのユークリッド距離（Euclidean distance）であって良い。しかし、光照射の条件に変化がある場合、あまり効果的ではない。スケッチラインの多くは写真におけるエッジ情報に対応するため、ガウス差（ＤｏＧ）フィルターを利用して写真に対して前処理を施す。即ち、標準偏差がそれぞれσ0とσ1である二つのガウシアンカーネル（Gaussian kernels）の差を利用して各写真に対して畳み込んだ後、平均値がゼロ、平方偏差が１になるように、全ての画素値を標準化させる。一つの実施形態において、好ましくは、（σθ,σ1）＝（0,4）又は（1,4）を利用する。ＤｏＧフィルターは以下のような利点がある。まず、画像のエッジを検出したり強調したりすることができるため、合成されたスケッチはより鮮明なものになる。次は、低周波成分を除去して光照射条件の変化による影響を抑制できる。例えば、陰影などが取り上げられる。標準化された画素値をゼロ平均値単位平方偏差（zero-mean and unit-variance）に分散させることは、よく使われる光照射標準化の方法であるが、スケッチ合成効果の向上には制限がある。

１.２写真―スケッチのパッチマッチングｄ^２ _Ｌ２（ｘ^ｐ _ｉ，ｙ^ｓ _ｉ）
各写真パッチ間の形態内距離（intra-modality distance）は必ずしも常にスケッチパッチを選出できるわけではない。ユークリッド距離において似ている写真パッチは、大いに異なったスケッチパッチに対応することがある。面白いことに、人達はいつも写真とスケッチを直接にマッチングさせることができる。本出願は、それを受けて、テスト写真パッチとトレーニングスケッチパッチとの間の形態内距離を利用して選出の正確度を向上することを提案している。視覚的には、写真とスケッチとは大いに異なっているため、直接にマッチングさせることは容易ではない。ところで、これらの勾配方向はある程度似ている。そのため、以下のステップを利用して写真パッチとスケッチパッチとの形態内距離を取得する。

先ず、各テスト写真パッチの密なSIFT記述子を確定する。これは、方向ヒストグラムの記述子である。詳しくは、「Lowe, D.: Distinctive image features from scale-invariant keypoints. IJCV 60, 91-110（2004）」を参照できる。一つの実施形態において、各パッチの密なSIFT記述子を計算し、確定された密なSIFT記述子のユークリッド距離を取得し、これを写真パッチと対応するスケッチパッチとの形態内距離とする。広い範囲での構造情報を得るために、パッチより大きい領域で記述子を取出す。各パッチに対して、パッチの中心と重なる３６×３６（パッチサイズは１０×１０である）の領域内で取出し、この領域は４×４の同一サイズの空間領域（spatial bin）に分割される。８個の方向領域（orientations bin）は０°〜３６０°に等間隔で分布されている。各画素のヒストグラムに対する寄与度は、その勾配強度と、σ＝６で且つパッチ中心が重なるガウシアン窓（Gaussian window）とによって決められる。そのため、上記記述子は１２８次元である。一つの実施形態において、L２ノルムで標準化させ、閾値０.２でクリックしてから、改めて標準化させる。詳しくは、「Lowe, D.: Distinctive image features from scale-invariant keypoints. IJCV 60, 91-110（2004）」を参照できる。

２. 形状事前分布関数（shape prior function）
顔画像は特殊な画像で、規則的構造を有する。そのため、様々な箇所に対して形状事前分布を行うことによって、合成の効果を有効に向上することができる。構造全体が考慮されない場合は、一部顔構造、特に輪郭の欠損は、パッチに基づくスケッチ合成においてよく見られる問題である。このような問題が発生すると、顔の一部のライン箇所はブランクに合成されてしまう。それは、光照射条件や姿勢に変化があるとき、特に大きな問題になる。それに対して、スケッチパッチを選出するには形状事前分布が用いられると、このような問題を有効に減少できる。先ず、トレーニング集合スケッチ画像とテスト写真において、予めに定義された特徴点を検出する。一つの実施形態において、顔整列アルゴリズム（face alignment algorithm）によって特徴が確定できる。例えば、「Liang, L., Xiao, R.,Wen, F., Sun, J.: Face alignment via component-based discriminative search. In: Forsyth, D., Torr, P., Zisserman, A. （eds.） ECCV 2008, Part II. LNCS, vol. 5303, pp. 72-85. Springer, Heidelberg（2008）」に提案されたアルゴリズムが取り上げられる。選出された特徴は、構造欠損の発生しやすい領域、特に輪郭部にある。これらの領域に形状事前分布を用いるが、その他領域には用いない。もし一つの特徴点fがテスト写真のパッチiに位置すると、カーネル密度推定を利用して事前検証分布を計算する。

上記統計量は、例えば平均勾配強度、画素値の平方偏差、エッジ画素の割合である。好ましくは、平均勾配強度を統計量β（・）とする。これは、肖像合成における構造損失の問題を解決できる。

３. 隣接一貫性関数
隣接一貫性関数は、推定されるスケッチパッチを平滑させる役割を果たすため、合成された画像の誤りを抑えることができる。本発明の実施形態に係る隣接一貫性関数は、例えば、

以上で、本発明に係る、写真から肖像スケッチを合成するための方法について説明した。以下、本発明に係る、写真から肖像スケッチを合成するためのシステム２０００について説明する。図３を参照すると、システム２０００は、分割モジュール２０１と、写真−写真マッチングモジュール２０２と、写真−画素マッチングモジュール２０３と、形状事前分布確定モジュール２０４と、最適化モジュール２０５と、合成モジュール２０６と、を備える。

分割モジュール２０１は、テスト写真を複数のテスト写真パッチに分割するためのものである。前述したとおりに、テスト写真を等間隔で重なるＮ個のパッチに分割できる。また、分割する前に、両眼の中心を固定位置に位置させるように、全ての写真と、以下で説明するすべてのスケッチ画像にと対して平行移動、回転及び縮小によって前処理を行う。

写真−写真マッチングモジュール２０２は、各テスト写真パッチと、複数のトレーニング集合写真において予め分割された写真パッチとの間の第一マッチング情報を確定するためのものである。第一マッチング情報は、各テスト写真パッチと、対応するトレーニング集合写真パッチとの平方形態内距離（squared inter-modality distance）を含む。写真−画素マッチングモジュール２０３は、各テスト写真パッチと、複数のトレーニング集合スケッチ画像において予め分割されたパッチとの間の第二マッチング情報を確定するためのものである。第二マッチング情報は、各テスト写真パッチと、対応するトレーニング集合スケッチ画像との平方偏差距離を含む。各テスト写真パッチの密なSIFT記述子を確定し、確定された密なSIFT記述子のユークリッド距離を取得し、テスト写真パッチと、対応するスケッチパッチとの距離とすることができる。

形状事前分布確定モジュール２０４は、各テスト写真パッチの形状事前分布を確定するためのものである。一つの実施形態において、形状事前分布確定模２０４は、トレーニング集合スケッチ画像とテスト写真において予め定義された特徴点によって、上記式（３）で前記形状事前分布を確定するように配置される。

最適化モジュール２０５は、上記第一マッチング情報、第二マッチング情報及び形状事前分布に基づいて、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するように配置される。具体的には、最適化モジュール２０５は、第一マッチング情報、第二マッチング情報及び形状事前分布に基づいてマルコフ確率場モデルを立て、立てられたマルコフ確率場モデルを最適化させることによって、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するように、配置される。立てられたマルコフ確率場モデルは、例えば、上記式（1’）によって示される。

合成モジュール２０６は、最適化モジュール２０５により確定したトレーニング集合スケッチパッチを肖像スケッチ画像に合成するためのものである。

また、本発明のもう一つの実施形態のシステム２０００は、更に、隣接する二つのトレーニング集合パッチの階調一貫性情報と、隣接する二つのトレーニング集合スケッチパッチの勾配一貫性情報とを確定するための平滑モジュール２０７を含むことができる。ここで、階調一貫性情報は、隣接する二つのトレーニング集合パッチの重なる領域における差の平方であり、勾配一貫性情報は、隣接する二つのトレーニング集合スケッチパッチの密なSIFT記述子のユークリッド距離の平方である。平方形態内距離は、以下のステップによって確定される。つまり、各テスト写真パッチの密なSIFT記述子を確定し、確定された密なSIFT記述子のユークリッド距離を取得し、前記テスト写真パッチと、対応するスケッチパッチとの形態内距離とする。この場合に、最適化モジュール２０５は、第一及び第二マッチング情報、形状事前分布、階調一貫性情報及び勾配一貫性情報に基づいてMRFモデルを立て、立てられたMRFモデルを最適化させることによって、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定することができる。

以上なされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と特許請求事項の範囲内で、いろいろと変更して実施することができるものである。

Claims

写真から肖像スケッチを合成する方法であって、
テスト写真を複数のテスト写真パッチに分割するステップと、
各テスト写真パッチと、複数のトレーニング集合写真において予め分割された写真パッチとの第一マッチング情報を確定するステップと、
各テスト写真パッチと、複数のトレーニング集合スケッチ画像において予め分割されたパッチとの第二マッチング情報を確定するステップと、
合成されるスケッチ画像の形状事前分布を確定するステップと、
前記第一マッチング情報、前記第二マッチング情報及び前記形状事前分布に基づいて、前記各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチパッチを確定するステップと、
確定されたトレーニング集合スケッチパッチを肖像スケッチ画像に合成するステップと、
を備えることを特徴とする方法。
前記第一マッチング情報は、各テスト写真パッチと、対応するトレーニング集合写真パッチとの間の平方偏差距離を含み、
前記第二マッチング情報は、各テスト写真パッチと、対応するトレーニング集合スケッチパッチとの間の平方偏差距離を含む、
ことを特徴とする請求項１に記載の方法。
各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するステップは、更に、
前記第一マッチング情報、第二マッチング情報及び前記形状事前分布に基づいて、マルコフ確率場モデルを立てるステップと、
立てられたマルコフ確率場モデルを最適化させ、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するステップと、
を備えることを特徴とする請求項１に記載の方法。
写真から肖像スケッチを合成する方法であって、
テスト写真を等間隔で重なる複数のテスト写真パッチに分割するステップと、
各テスト写真パッチと、複数のトレーニング集合写真において予め分割された写真パッチとの第一マッチング情報を確定するステップと、
各テスト写真パッチと、複数のトレーニング集合スケッチ画像において予め分割されたスケッチパッチとの第二マッチング情報を確定するステップと、
合成されるスケッチ画像の形状事前分布を確定するステップと、
隣接する二つのトレーニング集合スケッチパッチの間の階調一貫性情報と、隣接する二つのトレーニング集合スケッチパッチの間の勾配一貫性情報とを確定するステップと、
前記第一マッチング情報、第二マッチング情報、前記形状事前分布、前記階調一貫性情報及び前記勾配一貫性情報に基づいて、前記各テストパッチに対して、最もマッチングするトレーニングスケッチ画像を確定するステップと、
確定されたトレーニングスケッチパッチを肖像スケッチ画像に合成するステップと、
を備えることを特徴とする方法。
前記第一マッチング情報は、各テスト写真パッチと、対応するトレーニング集合写真パッチとの間の平方偏差距離を含み、
前記第二マッチング情報は、各テスト写真パッチと、対応するトレーニング集合スケッチ画像との間の平方偏差距離を含む、
ことを特徴とする請求項４に記載の方法。
前記階調一貫性情報は、隣接する二つのトレーニング集合スケッチパッチの重なる領域における差の平方であり、
前記勾配一貫性情報は、隣接する二つのトレーニング集合スケッチパッチの密なSIFT記述子のユークリッド距離の平方である、
ことを特徴とする請求項４に記載の方法。
前記各テスト写真パッチに対して、最もマッチングするトレーニングス集合ケッチ画像を確定するステップは、更に、
前記第一マッチング情報、第二マッチング情報、形状事前分布、階調一貫性情報及び勾配一貫性情報に基づいて、マルコフ確率場モデルを立てるステップと、
立てられたマルコフ確率場モデルを最適化させ、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するステップと、
を備えることを特徴とする請求項４に記載の方法。
写真から肖像スケッチを合成する方法であって、
テスト写真を複数のテスト写真パッチに分割するステップと、
複数のトレーニング集合写真と複数のトレーニング集合スケッチ画像で、前記各テスト写真パッチに対してマルコフ確率場モデルを立てるステップと、
前記マルコフ確率場モデルを最適化させ、前記各テストパッチに対して、前記複数のトレーニング集合スケッチ画像から最もマッチングするトレーニングスケッチパッチを選出するステップと、
選出されたトレーニングスケッチパッチを肖像スケッチ画像に合成するステップとを備え、
前記マルコフ確率場モデルは、前記各テストスケッチ画像の形状事前分布と、前記各テスト写真パッチと前記トレーニング集合写真の写真パッチとの間の第一マッチング情報と、前記各テストパッチと前記トレーニング集合スケッチ画像のパッチとの間の第二マッチング情報と、を含むことを特徴とする方法。
分割された複数のテスト写真パッチは重なる領域が存在し
前記マルコフ確率場モデルは、更に、隣接する二つのトレーニング集合スケッチパッチの間の階調一貫性情報と、隣接する二つのトレーニング集合スケッチパッチの間の勾配一貫性情報とを備える、
ことを特徴とする請求項８に記載の方法。
前記階調一貫性情報は、隣接する二つのトレーニング集合スケッチパッチの重なる領域における差の平方であり、
前記勾配一貫性情報は、隣接する二つのトレーニング集合スケッチパッチの密なSIFT記述子のユークリッド距離の平方である、
ことを特徴とする請求項９に記載の方法。
前記第一マッチング情報は、各テスト写真パッチと、対応するトレーニング集合写真パッチとの間の平方偏差距離を含み、
前記第二マッチング情報は、各テスト写真パッチと、対応するトレーニング集合スケッチ画像との間の平方偏差距離を含む、
ことを特徴とする請求項１、４又は８に記載の方法。
各テスト写真パッチの密なSIFT記述子を確定し、確定された密なSIFT記述子のユークリッド距離を取得して前記テスト写真パッチと対応するスケッチパッチの距離とすることにより、前記平方偏差距離を確定することを特徴とする請求項１１に記載の方法。
マルコフ確率場モデルを立てる前に、二つのガウス差フィルターで、前記写真に対してそれぞれフィルター処理を行うステップを更に備えることを特徴とする請求項８に記載の方法。
前記二つのガウス差フィルターはそれぞれ二つの標準偏差パラメーターσθとσ1を有し、ここで、（σθ,σ１)＝(０,４)又は（１,４)であることを特徴とする請求項１３に記載の方法。
前記形状事前分布は、トレーニング集合スケッチ画像とテスト写真において、予め定義された特徴点を検出するステップと、テスト写真のパッチｉに特徴点fを備える場合、以下のカーネル密度推定規則で前記形状事前分布を確定するステップとで確定され、
前記統計量は、平均勾配強度と、画素値の平方偏差と、エッジ画素の割合との中のいずれか一つであることを特徴とする請求項１５に記載の方法。
前記特徴点は、前記トレーニング集合スケッチ画像と前記テスト写真との輪郭部に位置することを特徴とする請求項１５に記載の方法。
前記複数のトレーニング集合写真と前記複数のトレーニング集合スケッチ画像は、それぞれ、幾何学的に整列する写真−スケッチ対を形成することを特徴とする請求項１、４又は８に記載の方法。
写真から肖像スケッチを合成する方法であって、
テスト写真を複数のテスト写真パッチに分割するステップと、
複数のトレーニング集合写真と複数のトレーニング集合スケッチ画像で、各テスト写真パッチに対してマルコフ確率場モデルを立てるステップと、
確率伝搬アルゴリズムを使用して前記マルコフ確率場モデルを最適化させ、前記各テスト写真パッチに対して、前記複数のトレーニングスケッチ画像において最もマッチングするトレーニングスケッチパッチを選出するステップと、
選出されたトレーニングスケッチパッチを肖像スケッチ画像に合成するステップと、を備え、
前記マルコフ確率場は、
前記統計量は、平均勾配強度と、画素値の平方偏差と、エッジ画素の割合との中のいずれか一つであることを特徴とする請求項１９に記載の方法。
前記特徴点は、前記トレーニング集合スケッチ画像と前記テスト写真の輪郭部に位置することを特徴とする請求項１９に記載の方法。
写真から肖像スケッチを合成するためのシステムであって、
テスト写真を複数のテスト写真パッチに分割する分割モジュールと、
各テスト写真パッチと、複数のトレーニング集合写真において予め分割された写真パッチとの間の第一マッチング情報を確定する写真−写真マッチングモジュールと、
各テスト写真パッチと、複数のトレーニング集合スケッチ画像において予め分割されたパッチとの間の第二マッチング情報を確定する写真−画素マッチングモジュールと、
各テストパッチの形状事前分布を確定する形状事前分布確定モジュールと、
前記第一マッチング情報、前記第二マッチング情報及び前記形状事前分布に基づいて、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定する最適化モジュールと、
確定されたトレーニング集合スケッチパッチを肖像スケッチ画像に合成する合成モジュールと、
を備えることを特徴とするシステム。
前記第一マッチング情報は、各テスト写真パッチと、対応するトレーニング集合写真パッチとの間の平方偏差距離を含み、
前記第二マッチング情報は、各テスト写真パッチと、対応するトレーニング集合スケッチパッチとの間の平方偏差距離を含む、
ことを特徴とする請求項２２に記載のシステム。
前記最適化モジュールは、
前記第一マッチング情報、前記第二マッチング情報及び前記形状事前分布に基づいてマルコフ確率場モデルを立て、立てられたマルコフ確率場モデルを最適化させ、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するように、構成されることを特徴とする請求項２２に記載のシステム。
更に、
隣接する二つのトレーニング集合パッチの間の階調一貫性情報と、隣接する二つのトレーニング集合スケッチパッチの間の勾配一貫性情報とを確定するための平滑モジュールを備えることを特徴とする請求項２２に記載のシステム。
前記最適化モジュールは、
前記第一マッチング情報、前記第二マッチング情報、前記形状事前分布、前記階調一貫性情報及び前記勾配一貫性情報に基づいてマルコフ確率場モデルを立て、立てられたマルコフ確率場モデルを最適化させ、各テスト写真パッチに対して、最もマッチングするトレーニング集合スケッチ画像を確定するように、構成されることを特徴とする請求項２５に記載のシステム。
前記形状事前分布確定モジュールは、トレーニング集合スケッチ画像とテスト写真において予め定義された特徴点に基づいて、以下のカーネル密度推定規則を利用して前記形状事前分布を確定するように構成され、
前記統計量は、平均勾配強度と、画素値の平方偏差と、エッジ画素の割合との中のいずれか一つであることを特徴とする請求項２７に記載のシステム。
前記特徴点は、前記トレーニング集合スケッチ画像と前記テスト写真の輪郭部に位置することを特徴とする請求項２７に記載のシステム。