JP2014230283A - ピクチャーを処理する方法および装置 - Google Patents

Abstract

【課題】ピクチャーを処理する方法。
【解決手段】ピクチャーを処理する方法が開示される。本発明の方法は：・前記ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階（１０）と；・前記背景層について色調和の背景テンプレートを選択する段階（１２）と；・前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する段階（１４）と；・セグメント分割された各層の色を、色調和の対応するテンプレートを使ってマッピングすることによって前記ピクチャーを処理する段階（１６）とを含む。
【選択図】図３

Description

本発明は、ピクチャーを処理する方法および装置に関する。より詳細には、ピクチャー処理方法は、調和する色（harmonious colors）のテンプレートを使ってピクチャーの色をマッピングすることを含む。

ピクチャーまたは該ピクチャーのいくつかの部分における色を補正して知覚的な体験を改善することが知られている。一例として、飽和した色をもつピクチャーは、それらの飽和した色を除去し、よって知覚的な体験を改善するよう有利に処理される。

非特許文献１は、調和テンプレート（harmonious template）Tm（m∈{i,I,L,T,V,X,Y,N}）に基づいてピクチャーを調和させる方法を教示している。色調和のこれらのテンプレートは図１に描かれている。この方法はいくつかの欠点がある。第一に、完全に自動的ではなく、「敏感な」領域（典型的には、もとの色を失うと不自然に見える肌または空）についての手動の注釈付けを必要とする。第二に、色マッピングは非常に初歩的であり、テンプレートにおいてガウシアン・フィルタ制約条件を適用することによってもとのピクチャーのカラー・パレットをマッピングする。第三に、ピクチャー全体またはこのピクチャーの選択された部分が同じ仕方で調和させられる。すなわち、同じテンプレートが使われる。

国際公開第2009/061305号、2009年5月14日公開

Cohen-Or、Color Harmonization Baveye et al.、"Image and Video Saliency Models Improvement by Blur Identification"、ICCVG2012、セクション2.2 M´emin et al.、"hierarchical estimation and segmentation of dense motion fields"、International Journal of computer vision in 2002 Sawhney et al.、"Compact representations of videos through dominant and multiple motion estimation"、IEEE Transactions on PAMI vol.18, no.8, August 1996 Van de Weijer et al.、"learning color names for real world applications"、IEEE Transactions in Image processing、2009 Delon et al.、"A nonparametric approach for histogram segmentation"、IEEE Transactions on Image Processing、16(1):253-261,2007 H.Tong, M.Lietal.、"Blur detection for digital images using wavelet transform"、IEEE International Conference on Multimedia & Expo, IEEE Press, pp.17-210,2004

本発明の目的は、従来技術の欠点の少なくとも一つを克服することである。

よって、ピクチャーを処理する方法が開示される。本処理方法は：
・ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階と；
・前記背景層について色調和の背景テンプレートを選択する段階であって、テンプレートとは、たとえば、色相環のまわりで調和的な諸色の少なくとも一つのセクターによって定義される、段階と；
・前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する段階と；
・セグメント分割された各層の色を、色調和の対応するテンプレートを使ってマッピングすることによってピクチャーを処理する段階とを含む。

第一の実施形態によれば、前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、一つのテンプレートを決定する段階は、前記距離に基づいて前記背景テンプレートの各セクターのサイズを増大させることを含み、増大したサイズのセクターをもつ前記テンプレートが前記少なくとももう一つの層についての前記テンプレートである。

本発明のある個別的な特徴によれば、前記距離に基づいて前記背景テンプレートの各セクターのサイズを増大させることは：
・前記背景層と前記少なくとももう一つの層との間の距離を計算する段階と；
・次の式：

に従って前記背景テンプレートの各セクターについての増大したサイズを決定する段階とを含み、
ここで、size_expは増大したサイズであり、nb_secは前記背景テンプレート中のセクターの数であり、d_fは前記背景層とある前景層との間の距離である。

ある変形実施形態によれば、前記背景層と前記少なくとももう一つの層との間の距離に依存して、前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、一つのテンプレートを決定する段階は、前記距離から計算されるサイズおよび角度をもつ単一のセクターを有する中間テンプレートを決定し、前記背景テンプレートと前記中間テンプレートの和集合として前記少なくとももう一つの層についての前記テンプレートを決定することを含む。

本発明のある個別的な特徴によれば、前記中間テンプレートの前記単一のセクターのサイズは次のように計算される。

ここで、d_kは前記背景層と前記少なくとももう一つの層との間の距離であり、Sは前記背景層の諸セクターのサイズの和であり、d_fは前記背景層とある前景層との間の距離である。

本発明のある側面によれば、ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階は、ピクチャー内の各ピクセルまたはピクセル群について奥行き値を決定し、該奥行き値に基づいてピクチャーをセグメント分割することを含む。

ある変形によれば、ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階は、ピクチャー内の各ピクセルまたはピクセル群について動き値を決定し、該動き値に基づいてピクチャーをセグメント分割することを含む。

本発明のある個別的な特徴によれば、前記背景層と前記少なくとももう一つの層との間の距離は、背景についての動き値または奥行き値の平均と、前記少なくとももう一つの層についての動き値または奥行き値の平均との間の差に等しい。

コンピュータ上で実行されたときに本発明に基づく処理方法の段階を実行するためのプログラム・コード命令を有するコンピュータ・プログラム・プロダクトがさらに開示される。

プロセッサに少なくとも本発明に基づく処理方法の段階を実行させるための命令が記憶されているプロセッサ可読媒体も開示される。

ピクチャーを処理する装置であって：
・ピクチャーを背景層および少なくとももう一つの層にセグメント分割する手段と；
・前記背景層について背景テンプレートを選択する手段であって、テンプレートは調和的な諸色値の少なくとも一つのセクターを定義する、手段と；
・前記背景層と前記少なくとももう一つの層との間の距離に依存して、前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、一つのテンプレートを決定する手段と；
・ピクチャーの諸色を対応するテンプレートを使ってマッピングすることによってピクチャーを処理する手段とを有する装置が開示される。

上記処理装置は、上記処理方法の段階を実行するよう構成される。

本発明の他の特徴および利点が実施形態のいくつかの以下の記述により明白となるであろう。該記述は図面との関連でなされる。
従来技術において定義される８つの調和色テンプレートを示す図である。 種々の角度をもつV型調和テンプレートを示す図である。 本発明に基づく処理方法のフローチャートである。 色相環および二つのピクセルAおよびBのマッピング方向を示す図である。 本発明に基づく処理装置を示す図である。

調和色テンプレート（harmonious color template）または色調和のテンプレート（template of color harmony）はたとえば、同時に存在するときにグローバルな調和する効果を表現する／反映すると考えられるHSV値（色相、彩度および値）の組である。図１に描かれる10個の調和色テンプレートTm（m∈{i,I,L,T,V,X,Y,J,O,N}）は色調和のそのようなテンプレートの例である。テンプレートOは、弧長360°をもつ唯一の色範囲を有する。このテンプレートは、たとえば虹を含んでいる写真のように、すべての色相を等しく含むフレームを調和させないために使われる。各調和色テンプレートTmは異なる諸部分／セクターからなる。調和色は、同じセクター内にあれば近く、向かい合うセクターにあれば相補的である。テンプレートJおよびLは直交調和色相を扱う。各セクターは図２に描かれるように、角度αおよびサイズwによって定義される。調和色テンプレートは、色相環のまわりに回されてもよい。よって、調和色テンプレートTmはテンプレート型mおよび角度α_mによって定義される。

図３は、本発明のある個別的な、限定しない実施形態に基づく処理方法のフローチャートを描いている。本方法の段階のいくつかは任意的である。以下の方法は、同じプロセスを相続くフレームに適用することによってビデオ源に拡張されることができることがわかるであろう。段階１０では、ピクチャーは背景層および少なくとももう一つの層に、たとえば背景層と前景層にセグメント分割される。より一般には、ピクチャーはN個の層P_kにセグメント分割される。ここで、k＝0ないしN−1である。背景はたとえばインデックスk＝0の層であり、前景層はインデックスk＝N−1の層である。

一例として、ピクチャー内の各ピクセルまたはピクセル群について奥行き値が計算される。こうして、N個の層にセグメント分割される奥行きマップが得られる。N＝2であれば、背景層および前景層が得られる。奥行きマップはたとえば(N−1)個の閾値Tr＝maxDepth−maxDepth*r/(N−1)を用いて閾値処理される。ここで、r＝0ないしN−2であり、maxDepthは奥行きマップにおける最大奥行き値である。奥行きマップは、奥行きセンサー（たとえばキネクト（登録商標）型の）を使って得ることができる。ある変形では、奥行きマップは特許文献１に開示される方法によって得ることができる。しかしながら、本発明が奥行きマップを得るためのこれらの個別的な方法に制約されないことは理解されるであろう。

ある変形では、奥行きマップはぼけ（blur）マップで置き換えることができる。例示的には、ぼけマップは非特許文献２に開示されるようにして決定できる。次いでぼけマップはN個の層にセグメント分割される。N＝2であれば、背景層および前景層が得られる（ぼけの観点からは、背景層は最もぼけている領域である）。ぼけマップはたとえば、(N−1)個の閾値Tr＝maxBlur−maxBlur*r/(N−1)を用いて閾値処理される。ここで、r＝0ないしN−2であり、maxBlurはぼけマップにおける最大ぼけ値である。しかしながら、本発明がぼけマップを得るためのこの個別的な方法に制約されないことは理解されるであろう。

ある変形によれば、ピクチャー内の各ピクセルまたはピクセル群について動き値が計算される。こうして、N個の層にセグメント分割される動きマップが得られる。N＝2であれば、背景層および前景層が得られる（動きの観点からの）。非特許文献３に開示される方法を使うことができる。ある変形は、支配的な動きを判別することを含む。非特許文献４はセクション２．２において、支配的な動きを判別する方法を開示している。背景は、支配的な動きを有するピクセルの集合から構成される。換言すれば、あるピクセルの動きが支配的な動きであれば、このピクセルは背景に属すると考えられる。N−1個の他の層は、K平均アルゴリズムを使って動きスピードによりセグメント分割される。背景の動きスピードから最も隔たった動きスピードをもつ層が前景であると考えられる。しかしながら、本発明が動きマップを得るためのこれらの個別的な方法に制約されないことは理解されるであろう。

段階１２では、背景テンプレートT_bが背景層について選択される。より精密には、背景テンプレート型bおよび背景テンプレート角α_bが決定される。図１に描かれ、非特許文献１において定義されるテンプレートTm（m∈{i,I,L,T,V,X,Y,J,O}）の一つがα_mの回転のもとに選択される。したがって、テンプレート型が選択されるのみならず、テンプレート型が角度とともに選択される。型Oのテンプレートはこの選択の際には使われない。

一つのテンプレートを選ぶのを助けるために、もとのピクチャーの背景層の色ヒストグラムMが、下記に定義されるようにHSV空間において計算される。それは、彩度および値によって重み付けられた規格化された色相分布である：

jは必ずではないが通例、0から360まで変わる。

次いで、色相分布Mに最もよく当てはまる適切なテンプレート型bおよび関連する角α_bが、各テンプレート型mおよび各角度αについて計算されるクルバック・ライブラー発散（Kullback-Leibler divergence）を最小化することによって選ばれる：

ここで、P(m,α)は角度αについてのテンプレートmの分布である。P_j(m,α)は上記分布のビンjを表わす。ここで、P(m,α)は典型的には、Mの調和されたモデル、記述または近似を表わす。分布P(m,α)はHSV値の各セクター／部分において一様、他所ではヌルであることができ、あるいはバンプ関数（bump function）であることができる。本発明は分布が定義される仕方によって限定されない。ある変形によれば、テンプレートT_bおよび関連する角度α_bは、それが色相分布Mにマッチするよう、すなわちクルバック・ライブラー発散

がある閾値未満になるよう、選択される。ここで、b∈{i,I,L,T,V,X,Y,J,O}である。この場合、テンプレートは必ずしも色相分布Mに最もよく当てはまるものではないが、色相分布Mに近い。

段階１４では、他の層P_kのそれぞれについてテンプレートが決定される。該テンプレートは、背景層と他の層P_kとの間で計算された距離d_kに依存して背景テンプレートから決定される。テンプレートは、背景テンプレートのサイズを増すことによって、より精密には、テンプレートの各セクターのサイズsize_bを増大させることによって、現在層P_kについて決定される。この場合、角度は不変なままである。各テンプレートの各セクターのサイズw_mは、Cohen et al.からの論文において精密に定義されている。たとえば、型iのテンプレートのセクターのサイズは18°である。この膨張の発想は、現在層から背景までのある「距離」をもつ各セクターのこのサイズsize_bに、背景から前景層へとサイズが漸進的に増大するよう重み付けするというものである。背景テンプレートにおけるすべてのセクターのサイズは次のように増大させられる。

ここで、size_expは増大させられたサイズであり、nb_secは背景テンプレート中のセクターの数であり、d_fは前景層と背景層（すなわち、最も近い層、すなわちP_N-1）との間の距離である。一例として、距離d_kは、背景ピクセルの奥行き／スピード値の平均μ_backと現在層ピクセルの奥行き／スピード値の平均μ_kとの間の差として定義され、d_fは、背景ピクセルの奥行き／スピード値の平均μ_backと前景層ピクセルの奥行き／スピード値の平均μ_fとの間の差として定義される。μ_back、μ_kおよびμ_fの値が正確でない場合、前景層が層P_N-1である一方、背景がインデックスk＝0の層であれば、計算ノイズにそれほど敏感でない別の距離を使うことが可能である。この変形によれば、サイズは次のように計算される。

セクター膨張は、現在層における重要な数のピクセルの色相値が拡大されたテンプレートに含まれない場合には、それほど効率的ではない。実際、膨張の目標は、前景の諸層における色を保存することである。しかしながら、現在層における重要な数のピクセルの色相値が拡大されたテンプレートに含まれない場合には、それらはテンプレートにおいてシフトされる必要がある。結果として、対応する前景層は大幅に修正される。以下の変形はこの問題を解決する。

ある変形によれば、現在層P_kについてのテンプレートは、背景T_bのテンプレートと現在層について計算された型Ψおよび角度α_fの中間テンプレートの和集合として決定される。この中間テンプレートΨは、一つのセクターのみから構成されるが、そのサイズsize_Ψは先の変形と同様に現在層から背景までの「距離」に依存するほかT_b中のセクター（単数または複数）のサイズにも依存する。ひとたびサイズが計算されたら、角度α_fが：

のように現在層のピクセルに対するテンプレートΨについてのみ計算されるクルバック・ライブラー発散を最大化する角度として決定される。ある変形によれば、角度α_fは、統一されたテンプレートが高々二つのセクターを有するよう制約される。したがって、統一されたテンプレートは図１に描かれる８つのもとのテンプレートに最も近い。背景に対して計算されたテンプレートが二つのセクターを有する場合、角度α_fは、テンプレート(Ψ,α_f)がT_bのセクターの境界の一つの隣に位置されるよう、決定される。テンプレート(Ψ,α_f)は次のように定義される：

ここで、size₁はT_bの第一のセクターのサイズであり、size₂は第二のセクターのサイズである。

両方の変形は、もはや調和するテンプレートではない前記テンプレートを変形する。しかしながら、α_bはこの段階の間、変更されない。これは、ピクセル・マッピング・プロセスにおけるより多くの柔軟性を提供する。一方、色相は背景についてと同じ中心付近に縮小される。これは色の統一性（unity）をもたらす。

他の層のテンプレートは、背景テンプレートから、この背景層へのそれらの層の相対距離に依存して決定されるので、オブジェクトは背景中によりよく統合される。さらに、それらの層は徐々に調和される。上記第二の変形においてはオブジェクトの重要な色が考慮に入れられる。背景テンプレートが、諸中間層におけるピクセル上で計算されたテンプレートΨとマージされるからである。

段階１６では、もとのピクチャーのピクセルが対応するテンプレート中にマッピングされる。すなわち、背景のピクセルは背景テンプレートを使ってマッピングされ、層P_kのピクセルは段階１４においてこの層P_kについて決定されたテンプレートを使ってマッピングされる。より精密には、突出値（outliers）（選択されたテンプレート外であるという意味での）は、色相マッピング関数を適用することによって、調和セクター（単数または複数）中にまたは近くにマッピングされる。

各ピクセルpの色相をマッピングするためにS字関数が使われる：

ここで、C(p)は、pに関連付けられたセクターの中央色相、wはそのテンプレート・セクターの弧幅、‖ ‖は色相環上での弧長距離を指し、Sgnはマッピングの方向に関連付けられた符号である。ピクセルはたとえば、最も近いセクター辺上にマッピングされる。図４に描かれるように、ピクセルAはたとえばセクターの右の辺でマッピングされる。それが最も近い辺だからである。一方、ピクセルBはセクターの左の辺でマッピングされる。色相環は向き付けられているので、Sgnは、マッピングの方向および色相環の向きが逆方向であるとき正であり（ピクセルAの場合）、それ以外の場合にSgnは負である（ピクセルBの場合）。本発明によれば、所与のピクセルについてのマッピングの方向は必ずしも、そのピクセルがセクターの最も近い辺においてマッピングされるようには決定されない。このS字曲線は、ピクセル・マッピングのための良好な属性をもつ。テンプレート中の極限値自動クランプ・ピクセルおよびその中央セクション（通常の振る舞い）におけるその漸近線はほぼ線形であり、よってセクターの中央では、色相は変更されない。提案されるマッピング関数は、調和するセクターの中央におけるもとの色相値を保証し、テンプレート外の色相値はより強く圧縮する。調和色は保存され、非調和色相のみが修正される。

しかしながら、肌および空の領域は、上記に開示されるピクセル・マッピング段階１６において修正されると、自然ではなくなる。実際、同様の色をもつ隣り合う二つのピクセルが反対方向に、結果として同じセクターの反対側にまたは異なるセクターにマッピングされることがあるので、いくつかのアーチファクトがこの段階の間に生成されることがある。もう一つの実施形態によれば、これらのアーチファクトを除去するために、もとのピクチャーのセグメンテーション・マップが任意的な段階１５において決定され、段階１６の間に使用される。これは、セグメンテーション・マップの同じセグメント分割された領域中のすべてのピクセルが同じマッピング方向をもって、よって同じセクターにおいてマッピングされることを保証するためである。このマッピング方向はたとえば、所与のセグメント分割された領域におけるこれらのピクセルにほとんど割り当てられた方向である。このマッピング方向はたとえば、各ピクセルと、そのセグメント分割された領域のマッピング方向を関連付ける方向マッピング・マップにおいて格納される。セグメンテーション・マップは、もとの画像中で、近い色をもつ種々の領域を定義する。そのようなマップを提供する任意の方法を使用できる。そのようなアルゴリズムの一例は、非特許文献５の論文に開示されている。色調和のためには、色セグメンテーションの空間的側面は義務的ではない。したがって、ポピュラーなK平均方法のようなヒストグラム・セグメンテーション技法がここでは十分である。しかしながら、そのようなヒストグラム・セグメンテーションは以下の制約条件を尊重すべきである：
・教師なしであるべきである。これは、色クラスターの最終的な数がパラメータであるべきではないということを意味する。実のところ、色調和は、有意な色の数が正しくないことに非常に敏感である。
・ヒストグラム・セグメンテーション技法は、ヒストグラムの小さな諸モードをセグメント分割できるべきである。換言すれば、色突出値と見ることのできる小さな領域が別個のモードとして検出されるべきである。

これらの要求を満たすために、非特許文献６の論文に開示される、ACoPa（Automatic Color Palette［自動色パレット］）と称されるDelonらの仕事の上に構築される色セグメンテーション方法が開示される。この色セグメンテーション技法は、色ヒストグラム・モードの反対解析（a contrario analysis）に基づく。有意なヒストグラム・モードの統計的推定が実行される。H空間、次いでS空間、次いでV空間におけるモードの階層的な推定の代わりに、各成分のヒストグラム分解が独立に実行される。得られたモードは、得られたすべてのモードから組み合わされ、非常に限られたグループのピクセルをもつセグメントは破棄される。最後に、これらのヒストグラム・モードに基づいて、Lab色空間で表現された辞書を使って知覚的に同様であるモードをグループ化するためにK平均後処理が使用される。

このセグメンテーション技法は、もとのバージョンより約10倍速い。さらに、無色ピクセルをより効率的に扱う。非空間的アルゴリズムを使うことは、同じ色をもつすべてのピクセルを、それらの位置についての先験なしに扱うことを許容する。

セグメンテーションは完璧ではなく、各領域が、もともと色が近い一方、異なるマッピング方向をもつ場合、セグメント分割された領域の境界にいくつかのアーチファクトが現われることがある。これらのアーチファクトは、反対方向の色相マッピングを受けるセグメント分割された領域のフロンティアでのみ現われる。

もう一つの実施形態によれば、上記の問題を克服するために平均フィルタにより境界におけるピクセルをぼかす後処理段階がこのように適用される。関わるフロンティアは、ぼかすべきピクセルを同定するマスクを得るために方向マッピング・マップ上に適用される勾配フィルタにより検出される。該マスクは、段階１６において得られる修正された色相ピクチャーにおける対応するピクセルをぼかすために使われる。ぼかされるべきピクセルの数は、源ピクチャーにおけるこの位置でのぼけの量に依存する。実際、もともと鮮鋭な領域はぼかされる必要はない。そのようなぼかしは煩わしいことがありうる。ぼかしの量はたとえば、非特許文献７に開示される方法に基づいて計算される。

図５は、個別的な、限定しない実施形態に基づく、処理装置２の例示的な構成を表わしている。本処理装置はたとえばタブレット、PDAまたは携帯電話であることができる。処理装置２は、データおよびアドレス・バス２４によって一緒にリンクされる以下の要素を有する：
・マイクロプロセッサ２１（またはCPU）。これはたとえばDSP（デジタル信号プロセッサ）；
・一つまたはいくつかのメモリ２２、たとえばRAM（すなわちランダム・アクセス・メモリ）および／またはROM（すなわち読み出し専用メモリ）；
・一つまたはいくつかの入出力インターフェース２５、たとえばキーボード、マウス；
・バッテリー２６。

図３のこれらの要素のそれぞれは当業者にはよく知られており、これ以上の開示はしない。処理装置２は、処理されたピクチャーを表示するためのスクリーンのような表示手段を有していてもよい。上述したメモリのそれぞれにおいて、本明細書で使われる単語「レジスタ」は、小さな容量（数ビット）の領域に、あるいは非常に大きな領域（たとえばプログラム全体または大量の受信されたまたは復号されたデータ）に対応することができる。ある個別的な実施形態によれば、本発明に基づく処理方法のアルゴリズムはROM ２２に記憶される。RAM ２３は、レジスタ内に、CPU ２１によって実行され、処理装置２のスイッチオン後にアップロードされるプログラムを有している。スイッチオンされるとき、CPU ２１はRAM中のプログラムをアップロードし、対応する命令を実行する。処理されるべきピクチャーは入出力インターフェース２５の一つで受領される。入出力インターフェース２５の一つは、本発明に基づいて処理されたピクチャーを送信するよう適応されている。

諸変形によれば、本発明と互換な処理装置２は、純粋にハードウェアの実現に従って、たとえば専用コンポーネント（たとえばASIC（特定用途向け集積回路）またはFPGA（フィールド・プログラマブル・ゲート・アレイ）またはVLSI（超大規模集積））の形で、あるいはデバイス中に統合されたいくつかの電子コンポーネントの形で、またさらにはハードウェア要素およびソフトウェア要素の混合の形で実装される。

Claims (13)

1. ピクチャーを処理する方法であって：
   ・ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階と；
   ・前記背景層について色調和の背景テンプレートを選択する段階と；
   ・前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する段階と；
   ・セグメント分割された各層の色を、色調和の対応するテンプレートを使ってマッピングすることによって前記ピクチャーを処理する段階とを含む、
   方法。
2. 色調和の各テンプレートは、色相環のまわりで、調和する諸色の少なくとも一つのセクターによって定義される、請求項１記載の方法。
3. 前記背景層と前記少なくとももう一つの層との間の距離d_kに依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、一つのテンプレートを決定する段階は、前記距離に基づいて色調和の前記背景テンプレートの各セクターのサイズsize_bを増大させることを含み、増大したサイズのセクターをもつ前記テンプレートが前記少なくとももう一つの層についての色調和の前記テンプレートである、請求項２記載の方法。
4. 前記距離d_kに基づいて色調和の前記背景テンプレートの各セクターのサイズsize_bを増大させることは、次の式：
   

   

   に従って色調和の前記背景テンプレートの各セクターについての増大したサイズを計算することを含み、
   ここで、size_expは前記増大したサイズであり、nb_secは色調和の前記背景テンプレート中のセクターの数であり、d_fは前記背景層と前景層との間の距離である、
   請求項３記載の方法。
5. 前記背景層と前記少なくとももう一つの層との間の距離d_kに依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する段階は、前記距離から計算されるサイズおよび角度をもつ単一のセクターを有する色調和の中間テンプレートを決定し、色調和の前記背景テンプレートと色調和の前記中間テンプレートの和集合として前記少なくとももう一つの層についての色調和の前記テンプレートを決定することを含む、請求項２記載の方法。
6. 色調和の前記中間テンプレートの前記単一のセクターのサイズsize_Ψは
   

   

   のように計算され、
   ここで、Sは前記背景層の諸セクターのサイズの和であり、d_fは前記背景層と前景層との間の距離である、
   請求項５記載の方法。
7. 前記ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階は、前記ピクチャー内の各ピクセルまたはピクセル群について奥行き値を決定し、該奥行き値に基づいて前記ピクチャーをセグメント分割することを含む、請求項１ないし６のうちいずれか一項記載の方法。
8. 前記ピクチャーはビデオに属し、前記ピクチャーを背景層および少なくとももう一つの層にセグメント分割する段階は、前記ピクチャー内の各ピクセルまたはピクセル群について動き値を決定し、該動き値に基づいて前記ピクチャーをセグメント分割することを含む、請求項１ないし６のうちいずれか一項記載の方法。
9. 前記背景層と前記少なくとももう一つの層との間の距離は、背景についての動き値または奥行き値の平均と、前記少なくとももう一つの層についての動き値または奥行き値の平均との間の差に等しい、請求項７または８記載の方法。
10. 当該プログラムがコンピュータ上で実行されたときに請求項１ないし９のうちいずれか一項記載の処理方法の段階を実行するためのプログラム・コード命令を有するコンピュータ・プログラム・プロダクト。
11. プロセッサに少なくとも請求項１ないし９のうちいずれか一項記載の処理方法の段階を実行させるための命令が記憶されているプロセッサ可読媒体。
12. ピクチャーを処理する装置であって：
    ・前記ピクチャーを背景層および少なくとももう一つの層にセグメント分割する手段と；
    ・前記背景層について色調和の背景テンプレートを選択する手段と；
    ・前記背景層と前記少なくとももう一つの層との間の距離に依存して、色調和の前記背景テンプレートから、前記少なくとももう一つの層のそれぞれについて、色調和の一つのテンプレートを決定する手段と；
    ・セグメント分割された各層の色を色調和の対応するテンプレートを使ってマッピングすることによって前記ピクチャーを処理する手段とを有する、
    装置。
13. 請求項１ないし９のうちいずれか一項記載の処理方法の段階を実行するよう構成されている、請求項１２記載の処理装置。

Images