JP2022512262A - 画像処理方法及び装置、画像処理機器並びに記憶媒体 - Google Patents

Abstract

本願の実施例は、画像処理方法及び装置、画像処理機器並びに記憶媒体を提供する。前記画像処理方法は、ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得ることと、３Ｄ変形パラメータを取得し、前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルを第２の３Ｄモデルに変換することと、前記第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標を得て、前記第２の３Ｄモデルを２Ｄ空間にマッピングして第２の２Ｄ座標を得ることと、前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年１１月２１日に提出された出願番号２０１９１１１４８０６８．３の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、画像処理技術分野に関し、特に画像処理方法及び装置、画像処理機器並びに記憶媒体に関する。

収集された画像に、収集対象のイメージ（ターゲット）が含まれる。そのイメージング効果を調整する必要がある場合、例えば、人体のボディシェーピング、顔の美容などのようなターゲットの変形を行う。しかしながら、幾つかの場合、画像の変形効果は、好ましくなく、ひいては、変形した後に、所望外の不必要な変形が発生してしまう。

本願の実施例は、画像処理方法及び装置、画像処理機器並びに記憶媒体を提供することが望ましい。

本願の実施例の技術的解決手段は、以下のように実現する。

本願の実施例の第１態様によれば、画像処理方法を提供する。前記方法は、ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得ることと、３Ｄ変形パラメータを取得し、前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルを第２の３Ｄモデルに変換することと、前記第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標を得て、前記第２の３Ｄモデルを２Ｄ空間にマッピングして第２の２Ｄ座標を得ることと、前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることと、を含む。

本願の幾つかの任意選択的な実施例において、ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得ることは、人体メッシュ復元モデルにより、前記第１の２Ｄ画像から、前記ターゲットの３Ｄモデルを再構築するための第１再構築パラメータを抽出することと、抽出された前記第１再構築パラメータを利用して、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築することと、を含む。

本願の幾つかの任意選択的な実施例において、前記第１再構築パラメータは、前記ターゲットの第１関節点パラメータ、前記ターゲットの第１形態パラメータ及び前記第１の２Ｄ画像のカメラパラメータのうちの少なくとも１つを含む。

本願の幾つかの任意選択的な実施例において、前記方法は、人体検知モデルにより、前記第１の２Ｄ画像から、前記ターゲットの第２関節点パラメータを抽出することであって、第２関節点パラメータで表される第２関節点と前記第１関節点パラメータで表される一部の第１関節点とは重なり合いがある、ことを更に含み、抽出された前記第１再構築パラメータを利用して、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築することは、前記第１再構築パラメータのうちの、前記第２関節点とは重なり合いがある一部の第１関節点の第１関節点パラメータを前記第２関節点パラメータに置き換え、第２再構築パラメータを形成することと、前記第２再構築パラメータに基づいて、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築することと、を含む。

本願の幾つかの任意選択的な実施例において、前記第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標を得て、前記第２の３Ｄモデルを２Ｄ空間にマッピングして第２の２Ｄ座標を得ることは、前記第１の２Ｄ画像に対応するカメラパラメータに基づいて、前記第１の３Ｄモデル及び前記第２の３Ｄモデルをそれぞれ２Ｄ空間にマッピングして前記第１の２Ｄ座標及び前記第２の２Ｄ座標を得ることを含む。

本願の幾つかの任意選択的な実施例において、前記方法は、前記第１の２Ｄ画像の第１の２Ｄ変形パラメータを取得することを更に含み、３Ｄ変形パラメータを取得することは、前記第１の２Ｄ変形パラメータ、及び２Ｄ空間と３Ｄ空間とのマッピング関係に基づいて、前記３Ｄ変形パラメータを得ることを含む。

本願の幾つかの任意選択的な実施例において、前記方法は、前記第１の２Ｄ画像における前記ターゲットの輪郭点パラメータを取得することと、前記輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、前記連結関係で表される変形方向を決定することと、を更に含み、前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることは、前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記変形方向において、前記第１の２Ｄ画像における前記ターゲットに対して変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることを含む。

本願の幾つかの任意選択的な実施例において、前記輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、前記連結関係で表される変形方向を決定することは、前記輪郭点パラメータに基づいて、前記ターゲットにおける対称に分布する少なくとも２つの局所の輪郭点の第１結線方向に応じて、前記変形方向を決定することであって、前記変形方向は、前記第１結線方向に平行な第１変形方向、前記第１結線方向に垂直な第２変形方向のうちの少なくとも１つを含む、ことを含む。

本願の幾つかの任意選択的な実施例において、前記輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、前記連結関係で表される変形方向を決定することは、前記輪郭点パラメータに基づいて、前記ターゲットにおける、所定の局所の中心点又は中心線を中心として対称に分布する少なくとも２つの輪郭点の第２結線方向に応じて、前記変形方向を決定することであって、前記変形方向は、前記第２結線方向に平行な第３変形方向、及び／又は、前記第２結線方向に垂直な第４変形方向を含む、ことを含む。

本願の幾つかの任意選択的な実施例において、前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることは、前記第１の２Ｄ座標が前記変形方向に沿って第２の２Ｄ座標に移動する第２の２Ｄ変形パラメータを決定することと、前記第２の２Ｄ変形パラメータに基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることと、を含む。

本願の幾つかの任意選択的な実施例において、前記第１の３Ｄモデルを第２の３Ｄモデルに変換することは、前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルの少なくとも一部の輪郭点の座標を変えて前記第２の３Ｄモデルを得ることを含む。

本願の実施例の第２態様によれば、画像処理装置を提供する。前記装置は、
ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得るように構成される第１取得モジュールと、
３Ｄ変形パラメータを取得し、前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルを第２の３Ｄモデルに変換するように構成される第２取得モジュールと、
前記第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標を得て、前記第２の３Ｄモデルを２Ｄ空間にマッピングして第２の２Ｄ座標を得るように構成されるマッピングモジュールと、
前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得るように構成される変形モジュールと、を備える。

本願の幾つかの任意選択的な実施例において、前記第１取得モジュールは、人体メッシュ復元モデルにより、前記第１の２Ｄ画像から、前記ターゲットの３Ｄモデルを再構築するための第１再構築パラメータを抽出し、抽出された前記第１再構築パラメータを利用して、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築するように構成される。

本願の幾つかの任意選択的な実施例において、前記第１再構築パラメータは、前記ターゲットの第１関節点パラメータ、前記ターゲットの第１形態パラメータ及び前記第１の２Ｄ画像のカメラパラメータのうちの少なくとも１つを含む。

本願の幾つかの任意選択的な実施例において、前記装置は、人体検知モデルにより、前記第１の２Ｄ画像から、前記ターゲットの第２関節点パラメータを抽出するように構成される抽出モジュールであって、前記第２関節点パラメータで表される第２関節点と前記第１関節点パラメータで表される一部の第１関節点とは重なり合いがある抽出モジュールを更に備え、
前記第１取得モジュールは、前記第１再構築パラメータのうちの、前記第２関節点とは重なり合いがある一部の第１関節点の第１関節点パラメータを前記第２関節点パラメータに置き換え、第２再構築パラメータを形成し、前記第２再構築パラメータに基づいて、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築するように構成される。

本願の幾つかの任意選択的な実施例において、前記マッピングモジュールは、前記第１の２Ｄ画像に対応するカメラパラメータに基づいて、前記第１の３Ｄモデル及び前記第２の３Ｄモデルをそれぞれ２Ｄ空間にマッピングして前記第１の２Ｄ座標及び前記第２の２Ｄ座標を得るように構成される。

本願の幾つかの任意選択的な実施例において、前記装置は、前記第１の２Ｄ画像の第１の２Ｄ変形パラメータを取得するように構成される第３取得モジュールを更に備え、
前記第２取得モジュールは、前記第１の２Ｄ変形パラメータ、及び２Ｄ空間と３Ｄ空間とのマッピング関係に基づいて、前記３Ｄ変形パラメータを得るように構成される。

本願の幾つかの任意選択的な実施例において、前記装置は、前記第１の２Ｄ画像における前記ターゲットの輪郭点パラメータを取得するように構成される第４取得モジュールと、
前記輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、前記連結関係で表される変形方向を決定するように構成される決定モジュールと、を更に備え、
前記変形モジュールは、前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記変形方向において、前記第１の２Ｄ画像における前記ターゲットに対して変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得るように構成される。

本願の幾つかの任意選択的な実施例において、前記決定モジュールは、前記輪郭点パラメータに基づいて、前記ターゲットにおける対称に分布する少なくとも２つの局所の輪郭点の第１結線方向に応じて、前記変形方向を決定するように構成され、前記変形方向は、前記第１結線方向に平行な第１変形方向、前記第１結線方向に垂直な第２変形方向のうちの少なくとも１つを含む。

本願の幾つかの任意選択的な実施例において、前記決定モジュールは、前記輪郭点パラメータに基づいて、前記ターゲットにおける、所定の局所の中心点又は中心線を中心として対称に分布する少なくとも２つの輪郭点の第２結線方向に応じて、前記変形方向を決定するように構成され、前記変形方向は、前記第２結線方向に平行な第３変形方向、及び／又は、前記第２結線方向に垂直な第４変形方向を含む。

本願の幾つかの任意選択的な実施例において、前記変形モジュールは、前記第１の２Ｄ座標が前記変形方向に沿って第２の２Ｄ座標に移動する第２の２Ｄ変形パラメータを決定し、前記第２の２Ｄ変形パラメータに基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得るように構成される。

本願の幾つかの任意選択的な実施例において、前記第２取得モジュールは、前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルの少なくとも一部の輪郭点の座標を変えて前記第２の３Ｄモデルを得るように構成される。

本願の実施例の第３態様によれば、画像処理機器を提供する。前記画像処理機器は、
コンピュータによる実行可能な命令を記憶するように構成されるメモリと、
前記メモリに接続され、前記コンピュータによる実行可能な命令を実行することで、前記いずれか１つの技術的解決手段により提供される画像処理方法を実現させるように構成されるプロセッサと、を備える。

本願の実施例の第４態様によれば、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体には、コンピュータによる実行可能な命令が記憶されており、前記コンピュータによる実行可能な命令がプロセッサにより実行された後、前記いずれか１つの技術的解決手段により提供される画像処理方法を実現させる。

本願の実施例により提供される技術的解決手段によれば、第１の２Ｄ画像内のターゲットを変形する場合、２Ｄ平面内で画像変形を直接的に行うことなく、第１の２Ｄ画像におけるターゲットを３Ｄ空間内での第１の３Ｄモデルに変換する。変形を行う時、３Ｄ変形パラメータを取得することにより、第１の３Ｄモデルを直接的に変形し、変形された第２の３Ｄモデルを得る。続いて、第１の３Ｄモデル及び第２の３Ｄモデルをそれぞれ２Ｄ空間にマッピングし、２Ｄ平面内にマッピングし返された第１の２Ｄ座標及び第２の２Ｄ座標を得て、第１の２Ｄ座標及び第２の２Ｄ座標に基づいて、第１の２Ｄ画像におけるターゲットの変形を行う。これにより、２Ｄ平面内でターゲットを直接的に変形することに比べて、不必要な変形の発生を減少させ、２Ｄ画像の変形効果を向上させることができる。

本願の実施例による第１種画像処理方法を示すフローチャートである。 本願の実施例による１４個の人体関節点を示す概略図である。 本願の実施例による２５個の人体関節点を示す概略図である。 本願の実施例による第２種画像処理方法を示すフローチャートである。 本願の実施例による２Ｄ画像の効果を示す概略図である。 本願の実施例による抽出された人体関節点を示す概略図である。 本願の実施例による抽出された人体輪郭点を示す概略図である。 本願の実施例による第１変形方向を示す概略図である。 本願の実施例による第２変形方向を示す概略図である。 本願の実施例による３Ｄモデルの効果を示す概略図である。 本願の実施例によるもう１つの３Ｄモデルの効果を示す概略図である。 本願の実施例による画像処理装置の構造を示す概略図である。 本願の実施例による画像処理機器の構造を示す概略図である。

以下、明細書の図面及び具体的な実施例を参照しながら、本願の技術的解決手段を更に詳しく説明する。

図１に示すように、本実施例は、画像処理方法を提供する。前記方法は、以下を含む。

Ｓ１１０において、ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得る。

Ｓ１２０において、３Ｄ変形パラメータを取得し、３Ｄ変形パラメータに基づいて、第１の３Ｄモデルを第２の３Ｄモデルに変換する。

Ｓ１３０において、第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標を得て、第２の３Ｄモデルを２Ｄ空間にマッピングして第２の２Ｄ座標を得る。

Ｓ１４０において、第１の２Ｄ座標及び第２の２Ｄ座標に基づいて、第１の２Ｄ画像におけるターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得る。

本実施例の画像処理方法は、種々の画像処理機器に適用可能である。例示的には、画像処理機器は、種々の端末機器を含んでもよい。端末機器は、携帯電話又はウェアラブル機器などを含む。端末機器は、車載端末機器又はある部位に固定される画像収集撮影専用の固定端末機器を更に含んでもよい。別の幾つかの実施例において、画像処理機器は、例えば、ローカルサーバ又はクラウドプラットフォームに位置して画像処理サービスを提供するクラウドサーバ等のようなサーバを更に含んでもよい。

幾つかの任意選択的な実施例において、２Ｄ画像は、２Ｄカメラにより収集されてもよい。例示的には、２Ｄ画像は、赤緑青（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ：ＲＧＢ）画像又はＹＵＶ画像であってもよい。ここで、ＹＵＶは、色の符号化形態であり、「Ｙ」は、輝度（Ｌｕｍｉｎａｎｃｅ又はＬｕｍａ）を表し、つまり、階調値である。「Ｕ」及び「Ｖ」は、色度（Ｃｈｒｏｍｉｎａｎｃｅ又はＣｈｒｏｍａ）を表し、映像の色彩及び飽和度を描写するために用いられる。

幾つかの任意選択的な実施例において、２Ｄ画像におけるターゲットの最適化及び変形を実現させるために、本実施例は、２Ｄ画像におけるターゲットを直接的に変形することなく、２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの３Ｄモデルを得る。上記３Ｄモデルは、第１の３Ｄモデルと表記される。図６Ａ及び図６Ｂは、異なるターゲットに対応する２つの第１の３Ｄモデルの効果を示す概略図である。

第１の３Ｄモデルに基づいて、３Ｄ変形パラメータを得る。例示的には、３Ｄ変形パラメータは、３Ｄ空間内の第１の３Ｄモデルでの１つ又は複数の３Ｄ座標の変換パラメータを含んでもよい。

例示的には、変換パラメータは、所望の３Ｄモデルの異なる局所の比例値、所望の３Ｄモデルの異なる局所のサイズ値、第１の３Ｄモデルを第２の３Ｄモデルに変換する変形方向及び／又は対応する変形方向での変形幅値のうちの少なくとも１つを含んでもよい。

ここで、所望の３Ｄモデルの異なる局所の比例値は、スカラーであり、異なる局所の比例を表す。例えば、比例値は、人体の上半身の長さと脚部の長さとの比であってもよい。

ターゲット人体を例として、所望の３Ｄモデルの異なる局所のサイズ値は、例えば、人体の脚長の値、腰幅の値、身長の値等のサイズ値を含んでもよい。

幾つかの実施例において、方法は、第１の２Ｄ画像の第１の２Ｄ変形パラメータを取得することを更に含み、３Ｄ変形パラメータを取得することは、第１の２Ｄ変形パラメータ、及び２Ｄ空間と３Ｄ空間とのマッピング関係に基づいて、３Ｄ変形パラメータを得ることを含んでもよい。

例えば、２Ｄのマンマシンインタフェースに第１の２Ｄ画像を表示する。ユーザは、手動操作などの方式により、第１の２Ｄ画像でのターゲットの１つ又は複数の部位の２Ｄ座標を移動することができる。画像処理機器は、ユーザにより入力されたユーザ操作に基づいて、第１の２Ｄ変形パラメータを決定することができる。第１の２Ｄ変形パラメータは、２Ｄ空間内で第１の２Ｄ画像における２Ｄ座標変換が発生した輪郭点及びこれらの輪郭点の座標変換値を含んでもよい。２Ｄ空間と３Ｄ空間とのマッピング関係に基づいて、第１の２Ｄ変形パラメータを３Ｄ変形パラメータに変換する。

幾つかの実施例において、３Ｄ変形パラメータは、マンマシンインタフェースから受信されたユーザ命令に基づいて生成された変形パラメータであってもよい。例えば、第１の３Ｄモデルを構築した後、２Ｄインタフェースに一回で第１の３Ｄモデルの１つの平面を展示することができる。回転又は移動の方式により、２Ｄインタフェースに第１の３Ｄモデルの異なる平面を展示することができる。第１の３Ｄモデルにおける異なる平面に対する各ユーザ操作により、３Ｄ変形パラメータを決定することもできる。

幾つかの実施例において、マンマシンインタフェースにおいて、ユーザから入力された変形効果又は変形量を少なくとも指示するためのユーザ命令を受信し、ユーザ命令を定量化することで、３Ｄ変形パラメータを得る。例えば、ユーザＡは自分の写真に対してスリミングを行った後に２尺の胴囲を呈することを望む。この場合、マンマシンインタフェースにおいて所望の胴囲を入力してもよい。画像処理機器は、第１の２Ｄ画像を３Ｄ空間にマッピングすることで得られた第１の３Ｄモデルに基づいて、ユーザの実際の胴囲を推算する。続いて、推算された実際の胴囲及び所望の胴囲に基づいて、三次元空間内で変形を必要とする胴囲量を得る。また、腰部の望ましい形状により、第１の３Ｄモデルでの、腰部表面の各座標の変位量を決定することで、３Ｄ変形パラメータを得る。この場合に得られた３Ｄ変形パラメータは、第１の３Ｄモデルを第２の３Ｄモデルに変換するために用いられる。

３Ｄ変形パラメータを取得した後、３Ｄ変形パラメータに基づいて、第１の３Ｄモデルに対して変換を行い、第１の３Ｄモデルと異なる第２の３Ｄモデルを生成する。第２の３Ｄモデルと第１の３Ｄモデルの相違点は、第２の３Ｄモデルの表面の輪郭点の３Ｄ座標が第１の３Ｄモデルの表面の輪郭点の座標と少なくとも部分的に異なることである。従って、第２の３Ｄモデルに対応する形態を第１の３Ｄモデルに対応する形態と異ならせる。例示的には、ターゲットが人体であることを例として、第２の３Ｄモデルに対応する人体の形態は、第１の３Ｄモデルに対応する人体の形態と異なる。例えば、第１の３Ｄモデルに対応する人体は、第２の３Ｄモデルに対応する人体よりも、感覚上、体重が重い。

従って、ステップＳ１２０の後に、第１の３Ｄモデル及び第２の３Ｄモデルを得る。

幾つかの任意選択的な実施例において、本実施例におけるステップＳ１３０は、投影の方式により、第１の３Ｄモデル及び第２の３Ｄモデルをそれぞれ２Ｄ平面内に投影し、第１の３Ｄモデルに対応する第１投影を表す第１の２Ｄ座標及び第２の３Ｄモデルに対応する第２投影を表す第２の２Ｄ座標をそれぞれ得ることを含んでもよい。

幾つかの任意選択的な実施例において、ステップＳ１３０は、第１の２Ｄ座標及び第２の２Ｄ座標に基づいて、第２の２Ｄ変形パラメータを得て、第２の２Ｄ変形パラメータは、第１の２Ｄ座標を第２の２Ｄ座標に変換することができる、ことを更に含んでもよい。

本願の幾つかの任意選択的な実施例において、第１の２Ｄ座標と第２の２Ｄ座標の座標値を比較することで、第１の２Ｄ座標と第２の２Ｄ座標との差を得る。該差は、第２の２Ｄ変形パラメータの１つとしてもよい。例えば、人体の豊胸変形を例として、第１の２Ｄ座標は、第１の３Ｄモデルの胸部表面の輪郭点を２Ｄ空間にマッピングし戻すことで得られた第１の２Ｄ座標を含む。第１の３Ｄモデルに対して豊胸を行った後に得られた第２の３Ｄモデルの胸部表面の輪郭点を２Ｄ空間にマッピングし戻すことで、第２の２Ｄ座標を得る。該２つの胸部の２Ｄ座標を比較することで、第２の２Ｄ変形パラメータを得る。

幾つかの実施例において、ある局所の変化が、複数の輪郭点の２Ｄ座標の変換に係わる場合、第１の２Ｄ座標及び対応する第２の２Ｄ座標に対して変換フィッティングを行うことで、第１の２Ｄ座標を第２の２Ｄ座標に変換する変換行列を得る。該変換行列は直接的に第２の２Ｄ変形パラメータとしてもよい。それは、第１の２Ｄ画像におけるターゲットに対して変形を行うために用いられる。第２の２Ｄ変形パラメータに基づいて、２Ｄ画像におけるターゲットに対して変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得る。

本願の幾つかの任意選択的な実施例において、該第２の２Ｄ変形パラメータは、ターゲットにおける各画素の再構成アルゴリズム又は再構成パラメータ、ターゲットにおける各画素の色変化アルゴリズム等のうちの少なくとも１つを含むが、これに限定されない。

例示的には、２Ｄ画像におけるターゲットの変形は、ターゲットの太さの変形、ターゲットの身長の変形、ターゲットの五官の形状の変形のうちの少なくとも１つを含むが、これに限定されない。

例えば、ターゲットが人体であることを例として説明すると、ターゲットの変形例は、例えば、人体の太さの変形、人体の身長の変形、人体の五官の変形、人体の手の長さ又は足の長さの変動などであってもよい。

本実施例において、２Ｄ平面におけるターゲットの変形を行う場合、２Ｄ平面内で画像変形を直接的に行うことなく、第１の２Ｄ画像におけるターゲットを３Ｄ空間内での第１の３Ｄモデルに変換する。ターゲットの変形を行う時、３Ｄ変形パラメータを取得することにより、第１の３Ｄモデルを直接的に変形し、変形された第２の３Ｄモデルを得る。続いて、第１の３Ｄモデル及び第２の３Ｄモデルをそれぞれ２Ｄ空間にマッピングし、２Ｄ平面内にマッピングし返された第１の２Ｄ座標及び第２の２Ｄ座標を得て、第１の２Ｄ座標及び第２の２Ｄ座標に基づいて、第１の２Ｄ画像におけるターゲットの変形を行う。これにより、２Ｄ平面内でターゲットを直接的に変形することに比べて、不必要な変形の発生を減少させ、２Ｄ画像の変形効果を向上させることができる。

幾つかの任意選択的な実施例において、ステップＳ１１０で、ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、複数の多辺形メッシュからなるターゲットの第１の３Ｄモデルを得ることができる。

例示的には、第１の３Ｄモデルは、３Ｄ空間内に位置する立体モデルである。該第１の３Ｄモデルは、多くのキーポイントを含む。多くのキーポイントのうちの複数のキーポイントを連結して多辺形メッシュを形成する。ここで、多辺形メッシュは、ｍｅｓｈとも呼ばれ、コンピュータグラフィクスにおいて種々の不規則な物体のためにモデルを確立するためのデータ構造である。ここで、三角メッシュ（三角パッチとも呼ばれる）は、多辺形メッシュの１種である。多くのキーポイントのうちの３つの隣接するキーポイントを連結して三角メッシュを形成することで、複数の三角メッシュからなる第１の３Ｄモデルを得ることができる。

ｍｅｓｈからなるこのような第１の３Ｄモデルは、３Ｄ空間におけるターゲットに対応する収集対象をリアルに模擬することができる。従って、３Ｄ空間内で収集対象を高度に復元することを実現させ、画像の変形効果を確保する。

幾つかの実施例において、第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得る過程であるステップＳ１１０において、人体メッシュ復元（Ｈｕｍａｎ Ｍｅｓｈ Ｒｅｃｏｖｅｒｙ：ＨＭＲ）モデルにより、第１の２Ｄ画像から、ターゲットの３Ｄモデルを再構築するための第１再構築パラメータを抽出し、抽出された第１再構築パラメータを利用して、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを再構築することができる。ここで、第１再構築パラメータは、ターゲットの第１関節点パラメータ、ターゲットの第１形態パラメータ及び第１の２Ｄ画像のカメラパラメータなどのうちの少なくとも１つを含んでもよい。例示的には、２Ｄ画像のカメラパラメータ、ターゲットの第１形態パラメータ及びターゲットの第１関節点パラメータに基づいて、第１の３Ｄモデルを正確に構築することができる。

幾つかの実施例において、第１関節点パラメータは、第１関節点の３Ｄ座標等を含む。ターゲットに含まれる関節点は、多数存在し得る。第１の３Ｄモデルを形成する場合、幾つかの関節点は利用されないことがある。第１の３Ｄモデルを形成する場合に利用される別の幾つかの関節点は、第１関節点と呼ばれる。例えば、人体を例とすると、人体に多くの関節が含まれ、これらの関節のキーポイントは、関節点と呼ばれる。第１の３Ｄモデルを構築する場合、外観を呈することにとって重要でない人体の幾つかの関節点は、無視されてもよい。例えば、指を湾曲させるための手部の関節に対応する関節点は、重要でなく、無視されてもよい。

幾つかの実施例において、ターゲットの第１形態パラメータは、ターゲットの身長、太さ、異なる局所の大きさを示すためのパラメータのような、異なる次元でのターゲットのサイズを示すための種々のパラメータを含んでもよい。上記様々な局所のサイズは、例えば、胴囲、バスト長、腰囲又は顔の長さ等のサイズを含んでもよい。

幾つかの実施例において、２Ｄ画像のカメラパラメータ（例えば、第１の２Ｄ画像のカメラパラメータ）は、２Ｄ画像を撮るカメラの内部パラメータを含んでもよい。内部パラメータは、焦点距離、ワールド座標系での、２Ｄ画像の単一の画素の幅ｄｘ、及びワールド座標系での、２Ｄ画像の単一の画素の高さｄｙを含むが、これらに限定されない。

例示的には、ターゲットが人体であることを例として説明すると、人体を含む第１の２Ｄ画像をＨＭＲモデルに入力した後、ＨＭＲモデルは、第１の２Ｄ画像での、人体の各キーポイントのパラメータを計算により得る。例えば、これらのパラメータは、２４個の人体骨格における関節に対応する関節点の３Ｄ座標及び人体の形態パラメータを含む。また、ＨＭＲモデルは更に、第１の２Ｄ画像を撮るカメラのカメラパラメータを出力する。カメラパラメータは、例えば、焦点距離及び光心座標などを含んでもよい。

更に、パラメータ化された人体モデル及びＨＭＲモデルから出力された上記パラメータを利用して、第１の３Ｄモデルの骨格を再構築し、骨格に対してレンダリングを行うこともできる。ここで、パラメータ化された人体モデルとして、例えば、皮膚付きマルチパーソン線形（Ａ Ｓｋｉｎｎｅｄ Ｍｕｌｔｉ－Ｐｅｒｓｏｎ Ｌｉｎｅａｒ Ｍｏｄｅｌ：ＳＭＰＬ）モデルを用いてもよい。ＳＭＰＬモデルは、ヌード状態（ｓｋｉｎｎｅｄ）の、頂点ベース（ｖｅｒｔｅｘ－ｂａｓｅｄ）人体三次元モデルであり、人体の異なる形状（ｓｈａｐｅ）及び姿勢（ｐｏｓｅ）を正確に表すことができる。

例示的には、ＨＭＲモデルは、第１の２Ｄ画像における各骨格での各関節に対応する関節点の座標を出力する。人体の形態は、骨格によって決まるだけでなく、筋肉などの組織器官の特徴にもよって決まる。ＳＭＰＬモデルによれば、ＨＭＲモデルで得られた骨格の３Ｄ座標及び第１の２Ｄ画像から抽出された人体の形態パラメータに基づいて、骨格の外周の筋肉運動及び組織分布を模擬することができ、これにより、骨格をレンダリングして第１の３Ｄモデルを得る。このような方式で得られた第１の３Ｄモデルは、第１の２Ｄ画像におけるターゲットの各特徴をリアルに反映することができる。

図５Ａは、取得されたオリジナルの第１の２Ｄ画像を示す概略図である。図５Ｂは、図５Ａに示した人体から抽出された第１関節点を含む概略図である。人体に分布した中実点で表される。

幾つかの実施例において、方法は、第１の２Ｄ画像から、ターゲットの第２関節点パラメータを抽出することを更に含む。上記第２関節点パラメータ及び第１関節点パラメータはいずれも人体内の関節点のパラメータであるが、抽出方式が異なり、又は、第１関節点パラメータと第２関節点パラメータの正確度が異なり、又は第１関節点パラメータと第２関節点パラメータのタイプが異なる。

例えば、第１関節点パラメータは、第１関節点の３Ｄ座標を含む。第２関節点パラメータは、第１関節点の２Ｄ座標を含む。

また、例えば、第１関節点パラメータは、ＨＭＲモデルにより抽出されたものであるが、第２関節点パラメータは、人体検出モデルにより抽出されたものである。人体検出モデルは、入力された第１の２Ｄ画像に基づいて、人体の骨格における関節点の２Ｄ座標を得ることができる。

幾つかの任意選択的な実施例において、２Ｄ画像から単独で抽出された第２関節点パラメータは、第１再構築パラメータにおける第１関節点パラメータの正確度より高いことがある。これに鑑み、方法は、人体検出モデル（例えば、ＯＰＥＮ ＰＯＳＥモデル）により、第１の２Ｄ画像から、ターゲットの第２関節点パラメータを抽出し、第２関節点パラメータで表される第２関節点と前記第１関節点パラメータで表される一部の第１関節点とは重なり合いがある、ことを更に含んでもよく。

抽出された第１再構築パラメータを利用して、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを再構築することは、第１再構築パラメータのうちの、第２関節点とは重なり合いがある一部の第１関節点の第１関節点パラメータを第２関節点パラメータに置き換え、第２再構築パラメータを形成することと、第２再構築パラメータに基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを再構築することと、を含む。

第２再構築パラメータは、第１再構築パラメータについて一部の第１関節点パラメータを第２関節点パラメータで置き換えることで得られたものである。

例えば、第１関節点パラメータは、Ｍ個であり、第２関節点パラメータは、Ｎ個であり、Ｎは、Ｍ以下である。例示的には、Ｍは、２５であってもよく、Ｎは、１４であってもよい。２５個の第１関節点パラメータのうち、１４個の第２関節点パラメータと共に同一の関節点を指向する第１関節点パラメータを第２関節点パラメータに置き換える。ここで、第２関節点パラメータが２Ｄ座標であるため、第１関節点パラメータに対して置き換えを行う場合、３Ｄ座標に含まれる２Ｄ座標が置き換えられ、３Ｄ座標における他のパラメータは不変あってもよい。つまり、第２関節点とは重なり合いがある一部の第１関節点の第１関節点パラメータが第２関節点パラメータに置き換えられ、第２再構築パラメータを構成する。例えば、３Ｄ座標は、ｘ軸、ｙ軸及びｚ軸に対応する３つの座標を含み、２Ｄ座標は、ｘ軸及びｙ軸に対応する２つの座標を含む。置き換えを行う場合、１つの３Ｄ座標と２Ｄ座標が同一の関節点を指向すると、２Ｄ座標で３Ｄ座標におけるｘ軸及びｙ軸での座標値を置き換え、前記第２再構築パラメータを得る。

ターゲットが人体であることを例として説明すると、図２は、１４個の第２関節点の人体骨格を示し、図３は、２５個の第１関節点の人体骨格を示す。ここで、図３における脊柱根部関節点は、左臀関節点と右臀関節点の中心点であるため、無視されてもよい。図２における１４個の関節点は、図３における２５個の関節点内に含まれることが明らかである。

図２における関節点は、以下を含む。関節点１は頭部関節点であり、関節点２は、頸関節点であり、関節点４は、左肩関節点であり、関節点３は、右肩関節点であり、関節点６は、左肘関節点であり、関節点５は、右肘関節点であり、関節点８は、左手首関節点であり、関節点７は、右手首関節点であり、関節点１０は、左臀関節点であり、関節点９は、右臀関節点であり、関節点１２は、左膝関節点であり、関節点１１は、右膝関節点であり、関節点１３は、左足首関節点であり、関節点１４は、右足首関節点である。

図２と図３を比較すると、図２に比べて、図３に、脊柱根部関節点、脊柱肩部関節点、脊柱中間関節点、左手先端関節点、右手先端関節点、左手親指関節点、右手親指関節点、左手関節点、右手関節点、左足関節点及び右足関節点が追加されたことが明らかである。

第２関節点パラメータの統計精度は、第１関節点パラメータの統計精度より高いため、第１の３Ｄモデルのモデリング精度を向上させるために、第２関節点パラメータを利用して第１関節点パラメータにおける対応する部分を直接的に置き換え、続いて、置き換えた第２所定のパラメータに基づいて、第１の３Ｄモデルを構築する。

幾つかの実施例において、ステップＳ１３０は、第１の２Ｄ画像に対応するカメラパラメータに基づいて、第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標及び第２の２Ｄ座標を得ることを含んでもよい。

カメラパラメータは、カメラの内部パラメータである。カメラパラメータは、ワールド座標系における相互垂直な２つの方向での、第１の２Ｄ画像の長さを含んでもよく、焦点距離などのパラメータを更に含んでもよい。ワールド座標系における相互垂直な２つの方向での、第１の２Ｄ画像の長さにより、第１の３Ｄモデル及び第２の３Ｄモデルを投影面に投影した大きさを決定することができる。また、焦点距離に基づいて、第１の３Ｄモデル及び第２の３Ｄモデルを投影面に投影した投影面積を決定することもできる。従って、第１の３Ｄモデルの、２Ｄ空間内へのマッピング、第２の３Ｄモデルの、２Ｄ空間へのマッピングを実現させることができる。

第１の３Ｄモデルを２Ｄ空間内にマッピングした後に、マッピング投影を得る。該マッピング投影の座標は、第１の２Ｄ座標である。同様に、第２の３Ｄモデルを２Ｄ空間内にマッピングした後に、マッピング投影を得る。該マッピング投影の座標は、第２の２Ｄ座標である。

幾つかの実施例において、図４に示すように、上記方法は、以下を更に含む。

ステップＳ２０１において、第１の２Ｄ画像におけるターゲットの輪郭点パラメータを取得する。

ステップＳ２０２において、輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、連結関係で表される変形方向を決定する。

上記Ｓ１４０において、第１の２Ｄ座標及び第２の２Ｄ座標に基づいて、第１の２Ｄ画像におけるターゲットに対して変形を行い、変形されたターゲットターゲットを含む第２の２Ｄ画像を得ることは、第１の２Ｄ座標及び第２の２Ｄ座標に基づいて、変形方向において、第１の２Ｄ画像におけるターゲットに対して変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることを含む。

本実施例は、第１の２Ｄ画像におけるターゲット輪郭点を抽出できる輪郭点モデルを利用して、第１の２Ｄ画像におけるターゲットの輪郭点パラメータを抽出する。輪郭点パラメータは、輪郭点座標を含むが、これに限定されない。ここで、図５Ｃは、抽出された図５Ａにおける人体の輪郭点を示す概略図である。

第１の２Ｄ座標及び第２の２Ｄ座標に基づいて、ターゲットの変形を行い、第１の２Ｄ画像を第２の２Ｄ画像に変形させる過程において、第１の２Ｄ座標を第２の２Ｄ座標に変換する操作に係わる。実際の適用において、第１の２Ｄ座標を第２の２Ｄ座標に変換する方式は多種であるが、幾つかの変換方式は、変形されたターゲットに混乱を発生させてしまう。このような現象を減少させるために、本実施例において、第１の２Ｄ画像におけるターゲットの輪郭点パラメータを取得し、輪郭点パラメータに基づいて、所定の２つの輪郭点を連結し、ターゲットの１つの部分に対応する第１の２Ｄ座標を第２の２Ｄ座標に変換する変形方向を得る。

ステップＳ１４０において、ターゲットの変形を行う場合、第１の２Ｄ座標を第２の２Ｄ座標に変形するという変形のみを随意に行うことなく、ステップＳ２０２で決定された変形方向に沿って変形することができる。変形方式で変形を行うことで、変形効果を更に向上させる。

幾つかの任意選択的な実施例において、ステップＳ２０１は、輪郭点パラメータに基づいて、ターゲットにおける対称に分布する少なくとも２つの局所の輪郭点の第１結線方向に応じて、変形方向を決定し、変形方向は、第１結線方向に平行な第１変形方向、第１結線方向に垂直な第２変形方向のうちの少なくとも１種を含む、ことを含んでもよい。

例示的には、人体における対称に分布する２つの局所は、人体の左肩及び右肩、人体の左脚及び右脚、人体の左胸及び右胸、人体の左臀及び右臀等のうちの少なくとも１つを含む。

例示的には、人体における対称に分布する２つの対称な局所を４つの所定局所とする。人体左肩及び右肩を１組として、人体の正面を変形するための第１結線方向を決定し、人体の左臀及び右臀に基づいて、人体の背面を変形するための第１結線方向を決定する。

別の幾つかの実施例において、ステップＳ２０１は、輪郭点パラメータに基づいて、ターゲットにおける、所定の局所の中心点又は中心線を中心として対称に分布する少なくとも２つの輪郭点の第２結線方向に応じて、変形方向を決定し、変形方向は、第２結線方向に平行な第３変形方向、及び／又は、第２結線方向に垂直な第４変形方向を含む、ことを更に含んでもよい。

例えば、人体を例として説明すると、該所定の局所は、左脚、右脚、左腕、右腕等のうちの少なくとも１つを含んでもよい。

例えば、左脚の両側の輪郭点の結線方向は第２結線方向であり、右脚の両側の輪郭点の結線方向は第２結線方向である。

本願の幾つかの任意選択的な実施例において、変形方向は、少なくとも以下の２種類の方向を含む。１種類の方向は、ターゲットの太さを調整する変形方向であり、例えば、第１変形方向及び／又は第３変形方向である。別の１種類の方向は、ターゲットの身長を調整する変形方向であり、例えば、第２変形方向及び／又は第４変形方向である。ここで、第２変形方向は第１変形方向に垂直であり、第４変形方向は第２変形方向に垂直である。

例示的には、図５Ｄは、図５Ａに示す人体に中実横線を追加したものである。該中実横線は、第１変形方向及び／又は第３変形方向である。図５Ｅに示す人体を覆う垂直な破線は、図５Ｄにおける中実横線に垂直な線であり、第２変形方向及び／又は第４変形方向に対応する。

幾つかの任意選択的な実施例において、ステップＳ１４０は、第１の２Ｄ座標が変形方向に沿って第２の２Ｄ座標に移動する第２の２Ｄ変形パラメータを決定することと、第２の２Ｄ変形パラメータに基づいて、第１の２Ｄ画像におけるターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることと、を含んでもよい。

例えば、第１の２Ｄ座標及び第２の２Ｄ座標は、ターゲットに対応する同一位置又はターゲットの同一の関節点に対応し、変形方向に沿って移動することで、２Ｄ画像におけるターゲットに対応する位置で変形を行う変形アルゴリズム（変形関数）をフィッティングし、２Ｄ変形パラメータを得ることができる。最後に、ステップＳ１４０において、２Ｄ変形パラメータに基づいて、２Ｄ画像におけるターゲットに対して変形を行う。

幾つかの実施例において、ステップＳ１２０は、３Ｄ変形パラメータに基づいて、第１の３Ｄモデルの少なくとも一部の輪郭点の座標を変えて第２の３Ｄモデルを得ることを含んでもよい。第１の３Ｄモデルの表面の輪郭点の１つ又は複数の３Ｄ座標を変えることで、新たな３Ｄモデルを得る。該新たな３Ｄモデルは、本願の実施例において、第２の３Ｄモデルと呼ばれる。

本願の実施例は、画像処理装置を更に提供する。図７に示すように、画像処理装置は、
ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得るように構成される第１取得モジュール１１０と、
３Ｄ変形パラメータを取得し、３Ｄ変形パラメータに基づいて、第１の３Ｄモデルを第２の３Ｄモデルに変換するように構成される第２取得モジュール１２０と、
第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標を得て、第２の３Ｄモデルを２Ｄ空間にマッピングして第２の２Ｄ座標を得るように構成されるマッピングモジュール１３０と、
第１の２Ｄ座標及び第２の２Ｄ座標に基づいて、第１の２Ｄ画像におけるターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得るように構成される変形モジュール１４０と、を備える。

幾つかの実施例において、第１取得モジュール１１０、第２取得モジュール１２０、マッピングモジュール１３０及び変形モジュール１４０はいずれもプログラムモジュールであってもよく、該プログラムモジュールは、プロセッサにより実行された後、前記機能を実現させることができる。

別の幾つかの実施例において、第１取得モジュール１１０、第２取得モジュール１２０、マッピングモジュール１３０及び変形モジュール１４０はいずれもソフトウェアとハードウェアを組み合わせたモジュールであってもよい。該ソフトウェアとハードウェアを組み合わせたモジュールは、プログラマブルアレイを含むが、これに限定されない。プログラマブルアレイは、複合プログラマブルアレイ又はフィールドプログラマブルアレイを含むが、これらに限定されない。

別の幾つかの実施例において、第１取得モジュール１１０、第２取得モジュール１２０、マッピングモジュール１３０及び変形モジュール１４０はいずれも単純なハードウェアモジュールであってもよい。該単純なハードウェアモジュールは、特定用途向け集積回路を含むが、これに限定されない。

幾つかの実施例において、第１取得モジュール１１０は、人体メッシュ復元モデルにより、第１の２Ｄ画像から、ターゲットの３Ｄモデルを再構築するための第１再構築パラメータを抽出し、抽出された第１再構築パラメータを利用して、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを再構築するように構成される。

幾つかの実施例において、第１再構築パラメータは、ターゲットの第１関節点パラメータ、ターゲットの第１形態パラメータ及び第１の２Ｄ画像のカメラパラメータのうちの少なくとも１つを含む。

幾つかの実施例において、装置は、
人体検知モデルにより、第１の２Ｄ画像から、ターゲットの第２関節点パラメータを抽出するように構成される抽出モジュールであって、第２関節点パラメータで表される第２関節点と第１関節点パラメータで表される一部の第１関節点とは重なり合いがある抽出モジュールを更に備え、
第１取得モジュール１１０は、第１再構築パラメータのうちの、第２関節点とは重なり合いがある一部の第１関節点の第１関節点パラメータを第２関節点パラメータに置き換え、第２再構築パラメータを形成し、第２再構築パラメータに基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを再構築するように構成される。

幾つかの実施例において、マッピングモジュール１３０は、第１の２Ｄ画像に対応するカメラパラメータに基づいて、第１の３Ｄモデル及び第２の３Ｄモデルをそれぞれ２Ｄ空間にマッピングして第１の２Ｄ座標及び第２の２Ｄ座標を得るように構成される。

幾つかの実施例において、装置は、
第１の２Ｄ画像の第１の２Ｄ変形パラメータを取得するように構成される第３取得モジュールを更に備え、
第２取得モジュール１２０は、第１の２Ｄ変形パラメータ、及び２Ｄ空間と３Ｄ空間とのマッピング関係に基づいて、３Ｄ変形パラメータを得るように構成される。

幾つかの実施例において、装置は、
第１の２Ｄ画像におけるターゲットの輪郭点パラメータを取得するように構成される第４取得モジュールと、
輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、連結関係で表される変形方向を決定するように構成される決定モジュールと、を更に備え、
前記変形モジュール１４０は、第１の２Ｄ座標及び第２の２Ｄ座標に基づいて、変形方向において、第１の２Ｄ画像におけるターゲットに対して変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得るように構成される。

幾つかの実施例において、決定モジュールは、輪郭点パラメータに基づいて、ターゲットにおける対称に分布する少なくとも２つの局所の輪郭点の第１結線方向に応じて、変形方向を決定するように構成され、変形方向は、第１結線方向に平行な第１変形方向、第１結線方向に垂直な第２変形方向のうちの少なくとも１つを含む。

幾つかの実施例において、決定モジュールは、輪郭点パラメータに基づいて、ターゲットにおける、所定の局所の中心点又は中心線を中心として対称に分布する少なくとも２つの輪郭点の第２結線方向に応じて、変形方向を決定するように構成され、変形方向は、第２結線方向に平行な第３変形方向、及び／又は、第２結線方向に垂直な第４変形方向を含む。

幾つかの実施例において、変形モジュール１４０は、第１の２Ｄ座標が変形方向に沿って第２の２Ｄ座標に移動する第２の２Ｄ変形パラメータを決定し、第２の２Ｄ変形パラメータに基づいて、第１の２Ｄ画像におけるターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得るように構成される。

幾つかの実施例において、第２取得モジュール１２０は、３Ｄ変形パラメータに基づいて、第１の３Ｄモデルの少なくとも一部の輪郭点の座標を変えて第２の３Ｄモデルを得るように構成される。

以下、上記任意の実施例を参照しながら、１つの具体的な例を提供する。

該例は、画像処理方法を提供する。前記方法は、以下を含む。

Ｏｐｅｎ Ｐｏｓｅモデルを利用して一枚の第１の２Ｄ画像から人体のＮ個の関節の関節点パラメータを抽出し、Ｎは、正整数である。

第１の２Ｄ画像をＨＭＲモデルに入力し、ＨＭＲモデルから、抽出された第１再構築パラメータを出力する。第１再構築パラメータは、人体内のＭ１個の関節点（脊柱根関節点を除く）の３Ｄ座標を含んでもよい。従って、Ｍ１×３個のパラメータを得ることができる。それと同時に、ＨＭＲモデルは、該第１の２Ｄ画像のカメラのＭ２個の内部パラメータを取得する。Ｍ２個の内部パラメータはそれぞれ、第１の２Ｄ画像を収集する時の焦点距離、ワールド座標系内での、２Ｄ画像の単一の画素の幅及び高さを含んでもよい。従って、ＨＭＲモデルにより、Ｍ１×３＋Ｍ２個のパラメータからなる第１再構築パラメータを得ることができる。Ｍ１及びＭ２はいずれも正整数である。

Ｍ１×３＋Ｍ２個のパラメータにおけるＮ１個の関節点パラメータをＯｐｅｎ Ｐｏｓｅモデルにより提供されたＮ個の関節点パラメータで置き換え、更新された第１再構築パラメータを形成し、つまり、前記第２再構築パラメータを形成する。Ｎ１は正整数である。

また、ＳＭＰＬモデルを利用して、第２再構築パラメータに基づいて、３Ｄモデルを再構築し、該３Ｄモデルに対してレンダリングを行い、前記第１の３Ｄモデルを得る。該第１の３Ｄモデルは、Ｘ個の関節点からなるものであり、また、これらの関節点で形成されたＹ万枚あまりの三角パッチからなるものである。Ｘ及びＹはいずれも正整数である。

マンマシンインタフェース又は他の機器から２Ｄ変形パラメータを受信し、該２Ｄ変形パラメータに基づいて３Ｄ変形パラメータに変形し、３Ｄ変形パラメータに基づいて、第１の３Ｄモデルを調整し、第１の３Ｄモデルを変換することで得られた第２の３Ｄモデルを生成する。

第２の３Ｄモデルを得た後、カメラパラメータに基づいて、２つの３Ｄモデルをそれぞれ２Ｄ平面内にマッピングし、２つのモデルにそれぞれ対応する第１の２Ｄ座標及び第２の２Ｄ座標を得る。ここで、１つの第１の２Ｄ座標及び１つの第２の２Ｄ座標はそれぞれ人体の１つの関節点に対応する。

人体輪郭検出モデルを利用して第１の２Ｄ画像における人体の輪郭点を検出し、輪郭点の座標を得る。変形を必要とする局所及び変形需要に応じて、変形方向を決定する。

例示的には、該輪郭点の数は、Ｚ個であってもよい。Ｚは、正整数である。

例えば、人体に対して太さに関する変形を行う場合、人体の輪郭点を横方向に連結し、対応する結線方向を得る。左肩輪郭点と右肩輪郭点を連結することで、第１結線方向を得る。肩部に対してサイズの変形を行う場合、肩部の第１の２Ｄ座標、第１結線方向及び肩部の第２の２Ｄ座標に基づいて、肩部変形のための２Ｄ変形パラメータ（例えば、２Ｄ変形アルゴリズム）をフィッティングする。後続で、２Ｄ変形パラメータに基づいて、ターゲットにおける肩部の変形を行う。

具体的には、第１の２Ｄ座標及び第２の２Ｄ座標に対応する部位の輪郭点に基づいて、該部位に平行な２つの端点の結線方向を取得し、第１組のベクトルのベクトル方向とする。それと同時に、第２組のベクトルを導入する。第２組のベクトルのベクトル方向は、第１組のベクトルのベクトル方向に垂直である。第１組のベクトルのベクトル方向は、人体が太くなるか又は痩せる方向と一致すると、人体の太さを変える時に、第１組のベクトルのベクトル方向に沿って変形を行う。それと同時に、人体の身長変形を行う必要があると、人体の身長変形を行う場合、第２組のベクトルのベクトル方向に沿って変形を行う。

例えば、肩部を広くする場合、第１の２Ｄ画像における肩部の伸長処理を直接的に行えばよい。肩部を小さくする場合、第１の２Ｄ画像における肩部の縮小処理を行った後、人体（即ち、ターゲット）以外の背景に対して伸長処理を行い、人体の肩部の縮小による空白を補い、変形された第２の２Ｄ画像を更に得る。

図８に示すように、本願の実施例は、画像処理機器を更に提供する。前記機器は、
コンピュータによる実行可能な命令を記憶するように構成されるメモリと、
メモリに接続され、メモリに記憶されているコンピュータによる実行可能な命令を実行することで、前記１つ又は複数の技術的解決手段で提供される画像処理方法を実現させ、例えば図１及び／又は図４に示す画像処理方法のうちの少なくとも１つを実現させるように構成されるプロセッサと、を備える。

該メモリは、ランダムメモリ、読出し専用メモリ、フラッシュのような様々なメモリであってもよい。メモリは、情報記憶に用いられ、例えば、コンピュータによる実行可能な命令などの記憶に用いられる。コンピュータによる実行可能な命令は、ターゲットプログラム命令及び／又はソースプログラム命令などのような様々なプログラム命令であってもよい。

プロセッサは、例えば、中央演算処理装置、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、特定用途向け集積回路又は画像処理装置などのような様々なプロセッサであってもよい。

プロセッサは、バスを経由して前記メモリに接続される。前記バスは、集積回路バスなどであってもよい。

幾つかの実施例において、端末機器は、通信インタフェースを更に備えてもよい。該通信インタフェースは、例えば、ローカルエリアネットワークインタフェース、送受信アンテナなどのようなネットワークインタフェースであってもよい。通信インタフェースも、プロセッサに接続され、情報送受信に用いられる。

幾つかの実施例において、前記端末装置は、マンマシンインタフェースを更に備える。例えば、マンマシンインタフェースは、例えば、キーボード、タッチパネルなどのような様々な入力出力装置を含んでもよい。

幾つかの実施例において、画像処理機器は、ディスプレイを更に備える。該ディスプレイは、様々なリマインド情報、収集された顔画像及び／又は様々なインタフェースを表示することができる。

本願の実施例は、コンピュータ記憶媒体を提供する。コンピュータ記憶媒体には、コンピュータによる実行可能な命令が記憶されており、コンピュータによる実行可能な命令が実行されてから、前記１つ又は複数の技術的解決手段で提供される画像処理方法を実現させ、例えば図１及び／又は図４に示す画像処理方法のうちの少なくとも１つを実現させる。

本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

分離部材として説明した該ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。

また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。

上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶され、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、読出し専用メモリ（ＲＯＭ：Ｒｅａｄ-ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者であれば理解されるべきである。

矛盾が生じない限り、本願で提供される幾つかの方法実施例で開示された方法を互いに任意に組み合わせて、新たな方法実施例を得ることができる。

矛盾が生じない限り、本願で提供される幾つかの製品実施例で開示された特徴を互いに任意に組み合わせて、新たな製品実施例を得ることができる。

矛盾が生じない限り、本願で提供される幾つかの方法又は装置実施例で開示された特徴を互いに任意に組み合わせて、新たな方法実施例又は装置実施例を得ることができる。

以上は本願の任意選択的な実施形態に過ぎず、本願の保護の範囲はそれらに制限されるものではなく、当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

Claims (24)

1. 画像処理方法であって、前記方法は、
   ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得ることと、
   ３Ｄ変形パラメータを取得し、前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルを第２の３Ｄモデルに変換することと、
   前記第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標を得て、前記第２の３Ｄモデルを２Ｄ空間にマッピングして第２の２Ｄ座標を得ることと、
   前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることと、を含む、画像処理方法。
2. ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得ることは、
   人体メッシュ復元モデルにより、前記第１の２Ｄ画像から、前記ターゲットの３Ｄモデルを再構築するための第１再構築パラメータを抽出することと、
   抽出された前記第１再構築パラメータを利用して、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築することと、を含むことを特徴とする
   請求項１に記載の方法。
3. 前記第１再構築パラメータは、前記ターゲットの第１関節点パラメータ、前記ターゲットの第１形態パラメータ及び前記第１の２Ｄ画像のカメラパラメータのうちの少なくとも１つを含むことを特徴とする
   請求項２に記載の方法。
4. 前記方法は、
   人体検知モデルにより、前記第１の２Ｄ画像から、前記ターゲットの第２関節点パラメータを抽出することであって、第２関節点パラメータで表される第２関節点と前記第１関節点パラメータで表される一部の第１関節点とは重なり合いがある、ことを更に含み、
   抽出された前記第１再構築パラメータを利用して、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築することは、
   前記第１再構築パラメータのうちの、前記第２関節点とは重なり合いがある一部の第１関節点の第１関節点パラメータを前記第２関節点パラメータに置き換え、第２再構築パラメータを形成することと、
   前記第２再構築パラメータに基づいて、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築することと、を含むことを特徴とする
   請求項３に記載の方法。
5. 前記第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標を得て、前記第２の３Ｄモデルを２Ｄ空間にマッピングして第２の２Ｄ座標を得ることは、
   前記第１の２Ｄ画像に対応するカメラパラメータに基づいて、前記第１の３Ｄモデル及び前記第２の３Ｄモデルをそれぞれ２Ｄ空間にマッピングして前記第１の２Ｄ座標及び前記第２の２Ｄ座標を得ることを含むことを特徴とする
   請求項１から４のうちいずれか一項に記載の方法。
6. 前記方法は、
   前記第１の２Ｄ画像の第１の２Ｄ変形パラメータを取得することを更に含み、
   ３Ｄ変形パラメータを取得することは、
   前記第１の２Ｄ変形パラメータ、及び２Ｄ空間と３Ｄ空間とのマッピング関係に基づいて、前記３Ｄ変形パラメータを得ることを含むことを特徴とする
   請求項１から４のうちいずれか一項に記載の方法。
7. 前記方法は、
   前記第１の２Ｄ画像における前記ターゲットの輪郭点パラメータを取得することと、
   前記輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、前記連結関係で表される変形方向を決定することと、を更に含み、
   前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることは、
   前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記変形方向において、前記第１の２Ｄ画像における前記ターゲットに対して変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることを含むことを特徴とする
   請求項１から６のうちいずれか一項に記載の方法。
8. 前記輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、前記連結関係で表される変形方向を決定することは、
   前記輪郭点パラメータに基づいて、前記ターゲットにおける対称に分布する少なくとも２つの局所の輪郭点の第１結線方向に応じて、前記変形方向を決定することであって、前記変形方向は、前記第１結線方向に平行な第１変形方向、前記第１結線方向に垂直な第２変形方向のうちの少なくとも１つを含む、ことを含むことを特徴とする
   請求項７に記載の方法。
9. 前記輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、前記連結関係で表される変形方向を決定することは、
   前記輪郭点パラメータに基づいて、前記ターゲットにおける、所定の局所の中心点又は中心線を中心として対称に分布する少なくとも２つの輪郭点の第２結線方向に応じて、前記変形方向を決定することであって、前記変形方向は、前記第２結線方向に平行な第３変形方向、及び／又は、前記第２結線方向に垂直な第４変形方向を含む、ことを含むことを特徴とする
   請求項７又は８に記載の方法。
10. 前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることは、
    前記第１の２Ｄ座標が前記変形方向に沿って第２の２Ｄ座標に移動する第２の２Ｄ変形パラメータを決定することと、
    前記第２の２Ｄ変形パラメータに基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得ることと、を含むことを特徴とする
    請求項６から８のうちいずれか一項に記載の方法。
11. 前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルを第２の３Ｄモデルに変換することは、
    前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルの少なくとも一部の輪郭点の座標を変えて前記第２の３Ｄモデルを得ることを含むことを特徴とする
    請求項１から１０のうちいずれか一項に記載の方法。
12. 画像処理装置であって、前記装置は、
    ターゲットを含む第１の２Ｄ画像に基づいて、３Ｄ空間内での、ターゲットの第１の３Ｄモデルを得るように構成される第１取得モジュールと、
    ３Ｄ変形パラメータを取得し、前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルを第２の３Ｄモデルに変換するように構成される第２取得モジュールと、
    前記第１の３Ｄモデルを２Ｄ空間にマッピングして第１の２Ｄ座標を得て、前記第２の３Ｄモデルを２Ｄ空間にマッピングして第２の２Ｄ座標を得るように構成されるマッピングモジュールと、
    前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得るように構成される変形モジュールと、を備える、画像処理装置。
13. 前記第１取得モジュールは、人体メッシュ復元モデルにより、前記第１の２Ｄ画像から、前記ターゲットの３Ｄモデルを再構築するための第１再構築パラメータを抽出し、抽出された前記第１再構築パラメータを利用して、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築するように構成されることを特徴とする
    請求項１２に記載の装置。
14. 前記第１再構築パラメータは、
    前記ターゲットの第１関節点パラメータ、前記ターゲットの第１形態パラメータ及び前記第１の２Ｄ画像のカメラパラメータのうちの少なくとも１つを含むことを特徴とする
    請求項１３に記載の装置。
15. 前記装置は、
    人体検知モデルにより、前記第１の２Ｄ画像から、前記ターゲットの第２関節点パラメータを抽出するように構成される抽出モジュールであって、前記第２関節点パラメータで表される第２関節点と前記第１関節点パラメータで表される一部の第１関節点とは重なり合いがある抽出モジュールを更に備え、
    前記第１取得モジュールは、前記第１再構築パラメータのうちの、前記第２関節点とは重なり合いがある一部の第１関節点の第１関節点パラメータを前記第２関節点パラメータに置き換え、第２再構築パラメータを形成し、前記第２再構築パラメータに基づいて、３Ｄ空間内での、前記ターゲットの第１の３Ｄモデルを再構築するように構成されることを特徴とする
    請求項１４に記載の装置。
16. 前記マッピングモジュールは、前記第１の２Ｄ画像に対応するカメラパラメータに基づいて、前記第１の３Ｄモデル及び前記第２の３Ｄモデルをそれぞれ２Ｄ空間にマッピングして前記第１の２Ｄ座標及び前記第２の２Ｄ座標を得るように構成されることを特徴とする
    請求項１２から１５のうちいずれか一項に記載の装置。
17. 前記装置は、前記第１の２Ｄ画像の第１の２Ｄ変形パラメータを取得するように構成される第３取得モジュールを更に備え、
    前記第２取得モジュールは、前記第１の２Ｄ変形パラメータ、及び２Ｄ空間と３Ｄ空間とのマッピング関係に基づいて、前記３Ｄ変形パラメータを得るように構成されることを特徴とする
    請求項１２から１６のうちいずれか一項に記載の装置。
18. 前記装置は、前記第１の２Ｄ画像における前記ターゲットの輪郭点パラメータを取得するように構成される第４取得モジュールと、
    前記輪郭点パラメータに基づいて、少なくとも２つの輪郭点間の連結関係を決定し、前記連結関係で表される変形方向を決定するように構成される決定モジュールと、を更に備え、
    前記変形モジュールは、前記第１の２Ｄ座標及び前記第２の２Ｄ座標に基づいて、前記変形方向において、前記第１の２Ｄ画像における前記ターゲットに対して変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得るように構成されることを特徴とする
    請求項１２から１７のうちいずれか一項に記載の装置。
19. 前記決定モジュールは、前記輪郭点パラメータに基づいて、前記ターゲットにおける対称に分布する少なくとも２つの局所の輪郭点の第１結線方向に応じて、前記変形方向を決定するように構成され、前記変形方向は、前記第１結線方向に平行な第１変形方向、前記第１結線方向に垂直な第２変形方向のうちの少なくとも１つを含むことを特徴とする
    請求項１８に記載の装置。
20. 前記決定モジュールは、前記輪郭点パラメータに基づいて、前記ターゲットにおける、所定の局所の中心点又は中心線を中心として対称に分布する少なくとも２つの輪郭点の第２結線方向に応じて、前記変形方向を決定するように構成され、前記変形方向は、前記第２結線方向に平行な第３変形方向、及び／又は、前記第２結線方向に垂直な第４変形方向を含むことを特徴とする
    請求項１８又は１９に記載の装置。
21. 前記変形モジュールは、前記第１の２Ｄ座標が前記変形方向に沿って第２の２Ｄ座標に移動する第２の２Ｄ変形パラメータを決定し、前記第２の２Ｄ変形パラメータに基づいて、前記第１の２Ｄ画像における前記ターゲットの変形を行い、変形されたターゲットを含む第２の２Ｄ画像を得るように構成されることを特徴とする
    請求項１８から２０のうちいずれか一項に記載の装置。
22. 前記第２取得モジュールは、前記３Ｄ変形パラメータに基づいて、前記第１の３Ｄモデルの少なくとも一部の輪郭点の座標を変えて前記第２の３Ｄモデルを得るように構成されることを特徴とする
    請求項１２から２１のうちいずれか一項に記載の装置。
23. 画像処理機器であって、前記画像処理機器は、
    コンピュータによる実行可能な命令を記憶するように構成されるメモリと、
    前記メモリに接続され、前記コンピュータによる実行可能な命令を実行することで、請求項１から１１のうちいずれか一項に記載の方法を実現させるように構成されるプロセッサと、を備える、画像処理機器。
24. コンピュータ記憶媒体であって、前記コンピュータ記憶媒体には、コンピュータによる実行可能な命令が記憶されており、前記コンピュータによる実行可能な命令がプロセッサにより実行された後、請求項１から１１のうちいずれか一項に記載の方法を実現させる、前記コンピュータ記憶媒体。

Images