JP2021119535A - 画像処理方法、装置、電子機器及び記憶媒体 - Google Patents

Abstract

【課題】人工知能における視覚計算、画像処理、顔認識、深層学習技術に関する画像処理方法、装置、電子機器及び記憶媒体を提供する。【解決手段】方法は、処理対象顔画像に対して肌色認識を行い、顔画像内の顔の目標肌色を決定し、スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して顔画像を処理して、顔画像に対応する参照変換画像を取得し、目標肌色に基づいて、参照画像の目標領域内の各画素点の色相値、彩度値及び明度値を調整して、目標肌色とマッチングする目標変換画像を取得する。【効果】処理対象顔画像内の顔の目標肌色に対応するスタイル変換モデルがない場合、既存のスタイル変換モデルを使用することにより、様々な肌色のユーザに対してスタイル変換処理を行うことができ、適用範囲が広くなる。【選択図】図１

Description

本出願は、コンピュータ分野に属し、具体的には、人工知能における視覚計算、画像処理、顔認識、深層学習技術に関し、特に画像処理方法、装置、電子機器及び記憶媒体に関する。

現在、画像スタイル変換は、実在の人物の画像を漫画画像に変換するなど、よく見られる画像処理方式である。

関連技術では、現在のスタイル変換画像トレーニングデータのほとんどが明色皮膚であるため、トレーニングによって生成されたモデルで顔スタイル変換処理を行う場合、生成された変換画像の顔も明るい肌色になり、即ち現在のスタイル変換モデルは、肌色が明色系であるユーザのみを処理でき、使用範囲が制限されている。

本出願は、画像処理方法、装置、電子機器及び記憶媒体を提供する。

第１の態様では、本出願の実施例は、
処理対象顔画像に対して肌色認識を行って、前記顔の目標肌色を決定するステップと、
スタイル変換モデルセットには前記目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して前記顔画像を処理して、前記顔画像に対応する参照変換画像を取得するステップと、
前記参照変換画像を解析して、前記参照変換画像内の各画素点の色相値、彩度値及び明度値を取得するステップと、
前記参照変換画像内の各画素点の色相値、彩度値及び明度値に基づいて、前記参照変換画像内の目標領域を決定するステップと、
前記目標肌色に基づいて、前記目標領域内の各画素点の色相値、彩度値及び明度値を調整して、前記目標肌色とマッチングする目標変換画像を取得するステップとを含む、画像処理方法を提供する。

第２の態様では、本出願の実施例、
処理対象顔画像に対して肌色認識を行って、前記顔の目標肌色を決定するように構成される認識モジュールと、
スタイル変換モデルセットには前記目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して前記顔画像を処理して、前記顔画像に対応する参照変換画像を取得するように構成される変換モジュールと、
前記参照変換画像を解析して、前記参照変換画像内の各画素点の色相値、彩度値及び明度値を取得するように構成される解析モジュールと、
前記参照変換画像内の各画素点の色相値、彩度値及び明度値に基づいて、前記参照変換画像内の目標領域を決定するように構成される第１の決定モジュールと、
前記目標肌色に基づいて、前記目標領域内の各画素点の色相値、彩度値及び明度値を調整して、前記目標肌色とマッチングする目標変換画像を取得するように構成される調整モジュールとを含む、画像処理装置を提供する。

第３の態様では、本出願の実施例は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、
前記メモリには前記少なくとも１つのプロセッサで実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが上記の第１の態様に記載の画像処理を実行可能である、電子機器を提供する。

第４の態様では、本出願の実施例は、コンピュータ命令が記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに上記の第１の態様の実施例に記載の画像処理方法を実行させる非一時的コンピュータ読み取り可能な記憶媒体を提供する。
第５の態様では、本出願の実施例は、コンピュータに上記の第１の態様の実施例に記載の画像処理方法を実行させるコンピュータプログラムを提供する。

上記の選択可能な態様の他の効果について、以下に具体的な実施例と併せて説明する。

図面は、この解決策をよりよく理解するために使用され、本出願を限定するものではない。
本出願の実施例による画像処理方法のフローチャートである。 本出願の実施例による別の画像処理方法のフローチャートである。 本出願の実施例によるプルーニング処理前後の効果の概略図である。 本出願の実施例による別の画像処理方法のフローチャートである。 本出願の実施例による凸包画像の概略図である。 本出願の実施例による別の画像処理方法のフローチャートである。 本出願の実施例による別の画像処理方法のフローチャートである。 本出願の実施例による別の画像処理装置の概略構成図である。 本出願の実施例による画像処理方法の電子機器のブロック図である。

以下に図面を参照して本出願の例示的な実施例を説明し、理解を容易にするために、その中には本出願の実施例の様々な詳細を含んでおり、それらは単なる例示的なものとみなされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔するために、以下の説明では、公知の機能及び構造についての説明を省略する。

以下に図面を参照して本出願の実施例の画像処理方法、装置、電子機器及び記憶媒体を説明する。

図１は、本出願の実施例による画像処理方法のフローチャートである。

本出願の実施例による画像処理方法は、本出願の実施例による画像処理装置によって実行されてもよく、当該装置は、処理対象顔画像内の顔の肌色に基づいて、参照変換画像の目標領域内の画素点の色相値、彩度値及び明度値を調整して、目標変換画像内の顔の肌色を処理対象顔画像内の顔の肌色とマッチングさせるために、電子機器内に構成されてもよい。

図１に示すように、当該画像処理方法は、以下のステップ１０１〜ステップ１０５を含む。

ステップ１０１において、処理対象顔画像に対して肌色認識を行って、顔画像に含まれる顔の目標肌色を決定する。

本実施例では、処理対象顔画像は、電子機器のカメラによって撮影された顔画像、又は撮影された画像から抽出された顔画像であってもよいし、ビデオのビデオフレームから抽出された顔画像であってもよい。

肌色認識を行う場合、まず顔検出を行い、顔領域を決定し、次に顔領域の各画素点の画素値を取得し、顔領域のすべての画素点の平均画素値を算出し、次に予め設定された様々な肌色に対応する画素値範囲に基づいて、現在の処理対象顔画像内の顔領域のすべての画素点の平均画素値、属する画素値範囲を決定し、属する画素値範囲に対応する肌色を処理対象顔画像に含まれる顔の肌色（ここでは目標肌色と呼ばれる）として決定することができる。

又は、ユーザによって入力された処理対象顔画像の肌色情報に基づいて、顔画像に含まれる顔の目標肌色を決定することができる。

又は、予めトレーニングされた肌色認識モデルを使用して、処理対象顔画像に対して肌色認識を行い、顔画像内の顔の目標肌色を決定することもできる。

ステップ１０２において、スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して顔画像を処理して、顔画像に対応する参照変換画像を取得する。

本実施例では、スタイル変換モデルセットには、少なくとも１つの肌色に対応するスタイル変換モデルが含まれている。ここで、ある肌色に対応するスタイル変換モデルは、顔がその肌色である顔画像を、漫画画像など、別のスタイルかつ同じ肌色の画像に変換するように構成される。例えば、肌色Ａに対応するスタイル変換モデルは、肌色Ａの顔画像を漫画画像に変換することができ、当該漫画画像の肌色は、肌色Ａと同じかそれに近い。

処理対象顔画像に含まれる顔の目標肌色が取得された後、スタイル変換モデルセットにおける各スタイル変換モデルと肌色との対応関係に応じて、スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれているか否かを決定する。目標肌色に対応するスタイル変換モデルが含まれている場合、当該スタイル変換モデルを使用して顔画像を処理して、目標肌色とマッチングする目標変換画像を取得する。スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して顔画像を処理して、当該顔画像に対応する変換画像（ここでは参照変換画像と呼ばれる）を取得する。

例えば、処理対象顔画像に含まれる顔の肌色が黒色であり、スタイル変換モデルセットには、黒色に対応するスタイル変換モデルが含まれていない場合、明色系トレーニングデータが高いため、スタイル変換モデルには明色系に対応するスタイル変換モデルが含まれており、明色系に対応するスタイル変換モデルを使用して処理対象顔画像を処理して、顔画像に対応する肌色が明色系である参照変換画像を取得する。

ステップ１０３において、参照変換画像を解析して、参照変換画像内の各画素点の色相値、彩度値及び明度値を取得する。

調整を容易にするために、本実施例では、参照変換画像をＨＳＶ色空間に変換し、次に参照変換画像の各画素点の色相値、彩度値及び明度値を取得することができる。ここで、色相値は、色を示すために使用され、彩度値は、色がスペクトル色に近い程度を示すために使用され、明度値は、色の明るい程度を示すために使用される。

ステップ１０４において、参照変換画像内の各画素点の色相値、彩度値及び明度値に基づいて、参照変換画像内の目標領域を決定する。

実際の応用において、異なる肌色の変換画像では、目、鼻、口がほぼ同じであるため、本実施例では、顔の肌色及び体の露出した皮膚の肌色のみを調整することができ、目、口、鼻などに対して調整しない。

具体的に実現する場合、顔の検出を行い、目、口及び鼻の所在する領域を決定して、顔のこれらの領域以外の顔領域を目標領域として使用することができる。

これにより、ここの目標領域が参照変換画像内の、目、鼻、口など以外の顔領域、及び体の露出した領域を含むことができることが分かる。

ステップ１０５において、目標肌色に基づいて、目標領域内の各画素点の色相値、彩度値及び明度値を調整して、目標肌色とマッチングする目標変換画像を取得する。

本実施例では、目標肌色に基づいて、目標肌色に対応する色相値、彩度値及び明度値を決定し、次に目標領域内の各画素点の色相値、彩度値及び明度値を目標肌色に対応する色相値、彩度値及び明度値に調整することにより、目標肌色とマッチングする目標変換画像を取得することができる。

これにより、処理対象顔画像の肌色に対応するスタイル変換モデルがない場合、既存のスタイル変換モデルを使用して顔画像を処理して、参照変換画像を取得し、次に参照変換画像内の目標領域を調整して、処理対象顔画像の肌色とマッチングする変換画像を取得する。

本出願の実施例の画像処理方法では、まず処理対象顔画像に対して肌色認識を行い、顔画像に含まれる顔の目標肌色を決定し、スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して顔画像を処理して、顔画像に対応する参照変換画像を取得し、次に参照変換画像を解析して、参照変換画像内の各画素点の色相値、彩度値及び明度値を取得し、次に参照変換画像内の各画素点の色相値、彩度値及び明度値に基づいて、参照変換画像内の目標領域を決定し、次に目標肌色に基づいて、目標領域内の各画素点の色相値、彩度値及び明度値を調整して、目標肌色とマッチングする目標変換画像を取得する。これにより、スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれていない場合、処理対象顔画像内の顔の肌色に基づいて、既存のスタイル変換モデルを用いて取得された参照変換画像内の目標領域の各画素点の色相値、彩度値及び明度値を調整して、目標変換画像内の顔の肌色を処理対象顔画像内の顔の肌色とマッチングさせ、これにより、様々な肌色のユーザに対してスタイル変換処理を行うことができ、応用範囲が広くなる。

目標領域の精度を向上させるために、本出願の１つの実施例では、次の方式により、参照変換画像内の目標領域を決定することができる。

具体的には、参照変換画像内の顔の肌色の色相値に対応する範囲（ここでは第１の範囲と呼ばれる）、彩度値の第２の範囲及び明度値の第２の範囲を予め設定することができる。参照変換画像が取得された後、参照変換画像の各画素点の色相値、彩度値及び明度値に基づいて、参照変換画像内の、色相値が第１の範囲にあり、彩度値が第２の範囲にあり、かつ明度値が第３の範囲にある画素点を決定し、これらの画素点を目標領域内の画素点として決定し、即ちこれらの画素点で構成される領域が目標領域である。

又は、参照変換画像内の顔の肌色に対応する上限の色相値、彩度値及び明度値、ならびに下限の色相値、彩度値及び明度値を定義し、上限と下限との間にある領域を目標領域とすることができる。例えば、上限がＨ，Ｓ，Ｖ＝［１０，１５，２１０］として定義され、下限がＨ，Ｓ，Ｖ＝［２５，９５，２５５］として定義され、参照変換画像内の、これら２つの色の間にある領域は、目標領域である。

本出願の実施例では、参照変換画像内の、各画素点の色相値、彩度値及び明度値に基づいて、参照変換画像内の目標領域を決定する場合、参照変換画像内の、色相値が第１の範囲にあり、彩度値が第２の範囲にあり、かつ明度値が第３の範囲にある画素点を目標領域内の画素点として決定する。これにより、色相値、彩度値及び明度値の範囲に基づいて、目標領域を決定し、それによって目標領域の精度が向上する。

目標領域の精度をさらに向上させるために、本出願の１つの実施例では、色相値、彩度値及び明度値の範囲に基づいて、参照画像内の、目標領域に属する画素点を決定した後、さらに目標領域に対してプルーニング処理を行って、より正確な目標領域を取得することができる。以下に図２を参照して説明するが、図２は本出願の実施例による別の画像処理方法のフローチャートである。

図２に示すように、参照変換画像内の、色相値が第１の範囲にあり、彩度値が第２の範囲にあり、かつ明度値が第３の範囲にある画素点を、目標領域内の画素点として決定する前記ステップの後、以下のステップ２０１〜ステップ２０３をさらに含む。

ステップ２０１において、目標領域内の各画素点の平均色相値、平均彩度値及び平均明度値を取得する。

本実施例では、目標領域内の各画素点の色相値に基づいて、目標領域内のすべての画素点の色相値の合計を算出し、次に色相値の合計を目標領域内の画素点の数で除算して、目標領域内の各画素点の平均色相値を得る。

同様に、目標領域内の各画素点の彩度値に基づいて、目標領域内のすべての画素点の彩度値の合計を算出し、次に彩度値の合計を目標領域内の画素点の数で除算して、各画素点の平均彩度値を得る。

同様に、目標領域内の各画素点の明度値に基づいて、目標領域内のすべての画素点の明度値の合計を算出し、次に明度値の合計を目標領域内の画素点の数で除算して、各画素点の平均明度値を得る。

ステップ２０２において、予め設定された誤差値、平均色相値、平均彩度値及び平均明度値に基づいて、目標色相範囲、目標彩度範囲及び目標明度範囲を決定する。

本実施例では、色相の誤差値、彩度の誤差値、明度の誤差値が含まれる誤差値を予め設定することができる。次に、色相の誤差値と平均色相値に基づいて、目標色相範囲を決定し、ここで、平均色相値が目標色相範囲にあり、彩度の誤差値と平均彩度値に基づいて、目標彩度範囲を決定し、ここで、平均彩度値が目標彩度範囲にあり、明度の誤差値と平均明度値に基づいて、目標明度範囲を決定し、ここで、平均明度値が目標明度範囲にある。

ここで、平均色相値、平均彩度値及び平均明度値の上下変動範囲は、それぞれの誤差値に対応し、即ち、目標色相範囲、目標彩度範囲及び目標明度範囲の上限と下限の差は、対応する誤差値である。

１つの例として、平均色相値から色相の誤差値の半分を差し引いて得られた差を、目標色相範囲の下限とし、平均色相値と色相の誤差値の半分との合計を、目標色相範囲の上限とすることができる。同様に、平均彩度値から彩度の誤差値の半分を差し引いて得られた差を、目標彩度範囲の下限とし、平均彩度値と色相の誤差値の半分との合計を、目標色相範囲の上限とすることができる。同様に、平均明度値から明度の誤差値の半分を差し引いて得られた差を、目標明度範囲の下限とし、平均明度値と明度の誤差値の半分との合計を、目標明度範囲の上限とすることができる。

別の例として、平均色相値から色相の誤差値の３分の２を差し引いて得られた差を、目標色相範囲の下限とし、平均色相値と色相の誤差値の３分の１との合計を、目標色相範囲の上限とすることができる。

例えば、予め設定された誤差値は（ｈ_△，ｓ_△，ｖ_△）であり、ｈ_△が色相の誤差値を表し、ｓ_△が彩度の誤差値を表し、ｖ_△が明度の誤差値を表し、

が平均色相値を表し、

が平均彩度値を表し、

が平均明度値を表す。そうすると、目標色相の範囲は

であり、目標彩度の範囲は

であり、目標明度範囲は

であってもよい。

なお、上述した目標色相範囲、目標彩度範囲及び目標明度範囲の上限と下限の決定方法は例だけである。

ステップ２０３において、目標色相範囲、目標彩度範囲及び目標明度範囲に基づいて、目標領域内の画素点に対してプルーニング処理を行う。

目標色相範囲、目標彩度範囲及び目標明度範囲が決定された後、目標領域のうち、色相値が目標色相範囲内にあり、彩度値が目標彩度範囲内にあり、かつ明度値が目標領域内にある画素点を、新しい目標領域内の画素点とすることができる。これにより、目標色相範囲、目標彩度範囲及び目標明度範囲により、目標領域内のいくつかの画素点をスクリーニングして、調整が必要な新しい目標領域を決定する。

新しい目標領域が決定された後、処理対象顔画像に含まれる顔の目標肌色に基づいて、新しい目標領域の各画素点の色相値、彩度値及び明度値を調整して、調整された目標変換画像内の顔の肌色を目標肌色とマッチングさせる。

実際の応用において、参照変換画像では、顔領域の顔の周りの髪、ライトによる影なども目標領域に属する可能性がある。したがって、目標領域が決定された後、目標色相範囲、目標彩度範囲及び目標明度範囲を決定することにより、目標色相範囲、目標彩度範囲及び目標明度範囲に基づいて、目標領域内の画素点に対してプルーニング処理を行い、残った画素点の所在する領域を新しい目標領域とし、次に新しい目標領域内の各画素点の色相値、彩度値及び明度値を調整することができる。

図３は、本出願の実施例によるプルーニング処理前後の効果の概略図である。図３において、左側は、プルーニング処理前の顔画像の概略図であり、右側は、プルーニング処理後の顔画像の概略図である。図３から、プルーニング処理後、肌色を調整する必要がある顔領域を決定する方が正確であることがわかる。

本出願の実施例では、参照変換画像内の、色相値が第１の範囲にあり、彩度値が第２の範囲にあり、かつ明度値が第３の範囲にある画素点を、目標領域内の画素点として決定した後、予め設定された誤差値、平均色相値、平均彩度値及び平均明度値に基づいて、目標色相範囲、目標彩度範囲及び目標明度範囲を決定し、次に目標色相範囲、目標彩度範囲及び目標明度範囲に基づいて、目標領域内の画素点に対してプルーニング処理を行い、次にプルーニング処理後に残った画素点の色相値、彩度値及び明度値を調整して、目標肌色とマッチングする目標変換画像を取得することができる。
これにより、目標領域内の画素点をプルーニングすることで、肌色調整が必要な領域をより正確に取得して肌色調整を行い、画像の処理効果をさらに向上させる。

参照変換画像の効果を向上させるために、本出願の１つの実施例では、処理対象顔画像の凸包画像を使用して、スタイル変換モデルにより参照変換画像を取得することができる。以下に図４を参照して説明するが、図４は本出願の実施例による別の画像処理方法のフローチャートである。

図４に示すように、任意のスタイル変換モデルを使用して顔画像を処理して、顔画像に対応する参照変換画像を取得する前記ステップは、以下のステップ４０１とステップ４０２とを含む。

ステップ４０１において、顔画像を前処理し、顔画像に対応する凸包画像を取得する。

本実施例では、スタイル変換モデルセットの任意のスタイル変換モデルを使用して処理対象顔画像を処理する前に、顔画像を前処理することができる。

具体的には、顔画像に対してキーポイント検出を行い、顔の五感器官のキーポイント位置を取得し、次にキーポイント位置に基づいて五感器官の凸包マップを取得し、次に凸包マップに異なる色を追加して、凸包画像である画像を取得することができる。ここで、凸包画像は、五感器官の位置及びサイズを特徴付け、色の変化により、目を開いた状態、目を閉じた状態、口を開いた状態、口を閉じた状態を特徴付けることができる。

図５は本出願の実施例による凸包画像の概略図である。図５から、凸包画像には、眉、鼻、目、口などが含まれていることが分かる。

ステップ４０２において、任意のスタイル変換モデルを使用して凸包画像及び顔画像を処理して、顔画像に対応する参照変換画像を取得する。

本実施例では、凸包画像と顔画像とを選択されたスタイル変換モデルに入力し、具体的には、凸包画像と顔画像のそれぞれがＲＧＢ３チャンネル画像であり、２つの画像で形成された６次元マトリックスをスタイル変換モデルに入力し、スタイル変換モデルは、凸包画像を使用して顔画像内の顔の五感器官の位置を正確に位置決めして、スタイル変換モデルに顔画像内の五感器官を変換させて、顔画像に対応する参照変換画像を取得する。

本出願の実施例では、任意のスタイル変換モデルを使用して顔画像を処理して、顔画像に対応する参照変換画像を取得する場合、顔画像を前処理して、顔画像に対応する凸包画像を取得し、次に任意のスタイル変換モデルを使用して凸包画像及び顔画像を処理して、顔画像に対応する参照変換画像を取得することができる。これにより、スタイル変換モデルを使用して顔画像を処理する場合、顔画像に対応する凸包画像を組み合わせて、スタイル変換モデルが顔画像内の五感器官の位置を正確に位置決めすることを凸包画像によって支援することにより、スタイル変換モデルの処理効率及び参照変換画像の効果を向上させることができる。

上記の実施例では、スタイル変換モデルセットにはある肌色に対応するスタイル変換モデルが含まれていない場合、まずスタイル変換モデルセット内の任意のスタイル変換モデルを使用して顔画像を処理して、参照変換画像を取得し、次に参照変換画像に対して肌色調整を行って、当該肌色とマッチングする目標変換画像を取得することができることについて説明した。

顔の肌色が目標肌色である顔画像の処理効率及び効果をさらに向上させるために、本出願の１つの実施例では、上記の方法を使用して目標肌色の顔画像を処理して、大量の目標肌色の変換画像を取得した後、これらの顔画像及び変換画像を使用して、トレーニングして目標肌色に対応するスタイル変換モデルを得て、当該スタイル変換モデルを使用して肌色が目標肌色である顔画像を処理することができる。以下に図６を参照して説明するが、図６は本出願の実施例による別の画像処理方法のフローチャートである。

図６に示すように、目標肌色とマッチングする目標変換画像を取得するステップの後に、以下のステップ６０１とステップ６０２とをさらに含む。

ステップ６０１において、目標肌色とマッチングする目標変換画像の数が第１の閾値よりも大きい場合、目標肌色に対応する顔画像セット及び変換画像セットを取得する。

本実施例では、目標肌色とマッチングする目標変換画像を取得した後、目標肌色とマッチングする目標変換画像の数が第１の閾値よりも大きいか否かを判断することができる。目標肌色とマッチングする目標変換画像の数が第１の閾値よりも大きい場合、肌色が目標肌色である顔画像を使用して顔画像セットを構成し、顔画像に対応する目標変換画像を使用して変換画像セットを構成する。

ステップ６０２において、顔画像セット及び変換画像セットを使用して初期のスタイル変換モデルをトレーニングして、目標肌色に対応する目標スタイル変換モデルを取得する。

本実施例では、初期のスタイル変換モデルは、生成器と弁別器とを含む敵対的ネットワークであってもよい。

具体的にトレーニングする場合、モデルトレーニングの難しさを軽減するために、まず顔画像セット内の顔画像を前処理して、顔画像に対応する凸包画像を取得することができる。

凸包画像が五感器官の位置及びサイズを特徴付け、色の変化により、目を開いた状態、目を閉じた状態、口を開いた状態、口を閉じた状態を特徴付けることができ、これは、モデルを受動的に学習させる必要がなく、初期のスタイル変換モデルが現在の目を開いた状態、目を閉じた状態を直接知ることに相当する。この方式により、モデルの生成効果及び収束速度が大幅に向上する。

顔画像の凸包画像が取得された後、凸包画像と顔画像とを生成器に入力して、２次元画像などの参照画像を生成する。次に、参照画像を弁別器に入力し、弁別器は、参照画像が実画像である確率を弁別し、区別を容易にするためにこれを第１の確率と呼ぶ。次に、第１の確率と０との差に応じて生成器と弁別器とを補正することができる。

参照画像が生成器によって生成された画像であるため、参照画像が実画像である確率は０％である。これから分かるように、第１の確率が高いほど、参照画像が実画像として認識される確率が高いことを表すが、参照画像が生成された画像である場合、現在の弁別器の弁別精度が悪いことを表すため、弁別器を補正する。第１の確率が低いほど、参照画像が実画像として認識される確率が低く、生成器によって生成された変換画像の効果が悪いことを表すため、生成器を補正する。

同時に、変換画像セット内の変換画像は、弁別器に入力されてもよく、弁別器は、変換画像が実画像であるか、生成器によって生成されたものであるかを弁別する。区別を容易にするために、ここで変換画像セット内の変換画像は弁別器に入力され、弁別器の出力確率は第２の確率と呼ばれる。次に、第２の確率と０との差に応じて弁別器を補正する。変換画像セット内の画像が生成器によって生成されるため、第２の確率が大きいほど、弁別器の弁別効果が悪いことを表すため、弁別器を補正する。

具体的に実現する場合、初期のスタイル変換モデルに対して深層学習を行って、目標肌色に対するスタイル変換モデルを取得することができる。

目標肌色に対するスタイル変換モデルが取得された後、当該スタイル変換モデルをスタイル変換モデルセットに追加し、処理対象顔画像に含まれる顔の肌色が目標肌色である場合、目標肌色に対応するスタイル変換モデルを使用して顔画像を処理して、対応する変換画像を取得することができる。

例えば、顔画像セットと変換画像セットを使用して、トレーニングして暗色系肌色に対応するスタイル変換モデルを取得する。ビデオレベルの２次元画像の応用シーンでは、ビデオで検出された顔画像について、まず肌色を認識し、検出された顔画像内の顔の肌色を決定し、顔の肌色が暗色系である場合、スタイル変換モデルセット内の暗色系肌色に対応するスタイル変換モデルを呼び出して顔画像を処理して、暗色系肌色の２次元画像を取得し、顔の肌色が明色系である場合、明色系肌色に対応するスタイル変換モデルを呼び出して顔画像を処理して、明色系肌色に対応する２次元画像を取得することができる。

同時に、検出された顔を追跡し、追跡時間が非常に短いため、フレームごとに多くの時間のかかる肌色認識を回避することができる。追跡して失う場合、検出された顔の肌色を再認識し、次に対応するモデルを呼び出して処理する。これにより、ビデオレベルの２次元画像が生成される場合、肌色の認識を適応的に行い、次に肌色に対応する２次元画像を生成することができる。

ビデオレベルの画像スタイルが変換された場合、複数のスタイル変換モデルの間で切り替える必要がある可能性があり、スタイル変換モデルのＧＰＵビデオメモリ使用要件がより高くなる。

例えば、この前にスタイル変換モデルが１つだけであり、ビデオメモリ使用量は１Ｇであったが、２つのスタイル変換モデルに増加すると、ビデオメモリ使用量は２Ｇに増加する。したがって、ビデオメモリ使用量を減少させるために、スタイル変換モデルの精度をさらに定量化することができ、この前にスタイル変換モデルがｆｌｏａｔ３２に基づく記憶及び計算を使用していた場合、ｆｌｏａｔ１６の記憶及び計算に変更できる。次に、ｆｌｏａｔ１６モデルに基づいてさらに微調整を行い、画像の処理効果が低下しないことを保証する。これにより、精度の定量化により、スタイル変換モデルのメモリが１倍減少し、すべての処理がｆｌｏａｔ１６に基づいて算出されるため、ビデオメモリ使用量が半分減少した。

本出願の実施例では、目標肌色とマッチングする目標変換画像が取得された後、目標肌色とマッチングする目標変換画像の数が第１の閾値よりも多い場合、目標肌色に対応する顔画像セット及び変換画像セットを取得し、次に顔画像セット及び変換画像セットを使用して初期のスタイル変換モデルをトレーニングして、目標肌色に対応する目標スタイル変換画像を取得する。これにより、処理対象顔画像の肌色が目標肌色である場合、目標スタイル変換モデルを使用して顔画像を処理して、肌色が目標肌色である変換画像を取得することにより、目標肌色の処理効率及び処理効果が向上する。

実際の応用において、顔画像には通常、一定の背景があり、画像の処理効果を向上させるために、本出願の１つの実施例では、処理対象顔画像に対して肌色の認識を行う前に、顔分割モデルを使用して、処理対象画像に対して顔分割を行って、顔領域と背景領域を取得し、次に処理対象画像から処理対象顔領域を取得することができる。

又は、顔検出アルゴリズムを使用して、処理対象画像から顔の位置を位置決めし、顔位置枠を取得し、次に顔位置枠に基づいて、顔領域を処理対象画像から切って取り、背景領域を破棄する。

さらに、処理対象顔画像を取得する場合、顔領域のサイズが予め設定されたサイズよりも小さい画像をフィルタリングすることができる。これは、スタイル変換モデルが通常、その処理する画像のサイズを指定するためである。

例えば、スタイル変換モデルが顔画像を処理する場合、顔画像は２５６＊２５６画素のサイズに拡大縮小される必要があり、顔のサイズが１００未満である顔画像をフィルタリングすることができ、これは、顔の面積が小さすぎると、画像を拡大した後に顔がぼやけてしまい、処理効果に影響を与えるためである。

また、処理対象画像に対して顔分割を行う前に、画像のサイズに基づいて、画像をスクリーニングして、要件を満たすサイズの処理対象画像を取得することもできる。

例えば、画像が２５６＊２５６のサイズに拡大縮小されてから、スタイル変換モデルに入力されて処理される必要があり、２５２未満のサイズの画像をフィルタリングすることができ、これは、処理対象画像自体が２５６よりも小さいと、顔画像の面積が必然的に２５６よりも小さく、処理対象顔画像を拡大すると、顔がぼやけてしまい、モデルの処理効果に影響を与えるからである。

本出願の実施例では、処理対象顔画像に対して肌色の認識を行う前に、顔分割モデルを使用して、処理対象画像に対して顔分割を行って、処理対象顔画像を取得することができる。これにより、処理対象画像顔を分割することで、処理対象画像の背景を破棄し、顔画像を取得し、顔画像のみを処理することにより、画像の処理効果を向上させることができる。

実際の応用において、撮影された顔画像内の顔は、正面を向いていない可能性があり、一定の回転角度が存在する。処理を容易にするために、本出願の１つの実施例では、顔の分割により処理対象画像から顔画像を取得した後、回転角度の大きい顔を回転させることができる。以下に図７を参照して説明するが、図７は本出願の実施例による別の画像処理方法のフローチャートである。

図７に示すように、顔分割モデルを使用して、処理対象画像に対して顔分割を行って、処理対象顔画像を取得するステップの後、以下のステップ７０１とステップ７０２とをさらに含む。

ステップ７０１において、顔画像内の顔の回転角度を決定する。

実際の応用において、人間は、自分で撮影し、又は撮影される時に、頭が左に又は右に傾くことがあるため、顔に一定の回転角度が存在する。本実施例では、顔画像内の顔の中心軸の鉛直方向に対する回転角度を検出することができる。

ステップ７０２において、回転角度が第２の閾値以上である場合、顔に対して回転処理を行って、回転した顔の回転角度を第２の閾値よりも小さくする。

本実施例では、顔画像内の顔の回転角度が第２の閾値以上であるか否かを判断する。回転角度が第２の閾値以上である場合、顔を鉛直方向に回転させ、回転した顔の回転角度を第２の閾値よりも小さくする。具体的には、顔を少なくとも、ステップ７０１で検出された顔の回転角度と第２の閾値との差の角度だけ回転させることができる。

ここで、第２の閾値は、実際のニーズに応じて設定されてもよい。

例えば、第２の閾値が４５度であり、顔画像の顔の回転角度が７０度であり、７０度−４５度＝２５であり、顔を少なくとも２５度だけ回転させて、回転した顔の角度を４５度よりも小さくする。実際の応用において、処理を容易にするために、回転処理後の顔の回転角度を０に設定することができる。

顔画像内の顔を回転させた後、顔画像に対して肌色の認識、目標肌色の決定などの後の処理を行う。

本出願の実施例では、顔分割モデルを使用して、処理対象画像に対して顔分割を行って、処理対象顔画像を取得するステップの後、画像内の顔の回転角度を決定することができ、回転角度が第２の閾値以上である場合、顔を回転させて、回転した顔の回転角度を第２の閾値よりも小さくすることができる。これにより、顔分割により顔画像が取得された後、顔画像内の顔の回転角度が大きい場合、顔に対して回転処理を行い、回転した顔の回転角度が条件を満たしていると、顔画像を処理し、これにより、画像の処理効果が向上する。

上記の実施例を実現するために、本出願は、顔画像処理装置をさらに提供する。図８は、本出願の実施例による画像処理装置の概略構成図である。

図８に示すように、当該画像処理装置８００は、認識モジュール８１０、変換モジュール８２０、解析モジュール８３０、第１の決定モジュール８４０及び調整モジュール８５０を含む。

認識モジュール８１０は、処理対象顔画像に対して肌色認識を行って、顔画像に含まれる顔の目標肌色を決定するように構成される。

変換モジュール８１０は、スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して前記顔画像を処理して、前記顔画像に対応する参照変換画像を取得するように構成される。

解析モジュール８３０は、参照変換画像を解析して、参照変換画像内の各画素点の色相値、彩度値及び明度値を取得するように構成される。

第１の決定モジュール８４０は、参照変換画像内の各画素点の色相値、彩度値及び明度値に基づいて、参照変換画像内の目標領域を決定するように構成される。

調整モジュール８５０は、目標肌色に基づいて、目標領域内の各画素点の色相値、彩度値及び明度値を調整して、目標肌色とマッチングする目標変換画像を取得するように構成される。

本出願の実施例の１つの可能な実現形態では、上記第１の決定モジュール８４０は、具体的には、
参照変換画像内の、色相値が第１の範囲にあり、彩度値が第２の範囲にあり、かつ明度値が第３の範囲にある画素点を、目標領域内の画素点として決定するように構成される。

本出願の実施例の１つの可能な実現形態では、当該装置は、
目標領域内の各画素点の平均色相値、平均彩度値及び平均明度値を取得するように構成される第１の取得モジュールと、
予め設定された誤差値、平均色相値、平均彩度値及び平均明度値に基づいて、目標色相範囲、目標彩度範囲及び目標明度範囲を決定するように構成される第２の決定モジュールと、
目標色相範囲、目標彩度範囲及び目標明度範囲に基づいて、目標領域内の画素点に対してプルーニング処理を行うように構成されるプルーニングモジュールとをさらに含むことができる。

本出願の実施例の１つの可能な実現形態では、上記変換モジュール８２０は、
顔画像を前処理して、顔画像に対応する凸包画像を取得するように構成される第１の処理ユニットと、
任意のスタイル変換モデルを使用して凸包画像及び顔画像を処理して、顔画像に対応する参照変換画像を取得するように構成される第２の処理ユニットとを含む。

本出願の実施例の１つの可能な実現形態では、当該装置は、
目標肌色とマッチングする目標変換画像の数が第１の閾値よりも大きい場合、目標肌色に対応する顔画像セット及び変換画像セットを取得するように構成される第２の取得モジュールと、
顔画像セット及び変換画像セットを使用して初期のスタイル変換モデルをトレーニングして、目標肌色に対応する目標スタイル変換モデルを取得するように構成されるトレーニングモジュールとをさらに含むことができる。

本出願の実施例の１つの可能な実現形態では、当該装置は、
顔分割モデルを使用して、処理対象画像に対して顔分割を行って、処理対象顔画像を取得するように構成される分割モジュールをさらに含むことができる。

本出願の実施例の１つの可能な実現形態では、当該装置は、
顔画像内の顔の回転角度を決定するように構成される第３の決定モジュールと、
回転角度が第２の閾値以上である、顔に対して回転処理を行って、回転した顔の回転角度を前記第２の閾値よりも小さくするように構成される回転処理モジュールとをさらに含むことができる。

なお、上記画像処理方法の実施例についての説明も当該実施例の画像処理装置に適用するため、ここで説明を省略する。

本出願の実施例の画像処理装置では、まず処理対象顔画像に対して肌色認識を行い、顔画像に含まれる顔の目標肌色を決定し、スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して顔画像を処理して、顔画像に対応する参照変換画像を取得し、次に参照変換画像を解析して、参照変換画像内の各画素点の色相値、彩度値及び明度値を取得し、次に参照変換画像内の各画素点の色相値、彩度値及び明度値に基づいて、参照変換画像内の目標領域を決定し、次に目標肌色に基づいて、目標領域内の各画素点の色相値、彩度値及び明度値を調整して、目標肌色とマッチングする目標変換画像を取得する。これにより、スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれていない場合、処理対象顔画像内の顔の肌色に基づいて、既存のスタイル変換モデルで取得された参照変換画像内の目標領域の各画素点の色相値、彩度値及び明度値を調整して、目標変換画像内の顔の肌色を処理対象顔画像内の顔の肌色とマッチングさせ、これにより、様々な肌色のユーザに対してスタイル変換処理を行うことができ、応用範囲が広くなる。

本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

図９に示すように、それは、本出願の実施例による画像処理方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、大型コンピュータ及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図する。電子機器は、さらにパーソナルデジタルプロセッサ、セルラー電話、スマートフォン、ウェアラブルデバイス及び他の類似するコンピューティングデバイスなどの様々な形態の移動装置を表すこともできる。本明細書に示されているコンポーネント、それらの接続と関係、及びそれらの機能は、例だけであり、かつ本明細書での説明及び／又は要求される本出願の実現を制限することを意図するものではない。

図９に示すように、当該電子機器は、１つ又は複数のプロセッサ９０１と、メモリ９０２と、高速インターフェース及び低速インターフェースを含む、各コンポーネントを接続するためのインターフェースとを含む。各コンポーネントは、異なるバスで相互に接続され、かつ共通のマザーボードに取り付けられてもよいか、又は必要に応じて他の方式で取り付けられてもよい。プロセッサは、外部入力／出力装置（インターフェースに結合された表示デバイスなど）にＧＵＩのグラフィック情報を表示するためにメモリ内又はメモリ上に記憶される命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要の場合、複数のプロセッサ及び／又は複数のバスを複数のメモリと複数のメモリと共に使用することができる。同様に、複数の電子機器を（例えば、サーバーアレイ、ブレードサーバーグ群、又はマルチプロセッサシステムとして）接続することができ、各デバイスは、部分の必要な操作を提供する。図９では、一つのプロセッサ９０１は例として挙げられる。

メモリ９０２は、本出願による非一時的コンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには少なくとも１つのプロセッサで実行可能な命令が記憶されており、これにより、前記少なくとも１つのプロセッサは、本出願による画像処理方法を実行する。本出願の非一時的コンピュータ読み取り可能な記憶媒体は、コンピュータ命令を記憶し、当該コンピュータ命令がコンピュータに本出願による画像処理方法を実行させる。

メモリ９０２は、非一時的コンピュータ読み取り可能な記憶媒体として、本出願の実施例における画像処理方法に対応するプログラム命令／モジュール（例えば、図８に示す認識モジュール８１０、変換モジュール８２０、解析モジュール８３０、第１の決定モジュール８４０及び調整モジュール８５０）などの非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能プログラム及びモジュールを記憶するために使用され得る。プロセッサ９０１は、メモリ９０２に記憶されている非一時的ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバーの様々な機能アプリケーション及びデータ処理を実行し、即ち上記の方法の実施例における画像処理方法を実現する。

メモリ９０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域にはオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムが記憶されてもよく、データ記憶領域には画像処理を実現するための電子機器の使用に応じて作成されたデータを記憶することができる。また、メモリ９０２は、高速ランダムアクセスメモリを含むことができ、非一時的メモリ、例えば少なくとも一つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の非一時的ソリッドステートストレージデバイスをさらに含むことができる。いくつかの実施例では、メモリ９０２は、選択可能に、プロセッサ９０１に対して遠隔に設けられたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介して画像処理方法を実現するための電子機器に接続されてもよい。上記ネットワークの実施例は、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むがこれらに限定されない。

画像処理方法を実現するための電子機器は、入力装置９０３と出力装置９０４とをさらに含むことができる。プロセッサ９０１、メモリ９０２、入力装９０３と出力装置９０４は、バス又は他の方式で接続されてもよく、図９ではバスで接続されることが例として挙げられる。

入力装置９０３は、入力された数字又は文字情報を受信し、画像処理方法を実現するための電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置９０４は、表示デバイス、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイとプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置は、タッチスクリーンであってもよい。

本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現されてもよい。これらの様々な実施形態は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されてもよく、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を当該記憶システム、当該少なくとも一つの入力装置及び当該少なくとも一つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、かつ高レベルのプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実現されてもよい。本明細書で使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、本明細書で説明されるシステム及び技術をコンピュータで実施することができ、当該コンピュータは、情報をユーザに表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。
他の種類の装置は、ユーザとのインタラクションを提供するために使用されてもよく、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かつ任意の形態（音響入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信することができる。

本明細書で説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバーとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは当該グラフィカルユーザインタフェース又は当該ウェブブラウザによって本明細書で説明されるシステム及び技術の実施形態とのインタラクションを行うことができる）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施されてもよい。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバーとを含むことができる。クライアントとサーバーは、一般的に、互いに離れており、通常、通信ネットワークを介してインタラクションを行う。クライアントとサーバーとの関係は、対応するコンピュータ上で実行されかつ相互にクライアント−サーバー関係を有するコンピュータプログラムによって生成される。サーバーは、クラウドコンピューティングサーバー又はクラウドホストとも呼ばれるクラウドサーバーであってもよく、従来の物理ホスト及びＶＰＳ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ：仮想プライベートサーバー）サービスへの管理が難しく、サービス拡張性が低いという欠陥を解決するためのクラウドコンピューティングサービスシステムのホスト製品である。

本出願の実施例の技術的解決手段によれば、スタイル変換モデルセットには目標肌色に対応するスタイル変換モデルが含まれていない場合、処理対象顔画像内の顔の肌色に基づいて、既存のスタイル変換モデルで取得された参照変換画像内の目標領域の各画素点の色相値、彩度値及び明度値を調整して、目標変換画像内の顔の肌色を処理対象顔画像内の顔の肌色とマッチングさせ、これにより、様々な肌色のユーザに対してスタイル変換処理を行うことができ、応用範囲が広くなる。

以上に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解すべきである。例えば、本出願に記載される各ステップは、本出願で開示されている技術的解決策の所望の結果さえ達成すれば、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本明細書では限定されない。

上記の具体的な実施形態は、本出願の保護範囲を制限するためのものではない。当業者は、設計要件及び他の要因に従って、様々な修正、組み合わせ、サブコンビネーション及び置換を行うことができることを理解すべきである。本出願の精神及び原則の範囲内で行われたいかなる修正、同等の置換、改善などは、いずれも本出願の範囲内に含まれるべきである。

Claims (17)

1. 画像処理方法であって、
   処理対象顔画像に対して肌色認識を行って、前記顔画像に含まれる顔の目標肌色を決定するステップと、
   スタイル変換モデルセットには前記目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して前記顔画像を処理して、前記顔画像に対応する参照変換画像を取得するステップと、
   前記参照変換画像を解析して、前記参照変換画像内の各画素点の色相値、彩度値及び明度値を取得するステップと、
   前記参照変換画像内の各画素点の色相値、彩度値及び明度値に基づいて、前記参照変換画像内の目標領域を決定するステップと、
   前記目標肌色に基づいて、前記目標領域内の各画素点の色相値、彩度値及び明度値を調整して、前記目標肌色とマッチングする目標変換画像を取得するステップとを含む、
   ことを特徴とする画像処理方法。
2. 前記参照変換画像内の各画素点の色相値、彩度値及び明度値に基づいて、前記参照変換画像内の目標領域を決定するステップは、
   前記参照変換画像内の、色相値が第１の範囲にあり、彩度値が第２の範囲にあり、かつ明度値が第３の範囲にある画素点を、前記目標領域内の画素点として決定するステップとを含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記目標領域内の画素点として決定するステップの後、
   前記目標領域内の各画素点の平均色相値、平均彩度値及び平均明度値を取得するステップと、
   予め設定された誤差値、前記平均色相値、平均彩度値及び平均明度値に基づいて、目標色相範囲、目標彩度範囲及び目標明度範囲を決定するステップと、
   前記目標色相範囲、目標彩度範囲及び目標明度範囲に基づいて、前記目標領域内の画素点に対してプルーニング処理を行うステップとをさらに含む、
   ことを特徴とする請求項２に記載の方法。
4. 任意のスタイル変換モデルを使用して前記顔画像を処理して、前記顔画像に対応する参照変換画像を取得するステップは、
   前記顔画像を前処理して、前記顔画像に対応する凸包画像を取得するステップと、
   前記任意のスタイル変換モデルを使用して前記凸包画像及び前記顔画像を処理して、前記顔画像に対応する参照変換画像を取得するステップとを含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記目標肌色とマッチングする目標変換画像を取得するステップの後に、
   前記目標肌色とマッチングする目標変換画像の数が第１の閾値よりも大きい場合、前記目標肌色に対応する顔画像セット及び変換画像セットを取得するステップと、
   前記顔画像セット及び変換画像セットを使用して初期のスタイル変換モデルをトレーニングして、前記目標肌色に対応する目標スタイル変換モデルを取得するステップとをさらに含む、
   ことを特徴とする請求項１に記載の方法。
6. 処理対象顔画像に対して肌色認識を行うステップの前に、
   顔分割モデルを使用して、処理対象画像に対して顔分割を行って、前記処理対象顔画像を取得するステップをさらに含む、
   ことを特徴とする請求項１〜５のいずれか一項に記載の方法。
7. 顔分割モデルを使用して、処理対象画像に対して顔分割を行って、前記処理対象顔画像を取得するステップの後に、
   前記顔画像内の顔の回転角度を決定するステップと、
   前記回転角度が第２の閾値以上である場合、前記顔に対して回転処理を行って、回転した顔の回転角度を前記第２の閾値よりも小さくするステップをさらに含む、
   ことを特徴とする請求項６に記載の方法。
8. 画像処理装置であって、
   処理対象顔画像に対して肌色認識を行って、前記顔画像に含まれる顔の目標肌色を決定するように構成される認識モジュールと、
   スタイル変換モデルセットには前記目標肌色に対応するスタイル変換モデルが含まれていない場合、任意のスタイル変換モデルを使用して前記顔画像を処理して、前記顔画像に対応する参照変換画像を取得するように構成される変換モジュールと、
   前記参照変換画像を解析して、前記参照変換画像内の各画素点の色相値、彩度値及び明度値を取得するように構成される解析モジュールと、
   前記参照変換画像内の各画素点の色相値、彩度値及び明度値に基づいて、前記参照変換画像内の目標領域を決定するように構成される第１の決定モジュールと、
   前記目標肌色に基づいて、前記目標領域内の各画素点の色相値、彩度値及び明度値を調整して、前記目標肌色とマッチングする目標変換画像を取得するように構成される調整モジュールとを含む、
   ことを特徴とする画像処理装置。
9. 前記第１の決定モジュールは、具体的には、
   前記参照変換画像内の、色相値が第１の範囲にあり、彩度値が第２の範囲にあり、かつ明度値が第３の範囲にある画素点を、前記目標領域内の画素点として決定するように構成される、
   ことを特徴とする請求項８に記載の装置。
10. 前記目標領域内の各画素点の平均色相値、平均彩度値及び平均明度値を取得するように構成される第１の取得モジュールと、
    予め設定された誤差値、前記平均色相値、平均彩度値、平均明度値に基づいて、目標色相範囲、目標彩度範囲及び目標明度範囲を決定するように構成される第２の決定モジュールと、
    前記目標色相範囲、目標彩度範囲及び目標明度範囲に基づいて、前記目標領域内の画素点に対してプルーニング処理を行うように構成されるプルーニングモジュールとをさらに含む、
    ことを特徴とする請求項９に記載の装置。
11. 前記変換モジュールは、
    前記顔画像を前処理して、前記顔画像に対応する凸包画像を取得するように構成される第１の処理ユニットと、
    前記任意のスタイル変換モデルを使用して前記凸包画像及び前記顔画像を処理して、前記顔画像に対応する参照変換画像を取得するように構成される第２の処理ユニットとを含む、
    ことを特徴とする請求項８に記載の装置。
12. 前記目標肌色とマッチングする目標変換画像の数が第１の閾値よりも大きい場合、前記目標肌色に対応する顔画像セット及び変換画像セットを取得するように構成される第２の取得モジュールと、
    前記顔画像セット及び変換画像セットを使用して、初期のスタイル変換モデルをトレーニングして、前記目標肌色に対応する目標スタイル変換モデルを取得するように構成されるトレーニングモジュールとをさらに含む、
    ことを特徴とする請求項８に記載の装置。
13. 顔分割モデルを使用して、処理対象画像に対して顔分割を行い、前記処理対象顔画像を取得するように構成される分割モジュールをさらに含む、
    ことを特徴とする請求項８〜１２のいずれか一項に記載の装置。
14. 前記顔画像内の顔の回転角度を決定するように構成される第３の決定モジュールと、
    前記回転角度が第２の閾値以上である場合、前記顔に対して回転処理を行って、回転した顔の回転角度を前記第２の閾値よりも小さくするように構成される回転処理モジュールとをさらに含む、
    ことを特徴とする請求項１３に記載の装置。
15. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、
    前記メモリには前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが請求項１〜７のいずれか一項に記載の画像処理方法を実行可能である、
    ことを特徴とする電子機器。
16. コンピュータ命令が記憶されている非一時的コンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、前記コンピュータに請求項１〜７のいずれか一項に記載の画像処理方法を実行させる、
    ことを特徴とする非一時的コンピュータ読み取り可能な記憶媒体。
17. コンピュータに請求項１〜７のいずれか一項に記載の画像処理方法を実行させる、
    ことを特徴とする非一時的コンピュータプログラム。

Images