JP2022032973A - バランスのとれたデータセットのための画像合成 - Google Patents

Abstract

【課題】 バランスのとれたデータセットのための画像合成を提供する【解決手段】 一方法が、ターゲット動作単位（ＡＵ）組み合わせと、ターゲットＡＵ組み合わせのうち各ＡＵの第１の強度カテゴリ及びターゲットＡＵ組み合わせのうち各ＡＵの第２の強度カテゴリを少なくとも有するターゲットＡＵ組み合わせのラベル付き画像とを含む、データセットを取得するステップを含み得る。該方法は、第１のＡＵの第１の強度カテゴリが第１のＡＵの第２の強度カテゴリより多数のラベル付き画像を有すると決定するステップと、この決定に基づいて、第１のＡＵの第２の強度カテゴリにおいて合成されるべき新しい画像の数を識別するステップをさらに含んでもよい。該方法は、第１のＡＵの第２の強度カテゴリを有する上記数の新しい画像を合成するステップと、その新しい画像をデータセットに追加するステップをさらに含んでもよい。【選択図】 図２

Description

本開示の実施形態は、バランスのとれたデータセットのための画像合成に関する。

顔の画像に対して画像解析を実行し、どの顔の表情が作られているのかを識別することができる。しばしば、これらの顔の表情は、動作単位（Action Units、ＡＵ）を使用する顔面動作符号化システム（Facial Action Coding System、ＦＡＣＳ）に基づいて特徴づけられ、各ＡＵは、特定の筋肉又は筋群の弛緩又は収縮に対応し得る。各ＡＵは、強度（intensity）によってさらに特徴づけられてもよく、強度は、０及びＡ～Ｅとしばしばラベル付けされ、それぞれ、０はＡＵの強度がないこと又は非存在を表し、Ａ～Ｅは最小から最大に及ぶ。所与の感情は、例えば、幸福を表す６＋１２（頬を上げている（cheek raiser）及び口端を引いている（lip corner puller））などの、ＡＵの組み合わせとして特徴づけることができる。

本開示の１つ以上の実施形態が、ターゲット動作単位（Action Unit、ＡＵ）組み合わせ（combination）と、ターゲットＡＵ組み合わせのうち各ＡＵの第１の強度カテゴリ（category of intensity）及びターゲットＡＵ組み合わせのうち各ＡＵの第２の強度カテゴリを少なくとも有するターゲットＡＵ組み合わせのラベル付き画像とを含む、データセットを取得するステップを含む方法を含み得る。該方法は、第１のＡＵの第１の強度カテゴリが第１のＡＵの第２の強度カテゴリより多数のラベル付き画像を有すると決定するステップと、この決定に基づいて、第１のＡＵの第２の強度カテゴリにおいて合成されるべき新しい画像の数を識別するステップをさらに含んでもよい。該方法は、第１のＡＵの第２の強度カテゴリを有する上記数の新しい画像を合成する（synthesizing）ステップと、その新しい画像をデータセットに追加するステップをさらに含んでもよい。

実施形態の目的及び利点は、少なくとも特許請求の範囲において特に指し示された要素、特徴、及び組み合わせにより実現され、達成される。

前述の一般的な説明及び以下の詳細な説明の双方が単に例であり、説明的であり、限定ではないことが理解されるべきである。

例示的な実施形態が、添付図面の使用を通してさらなる特定性及び詳細と共に記載され、説明される。
顔画像に対する画像解析に使用され得る一例示的な環境を示す図である。 バランスのとれたデータセットのための画像合成の一例示的な環境を示す。 異なる合成手法を使用した合成顔画像を含む、顔画像の例を示す。 異なる合成手法を使用した合成顔画像を含む、顔画像の例を示す。 データセット内のＡＵ組み合わせの強度分布の例示的なプロットを示す。 データセット内のＡＵ組み合わせの強度分布の例示的なプロットを示す。 バランスのとれたデータセットのための画像合成の一例示的な方法の例示的なフローチャートを示す。 バランスのとれたデータセットのための画像合成の別の例示的な方法の別の例示的なフローチャートを示す。 バランスのとれたデータセットのための画像合成の別の例示的な方法の別の例示的なフローチャートを示す。 一例示的なコンピューティングシステムを示す。

本開示は、入力画像内のＡＵ及び／又はそれらの強度を識別するように機械学習システムを訓練するために使用され得るロバストなデータセットの生成に関する。多くの潜在的な訓練データセットでは、引き出すべき潜在的画像はＡＵの強度にわたり均等に分布しておらず、機械学習システムの訓練におけるアンバランスを引き起こしている。この欠点を克服するために、本開示は、よりロバストでバランスのとれたデータセットが開発される改良を提供する。画像という用語が用いられるが、それは顔の任意の他の表現に等しく適用可能であることが理解されるであろう。

いくつかの実施形態において、訓練データセットを解析して、ＡＵ組み合わせにわたり強度のバランスを決定することができ、アンバランスに基づいて、画像を合成してさらなるバランスを訓練データセットに提供する。よりバランスのとれたデータセットを使用して、画像分類のための機械学習システムを訓練することができ、訓練した後、機械学習システムを使用して、入力画像内のＡＵ組み合わせ及び／又は強度を用いて入力画像にラベル付けすることができる。例えば、機械学習システムは、どのＡＵが存在するか（例えば、二値決定（binary decision））及び／又は存在するＡＵの強度（例えば、複数の潜在的強度レベル）を識別することができる。

本開示の特定の実施形態は、顔画像解析のための機械学習システムの従前の反復を越える改良を提供し得る。例えば、本開示の実施形態は、機械学習システムが機械学習システムへの入力画像をより良く識別し、特徴づけることができるように、訓練のためのよりバランスのとれたデータセットを提供し得る。さらに、本開示は特定の画像を合成するため、特定の実施形態は、機械学習システムがより少ない初期入力画像を有する訓練セットで動作することを可能にし得、より大きい訓練データセットを準備するコストを（計算的及び経済的の双方で）低減する。さらに、本開示は優れた訓練セットを機械学習システムに提供し得るため、機械学習システム自体はより効率的に動作し、より迅速に決定に到達し得、したがって、本開示と比較してより長い解析に費やされる計算リソースを節約する。

１つ以上の例示的な実施形態が、添付の図面を参照して説明される。

図１は、本開示の１つ以上の実施形態による、顔画像に対する画像解析に使用され得る一例示的な環境１００を示す図である。図１に示すように、環境１００は、機械学習システム１３０を訓練するために使用され得る画像のデータセット１１０を含み得る。訓練された後、機械学習システム１３０は、画像１２０を解析し、ラベル１４５を有するラベル付き画像１４０を生成することができる。例えば、ラベル１４５を画像１２０に適用して、ラベル付き画像１４０を生成してもよい。

データセット１１０は、１つ以上のラベル付き画像を含み得る。例えば、データセット１１０は、画像内にどのＡＵが表されているか及び／又は画像内のＡＵの強度を識別するためにラベル付けされ得る顔の画像を含んでもよい。いくつかの実施形態において、データセット１１０内の画像のうち１つ以上が、カメラ又は他の画像センサにより捕捉された画像などのネイティブ画像でなく、人工的に合成されてもよい。いくつかの実施形態において、データセット１１０の画像は、手動でラベル付けされてもよく、あるいは自動的にラベル付けされてもよい。

画像１２０は、顔を含む任意の画像でよい。画像１２０は、機械学習システム１３０に入力として提供され得る。

機械学習システム１３０は、機械学習システム１３０が画像１２０内のＡＵ及び／又はそれらのそれぞれの強度を識別することができるようにデータセット１１０に基づいて訓練されるように構成された任意のシステム、デバイス、ネットワークなどを含んでよい。いくつかの実施形態において、機械学習システム１３０は、ディープニューラルネットワーク、人工ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）などのディープラーニングアーキテクチャを含んでもよい。機械学習システム１３０は、画像１２０内のＡＵ及び／又はそれらのそれぞれの強度のうち１つ以上を識別する、ラベル１４５を出力することができる。例えば、機械学習システム１３０は、どのＡＵが存在するか（例えば、二値決定）及び／又は存在するＡＵの強度（例えば、複数の潜在的強度レベル）を識別することができる。

ラベル付き画像１４０は、機械学習システム１３０により決定されたＡＵ及び／又はそれらのそれぞれの強度を示すラベル１４５でラベル付けされたときの画像１２０を表すことができる。

本開示の範囲から逸脱することなく、環境１００に対して修正、追加、又は省略がなされてもよい。例えば、記載された方法における異なる要素の指定は、本明細書に記載される概念の説明を助けることを意図し、限定するものではない。さらに、環境１００は、任意数の他の要素を含んでもよく、あるいは記載されたもの以外のシステム又は環境で実現されてもよい。

図２は、本開示の１つ以上の実施形態による、バランスのとれたデータセットのための画像合成の一例示的な環境２００を示す。環境２００は、取得され得る初期データセット２１０を含み得る。初期データセット２１０は、ターゲットＡＵ２４０及び／又はそれらの関連強度（associated intensities）のセットを導出するために、いくつかの前処理２２０及び／又は他の解析を受けることができる。ターゲットＡＵ２４０及び／又はそれらの強度を使用し、データセット２１０のバランスをより良くとるために合成されるべき新しい画像のセットが決定され得る。画像合成２５０を行って、合成された画像２５５を生成することができ、これらを初期データセット２１０と組み合わせて、最終データセット２７０を導出することができる。

初期データセット２１０は、データセット１１０に類似又は相当してもよい。例えば、初期データセット２１０は、様々なＡＵ組み合わせ及びそれらの関連強度を有する顔を含む画像を含んでもよい。初期データセット２１０は、初期データセット２１０内の画像の各々について、ＡＵ組み合わせ及び関連強度でラベル付けされ得る。いくつかの実施形態において、このようなラベルは、前処理２２０の一部として取り付けられてもよい。初期データセット２１０の画像は、デジタル写真、スキャンされた写真、特定の感情を有するフォトリアリスティックな顔（photo-realistic face）を示すユーザ生成画像などの任意の形式又はフォーマットをとってよい。

前処理２２０は、データセット２１０に対する１つ以上の解析又はタスクを実行して、ターゲットＡＵ２４０の導出及び／又は画像合成２５０を容易にすることができる。いくつかの実施形態において、前処理２２０は、どのＡＵ組み合わせ及び／又は強度が画像の各々に示されているかを識別するために、初期データセット２１０の画像にラベル付けすることを含んでもよい。例えば、管理者、エンジニア、又は他のユーザが初期データセット２１０内の画像を調べ、手動でラベル付けしてもよい。別の例として、画像のラベル付けはクラウドソーシングされてもよい。

いくつかの実施形態において、前処理２２０は、データセット２１０内の画像のうち１つ以上を、画像合成２５０のための潜在的な入力画像の候補として識別することを含んでもよい。例えば、中立表情を含む画像が識別されてもよい。別の例として、ほとんどしわのない及び／又は開いた口のない画像が潜在的な入力画像の候補として識別されてもよい。いくつかの実施形態において、入力画像の識別は、ターゲットＡＵ又はＡＵ組み合わせ内のＡＵを示していない画像をランダムに選択することを含んでもよい。さらに又は代わりに、入力画像の識別は、ターゲットＡＵ以外のしわのない画像をランダムに選択することを含んでもよい。例えば、特定のＡＵのうち既知のＡＵ及び／又は強度のセットが、しわを生じそうにない場合があり、入力画像は、しわを生じそうにない既知のＡＵ／強度のセットのみ示す画像からランダムに選択されてもよい。

いくつかの実施形態において、前処理２２０は、初期データセット２１０内の画像の３次元（３Ｄ）レンダリングを生成することを含んでもよい。例えば、画像合成２５０を容易にするために、２次元の画像を投影し、３Ｄでレンダリングしてもよい。いくつかの実施形態において、このような３Ｄレンダリングはビデオフレームの使用を含んでもよく、それにより、ビデオの各フレームは、より正確な３Ｄレンダリングを生成するためにビデオフレームにわたってより良く相関するように解析され得る。いくつかの実施形態において、畳み込み層及び残差ブロックを使用するエンコーダ－デコーダアーキテクチャが、顔ランドマークアラインメント（facial landmark alignment）及び３Ｄ顔構造再構成に使用される。これら及び他の実施形態において、ビデオフレームから所与のＵＶ位置へ（例えば、各点の情報を保持しながらの、ＵＶ空間における３Ｄ座標の２次元（２Ｄ）表現）、マッピングが学習されてもよい。３Ｄマッピングを使用し、正面像における顔の３Ｄメッシュが取得されてもよく、これは、初期データセット２１０に対して一般的なサイズの顔の２Ｄ画像にラスタライズされてもよい。

いくつかの実施形態において、前処理２２０は、１つ以上のターゲットＡＵ組み合わせについて初期データセット２１０内に含まれる強度の数を決定するための、初期データセット２１０の解析を含んでもよい。例えば、より高い強度などの特定の強度は、いくつかのＡＵ組み合わせについて、より低い強度に比べて十分表現されていない（under-represented）ことがある。強度のアンバランスは、画像識別を実行する機械学習システムに対してアンバランスな訓練セットをもたらす可能性がある。図４Ａに、アンバランスなデータセットの一例示的な表現を示す。

いくつかの実施形態において、前処理２２０は、どのＡＵ組み合わせ及び／又は対応する強度がバランスを失っているかを識別することができる。そのような識別は、どのＡＵ組み合わせ及び／又は強度が対応する画像を合成させるべきかの識別を容易にし得る。

初期データセット２１０に対して実行され得る様々な前処理について例が提供されているが、画像合成２５０の前に及び／又は一部として、任意の他のタスク又は処理が初期データセット２１０に対して実行されてよいことが理解されるであろう。

ターゲットＡＵ２４０及び／又は関連強度のセットは、解析下のＡＵ組み合わせのセットを含み得る。例えば、機械学習システムが、顔の表情のサブセットをターゲットにすることを意図する場合、対応するＡＵ組み合わせがターゲットＡＵ２４０に含められてもよい。別の例として、前処理２２０が、ＡＵ組み合わせ及びそれらの関連強度のサブセットがバランスを失っていることを示す場合、そのＡＵ組み合わせのサブセットがターゲットＡＵ２４０のセットでもよい。いくつかの実施形態において、ターゲットＡＵ２４０のセットは、管理者又は他のユーザにより手動で選択されてもよい。

画像合成２５０は、任意の自動化された画像生成手法を含んでよい。例えば、敵対的生成ネットワーク（Generative Adversarial Network、ＧＡＮ）アーキテクチャ又は変分オートエンコーダ（Variational autoencoder、ＶＡＥ）を使用して、画像を生成してもよい。いくつかの実施形態において、任意の画像生成手法が使用されてよいが、ＳｔａｒＧＡＮ又はＧＡＮｉｍａｔｉｏｎなどの画像生成パッケージが使用されてもよい。このようなパッケージでは、入力画像とターゲットＡＵ組み合わせをパッケージに提供することができ、該パッケージは、ターゲットＡＵ組み合わせの画像を合成及び出力することができる。いくつかの実施形態において、パッケージに提供されるターゲットＡＵの組み合わせは、ＡＵ組み合わせの強度を含んでもよい。

いくつかの実施形態において、画像合成２５０は、合成された画像の品質を改善するための１つ以上の手法を含み得る。例えば、画像合成２５０は、画像合成２５０の正確さ（accuracy）を改善するために、中立表情を有する及び／又はしわのない入力画像を受け取ってもよい。別の例として、入力画像の３Ｄレンダリングを生成して、より高品質の画像合成２５０を容易してもよい。

いくつかの実施形態において、画像合成２５０は、画像合成２５０の手法の訓練の間、高品質の画像を作成するために最小化されるべき１つ以上の損失解析を利用してもよい。例えば、画像合成２５０は、１つ以上のデータセット（データセット２１０又は何らかの他のデータセットなど）上で訓練されてもよく、訓練された後、画像を合成するために使用されてもよい。そのような訓練は、訓練データセット内の既知及び／又は実際の画像に対応する訓練画像を合成することを含んでもよい。損失を最小化することは、訓練しているとき元画像のアイデンティティ（identity）を同じに保つのに役立つ可能性があり、それにより、画像の合成において同じ一貫性が生じ得る。さらに、損失を最小化することは、合成された画像の表情をターゲットの表情と同じに保つのに役立つ可能性がある。例えば、入力された訓練画像のアイデンティティを決定することができ、かつ訓練する間に合成された画像のアイデンティティを決定することができるアイデンティティ損失メトリックが利用されてもよく、アイデンティティ決定においてミスマッチがある（例えば、画像識別システムが、入力された訓練画像及び合成された訓練画像を２人の異なる人々のものであると予期する）場合、特定の損失係数が適用されてもよい。これら及び他の実施形態において、アイデンティティ損失についての損失係数は、合成された訓練画像が異なる人物である可能性に比例してもよい。

画像合成２５０の訓練の損失解析の別の例は、特有損失メトリック（idiosyncratic loss metric）を含んでもよい。特有損失メトリックは、合成訓練画像とターゲットＡＵの様々な強度を有するソース画像における同じ人物についてのデータセット内の他の画像との比較に基づいて課される損失に関連し得る。例えば、同じ人物が訓練データセット内に２つの画像（例えば、中立表情を有する第１の画像と、ターゲットＡＵのうち少なくとも１つを有する顔の表情を有する第２の画像）を有していた場合、訓練データセット内の画像のＡＵと合成された訓練画像内のＡＵとの間のミスマッチに対して、損失が課されてもよい。このような差には、アイデンティティの変化、意図されていない強度の変化、知覚されたＡＵの変化などを含んでもよい。

訓練した後、画像合成２５０は、合成された画像２５５のセットを出力することができる。例えば、合成画像２５５のセットは、ターゲットＡＵ２４０及び関連強度を有する画像を含んでもよく、それにより、最終データセット２７０として初期データセット２１０と組み合わせられたとき、最終データセットは、ＡＵ組み合わせ及び／又は強度にわたりバランスのとれた訓練データセットを含み得る。例えば、図４Ａ及び図４Ｂは、それぞれ、初期データセット２１０及び最終データセット２７０の強度分布の一例を示す。いくつかの実施形態において、合成された画像２５５は、初期データセット２１０からの画像のいくつかを含むのでなく最終データセット２７０全体を構成してもよい。あるいは、結果として生じるデータセット２５０は、データセット２１０からの表現と合成された表現２４５との任意の組み合わせを含んでもよい。例えば、初期データセット２１０からの１つ以上の画像が除去されてもよい。

最終データセット２７０は、画像分類及び／又はラベル付けを容易にするように機械学習システムに提供することができ、それにより、入力画像に対してＡＵ及び／又はそれらのそれぞれの強度が識別及び／又はラベル付けされ得る。これら及び他の実施形態において、データセット内に少数のエントリのみ有するＡＵ組み合わせ及び／又は強度をオーバーサンプリングする（例えば、同じ画像のさらなるコピーを繰り返し導入する）のでなく、本開示は、自然なバリエーションを有する合成された画像に提供して、よりロバストでより良く機能する機械学習システムを提供することができる。

本開示の範囲から逸脱することなく、環境２００に対して修正、追加、又は省略がなされてもよい。例えば、記載された方法における異なる要素の指定は、本明細書に記載される概念の説明を助けることを意図し、限定するものではない。さらに、環境２００は、任意数の他の要素を含んでもよく、あるいは記載されたもの以外のシステム又は環境で実現されてもよい。

図３Ａ及び図３Ｂは、本開示の１つ以上の実施形態による、異なる合成手法を使用した合成顔画像３３０ａ及び３３０ｂを含む、顔画像３００ａ及び３００ｂの例を示す。図３Ａの合成画像３３０ａは、入力画像３１０ａの２Ｄ位置合わせ（registration）に基づいて合成され、図３Ｂの合成画像３３０ｂは、入力画像３１０ｂの３Ｄ位置合わせに基づいて合成される。

図３Ａの顔画像３００ａは、入力画像３１０ａ、ターゲット画像３２０ａ、及び合成画像３３０ａを含む。入力画像３１０ａは、合成画像がベースにする画像として選択され得る。いくつかの実施形態において、入力画像３１０ａは、しわがほとんど又は全くない及び／又は中立表情を有する顔画像を含んでもよい。入力画像３１０ａは、一般にまっすぐに向いている顔を含んでもよい。

いくつかの実施形態において、入力画像３１０ａは、入力画像３１０ａの２Ｄ位置合わせを実行され得る。例えば、２Ｄ位置合わせは、２Ｄ画像の点を様々な顔の特徴、ランドマーク、筋肉群などにマッピングしてもよい。いくつかの実施形態において、２Ｄ位置合わせは、入力画像３１０ａの様々な顔の特徴、ランドマーク、筋肉群などをターゲット画像３２０ａにマッピングすることができる。合成画像３３０ａは、入力画像３１０ａの２Ｄ位置合わせに基づき得る。

ターゲット画像３２０ａは、所望の顔の表情（例えば、データセットのバランスをとるために合成されるべき所望のＡＵ組み合わせ及び強度を示す顔画像）を表すことができる。入力画像３１０ａは、ターゲット画像３２０ａと同じアイデンティティでも（例えば、同じ人物を示しても）よく、あるいはそうでなくてもよい。

図３Ａを参照し、合成画像３３０ａは、２Ｄ位置合わせに基づいて様々なアーチファクトを有し得る。例えば、顔における穴又はギャップが生じる可能性があり、特定の顔の特徴がゆがめられ、あるいはその他の方法で非人間的な外観を有する可能性がある。

図３Ｂにおいて、入力画像３１０ｂ及びターゲット画像３２０ｂは、図３Ａの入力画像３１０ａ及びターゲット画像３２０ａに類似又は相当してもよい。入力画像３１０ｂ及び／又はターゲット画像３２０ｂの３Ｄ位置合わせが実行され得る。例えば、２Ｄ画像でなく、入力画像３１０ｂ及びターゲット画像３２０ｂに示される顔の３Ｄ投影が生成されてもよい。そうすることにより、入力画像３１０ｂとターゲット画像３２０ｂとの間に、より完全な、ロバストな、及び／又は正確なマッピングが存在し得る。

３Ｄ位置合わせに基づき、ベースとして入力画像３１０ｂを使用して合成画像３３０ｂが実行され得る。観察され得るように、図３Ｂの合成画像３３０ｂは、図３Ａの合成画像３３０ａより高品質である。例えば、アーチファクトがより少なく、顔の特徴はターゲット画像３２０ｂにより厳密に似ている。

本開示の範囲から逸脱することなく、顔画像３００ａ／３００ｂに対して修正、追加、又は省略がなされてもよい。例えば、記載された方法における異なる要素の指定は、本明細書に記載される概念の説明を助けることを意図し、限定するものではない。さらに、顔画像３００ａ／３００ｂは、任意数の他の要素を含んでもよく、あるいは記載されたもの以外のシステム又は環境で実現されてもよい。例えば、任意の数の入力画像、ターゲット画像、及び／又は合成画像が使用されてよい。

図４Ａ及び図４Ｂは、本開示の１つ以上の実施形態による、データセット内のＡＵ組み合わせの強度分布の例示的なプロット４００ａ及び４００ｂを示す。図４Ａのプロット４００ａは、アンバランスなデータセットを示し、図４Ｂのプロット４００ｂは、データセットのバランスをとるために幾つかの（a number of）画像を合成することにより、バランスのとれたデータセットを示す。プロット４００ａ及び４００ｂは、ＡＵ組み合わせ４１０ａ及び４１０ｂと、対応する強度４２０ａ及び４２０ｂを含み得る。

図４Ａのプロット４００ａが示すように、ＡＵ組み合わせのセット４１０ａは、個々のＡＵ組み合わせ４１１ａ、４１２ａ、４１３ａ、４１４ａ、４１５ａ、４１６ａ、及び４１７ａを含み得、これらの各々が、強度４２１ａ、４２２ａ、４２３ａ、４２４ａ、４２５ａ、及び４２６ａを含む対応する強度４２０ａを有する。

一例としてＡＵ組み合わせ４１５ａを用いると、第１の強度４２１ａは、その強度を示す比較的少数の画像を有し、一方、第２、第３、及び第４の強度４２２ａ、４２３ａ、及び４２４ａは、それぞれの強度を示すより多数の画像を有する。第５の強度４２５ａは、第１の強度４２１ａより多い画像を有するが、第２、第３、及び第４の強度４２２ａ、４２３ａ、及び４２４ａより少ない。第６の強度４２６ａは、組み合わせられた残りの強度とほぼ同数の画像を有する。

いくつかの実施形態において、プロット４００ａに示されるデータセットはアンバランスであり得、データセットのバランスをとることが望ましい可能性があると決定され得る。例えば、機械学習システムをホストするコンピューティングデバイス（又は、任意の他のコンピューティングシステム）が、データセットがアンバランスであり、よりバランスのとれたデータセットは機械学習システムの訓練においてより良く機能し得ると決定してもよい。いくつかの実施形態において、バランスをとるとき、合成されるべき画像の数は、強度の各々にほぼ同数の単位（units）を提供することを容易にするために、任意のアプローチを使用して決定されてよい。例えば、バランスをとることは、最大数の画像を有する強度にマッチするように他の強度の画像を合成することを含んでもよく、それにより、強度の全てが同数の画像を有する。別の例として、バランスをとることは、画像のターゲット数と、画像のターゲット数に到達するために強度のうち１つ以上において画像を合成することを含んでもよい。さらに又は代わりに、データセットのバランスをより良くとるために、オーバーサンプリングされた強度からの特定の画像がデータセットから除去されてもよい。さらなる一例として、画像の総数が決定され、それが上記数の強度間で分割されて、強度の各々についての画像の設定数を導出してもよい。いくつかの実施形態において、データセットのバランスをとるための決定は、合成されるべき所与のＡＵ組み合わせ及び強度のための画像の数を識別することを含んでもよい。

図４Ｂに示すように、データセットのバランスをとった後、強度４２１ｂ～４２６ｂの各々は、所与のＡＵ組み合わせについてそれぞれの強度を示す同じ又はほぼ同じ数（例えば、互いの閾値数、パーセンテージ等の範囲内）の画像を各々有し得る。

プロット４００ａ及び４００ｂに表されるデータを一例示的なＡＵ組み合わせに関して比較したとき、表形式のデータは以下で表され得る。

表形式において観察され得るように、特定の強度（Ａなど）では、アンバランスな強度が単にオーバーサンプリングされた場合、強度Ａの各画像は約１０回再使用されることになる。しかしながら、強度Ｅが検討されるとき、各画像は約７００回使用されることになる。本開示によれば、再サンプリングでなく、さらなる画像が合成されて、よりロバストで正確な訓練データセットを提供する。

本開示の範囲から逸脱することなく、プロット４００ａ／４００ｂに対して修正、追加、又は省略がなされてもよい。例えば、記載された方法における異なる要素の指定は、本明細書に記載される概念の説明を助けることを意図し、限定するものではない。

図５は、本開示の１つ以上の実施形態による、バランスのとれたデータセットのための画像合成の一例示的な方法５００の例示的なフローチャートを示す。例えば、方法５００は、入力画像についての顔の表情を（例えば、ＡＵ組み合わせ及び対応する強度を識別することにより）識別するために機械学習システムを訓練するための、よりバランスのとれたデータセットを生成するために実行されてもよい。方法５００の１つ以上のオペレーションが、図１及び／又は図２００の環境１００及び／又は２００の任意のコンポーネントをホストする任意のコンピューティングデバイス、例えば、訓練データセット１１０、機械学習システム１３０等をホストするコンピューティングデバイスなどの、システム若しくはデバイス又はこれらの組み合わせにより実行されてもよい。個別のブロックとして示されているが、方法５００の様々なブロックが所望の実装に依存してさらなるブロックに分割されてもよく、より少ないブロックに組み合わせられてもよく、あるいは消去されてもよい。

ブロック５１０において、少なくとも１つのターゲットＡＵ組み合わせと、ターゲットＡＵ組み合わせのうち各ＡＵの強度とを含む、ラベル付きデータセットが取得され得る。例えば、画像内に示されるＡＵ組み合わせと、ＡＵ組み合わせのうちのＡＵの対応する強度とに関してラベル付けされた画像を含む、データセット（図１のデータセット１１０及び／又は図２のデータセット２１０）が取得されてもよい。

ブロック５２０において、データセットのバランスをより良くとるために、ターゲットＡＵ組み合わせのうち各ＡＵの各強度の画像の数に関して決定が行われ得る。例えば、ターゲットＡＵ組み合わせのうち各ＡＵの強度の各々を示す画像の数が決定されてもよい。いくつかの実施形態において、ラベル付きデータセットは、ターゲットＡＵ組み合わせのうちのＡＵに対応しても又はそうでなくてもよい、他のＡＵ組み合わせ及び／又は強度を含み得る。例えば、合成されるべき画像は、ラベル付きデータセット５１０に含まれても又はそうでなくてもよい、関連強度を有するＡＵ及び／又はＡＵ組み合わせに対応してもよい。例えば、図４Ａに示すように、ＡＵ組み合わせ４１１ａは５つの異なる強度を含み、一方、他のもの（ＡＵ組み合わせ４１４ａなど）は６つの異なる強度を含む。図４Ｂに示すように、ＡＵ組み合わせ４１１ｂは、たとえ元のデータセットが第６の強度４２１ｂを有する画像を含まなかったとしても、全６強度を含む。強度の例が与えられているが、画像の合成のために、ＡＵ組み合わせがさらに識別されてもよく、ＡＵ組み合わせは、ブロック５１０のラベル付きデータセットに含まれても又はそうでなくてもよい。

ブロック５３０において、各強度について合成されるべき新しい画像の数が識別され得る。例えば、ＡＵ組み合わせのうち様々なＡＵの様々な強度を比較して、どの強度及び／又はＡＵが合成されるさらなる画像から恩恵を受け得るかを決定してもよい。いくつかの実施形態において、このような識別は、画像のターゲット数を選択することと、合成されるべき不足分を決定することを含んでもよい。さらに又は代わりに、そのような識別は、所与の強度についていくつの画像が強度のうち１つの最高の、２番目に高い、又は平均／中央の画像数にマッチすることを容易にするかを決定することを含んでもよい。

ブロック５４０において、上記数の新しい画像が合成され得る。いくつかの実施形態において、新しい画像を合成するとき中立表情の入力画像が使用されてもよい。さらに又は代わりに、入力画像及び／又はターゲット画像（例えば、さらなる画像が合成されているターゲットＡＵ組み合わせ及び強度を示す画像）の３Ｄ位置合わせが行われて、高品質画像の合成を容易にしてもよい。いくつかの実施形態において、画像を合成するとき１つ以上の損失パラメータが利用されて、高品質画像の生成を容易にしてもよい。

ブロック５５０において、新しい画像がブロック５１０のラベル付きデータセットに追加され得る。これら及び他の実施形態において、ブロック５１０のデータセットの１つ以上の画像が除去されてもよい。ブロック５５０が完了すると、ターゲットＡＵ組み合わせのＡＵにわたりバランスのとれた強度を有する完全なデータセットが達成され得る。

ブロック５６０において、ブロック５４０で生成された新しい画像を有するブロック５５０のデータセットが、顔の表情を識別するように機械学習システムを訓練するために使用され得る。例えば、このデータセットを使用してＣＮＮを訓練して、ＣＮＮを使用した画像のラベル付けを容易にしてもよい。訓練された後、ＣＮＮは、示された顔の表情（例えば、ＡＵ組み合わせ及び／又は関連強度）に関してラベル付けされていない顔の入力画像を提供されてもよい。訓練されたＣＮＮを使用し、入力画像は、識別された顔の表情で（例えば、示されたＡＵ組み合わせ及び／又は関連強度を識別することにより）ラベル付けされ得る。

本開示の範囲から逸脱することなく、方法５００に対して修正、追加、又は省略がなされてもよい。例えば、方法５００のオペレーションは異なる順序で実現されてもよい。さらに又は代わりに、２つ以上のオペレーションが同時に実行されてもよい。さらに、概説されるオペレーション及び動作は例として提供されており、オペレーション及び動作のいくつかが、開示される実施形態の本質を損なうことなく任意でもよく、より少ないオペレーション及び動作に組み合わせられてもよく、あるいはさらなるオペレーション及び動作に拡張されてもよい。

図６Ａ及び図６Ｂは、本開示の１つ以上の実施形態による、バランスのとれたデータセットのための画像合成の別の例示的な方法６００の別の例示的なフローチャートを示す。方法６００の１つ以上のオペレーションが、図１及び／又は図２００の環境１００及び／又は２００の任意のコンポーネントをホストする任意のコンピューティングデバイス、例えば、訓練データセット１１０、機械学習システム１３０等をホストするコンピューティングデバイスなどの、システム若しくはデバイス又はこれらの組み合わせにより実行されてもよい。個別のブロックとして示されているが、方法６００の様々なブロックが所望の実装に依存してさらなるブロックに分割されてもよく、より少ないブロックに組み合わせられてもよく、あるいは消去されてもよい。

ブロック６０５において、ラベル付き画像のデータセットが取得され得る。ブロック６０５は、図５のブロック５１０に類似又は相当し得る。いくつかの実施形態において、ラベル付きデータセットを取得することは、管理者又は他のユーザがデータセット内の画像のうち１つ以上について１つ以上のＡＵ組み合わせ及び／又は強度を手動で識別することを含んでもよい。

ブロック６１０において、ターゲットＡＵ組み合わせの第ｉのＡＵが識別され得る。例えば、ブロック６１０を通る最初の通過はｉを１として初期化してもよく、ターゲットＡＵ組み合わせのセットのうちのＡＵ組み合わせにおける第１のＡＵが識別されてもよい。

ブロック６１５において、第ｊの強度が識別され得る。例えば、ブロック６１５を通る最初の通過はｊを１として初期化してもよく、ＡＵ組み合わせのうち第ｉのＡＵの第１の強度が識別されてもよい。

ブロック６２０において、第ｊの強度が他の強度と比較してバランスを失っているかどうか決定が行われ得る。例えば、第ｊの強度を示す画像の数が、ＡＵ組み合わせの第ｉのＡＵ及び／又は他のＡＵ及び／又はＡＵ組み合わせの他の強度を示す画像の数と比較されてもよい。別の例として、第ｊの強度を示す画像の数は、画像のターゲット数と比較されてもよい。第ｊの強度がバランスを失っている場合、方法６００はブロック６２５に進み得る。第ｊの強度がバランスを失っていない場合、方法６００は、「Ｂ」を介してブロック６４０に進み得る。

ブロック６２５において、合成されるべき新しい画像の数が決定され得る。例えば、第ｊの強度がバランスを失っていることに基づいて、新しい画像の数は、いくつの画像が第ｊの強度をバランスのとれたものにするかを表し得る。いくつかの実施形態において、新しい画像の数は、いくつの追加画像が第ｊの強度を画像のターゲット数に至らせるか、又は最高数の強度と同じ画像の数に至らせるかなどを表してもよい。

ブロック６３０において、ブロック６２５で決定された数の新しい画像が合成され得る。ブロック６３０は、ブロック５４０に類似又は相当し得る。ブロック６３５の後、方法６００は、図６Ｂに示す「Ａ」を介してブロック６３５に進み得る。

ブロック６３５において、新しい画像がラベル付きデータセットに追加され得る。ブロック６３５は、ブロック５５０に類似又は相当し得る。

ブロック６４０において、第ｉのＡＵがまだ解析されていないさらなる強度を有するかどうか決定が行われ得る。さらなる強度がある場合、方法６００はブロック６４５に進み得る。さらなる強度がない場合（例えば、全ての強度がバランスについて解析されている場合）、方法６００はブロック６５０に進み得、ｊの値は１にリセットされ得る。

ブロック６４５において、ｊの値は１だけインクリメントされ得、方法６００は、「Ｃ」を介してブロック６１５に戻り得、ここで、次の強度が解析され、次の強度のために任意の追加画像を合成することにより再度バランスをとられ（re-balanced）得る。

ブロック６５０において、データセットがまだ解析されていないさらなるＡＵ及び／又はＡＵ組み合わせを有するかどうか決定が行われ得る。解析のためのさらなるＡＵ及び／又はＡＵ組み合わせがある場合、方法６００はブロック６４５に進み得る。さらなるＡＵ及び／又はＡＵ組み合わせがある（例えば、全てのＡＵ及び／又はＡＵ組み合わせが解析されているわけではない）場合、方法６００はブロック６５５に進み得る。さらなるＡＵ及び／又はＡＵ組み合わせがない場合（例えば、全てのＡＵ及び／又はＡＵ組み合わせがバランスについて解析されている場合）、方法６００はブロック６６０に進み得る。例えば、ブロック６６０に進む前、方法６００は、データセットの強度及び／又はＡＵ組み合わせにわたりバランスのとれたデータセットを生成していてもよい。

ブロック６５５において、ｉの値は１だけインクリメントされ得、方法６００は「Ｄ」を介してブロック６１０に戻り得、ここで、次のＡＵ及び／又はＡＵ組み合わせが解析され、再度バランスをとられ得る。

ブロック６６０において、更新されたデータセットが出力され得る。例えば、新しい合成画像を含むデータセットが出力されてもよく、それにより、更新されたデータセットを使用して機械学習システムを訓練して、どのＡＵ及び／又は強度が顔画像に示されているかを識別することができる。

本開示の範囲から逸脱することなく、方法６００に対して修正、追加、又は省略がなされてもよい。例えば、方法６００のオペレーションは異なる順序で実現されてもよい。さらに又は代わりに、２つ以上のオペレーションが同時に実行されてもよい。さらに、概説されるオペレーション及び動作は例として提供されており、オペレーション及び動作のいくつかが、開示される実施形態の本質を損なうことなく任意でもよく、より少ないオペレーション及び動作に組み合わせられてもよく、あるいはさらなるオペレーション及び動作に拡張されてもよい。

図７は、本開示に記載される少なくとも１つの実施形態による、一例示的なコンピューティングシステム７００を示す。コンピューティングシステム７００は、プロセッサ７１０、メモリ７２０、データ記憶装置７３０、及び／又は通信ユニット７４０を含んでもよく、これらは全て通信上結合されてもよい。図１及び図２の環境１００及び２００、それらのコンポーネント、又はそれらのコンポーネントをホストするコンピューティングシステムのいずれか又は全てが、コンピューティングシステム７００と矛盾しないコンピューティングシステムとして実施され得る。

一般に、プロセッサ７１０は、様々なコンピュータハードウェア又はソフトウェアモジュールを含む、任意の適切な専用若しくは汎用コンピュータ、コンピューティングエンティティ、又は処理デバイスを含んでもよく、任意の適用可能なコンピュータ読取可能記憶媒体に記憶された命令を実行するように構成されてもよい。例えば、プロセッサ７１０は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム命令を解釈及び／又は実行するよう及び／又はデータを処理するように構成された任意の他のデジタル若しくはアナログ回路を含んでもよい。

図７において単一のプロセッサとして示されているが、プロセッサ７１０は、本開示に記載の任意数のオペレーションを個々又は集合的に実行するように構成された、任意数のネットワーク又は物理位置にわたり分散された任意数のプロセッサを含んでもよいことが理解される。いくつかの実施形態において、プロセッサ７１０は、メモリ７２０、データ記憶装置７３０、又はメモリ７２０及びデータ記憶装置７３０に記憶されたプログラム命令を解釈及び／又は実行し、かつ／あるいはデータを処理してもよい。いくつかの実施形態において、プロセッサ７１０は、データ記憶装置７３０からプログラム命令を取り出し、プログラム命令をメモリ７２０にロードしてもよい。

プログラム命令がメモリ７２０にロードされた後、プロセッサ７１０は、プログラム命令、例えば、図５～図６の方法５００及び／又は６００それぞれのうち任意のものを実行する命令などを実行することができる。例えば、プロセッサ７１０は、データセットのバランスをとるために合成されるべき画像の数を決定し、画像を合成することに関する命令を取得してもよい。

メモリ７２０及びデータ記憶装置７３０は、記憶されたコンピュータ実行可能命令又はデータ構造を搬送し又は有するコンピュータ読取可能記憶媒体又は１つ以上のコンピュータ読取可能記憶媒体を含むことができる。そのようなコンピュータ読取可能記憶媒体は、プロセッサ７１０などの汎用又は専用コンピュータによりアクセスされ得る任意の利用可能な媒体でもよい。いくつかの実施形態において、コンピューティングシステム７００は、メモリ７２０及びデータ記憶装置７３０のいずれかを含んでもよく、あるいは含まなくてもよい。

限定でなく例として、そのようなコンピュータ読取可能記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読取専用メモリ（ＣＤ‐ＲＯＭ）若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）、又はコンピュータ実行可能命令又はデータ構造の形式で所望のプログラムコードを搬送又は記憶するために使用でき、かつ汎用又は専用コンピュータによりアクセスできる任意の他の記憶媒体を含む、非一時的なコンピュータ読取可能記憶媒体を含んでもよい。上記の組み合わせもまた、コンピュータ読取可能記憶媒体の範囲内に含まれてもよい。コンピュータ実行可能命令は、例えば、プロセッサ７１０に特定のオペレーション又はオペレーションのグループを実行させるように構成された命令及びデータを含んでもよい。

通信ユニット７４０は、ネットワークを介して情報を送信又は受信するように構成された任意のコンポーネント、デバイス、システム、又はこれらの組み合わせを含んでもよい。いくつかの実施形態において、通信ユニット７４０は、他の場所、同じ場所における他のデバイス、又はさらには同じシステム内の他のコンポーネントと通信してもよい。例えば、通信ユニット７４０は、モデム、ネットワークカード（無線又は有線）、光通信装置、赤外線通信装置、無線通信装置（アンテナなど）、及び／又はチップセット（Ｂｌｕｅｔｏｏｔｈ（登録商標）装置、８０２．６装置（メトロポリタンエリアネットワーク（ＭＡＮ）など）、ＷｉＦｉ装置、ＷｉＭａｘ（登録商標）装置、セルラー通信設備等）などを含んでもよい。通信ユニット７４０は、ネットワーク及び／又は本開示に記載される任意の他のデバイス又はシステムとの間でデータが交換されることを可能にし得る。例えば、通信ユニット７４０は、システム７００が、コンピューティングデバイス及び／又は他のネットワークなどの他のシステムと通信することを可能にし得る。

当業者は本開示を検討した後、本開示の範囲から逸脱することなくシステム７００に対して修正、追加、又は省略がなされ得ることを認識し得る。例えば、システム７００は、明示的に例示及び記載されたものより多くの又は少ないコンポーネントを含んでもよい。

前述の開示は、開示された正確な形式又は特定の分野の使用に本開示を限定することは意図されない。したがって、本明細書に明示的に記載されているか又は暗に示されているかにかかわらず、本開示に対する様々な代替実施形態及び／又は修正が本開示に照らして可能なことが企図される。このように本開示の実施形態を説明したが、本開示の範囲から逸脱することなく形式及び詳細において変更がなされ得ることが認識され得る。したがって、本開示は、特許請求の範囲によってのみ限定される。

いくつかの実施形態において、本明細書に記載される異なるコンポーネント、モジュール、エンジン、及びサービスが、コンピューティングシステム上で実行するオブジェクト又はプロセスとして（例えば、別個のスレッドとして）実現されてもよい。本明細書に記載されるシステム及びプロセスのいくつかは、一般に、（汎用ハードウェアに記憶され、及び／又は汎用ハードウェアにより実行される）ソフトウェアで実現されるものとして記載されるが、特定のハードウェア実装、又はソフトウェアと特定のハードウェア実装との組み合わせもまた可能であり、企図される。

本明細書において、特に別記の特許請求の範囲（例えば、別記の特許請求の範囲の本文）において用いられる用語は、一般に「開放的」な用語として意図されている（例えば、用語「含んでいる」は、「含んでいるがこれに限定されない」と解釈されるべきであり、用語「有する」は、「少なくとも有する」と解釈されるべきであり、用語「含む」は、「含むがこれに限定されない」と解釈されるべきである、等）。

さらに、特定数の導入された請求項記載が意図されている場合、そのような意図は請求項に明示的に記載され、そのような記載がない場合、そのような意図は存在しない。例えば、理解の助けとして、以下の別記の特許請求の範囲は、請求項記載を導入するために、導入フレーズ「少なくとも１つの」及び「１つ以上の」の使用を含むことがある。しかしながら、そのようなフレーズの使用は、不定冠詞「一の」（“a”又は“an”）による請求項記載の導入が、同じ請求項が導入フレーズ「１つ以上の」又は「少なくとも１つの」と「一の」などの不定冠詞とを含むときでも、そのような導入された請求項記載を含む任意の特定の請求項を１つのそのような記載のみ含む実施形態に限定することを暗に示すように見なされるべきではない（例えば、「一の」（“a”及び／又は“an”）は「少なくとも１つの」又は「１つ以上の」を意味するよう解釈されるべきである）。請求項記載を導入するために用いられる定冠詞の使用についても同様である。

さらに、特定数の導入された請求項記載が明示的に記載されている場合であっても、当業者は、そのような記載は少なくとも記載された数を意味するよう解釈されるべきであることを認識するであろう（例えば、他の修飾語を伴わない「２つの記載」というただそれだけの記載は、少なくとも２つの記載、又は２つ以上の記載を意味する）。さらに、「Ａ、Ｂ、及びＣ等のうち少なくとも１つ」又は「Ａ、Ｂ、及びＣ等のうち１つ以上」と類似の規定が用いられている例において、一般に、そのような構造は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢ共に、Ａ及びＣ共に、Ｂ及びＣ共に、又はＡ、Ｂ、及びＣ共に等を含むことが意図される。例えば、用語「及び／又は」の使用は、このようにみなされることが意図される。

さらに、明細書においてか、特許請求の範囲においてか、又は図面においてかにかかわらず、２つ以上の代替的な用語を提示するいかなる分離的なワード又はフレーズも、用語のうち１つ、用語のうちいずれか、又は双方の用語を含む可能性を考慮するよう理解されるべきである。例えば、フレーズ「Ａ又はＢ」は、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むよう理解されるべきである。

しかしながら、そのようなフレーズの使用は、不定冠詞「一の」（“a”又は“an”）による請求項記載の導入が、同じ請求項が導入フレーズ「１つ以上の」又は「少なくとも１つの」と「一の」などの不定冠詞とを含むときでも、そのような導入された請求項記載を含む任意の特定の請求項を１つのそのような記載のみ含む実施形態に限定することを暗に示すように見なされるべきではない（例えば、「一の」（“a”及び／又は“an”）は「少なくとも１つの」又は「１つ以上の」を意味するよう解釈されるべきである）。請求項記載を導入するために用いられる定冠詞の使用についても同様である。

さらに、用語「第１」、「第２」、「第３」等の使用は、本明細書において必ずしも特定の順序を含意するために使用されるものではない。一般に、用語「第１」、「第２」、「第３」等は、異なる要素間で区別するために使用される。用語「第１」、「第２」、「第３」等が特定の順序を含意することの具体的な提示なしでは、これらの用語は特定の順序を含意するよう理解されるべきではない。

本明細書に記載される全ての例及び条件付き言語は、本発明及び発明者が当該技術分野を促進するために寄与した概念を理解する際に読者を助けるための教育的目的が意図され、このように具体的に記載された例及び条件に限定されないものとみなされるべきである。本開示の実施形態が詳細に説明されたが、本開示の主旨及び範囲から逸脱することなく様々な変更、置換、及び改変をこれに行えることを理解されたい。

開示された実施形態の前の説明は、当業者が本開示を製造又は使用することができるように提供される。これらの実施形態に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義される一般的原理は、本開示の主旨又は範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示される実施形態に限定されることは意図されず、本明細書に開示された原理及び新規の特徴と矛盾しない最も広い範囲を与えられるべきである。

上記の実施形態につき以下の付記を残しておく。
（付記１）
ターゲット動作単位（ＡＵ）組み合わせと、前記ターゲットＡＵ組み合わせのうち各ＡＵの第１の強度カテゴリ及び前記ターゲットＡＵ組み合わせのうち各ＡＵの第２の強度カテゴリを少なくとも有する前記ターゲットＡＵ組み合わせの複数のラベル付き画像とを含む、データセットを取得するステップと、
第１のＡＵの前記第１の強度カテゴリが前記第１のＡＵの前記第２の強度カテゴリより多数のラベル付き画像を有すると決定するステップと、
前記決定に基づいて、前記第１のＡＵの前記第２の強度カテゴリにおいて合成されるべき新しい画像の数を識別するステップと、
前記第１のＡＵの前記第２の強度カテゴリを有する前記数の新しい画像を合成するステップと、
前記新しい画像を前記データセットに追加するステップと、
を含む方法。
（付記２）
前記新しい画像が前記データセットに追加された後、前記データセットを使用して顔の表情を識別するように機械学習システムを訓練するステップ、をさらに含む付記１に記載の方法。
（付記３）
前記複数の画像のうち少なくとも１つの画像にラベル付けして、前記少なくとも１つの画像内に表された所与のＡＵの所与の強度を識別するステップ、をさらに含む付記１に記載の方法。
（付記４）
前記数の新しい画像を合成するステップは、前記ターゲットＡＵ組み合わせ以外のＡＵのみ含む入力画像をランダムに選択するステップを含み、前記新しい画像のうち少なくとも１つは、前記ランダムに選択された入力画像に基づく、付記１に記載の方法。
（付記５）
前記数の新しい画像を合成するステップは、２次元の画像から３次元の顔形状を生成するステップを含み、前記新しい画像のうち少なくとも１つは、前記３次元の顔形状に基づく、付記１に記載の方法。
（付記６）
前記データセットの画像は、２次元の画像、３次元の顔形状、又はこれらの組み合わせを含む、付記１に記載の方法。
（付記７）
前記新しい画像が前記データセットに追加された後、前記第１の強度カテゴリ及び前記第２の強度カテゴリは同数の画像を有する、付記１に記載の方法。
（付記８）
前記第１のＡＵの第３の強度カテゴリが前記第１のＡＵの前記第１の強度カテゴリより少ない画像を有することに基づいて、前記第１のＡＵの前記第３の強度カテゴリにおける第２の新しい画像のセットを合成するステップ、をさらに含む付記１に記載の方法。
（付記９）
第２のＡＵの前記第２の強度カテゴリが前記第２のＡＵの第１の強度カテゴリより少ない画像を有することに基づいて、前記第２のＡＵの前記第２の強度カテゴリにおける第２の新しい画像のセットを合成するステップ、をさらに含む付記１に記載の方法。
（付記１０）
前記新しい画像を第２のデータセットに追加するステップであり、前記第２のデータセットは合成された画像のみ含む、ステップと、
前記第２のデータセットを使用して顔の表情を識別するように機械学習システムを訓練するステップと、
をさらに含む付記１に記載の方法。
（付記１１）
少なくとも１つのコンピューティングシステムにより実行されることに応答して付記１に記載の方法の実行をさせる１つ以上の命令を記憶するように構成された少なくとも１つの非一時的コンピュータ読取可能媒体。
（付記１２）
システムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサにより実行されることに応答して当該システムにオペレーションを実行させる命令を記憶するように構成された１つ以上のコンピュータ読取可能媒体と、を備え、前記オペレーションは、
ターゲット動作単位（ＡＵ）組み合わせと、前記ターゲットＡＵ組み合わせのうち各ＡＵの第１の強度カテゴリ及び前記ターゲットＡＵ組み合わせのうち各ＡＵの第２の強度カテゴリを少なくとも有する前記ターゲットＡＵ組み合わせの複数のラベル付き画像とを含む、データセットを取得することと、
第１のＡＵの前記第１の強度カテゴリが前記第１のＡＵの前記第２の強度カテゴリより多数のラベル付き画像を有すると決定することと、
前記決定に基づいて、前記第１のＡＵの前記第２の強度カテゴリにおいて合成されるべき新しい画像の数を識別することと、
前記第１のＡＵの前記第２の強度カテゴリを有する前記数の新しい画像を合成することと、
前記新しい画像を前記データセットに追加することと、
を含む、システム。
（付記１３）
前記オペレーションは、前記新しい画像が前記データセットに追加された後、前記データセットを使用して顔の表情を識別するように機械学習システムを訓練することをさらに含む、付記１２に記載のシステム。
（付記１４）
前記オペレーションは、前記複数の画像のうち少なくとも１つの画像にラベル付けして、前記少なくとも１つの画像内に表された所与のＡＵの所与の強度を識別することをさらに含む、付記１２に記載のシステム。
（付記１５）
前記数の新しい画像を合成することは、前記ターゲットＡＵ組み合わせ以外のＡＵのみ含む入力画像をランダムに選択することを含み、前記新しい画像のうち少なくとも１つは、前記ランダムに選択された入力画像に基づく、付記１２に記載のシステム。
（付記１６）
前記数の新しい画像を合成することは、２次元の画像から３次元の顔形状を生成することを含み、前記新しい画像のうち少なくとも１つは、前記３次元の顔形状に基づく、付記１２に記載のシステム。
（付記１７）
前記データセットの画像は、２次元の画像、３次元の顔形状、又はこれらの組み合わせを含む、付記１２に記載のシステム。
（付記１８）
前記新しい画像が前記データセットに追加された後、前記第１の強度カテゴリ及び前記第２の強度カテゴリは同数の画像を有する、付記１２に記載のシステム。
（付記１９）
前記オペレーションは、第２のＡＵの前記第２の強度カテゴリが前記第２のＡＵの第１の強度カテゴリより少ない画像を有することに基づいて、前記第２のＡＵの前記第２の強度カテゴリにおける第２の新しい画像のセットを合成することをさらに含む、付記１２に記載のシステム。
（付記２０）
前記オペレーションは、
前記新しい画像を第２のデータセットに追加することであり、前記第２のデータセットは合成された画像のみ含む、ことと、
前記第２のデータセットを使用して顔の表情を識別するように機械学習システムを訓練することと、
をさらに含む、付記１２に記載のシステム。

Claims (20)

1. ターゲット動作単位（ＡＵ）組み合わせと、前記ターゲットＡＵ組み合わせのうち各ＡＵの第１の強度カテゴリ及び前記ターゲットＡＵ組み合わせのうち各ＡＵの第２の強度カテゴリを少なくとも有する前記ターゲットＡＵ組み合わせの複数のラベル付き画像とを含む、データセットを取得するステップと、
   第１のＡＵの前記第１の強度カテゴリが前記第１のＡＵの前記第２の強度カテゴリより多数のラベル付き画像を有すると決定するステップと、
   前記決定に基づいて、前記第１のＡＵの前記第２の強度カテゴリにおいて合成されるべき新しい画像の数を識別するステップと、
   前記第１のＡＵの前記第２の強度カテゴリを有する前記数の新しい画像を合成するステップと、
   前記新しい画像を前記データセットに追加するステップと、
   を含む方法。
2. 前記新しい画像が前記データセットに追加された後、前記データセットを使用して顔の表情を識別するように機械学習システムを訓練するステップ、をさらに含む請求項１に記載の方法。
3. 前記複数の画像のうち少なくとも１つの画像にラベル付けして、前記少なくとも１つの画像内に表された所与のＡＵの所与の強度を識別するステップ、をさらに含む請求項１に記載の方法。
4. 前記数の新しい画像を合成するステップは、前記ターゲットＡＵ組み合わせ以外のＡＵのみ含む入力画像をランダムに選択するステップを含み、前記新しい画像のうち少なくとも１つは、前記ランダムに選択された入力画像に基づく、請求項１に記載の方法。
5. 前記数の新しい画像を合成するステップは、２次元の画像から３次元の顔形状を生成するステップを含み、前記新しい画像のうち少なくとも１つは、前記３次元の顔形状に基づく、請求項１に記載の方法。
6. 前記データセットの画像は、２次元の画像、３次元の顔形状、又はこれらの組み合わせを含む、請求項１に記載の方法。
7. 前記新しい画像が前記データセットに追加された後、前記第１の強度カテゴリ及び前記第２の強度カテゴリは同数の画像を有する、請求項１に記載の方法。
8. 前記第１のＡＵの第３の強度カテゴリが前記第１のＡＵの前記第１の強度カテゴリより少ない画像を有することに基づいて、前記第１のＡＵの前記第３の強度カテゴリにおける第２の新しい画像のセットを合成するステップ、をさらに含む請求項１に記載の方法。
9. 第２のＡＵの前記第２の強度カテゴリが前記第２のＡＵの第１の強度カテゴリより少ない画像を有することに基づいて、前記第２のＡＵの前記第２の強度カテゴリにおける第２の新しい画像のセットを合成するステップ、をさらに含む請求項１に記載の方法。
10. 前記新しい画像を第２のデータセットに追加するステップであり、前記第２のデータセットは合成された画像のみ含む、ステップと、
    前記第２のデータセットを使用して顔の表情を識別するように機械学習システムを訓練するステップと、
    をさらに含む請求項１に記載の方法。
11. 少なくとも１つのコンピューティングシステムに請求項１乃至１０のうちいずれか１項に記載の方法を実行させるコンピュータプログラム。
12. システムであって、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサにより実行されることに応答して当該システムにオペレーションを実行させる命令を記憶するように構成された１つ以上のコンピュータ読取可能媒体と、を備え、前記オペレーションは、
    ターゲット動作単位（ＡＵ）組み合わせと、前記ターゲットＡＵ組み合わせのうち各ＡＵの第１の強度カテゴリ及び前記ターゲットＡＵ組み合わせのうち各ＡＵの第２の強度カテゴリを少なくとも有する前記ターゲットＡＵ組み合わせの複数のラベル付き画像とを含む、データセットを取得することと、
    第１のＡＵの前記第１の強度カテゴリが前記第１のＡＵの前記第２の強度カテゴリより多数のラベル付き画像を有すると決定することと、
    前記決定に基づいて、前記第１のＡＵの前記第２の強度カテゴリにおいて合成されるべき新しい画像の数を識別することと、
    前記第１のＡＵの前記第２の強度カテゴリを有する前記数の新しい画像を合成することと、
    前記新しい画像を前記データセットに追加することと、
    を含む、システム。
13. 前記オペレーションは、前記新しい画像が前記データセットに追加された後、前記データセットを使用して顔の表情を識別するように機械学習システムを訓練することをさらに含む、請求項１２に記載のシステム。
14. 前記オペレーションは、前記複数の画像のうち少なくとも１つの画像にラベル付けして、前記少なくとも１つの画像内に表された所与のＡＵの所与の強度を識別することをさらに含む、請求項１２に記載のシステム。
15. 前記数の新しい画像を合成することは、前記ターゲットＡＵ組み合わせ以外のＡＵのみ含む入力画像をランダムに選択することを含み、前記新しい画像のうち少なくとも１つは、前記ランダムに選択された入力画像に基づく、請求項１２に記載のシステム。
16. 前記数の新しい画像を合成することは、２次元の画像から３次元の顔形状を生成することを含み、前記新しい画像のうち少なくとも１つは、前記３次元の顔形状に基づく、請求項１２に記載のシステム。
17. 前記データセットの画像は、２次元の画像、３次元の顔形状、又はこれらの組み合わせを含む、請求項１２に記載のシステム。
18. 前記新しい画像が前記データセットに追加された後、前記第１の強度カテゴリ及び前記第２の強度カテゴリは同数の画像を有する、請求項１２に記載のシステム。
19. 前記オペレーションは、第２のＡＵの前記第２の強度カテゴリが前記第２のＡＵの第１の強度カテゴリより少ない画像を有することに基づいて、前記第２のＡＵの前記第２の強度カテゴリにおける第２の新しい画像のセットを合成することをさらに含む、請求項１２に記載のシステム。
20. 前記オペレーションは、
    前記新しい画像を第２のデータセットに追加することであり、前記第２のデータセットは合成された画像のみ含む、ことと、
    前記第２のデータセットを使用して顔の表情を識別するように機械学習システムを訓練することと、
    をさらに含む、請求項１２に記載のシステム。

Images