JP2017531242A5 - - Google Patents

Description

上述した例示的な実施形態を参照したうえで、多くの更なる変更形態及び変形形態が当業者にとって自明であり、実施形態は単なる例示として与えられ、本発明の範囲の限定を意図せず、本発明の範囲は、添付の特許請求の範囲によってのみ決定される。特に、異なる実施形態からの異なる特徴は、適切な場合、相互交換し得る。
［付記１］
表情を有する顔の少なくとも一部を示す顔の画像を編集する方法であって、
前記表情を変更するために、前記顔の画像と位置合わせされた３Ｄメッシュモデルを編集することと、
前記編集されたモデルに対応する新しい顔の画像を生成して、変更された表情を有する新しい顔の画像を生成することと
を含み、
前記新しい顔の画像は、選択された顔の画像パッチの複合体から生成されるものであり、前記顔の画像パッチは、前記編集された３Ｄメッシュモデルに従って選択されるものである、方法。
［付記２］
前記顔の画像パッチは、前記顔のキャプチャーされた画像のシーケンスから収集される顔の画像パッチのデータベースから選択され、各顔の画像パッチは、前記シーケンス内の所与の時間での前記顔の一部に対応する、付記１に記載の方法。
［付記３］
前記キャプチャーされた画像のシーケンスは、共通するメッシュテンプレートモデルに位置合わせされる、付記２に記載の方法。
［付記４］
局所化されたワープを前記３Ｄメッシュモデルに適用して、前記新しい顔の画像内の射影変換を補正することを含む、付記１〜３のいずれか一項に記載の方法。
［付記５］
前記３Ｄメッシュモデルは、異なる表情間でブレンドするようにパラメータ化されたブレンドシェイプモデルである、付記１〜４のいずれか一項に記載の方法。
［付記６］
３Ｄ顔モデルをプロキシとして操作することにより、ＲＧＢ顔画像の編集を実行することを含む、付記１〜５のいずれか一項に記載の方法。
［付記７］
３Ｄ顔モデルをプロキシとして編集することにより、複数の顔の画像を、同時に同じ顔のポーズにすることを含む、付記１〜６のいずれか一項に記載の方法。
［付記８］
顔の少なくとも一部を含む顔の画像における表情を編集する画像編集デバイスであって、プロセッサを含み、前記プロセッサは、
前記顔の画像と位置合わせされた３Ｄメッシュモデルを変更して、前記表情を変化させることと、
前記変更された３Ｄメッシュモデルに従って複数の顔の画像パッチを選択することと、
前記変更されたモデルに対応する顔の画像を生成して、変更された表情を有する新しい顔の画像を生成することと
を行うように構成され、
前記新しい顔の画像は、前記選択された顔の画像パッチの複合体から生成されるものである、画像編集デバイス。
［付記９］
前記顔の画像パッチは、前記顔のキャプチャーされた画像のビデオシーケンスから収集される顔の画像パッチのデータベースから選択され、各顔の画像パッチは、前記顔の一部に対応する、付記８に記載の画像編集デバイス。
［付記１０］
前記画像のビデオシーケンスは、共通するメッシュテンプレートモデルに位置合わせされる、付記９に記載の画像編集デバイス。
［付記１１］
前記少なくとも１つのプロセッサは、局所化されたワープを適用して、前記新しい顔の画像内の射影変換を補正するように構成された、付記８〜１０のいずれか一項に記載の画像編集デバイス。
［付記１２］
前記プロセッサは、３Ｄ顔モデルをプロキシとして操作することにより、ＲＧＢ顔画像の編集を実行するように構成された、付記８〜１１のいずれか一項に記載の画像編集デバイス。
［付記１３］
前記プロセッサは、３Ｄ顔モデルをプロキシとして編集することにより、複数の顔の画像を、同時に同じ顔のポーズにするように構成された、付記８〜１２のいずれか一項に記載の画像編集デバイス。
［付記１４］
前記３Ｄメッシュモデルはブレンドシェイプモデルである、付記８〜１２のいずれか一項に記載の画像編集デバイス。
［付記１５］
プログラマブル装置のためのコンピュータプログラム製品であって、命令シーケンスを含み、前記命令シーケンスは、前記プログラマブル装置にロードされ、前記プログラマブル装置によって実行されると、付記１〜７のいずれか一項に記載の方法を実施する、コンピュータプログラム製品。

Claims (15)

1. 表情を有する人の顔の少なくとも一部を示す画像を編集する方法であって、
   前記表情を変更するために、前記顔の画像に位置合わせされた汎用の３Ｄメッシュモデルを編集することと、
   前記人及び前記編集された汎用の３Ｄメッシュモデルに従って、顔の画像パッチを少なくとも１つ選択することと、
   前記パッチのセットの複合体として、新しい顔の画像を生成することと
   を含む方法。
2. 前記顔の画像パッチは、前記顔のキャプチャーされた画像のシーケンスから収集される顔の画像パッチのデータベースから選択され、各顔の画像パッチは、前記シーケンス内の所与の時間での前記顔の一部に対応する、請求項１に記載の方法。
3. 前記キャプチャーされた画像のシーケンスは、共通するメッシュテンプレートモデルに位置合わせされる、請求項２に記載の方法。
4. 局所化されたワープを前記３Ｄメッシュモデルに適用して、前記新しい顔画像内の射影変換を補正することを含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記３Ｄメッシュモデルは、異なる表情間でブレンドするようにパラメータ化されたブレンドシェイプモデルである、請求項１〜４のいずれか一項に記載の方法。
6. ３Ｄ顔モデルをプロキシとして操作することにより、ＲＧＢ顔画像の編集を実行することを含む、請求項１〜５のいずれか一項に記載の方法。
7. ３Ｄ顔モデルをプロキシとして編集することにより、複数の顔の画像を同時に同じ顔のポーズにすることを含む、請求項１〜６のいずれか一項に記載の方法。
8. 人の顔の少なくとも一部の画像の表情を編集する画像編集デバイスであって、少なくとも１つのプロセッサに関連付けられたメモリを含み、前記少なくとも１つのプロセッサは、
   前記顔の画像に位置合わせされた汎用の３Ｄメッシュモデルを変更して、前記表情を変化させることと、
   前記人及び前記変更された汎用の３Ｄメッシュモデルに従って、複数の顔の画像パッチを選択することと、
   前記パッチのセットの複合体として、新しい顔の画像を生成することと
   を行うように構成された、画像編集デバイス。
9. 前記顔の画像パッチは、前記顔のキャプチャーされた画像のビデオシーケンスから収集される顔の画像パッチのデータベースから選択され、各顔の画像パッチは、前記顔の一部に対応する、請求項８に記載の画像編集デバイス。
10. 前記画像のビデオシーケンスは、共通するメッシュテンプレートモデルに位置合わせされる、請求項９に記載の画像編集デバイス。
11. 前記少なくとも１つのプロセッサは、局所化されたワープを適用して、前記新しい顔の画像内の射影変換を補正するように構成された、請求項８〜１０のいずれか一項に記載の画像編集デバイス。
12. 前記少なくとも１つのプロセッサは、３Ｄ顔モデルをプロキシとして操作することにより、ＲＧＢ顔画像の編集を実行するように構成された、請求項８〜１１のいずれか一項に記載の画像編集デバイス。
13. 前記少なくとも１つのプロセッサは、３Ｄ顔モデルをプロキシとして編集することにより、複数の顔の画像を、同時に同じ顔のポーズにするように構成された、請求項８〜１２のいずれか一項に記載の画像編集デバイス。
14. 前記３Ｄメッシュモデルはブレンドシェイプモデルである、請求項８〜１２のいずれか一項に記載の画像編集デバイス。
15. プログラマブル装置のためのコンピュータプログラム製品であって、命令シーケンスを含み、前記命令シーケンスは、前記プログラマブル装置にロードされ、前記プログラマブル装置によって実行されると、請求項１〜７のいずれか一項に記載の方法を実施する、コンピュータプログラム製品。