JP2022543892A - 画像の処理方法、装置、電子機器及び記憶媒体 - Google Patents

Abstract

本開示の実施例は、画像の処理方法、装置、電子機器及び記憶媒体を提供し、方法は、ターゲットオブジェクトを含む第１のフレーム画像を収集することと、前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得ることと、前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、前記ターゲットオブジェクトを含む第２のフレーム画像を収集することであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像であることと、前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得ることと、前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含む。【選択図】図３

Description

本開示の実施例は、画像処理技術に関し、特に、画像の処理方法、装置、電子機器及び記憶媒体に関する。

通信技術や端末機器の発展に伴い、携帯電話やタブレットコンピュータなどのさまざまな端末機器が人々の仕事や生活に欠かせないものになり、また、端末機器の普及につれ、端末機器に基づく対話型アプリケーションは、コミュニケーションとエンターテインメントの主要なチャネルになっている。関連技術では、対話型アプリケーションの対話形態は単一であり、ユーザの多様化ニーズを満たすことはできる。

当該発明の概要は、構想を簡単な形式で説明するために提供され、これらの構想について、後述する発明を実施するための形態において詳細に説明する。当該発明の概要は、主張する技術案の重要な特徴又は必要な特徴を特定することを意図するものではなく、主張する技術案の範囲を限定することを意図するものでもない。

第１の態様では、本開示の実施例は、画像の処理方法を提供し、
ターゲットオブジェクトを含む第１のフレーム画像を収集することと、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得ることと、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集することであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像であることと、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得ることと、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含む。

上記技術案において、前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすることと、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含む。

上記技術案において、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含む。

上記技術案において、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含む。

上記技術案において、前記アニメキャラクターの肢体を線の形で描くことは、
前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含む。

上記技術案において、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含む。

上記技術案において、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含む。

上記技術案において、前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することは、
前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含む。

第２の態様では、本開示の実施例は、画像の処理装置を提供し、
ターゲットオブジェクトを含む第１のフレーム画像を収集するための第１の収集ユニットと、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得るための第１の検出ユニットと、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集するための第２の収集ユニットであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像である第２の収集ユニットと、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得るための第２の検出ユニットと、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含む。

上記技術案において、前記処理ユニットは、さらに、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすること、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられる。

上記技術案において、前記処理ユニットは、さらに、前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得るために用いられる。

上記技術案において、前記処理ユニットは、さらに、前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。

上記技術案において、前記処理ユニットは、さらに、前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くこと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。

上記技術案において、前記処理ユニットは、さらに、前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得るために用いられる。

上記技術案において、前記処理ユニットは、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定すること、及び
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示すること、に用いられる。

上記技術案において、前記処理ユニットは、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定すること、及び
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示すること、に用いられる。

上記技術案において、前記更新ユニットは、さらに、前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定すること、及び
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすること、に用いられる。

第３の態様では、本開示の実施例は、電子機器を提供し、
実行可能な命令を記憶するためのメモリと、
前記実行可能な命令を実行すると、本開示の実施例により提供される画像の処理方法を実現するためのプロセッサと、を含む。

第４の態様では、本開示の実施例は、実行可能な命令が記憶されている記憶媒体を提供し、前記実行可能な命令が実行されると、本開示の実施例により提供される画像の処理方法を実現するために用いられる。

第５の態様では、本開示の実施例は、コンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムが実行されると、本開示の実施例により提供される画像の処理方法を実現するために用いられる。

本開示の実施例は、
本開示の上記実施例が適用されると、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得ることにより、キーポイントの第１の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示し、そして、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得ることにより、第１の位置情報と第２の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新し、それによって、ビデオ撮影中に、生成されたアニメキャラクターは、収集された画像におけるターゲットオブジェクトにしたがって、それと同じアクションを実行できるようになり、ユーザエクスペリエンスを向上させるための新しいインタラクション形態をユーザに提供するような有益な効果を有する。

本開示の各実施例の上記及び他の特徴、利点及び態様は、図面及び以下の具体的な実施形態を参照すれば明らかになる。図面全体を通して、同じ又は類似の符号は、同じ又は類似の要素を示す。図面は、例示的なものであり、部品及び要素は必ずしも一定の縮尺で描かれているわけではないことを理解すべきである。
本開示の実施例により提供される画像の処理システム１００の１つの選択的なアーキテクチャ概略図である。 本開示の実施例により提供される電子機器２０の構造概略図である。 本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートである。 本開示の実施例により提供される第１のフレーム画像におけるターゲットオブジェクトのキーポイント概略図である。 本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図である。 本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図である。 本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図である。 本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートである。 本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートである。 本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートである。 本開示の実施例により提供される画像の処理装置の１つの選択的な構成構造概略図である。

以下、図面を参照しながら、本開示の実施例をより詳細に説明する。図面には、本開示のいくつかの実施例が示されているが、本開示は、さまざまな形式で実現されることができ、本明細書に記述される実施例に限定されると解釈されるべきでなく、むしろ、これらの実施例は、本開示をより明確且つ完全に理解するために、提供されていることを理解すべきである。本開示の図面及び実施例は、単に例示的な目的で使用されており、本開示の保護範囲を制限するために使用されるものでないことを理解すべきである。

本開示の方法の実施形態に記述される各ステップは、別の順に従って実行されてもよいし、及び／又は、並行して実行されてもよいことを理解すべきである。また、方法の実施形態では、追加のステップが含まれてもよいし、及び／又は、示されているステップの実行を省略してもよい。本開示の範囲は、それらに限定されない。

本明細書に使用される用語「含む」及びその変形は、開放的な含みであり、即ち、「…を含むが、…に限定されない」を意味する。用語「基づく」は「少なくとも部分的に基づく」を意味する。用語「１つの実施例」は「少なくとも１つの実施例」を表し、用語「他の実施例」は「少なくとも１つの他の実施例」を表し、用語「いくつかの実施例」は「少なくともいくつかの実施例」を表す。他の用語の関連定義はまた後述する。

なお、本開示で言及される「第１の」、「第２の」などの概念は、異なる装置、モジュール又はユニットを区別するためのみに使用され、これらの装置、モジュール又はユニットにより実行される機能の順序又は相互間の依存関係を限定するために使用されるものではない。

なお、本開示で言及される「１つ」及び「複数」のような修飾語は、限定的なものでなく、例示的なものであり、当業者は、文脈で明記されていない限り、「１つ又は複数」として理解すべきであることを理解すべきである。

本開示の実施形態における複数の装置の間で交換されるメッセージ又は情報の名称は、説明の目的のためだけであり、これらのメッセージ又は情報の範囲を限定するために使用されるものではない。

図１を参照すれば、図１は、本開示の実施例により提供される画像の処理システム１００の１つの選択的なアーキテクチャ概略図であり、１つの例示的な応用をサポートして実現するために、端末２００（端末２００－１と端末２００－２を含む）、端末４００は、ネットワーク３００を介してサーバ４００に接続され、ネットワーク３００は、ワイドエリアネットワーク又はローカルエリアネットワークであるか、または両者の組み合わせであり、無線リンクを使用してデータ伝送を実現する。

端末２００は、ターゲットオブジェクトを含む第１のフレーム画像を収集し、第１のフレーム画像をサーバ４００に送信するために用いられ、
サーバ４００は、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得て、端末２００に返信するために用いられ、
端末２００は、さらに、前記キーポイントの第１の位置情報に基づき、ターゲット画像と同じ姿態のアニメキャラクターを生成して表示すること、及びターゲットオブジェクトを含む第２のフレーム画像を収集し、第２のフレーム画像をサーバ４００に送信すること、に用いられ、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像であり、
サーバ４００は、さらに、第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得て、端末２００に返信するために用いられ、
端末２００は、さらに、第１の位置情報と第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するために用いられる。

実際の応用では、サーバ２００は、さまざまなサービスをサポートするように独立して構成されたサーバであってもよいし、サーバクラスターとして構成されてもよく、端末は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータなど、さまざまなタイプのユーザ端末にしてもよいし、または、ウェアラブルコンピューティングデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、デスクトップコンピュータ、セルラ電話、メディアプレーヤー、ナビゲーションデバイス、ゲームコンソール、テレビにしてもよいし、または、これら又は他のデータ処理装置の２つ以上の任意の組み合わせにしてもよい。

以下、本開示の実施例に係る画像の処理方法を実施する電子機器について説明する。いくつかの実施例において、電子機器は、スマートフォン、タブレットコンピュータ、デスクトップコンピュータなどの端末によって個別に実施されるか、または、端末とサーバによって共同で実施されるなど、さまざまな形で実施されることができる。

以下、図２を参照すれば、図２は、本開示の実施例により提供される電子機器２０の構造概略図である。図２に示されている電子機器は、例示的なものにすぎず、本開示の実施例の機能及び使用範囲に何らかの制限をもたらすべきでない。

図２に示すように、電子機器２０は、処理装置（中央処理装置やグラフィックプロセッサなど）２１０を含むことができ、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）２２０に記憶されたプログラムまたは記憶装置２８０からランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３０にロードされたプログラムに従って、さまざまな適切なアクション及びプロセスを実行することができる。ＲＡＭ ２３０には、電子機器２０の操作に必要なさまざまなプログラム及びデータも記憶されている。処理装置２１０、ＲＯＭ２２０及びＲＡＭ２３０は、バス２４０を介して互いに接続されている。入力／出力（Ｉ／Ｏ、Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース２５０もバス２４０に接続されている。

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置２６０と、液晶ディスプレイ（ＬＣＤ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、スピーカー、バイブレータなどを含む出力装置２７０と、磁気テープ、ハードディスクなどを含む記憶装置２８０と、通信装置２９０とは、Ｉ／Ｏインタフェース２５０に接続することができる。通信装置２９０は、電子機器２０が他のデバイスと無線又は有線で通信してデータを交換することを可能にし得る。図２は、さまざまなデバイスを備える電子機器１２０を示しているが、図示されたデバイスのすべてが実施又は配置される必要があるわけではないことを理解すべきである。代替的に、より多くの又は少なめのデバイスが実施又は配置され得る。

特に、本開示の実施例によれば、提供されているフローチャートに記載されているプロセスは、コンピュータソフトウェアプログラムとして実施できる。例えば、本開示の実施例は、コンピュータ読み取り可能な媒体に搭載されている、フローチャートに示される方法を実行するためのプログラムコードを含むコンピュータプログラムを含むコンピュータプログラム製品を含む。このような実施例において、コンピュータプログラムは、通信装置２９０を介してネットワークからダウンロード及びインストールするか、または記憶装置２８０からインストールするか、またはＲＯＭ２２０からインストールすることができる。コンピュータプログラムは、処理装置２１０により実行されると、本開示の実施例に係る画像の処理方法における機能が実行される。

なお、本開示の実施例における上記のコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体又は２つの任意の組み合わせであり得る。コンピュータ読み取り可能な記憶媒体は、例えば、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置、又はデバイス、あるいは上記の任意の組み合わせを含み得るが、それらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例として、１本又は複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含み得るが、それらに限定されない。

本開示の実施例において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用できるプログラムを含むか、または記憶する任意の有形媒体であり得る。本開示の実施例において、コンピュータ読み取り可能な信号媒体は、ベースバンドで、または搬送波の一部として伝送されるデータ信号を含むことができ、その中にコンピュータ読み取り可能なプログラムコードが搭載されている。そのような伝播されたデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがそれらに限定されない多くの形をとることができる。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体にすることができ、コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを送信、伝播、または伝送することができる。コンピュータ読み取り可能な媒体に含まれたプログラムコードは、電線、光ファイバケーブル、無線周波数（ＲＦ、Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）などを含む任意の適切な媒体、または上記の任意の適切な組み合わせを使用して伝送されることができる。

上記コンピュータ読み取り可能な媒体は、上記電子機器２０に含まれていてもよく、または電子機器２０に組み立てられずに単独で存在していてもよい。

上記コンピュータ読み取り可能な媒体は、１つ又は複数のプログラムを搭載し、上記１つ又は複数のプログラムが電子機器２０により実行されると、電子機器に、本開示の実施例により提供される画像の処理方法を実行させる。

本開示の実施例における操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト向けプログラミング言語、及び「Ｃ」言語又はそれに類似するプログラミング言語などの従来の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語又はそれらの組み合わせでプログラミングされることができる。プログラムコードは、完全にユーザコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で部分的にリモートコンピュータ上で、または完全にリモートコンピュータ又はサーバ上で実行できる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ)）やワイドエリアネットワーク（ＷＡＮ、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）など、あらゆる種類のネットワークを介してユーザコンピュータに接続することも、外部コンピュータに接続することもできる（例えば、インターネットサービスプロバイダーを使用してインターネット経由で接続する）。

本開示の実施例により提供されるフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラム製品によって実現可能なアーキテクチャ、機能、及び操作を示している。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理的機能を実現するための１つ又は複数の実行可能な命令を含むモジュール、グログラムセグメント、又はコードの一部を表すことができる。いくつかの代替の実現では、ブロックに示されている機能が、図に示されている順序と異なる順序で実行できることにも注意すべきである。例えば、連結して表示される２つのブロックは、実際には、基本的に並行して実行できるが、関連する機能に応じて、ブロックと逆の順序で実行される場合もある。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図のブロックの組み合わせは、指定された機能又は操作を実行する専用のハードウェアベースのシステムを使用して実現されることができ、または、専用のハードウェアとコンピュータ命令の組み合わせを使用して実現されることもできるにも注意する必要がある。

本開示の実施例に関与するユニットは、ソフトウェアで実現されることができ、またはハードウェアで実現されることもできる。ここで、ユニットの名称は、場合によってはユニット自体を制限するものではなく、例えば、第１の収集ユニットは、「ターゲットオブジェクトを含む第１のフレーム画像を収集する」と記載されることもできる。

本開示の実施例に記載されている機能は、少なくとも部分的に、１つ又は複数のハードウェアロジックコンポーネントによって実行され得る。例えば、限定的ものでなく、使用できるハードウェアロジックコンポーネントの例示的なタイプには、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、特定用途向け標準製品（ＡＳＳＰ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐａｒｔｓ)）、システムオンチップ（ＳＯＣ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ）などが含まれる。

本開示の実施例の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、又はデバイスによって、またはそれらに関連して使用するためのプログラムを含むか又は記憶することができる有形媒体であり得る。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であり得る。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、又はデバイス、あるいは上記の任意の適切な組み合わせを含み得るが、それらに限定されない。機械読み取り可能な記憶媒体のより具体的な例として、１本又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含み得るが、それらに限定されない。

続いて、図３を参照すれば、図３は、本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートであり、本開示の実施例に係る画像の処理方法は、以下を含む。

ステップ３０１において、端末がターゲットオブジェクトを含む第１のフレーム画像を収集する。

実際の応用では、端末には、インスタントメッセージングクライアント、マイクロブログクライアント、ショートビデオクライアントなどのクライアントが設けられており、ユーザは、クライアントのユーザインタフェースにビデオ撮影ボタンをクリックしてビデオ撮影命令をトリガーでき、それにより、端末は、カメラなどの画像収集センサーを呼び出して、ターゲットオブジェクトを含む第１のフレーム画像を収集する。なお、ビデオ撮影のターゲットオブジェクトは、撮影されるユーザであり、ここで、ユーザの数は１人以上にすることができる。

ステップ３０２において、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得る。

実際の実施では、ターゲットオブジェクトのキーポイントは、頭、肩、肘、手首など、第１のフレーム画像におけるキャラクターの各関節ポイントにすることができ、図４を参照すれば、図４は、本開示の実施例により提供される第１のフレーム画像におけるターゲットオブジェクトのキーポイント概略図であり、ターゲットオブジェクトは、合計１４個のキーポイントを含み、キーポイントによってターゲットオブジェクトの姿態を決定することができる。

いくつかの実施例において、端末は、トレーニングされたニューラルネットワークモデル（畳み込みニューラルネットワークモデル（ＣＮＮ 、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）など）を介して、ターゲットオブジェクトのキーポイントを検出することができる。実際の実施では、端末は、第１のフレーム画像を畳み込みニューラルネットワークモデルに入力し、第１の位置情報を得る。ここで、第１の位置情報は、ターゲットオブジェクトの各キーポイントの位置情報を含み、第１のフレーム画像に座標系を確立することにより、各キーポイントの位置情報が座標で表される。

ステップ３０３において、キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示する。

実際の実施では、キーポイントの第１の位置情報に従って、ターゲットオブジェクトの姿態を決定することができるため、キーポイントの第１の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成し、生成されたアニメキャラクターを表示することができる。

いくつかの実施例において、端末は、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードし、前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定し、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及びアニメ素材に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成するような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することができる。

なお、頭部素材は、アニメキャラクターの頭部であり、肢体素材は、アニメキャラクターの手足と胴体を含み、服飾素材は、アニメキャラクターの服や靴などを含む。実際の実施では、アニメキャラクターのキーポイントとターゲットオブジェクトのキーポイントは１対１で対応しており、ターゲットオブジェクトのキーポイントの位置情報は、第１のフレーム画像に対応する座標系に基づいて決定され、アニメキャラクターを生成するとき、アニメキャラクターに対応する座標系を確立し、第１のフレーム画像の座標系とアニメキャラクターの座標系との対応関係に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する必要がある。

いくつかの実施例において、アニメ素材は、アニメキャラクターの頭部と肢体素材を含む場合に、端末は、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、頭部素材と肢体素材を組み合わせて、アニメキャラクターを得る。

ここで、アニメ素材は、アニメキャラクターの頭部と肢体素材を含み、即ち、アニメキャラクターの体の各部分にはいずれも対応する素材があり、素材を組み合わせることで、完全なアニメキャラクターを作る。実際の実施では、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報によって、各素材の位置とサイズを決定し、各素材の位置に応じて頭部素材と肢体素材を組み合わせることができる。

例えば、図５は、本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図であり、図５を参照すれば、アニメキャラクターの頭部と肢体は、いずれもアニメ素材によって生成され、アニメ素材の位置は、アニメキャラクターのキーポイントの位置に対応している。

ロードされたアニメ素材が完全なアニメキャラクターを作られない場合に、アニメキャラクターにアニメ素材が不足している部分を線で描く必要がある。

いくつかの実施例において、アニメ素材はアニメキャラクターの頭部素材を含む場合に、アニメキャラクターの肢体キーポイントの位置情報に基づき、アニメキャラクターの肢体を線の形で描き、頭部素材と描かれたアニメキャラクターの肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

ここで、アニメ素材は、アニメキャラクターの頭部素材のみ含み、アニメキャラクターの肢体の部分が欠けているため、アニメキャラクターの肢体、即ち、アニメキャラクターの胴体と手足を線で描く必要がある。

実際の実施では、肢体キーポイントは、アニメキャラクターの胴体キーポイントと手足キーポイントに分けられ、アニメキャラクターの胴体キーポイントと手足キーポイントをそれぞれ線でつなぐ。ここで、肢体キーポイントは、左肩キーポイント、右肩キーポイント、右股キーポイント、左股キーポイントを含み、肢体キーポイントを線で順番につなぎ、アニメキャラクターの体を描き、手足キーポイントは、両上肢キーポイントと両下肢キーポイントを含み、それぞれの上肢キーポイントは、肩キーポイント、肘キーポイント及び手首キーポイントを含み、それぞれの下肢キーポイントは、股キーポイント、膝キーポイント及び足首キーポイントを含み、手足キーポイントをそれぞれ線でつなぎ、アニメキャラクターの手足を描く。例えば、左肩キーポイント、左肘キーポイント、左手首キーポイントを線で順番につなぎ、アニメキャラクターの左上肢を描く。

例えば、図６は、本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図であり、図６を参照すれば、アニメキャラクターの頭部はアニメ素材であり、アニメキャラクターの肢体は線で構成され、頭部素材の位置は頭部キーポイントの位置に対応し、アニメキャラクターの肢体は、肢体キーポイントを線でつないで得られたものである。

いくつかの実施例において、アニメ素材は、アニメキャラクターの頭部と服飾素材を含む場合に、アニメキャラクターの手足が不足しているため、アニメキャラクターの手足キーポイントの位置情報に基づき、アニメキャラクターの手足を線の形で描き、アニメキャラクターの頭部と服飾素材を描かれたアニメキャラクターの手足と組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

例えば、図７は、本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図であり、図７を参照すれば、アニメキャラクターの頭部、服及び靴はロードされた素材であり、手足は線で作られている。

いくつかの実施例において、端末は、キーポイントの第１の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定し、アニメキャラクターの頭部キーポイントの位置情報に基づき、アニメキャラクターの頭部を線の形で描き、アニメキャラクターの肢体キーポイントの位置情報に基づき、アニメキャラクターの肢体を線の形で描き、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得るような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することができる。

ここで、アニメ素材がロードされていない場合に、アニメキャラクター全体を線で描く。実際の実施では、アニメキャラクターの頭部キーポイントの位置情報に基づき、アニメキャラクターの頭部の位置を決定し、アニメキャラクターの頭部に対応する位置で、アニメキャラクターの頭部を円形の線で描く。肢体キーポイントは、胴体キーポイントと手足キーポイントに分けられ、アニメキャラクターの胴体キーポイントと手足キーポイントをそれぞれ線でつなぎ、アニメキャラクターの胴体と手足を描く。

例えば、図８は、本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図であり、図８を参照すれば、アニメキャラクターの頭部と肢体は、いずれも線で構成されている。

いくつかの実施例において、端末は、アニメキャラクターの肢体キーポイントの位置に基づき、肢体キーポイントが一直線上になっていないと決定する場合に、肢体キーポイントを弧線でつなぎ、肢体の曲げ程度がターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得る。

実際の実施では、２キーポイントごとの直線の傾きによって、肢体キーポイントが一直線上になっているかどうかを判断し、一直線上になっている場合、肢体キーポイントを直接直線でつなぐが、一直線上になっていない場合、３つのキーポイントを弧線でつなぎ、このようにして、肢体の曲げ程度がターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得る。

例えば、図８を参照すれば、アニメキャラクターの右上肢の３つのキーポイントが一直線上になっていないから、その３つのキーポイントを弧線でつなぎ、曲げ程度がターゲットオブジェクトの右上肢の曲げ程度と一致する弧線の形の右上肢を得る。

いくつかの実施例において、端末は、グラフィカルインタフェースに表示されたときに、アニメキャラクターとターゲットオブジェクトとの相対的な位置関係を決定し、相対的な位置関係に基づき、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示するような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することができる。

実際の実施では、アニメキャラクターとターゲットオブジェクトとの相対的な位置関係は、上下、左右などになってもよく、相対的な位置関係に基づき、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示する。ターゲットオブジェクトとアニメキャラクターを表示するとき、アニメキャラクターがターゲットオブジェクトに対してより少ない表示領域を占めるか、またはターゲットオブジェクトがアニメキャラクターに対してより少ない表示領域を占めるか、またはターゲットオブジェクトとアニメキャラクターが同じサイズの表示領域を占めてもよい。

例えば、図９は、本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図であり、図９を参照すれば、同じウィンドウを介してターゲットオブジェクトとアニメキャラクターを表示しており、ここで、アニメキャラクターは、ターゲットオブジェクトの右下に表示され、ターゲットオブジェクトに対してより少ない表示領域を占めている。

いくつかの実施例において、端末は、グラフィカルインタフェースに表示されたときのアニメキャラクターとターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定し、メインウィンドウとサブウィンドウを介して、アニメキャラクターとターゲットオブジェクトをそれぞれ表示するような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することができる。

ここで、メインウィンドウのサイズがサブウィンドウのサイズよりも大きくし、サブウィンドウがメインウィンドウ上にある。

いくつかの実施例において、メインウィンドウを介してアニメキャラクターを表示し、サブウィンドウを介してターゲットオブジェクトを表示する。図１０は、本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図であり、図１０を参照すれば、グラフィカルインタフェースには、メインウィンドウとサブウィンドウが含まれ、サブウィンドウがメインウィンドウの右下隅領域にあり、メインウィンドウを介してアニメキャラクターを表示し、メインウィンドウを介してターゲットオブジェクトを表示する。

いくつかの実施例において、メインウィンドウを介してターゲットオブジェクトを表示し、サブウィンドウを介してアニメキャラクターを表示する。図１１は、本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図であり、図１１を参照すれば、グラフィカルインタフェースには、メインウィンドウとサブウィンドウが含まれ、サブウィンドウがメインウィンドウの右下隅領域にあり、メインウィンドウを介してターゲットオブジェクトを表示し、メインウィンドウを介してアニメキャラクターを表示する。

ステップ３０４において、ターゲットオブジェクトを含む第２のフレーム画像を収集し、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像である。

ここで、画像の収集はリアルタイム収集であり、第２のフレーム画像は第１のフレーム画像の後に連続するフレーム画像である。

ステップ３０５において、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得る。

ここで、端末は、ステップ３０２と同じ方法を使用して、ターゲットオブジェクトのキーポイントを検出することができる。

ステップ３０６において、第１の位置情報と第２の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新する。

ここで、第１の位置情報と第２の位置情報の違いに基づき、ターゲットオブジェクトの姿態変化を決定することができ、第１の位置情報と第２の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新することにより、アニメキャラクターは、ターゲットオブジェクトと同じアクションを実行することができる。

いくつかの実施例において、端末は、第１の位置情報と第２の位置情報の違いに基づき、アニメキャラクターのキーポイントの位置変化を決定し、アニメキャラクターのキーポイントの位置変化に基づき、表示されているアニメキャラクターの姿態を調整し、更新後のアニメキャラクターの姿態が第２のフレーム画像におけるターゲットオブジェクトの姿態と同じになるようにする方法を用いて表示されているアニメキャラクターの姿態を更新することができる。

実際の実施では、第１の位置情報に対する第２の位置情報の変化を、ベクトルで表すことができ、次いで、２つの座標系間の対応する関係に従って、アニメキャラクターのキーポイントの位置変化を決定し、そして、アニメキャラクターのキーポイントの位置変化に基づき、表示されているアニメキャラクターの姿態を調整することができる。

実際の応用では、アニメキャラクターがすべてアニメ素材で構成されている場合に、アニメキャラクターのキーポイントの位置変化に応じて、各アニメ素材の位置を調整する。アニメキャラクターが頭部素材と描かれたアニメキャラクターの肢体との組み合わせで構成されている場合に、アニメキャラクターの頭部キーポイントの位置変化に応じて、頭部素材の位置を調整し、肢体キーポイントの位置変化に応じて、肢体の曲げ程度と位置を調整する。アニメキャラクターがすべて描かれたアニメキャラクターの頭部と肢体で構成されている場合に、アニメキャラクターのキーポイントの位置変化に応じて、線で作られた肢体の曲げ程度、位置、及び頭部の位置を調整する。

なお、端末は、ターゲットオブジェクトを含むフレーム画像をリアルタイムで収集し、収集した各フレーム画像について、画像におけるターゲットオブジェクトのキーポイントの位置情報を検出し、１つ前のフレーム画像におけるターゲットオブジェクトのキーポイントの位置情報との違いに基づき、表示されているアニメキャラクターの姿態を更新するような操作を行う。

本開示の実施例は、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得ることにより、キーポイントの第１の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示し、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得ることにより、さらに第１の位置情報と第２の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新し、それによって、ビデオ撮影中に、生成されたアニメキャラクターは、収集された画像におけるターゲットオブジェクトにしたがって、それと同じアクションを実行できるようになり、ユーザエクスペリエンスを向上させるための新しいインタラクション形態をユーザに提供する。

以下、本開示の実施例により提供される画像の処理方法について、頭部素材を含むロードされたアニメ素材を例として説明し、図１２は、本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートであり、図１２を参照すれば、本開示の実施例に係る画像の処理方法は以下を含む。

ステップ４０１において、クライアントがターゲットオブジェクトを含む第１のフレーム画像を収集する。

ここで、実際の応用では、クライアントは、ショートビデオクライアント、インスタントメッセージングクライアントなどのソーシャルネットワーククライアント、または美顔カメラクライアントなどの画像処理クライアントにすることができる。クライアントは、端末のカメラを呼び出すことにより、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ステップ４０２において、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得る。

ステップ４０３において、アニメキャラクターの頭部素材をロードする。

ステップ４０４において、キーポイントの第１の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する。

ステップ４０５において、アニメキャラクターの肢体キーポイントの位置情報に従って、アニメキャラクターの肢体を線の形で描く。

図９に示すように、アニメキャラクターは、頭部素材と肢体素材を組み合わせて得られ、アニメキャラクターの姿態はターゲットオブジェクトと同じである。

ステップ４０６において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に基づき、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

ステップ４０７において、グラフィカルインタフェースに表示されたときに、アニメキャラクターとターゲットオブジェクトとの相対的な位置関係は、アニメキャラクターがターゲットオブジェクトの右下にあると決定される。

ステップ４０８において、相対的な位置関係に基づき、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示する。

図９に示すように、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示し、アニメキャラクターがターゲットオブジェクトの右下にあり、アニメキャラクターの表示領域がターゲットオブジェクトの表示領域よりも小さい。

ステップ４０９において、ターゲットオブジェクトを含む第２のフレーム画像を収集し、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像である。

ステップ４１０において、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得る。

ステップ４１１において、第１の位置情報と第２の位置情報の違いに基づき、アニメキャラクターの頭部と肢体キーポイントの位置変化を決定する。

ステップ４１２において、アニメキャラクターの頭部と肢体キーポイントの位置変化に基づき、表示されているアニメキャラクターの頭部と肢体の位置を調整する。

ここで、同じウィンドウを介して、第２のフレーム画像におけるターゲットオブジェクト及び調整されたアニメキャラクターを表示し、ここで、調整されたアニメキャラクターが第２のフレーム画像におけるターゲットオブジェクトの姿態と同じになっている。

以下、本開示の実施例により提供される画像の処理方法について、頭部素材と肢体素材を含むアニメ素材を例として説明し、図１３は、本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートであり、図１３を参照すれば、本開示の実施例に係る画像の処理方法は、以下を含む。

ステップ５０１において、クライアントが、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ここで、実際の応用では、クライアントは、ショートビデオクライアント、インスタントメッセージングクライアントなどのソーシャルネットワーククライアント、または美顔カメラクライアントなどの画像処理クライアントにすることができる。クライアントは、端末のカメラを呼び出すことにより、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ステップ５０２において、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得る。

ステップ５０３において、アニメキャラクターの頭部素材と肢体素材をロードする。

ステップ５０４において、キーポイントの第１の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する。

ステップ５０５において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に基づき、アニメキャラクターの頭部素材と肢体素材を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

ステップ５０６において、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

図１０に示すように、アニメキャラクターは頭部素材と描かれた肢体で構成されている。

ステップ５０７において、グラフィカルインタフェースのメインウィンドウを介してアニメキャラクターを表示し、グラフィカルインタフェースのサブウィンドウを介してターゲットオブジェクトを表示する。

図１０に示すように、メインウィンドウのサイズがサブウィンドウのサイズよりも大きくし、サブウィンドウがメインウィンドウ上にある。メインウィンドウを介して表示されているアニメキャラクターの姿態は、サブウィンドウを介して表示されているターゲットオブジェクトの姿態と同じである。

ステップ５０８において、ターゲットオブジェクトを含む第２のフレーム画像を収集し、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像である。

ステップ５０９において、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得る。

ステップ５１０において、第１の位置情報と第２の位置情報の違いに基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化を決定する。

ステップ５１１において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化に応じて、頭部素材と肢体素材の位置を調整する。

ステップ５１２において、グラフィカルインタフェースのメインウィンドウを介して調整されたアニメキャラクターを表示し、グラフィカルインタフェースのサブウィンドウを介して第２のフレーム画像におけるターゲットオブジェクトを表示する。

以下、本開示の実施例により提供される画像の処理方法について、線の形で描かれたアニメキャラクターを例として説明し、図１４は、本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートであり、図１４を参照すれば、本開示の実施例に係る画像の処理方法は以下を含む。

ステップ６０１において、クライアントが、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ここで、実際の応用では、クライアントは、ショートビデオクライアント、インスタントメッセージングクライアントなどのソーシャルネットワーククライアント、または美顔カメラクライアントなどの画像処理クライアントにすることができる。クライアントは、端末のカメラを呼び出すことにより、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ステップ６０２において、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得る。

ステップ６０３において、キーポイントの第１の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する。

ステップ６０４において、アニメキャラクターの頭部キーポイントの位置情報に基づき、アニメキャラクターの頭部を線の形で描く。

図１１に示すように、アニメキャラクターの頭部は円形の線である。

ステップ６０５において、アニメキャラクターの肢体キーポイントの位置情報に基づき、肢体キーポイントが一直線上になっていないと決定する場合に、肢体キーポイントを弧線でつなぎ、アニメキャラクターの肢体を得る。

図１１に示すように、アニメキャラクターの肢体は、弧線で作られ、ここで、弧線の曲げ程度はターゲットオブジェクトの肢体の曲げ程度と同じである。

ステップ６０６において、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

ステップ６０７において、グラフィカルインタフェースのメインウィンドウを介してターゲットオブジェクトを表示し、グラフィカルインタフェースのサブウィンドウを介してアニメキャラクターを表示する。

図１１に示すように、メインウィンドウのサイズがサブウィンドウのサイズよりも大きくし、サブウィンドウがメインウィンドウ上にある。サブウィンドウを介して表示されているアニメキャラクターは、メインウィンドウを介して表示されているターゲットオブジェクトの姿態と同じである。

ステップ６０８において、ターゲットオブジェクトを含む第２のフレーム画像を収集し、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像である。

ステップ６０９において、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得る。

ステップ６１０において、第１の位置情報と第２の位置情報の違いに基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化を決定する。

ステップ６１１において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化に基づき、線で作られた肢体の曲げ程度、位置、及び頭部の位置を調整する。

ステップ６１２において、グラフィカルインタフェースのメインウィンドウを介して第２のフレーム画像におけるターゲットオブジェクトを表示し、グラフィカルインタフェースのサブウィンドウを介して調整されたアニメキャラクターを表示する。

本開示の実施例により提供される画像の処理装置のソフトウェア実現について説明し続ける。図１５を参照すれば、図１５は、本開示の実施例により提供される画像の処理装置の１つの選択的な構成構造概略図であり、図１５を参照すれば、本開示の実施例に係る画像の処理装置７０は、
ターゲットオブジェクトを含む第１のフレーム画像を収集するための第１の収集ユニット７１と、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得るための第１の検出ユニット７２と、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニット７３と、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集するための第２の収集ユニット７４であって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像である第２の収集ユニット７４と、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得るための第２の検出ユニット７５と、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニット７６と、を含む。

いくつかの実施例において、前記処理ユニット７３は、さらに、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすること、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられる。

いくつかの実施例において、前記処理ユニット５３は、さらに、前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得るために用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くこと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得るために用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定すること、及び
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示すること、に用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定すること、及び
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示すること、に用いられる。

いくつかの実施例において、前記更新ユニット７６は、さらに、前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定すること、及び
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすること、に用いられる。

本開示の１つ又は複数の実施例によれば、画像の処理方法を提供し、
ターゲットオブジェクトを含む第１のフレーム画像を収集することと、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得ることと、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集することであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像であることと、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得ることと、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすることと、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記アニメキャラクターの肢体を線の形で描くことは、
前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することは、
前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含む。

本開示の１つ又は複数の実施例によれば、画像の処理装置を提供し、
ターゲットオブジェクトを含む第１のフレーム画像を収集するための第１の収集ユニットと、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得るための第１の検出ユニットと、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集するための第２の収集ユニットであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像である第２の収集ユニットと、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得るための第２の検出ユニットと、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含む。

本開示の１つ又は複数の実施例によれば、電子機器を提供し、
実行可能な命令を記憶するためのメモリと、
前記実行可能な命令を実行すると、本開示の実施例により提供される画像の処理方法を実現するためのプロセッサと、を含む。

本開示の１つ又は複数の実施例によれば、実行可能な命令が記憶されている記憶媒体を提供し、前記実行可能な命令が実行されると、本開示の実施例により提供される画像の処理方法を実現するために用いられる。

以上、本開示の実施例及び適用される技術的原理のみについて説明している。当業者であれば、本開示に係る開示範囲は、上記技術的特徴の特定の組み合わせによって形成される技術案に限定されず、上記開示された構想から逸脱することなく、上記技術的特徴又はその同等の特徴の任意の組み合わせによって形成されるその他の技術案、例えば、上記特徴を、本開示に開示されている（ただしこれらに限定されない）、類似する機能を備える技術的特徴と交換して形成される技術案をもカバーすべきであることを理解すべきである。

また、各操作は、特定の順序で説明されているが、これらの操作は、示されている特定の順序で、又は、順番どおりに実行される必要があることを理解すべきではない。特定の状況では、マルチタスクと並列処理が有利な場合もある。同様に、いくつかの具体的な実施の詳細は、以上の記述に含まれているが、それらは、本開示の範囲を制限するものとして解釈されるべきではない。単独の実施例のコンテキストに説明されるいくつかの特徴は、さらに、単一の実施例に組み合わせて実現されることができる。逆に、単一の実施例のコンテキストに説明されるさまざまな特徴は、複数の実施例に単独で又は任意の適切なサブ組み合わせで実現されることもできる。

本趣旨は、構造的特徴及び／又は方法の論理的操作に特定の言語で説明されているが、添付される特許請求の範囲に限定される趣旨は、必ずしも以上に説明されている特定の特徴又は操作に限定されないことを理解すべきである。逆に、以上に説明されている特定の特徴及び動作は、特許請求の範囲を実現するための一例にすぎない。。

本開示は、２０１９年１１月０１日に中国特許局に提出した、出願番号が２０１９１１０６０４９５．６で、発明の名称が「画像の処理方法、装置、電子機器及び記憶媒体」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。

本開示の実施例は、画像処理技術に関し、特に、画像の処理方法、装置、電子機器及び記憶媒体に関する。

通信技術や端末機器の発展に伴い、携帯電話やタブレットコンピュータなどのさまざまな端末機器が人々の仕事や生活に欠かせないものになり、また、端末機器の普及につれ、端末機器に基づく対話型アプリケーションは、コミュニケーションとエンターテインメントの主要なチャネルになっている。関連技術では、対話型アプリケーションの対話形態は単一であり、ユーザの多様化ニーズを満たすことはできる。

当該発明の概要は、構想を簡単な形式で説明するために提供され、これらの構想について、後述する発明を実施するための形態において詳細に説明する。当該発明の概要は、主張する技術案の重要な特徴又は必要な特徴を特定することを意図するものではなく、主張する技術案の範囲を限定することを意図するものでもない。

第１の態様では、本開示の実施例は、画像の処理方法を提供し、
ターゲットオブジェクトを含む第１のフレーム画像を収集することと、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得ることと、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集することであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像であることと、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得ることと、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含む。

上記技術案において、前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすることと、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含む。

上記技術案において、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含む。

上記技術案において、前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含む。

上記技術案において、前記アニメキャラクターの肢体を線の形で描くことは、
前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含む。

上記技術案において、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含む。

上記技術案において、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、

グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含む。

上記技術案において、前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することは、
前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含む。

第２の態様では、本開示の実施例は、画像の処理装置を提供し、
ターゲットオブジェクトを含む第１のフレーム画像を収集するための第１の収集ユニットと、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得るための第１の検出ユニットと、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集するための第２の収集ユニットであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像である第２の収集ユニットと、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得るための第２の検出ユニットと、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含む。

上記技術案において、前記処理ユニットは、さらに、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすること、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられる。

上記技術案において、前記処理ユニットは、さらに、前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得るために用いられる。

上記技術案において、前記処理ユニットは、さらに、前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。

上記技術案において、前記処理ユニットは、さらに、前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くこと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。

上記技術案において、前記処理ユニットは、さらに、前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得るために用いられる。

上記技術案において、前記処理ユニットは、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定すること、及び
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示すること、に用いられる。

上記技術案において、前記処理ユニットは、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定すること、及び
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示すること、に用いられる。

上記技術案において、前記更新ユニットは、さらに、前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定すること、及び
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすること、に用いられる。

第３の態様では、本開示の実施例は、電子機器を提供し、
実行可能な命令を記憶するためのメモリと、
前記実行可能な命令を実行すると、本開示の実施例により提供される画像の処理方法を実現するためのプロセッサと、を含む。

第４の態様では、本開示の実施例は、実行可能な命令が記憶されている記憶媒体を提供し、前記実行可能な命令が実行されると、本開示の実施例により提供される画像の処理方法を実現するために用いられる。

第５の態様では、本開示の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムが実行されると、本開示の実施例により提供される画像の処理方法を実現するために用いられる。

本開示の実施例は、
本開示の上記実施例が適用されると、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得ることにより、キーポイントの第１の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示し、そして、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得ることにより、第１の位置情報と第２の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新し、それによって、ビデオ撮影中に、生成されたアニメキャラクターは、収集された画像におけるターゲットオブジェクトにしたがって、それと同じアクションを実行できるようになり、ユーザエクスペリエンスを向上させるための新しいインタラクション形態をユーザに提供するような有益な効果を有する。

本開示の各実施例の上記及び他の特徴、利点及び態様は、図面及び以下の具体的な実施形態を参照すれば明らかになる。図面全体を通して、同じ又は類似の符号は、同じ又は類似の要素を示す。図面は、例示的なものであり、部品及び要素は必ずしも一定の縮尺で描かれているわけではないことを理解すべきである。
本開示の実施例により提供される画像の処理システム１００の１つの選択的なアーキテクチャ概略図である。 本開示の実施例により提供される電子機器２０の構造概略図である。 本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートである。 本開示の実施例により提供される第１のフレーム画像におけるターゲットオブジェクトのキーポイント概略図である。 本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図である。 本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図である。 本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図である。 本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートである。 本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートである。 本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートである。 本開示の実施例により提供される画像の処理装置の１つの選択的な構成構造概略図である。

以下、図面を参照しながら、本開示の実施例をより詳細に説明する。図面には、本開示のいくつかの実施例が示されているが、本開示は、さまざまな形式で実現されることができ、本明細書に記述される実施例に限定されると解釈されるべきでなく、むしろ、これらの実施例は、本開示をより明確且つ完全に理解するために、提供されていることを理解すべきである。本開示の図面及び実施例は、単に例示的な目的で使用されており、本開示の保護範囲を制限するために使用されるものでないことを理解すべきである。

本開示の方法の実施形態に記述される各ステップは、別の順に従って実行されてもよいし、及び／又は、並行して実行されてもよいことを理解すべきである。また、方法の実施形態では、追加のステップが含まれてもよいし、及び／又は、示されているステップの実行を省略してもよい。本開示の範囲は、それらに限定されない。

本明細書に使用される用語「含む」及びその変形は、開放的な含みであり、即ち、「…を含むが、…に限定されない」を意味する。用語「基づく」は「少なくとも部分的に基づく」を意味する。用語「１つの実施例」は「少なくとも１つの実施例」を表し、用語「他の実施例」は「少なくとも１つの他の実施例」を表し、用語「いくつかの実施例」は「少なくともいくつかの実施例」を表す。他の用語の関連定義はまた後述する。

なお、本開示で言及される「第１の」、「第２の」などの概念は、異なる装置、モジュール又はユニットを区別するためのみに使用され、これらの装置、モジュール又はユニットにより実行される機能の順序又は相互間の依存関係を限定するために使用されるものではない。

なお、本開示で言及される「１つ」及び「複数」のような修飾語は、限定的なものでなく、例示的なものであり、当業者は、文脈で明記されていない限り、「１つ又は複数」として理解すべきであることを理解すべきである。

本開示の実施形態における複数の装置の間で交換されるメッセージ又は情報の名称は、説明の目的のためだけであり、これらのメッセージ又は情報の範囲を限定するために使用されるものではない。

図１を参照すれば、図１は、本開示の実施例により提供される画像の処理システム１００の１つの選択的なアーキテクチャ概略図であり、１つの例示的な応用をサポートして実現するために、端末２００（端末２００－１と端末２００－２を含む）は、ネットワーク３００を介してサーバ４００に接続され、ネットワーク３００は、ワイドエリアネットワーク又はローカルエリアネットワークであるか、または両者の組み合わせであり、無線リンクを使用してデータ伝送を実現する。

端末２００は、ターゲットオブジェクトを含む第１のフレーム画像を収集し、第１のフレーム画像をサーバ４００に送信するために用いられ、
サーバ４００は、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得て、端末２００に返信するために用いられ、
端末２００は、さらに、前記キーポイントの第１の位置情報に基づき、ターゲット画像と同じ姿態のアニメキャラクターを生成して表示すること、及びターゲットオブジェクトを含む第２のフレーム画像を収集し、第２のフレーム画像をサーバ４００に送信すること、に用いられ、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像であり、
サーバ４００は、さらに、第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得て、端末２００に返信するために用いられ、
端末２００は、さらに、第１の位置情報と第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するために用いられる。

実際の応用では、サーバ２００は、さまざまなサービスをサポートするように独立して構成されたサーバであってもよいし、サーバクラスターとして構成されてもよく、端末は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータなど、さまざまなタイプのユーザ端末にしてもよいし、または、ウェアラブルコンピューティングデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、デスクトップコンピュータ、セルラ電話、メディアプレーヤー、ナビゲーションデバイス、ゲームコンソール、テレビにしてもよいし、または、これら又は他のデータ処理装置の２つ以上の任意の組み合わせにしてもよい。

以下、本開示の実施例に係る画像の処理方法を実施する電子機器について説明する。いくつかの実施例において、電子機器は、スマートフォン、タブレットコンピュータ、デスクトップコンピュータなどの端末によって個別に実施されるか、または、端末とサーバによって共同で実施されるなど、さまざまな形で実施されることができる。

以下、図２を参照すれば、図２は、本開示の実施例により提供される電子機器２０の構造概略図である。図２に示されている電子機器は、例示的なものにすぎず、本開示の実施例の機能及び使用範囲に何らかの制限をもたらすべきでない。

図２に示すように、電子機器２０は、処理装置（中央処理装置やグラフィックプロセッサなど）２１０を含むことができ、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）２２０に記憶されたプログラムまたは記憶装置２８０からランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３０にロードされたプログラムに従って、さまざまな適切なアクション及びプロセスを実行することができる。ＲＡＭ ２３０には、電子機器２０の操作に必要なさまざまなプログラム及びデータも記憶されている。処理装置２１０、ＲＯＭ２２０及びＲＡＭ２３０は、バス２４０を介して互いに接続されている。入力／出力（Ｉ／Ｏ、Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース２５０もバス２４０に接続されている。

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置２６０と、液晶ディスプレイ（ＬＣＤ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、スピーカー、バイブレータなどを含む出力装置２７０と、磁気テープ、ハードディスクなどを含む記憶装置２８０と、通信装置２９０とは、Ｉ／Ｏインタフェース２５０に接続することができる。通信装置２９０は、電子機器２０が他のデバイスと無線又は有線で通信してデータを交換することを可能にし得る。図２は、さまざまなデバイスを備える電子機器２０を示しているが、図示されたデバイスのすべてが実施又は配置される必要があるわけではないことを理解すべきである。代替的に、より多くの又は少なめのデバイスが実施又は配置され得る。

特に、本開示の実施例によれば、提供されているフローチャートに記載されているプロセスは、コンピュータソフトウェアプログラムとして実施できる。例えば、本開示の実施例は、コンピュータ読み取り可能な媒体に搭載されている、フローチャートに示される方法を実行するためのプログラムコードを含むコンピュータプログラムを含む。このような実施例において、コンピュータプログラムは、通信装置２９０を介してネットワークからダウンロード及びインストールするか、または記憶装置２８０からインストールするか、またはＲＯＭ２２０からインストールすることができる。コンピュータプログラムは、処理装置２１０により実行されると、本開示の実施例に係る画像の処理方法における機能が実行される。

なお、本開示の実施例における上記のコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体又は２つの任意の組み合わせであり得る。コンピュータ読み取り可能な記憶媒体は、例えば、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置、又はデバイス、あるいは上記の任意の組み合わせを含み得るが、それらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例として、１本又は複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含み得るが、それらに限定されない。

本開示の実施例において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用できるプログラムを含むか、または記憶する任意の有形媒体であり得る。本開示の実施例において、コンピュータ読み取り可能な信号媒体は、ベースバンドで、または搬送波の一部として伝送されるデータ信号を含むことができ、その中にコンピュータ読み取り可能なプログラムコードが搭載されている。そのような伝播されたデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがそれらに限定されない多くの形をとることができる。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体にすることができ、コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを送信、伝播、または伝送することができる。コンピュータ読み取り可能な媒体に含まれたプログラムコードは、電線、光ファイバケーブル、無線周波数（ＲＦ、Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）などを含む任意の適切な媒体、または上記の任意の適切な組み合わせを使用して伝送されることができる。

上記コンピュータ読み取り可能な媒体は、上記電子機器２０に含まれていてもよく、または電子機器２０に組み立てられずに単独で存在していてもよい。

上記コンピュータ読み取り可能な媒体は、１つ又は複数のプログラムを搭載し、上記１つ又は複数のプログラムが電子機器２０により実行されると、電子機器２０に、本開示の実施例により提供される画像の処理方法を実行させる。

本開示の実施例における操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト向けプログラミング言語、及び「Ｃ」言語又はそれに類似するプログラミング言語などの従来の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語又はそれらの組み合わせでプログラミングされることができる。プログラムコードは、完全にユーザコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で部分的にリモートコンピュータ上で、または完全にリモートコンピュータ又はサーバ上で実行できる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ)）やワイドエリアネットワーク（ＷＡＮ、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）など、あらゆる種類のネットワークを介してユーザコンピュータに接続することも、外部コンピュータに接続することもできる（例えば、インターネットサービスプロバイダーを使用してインターネット経由で接続する）。

本開示の実施例により提供されるフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラムによって実現可能なアーキテクチャ、機能、及び操作を示している。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理的機能を実現するための１つ又は複数の実行可能な命令を含むモジュール、グログラムセグメント、又はコードの一部を表すことができる。いくつかの代替の実現では、ブロックに示されている機能が、図に示されている順序と異なる順序で実行できることにも注意すべきである。例えば、連結して表示される２つのブロックは、実際には、基本的に並行して実行できるが、関連する機能に応じて、ブロックと逆の順序で実行される場合もある。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図のブロックの組み合わせは、指定された機能又は操作を実行する専用のハードウェアベースのシステムを使用して実現されることができ、または、専用のハードウェアとコンピュータ命令の組み合わせを使用して実現されることもできるにも注意する必要がある。

本開示の実施例に関与するユニットは、ソフトウェアで実現されることができ、またはハードウェアで実現されることもできる。ここで、ユニットの名称は、場合によってはユニット自体を制限するものではなく、例えば、第１の収集ユニットは、「ターゲットオブジェクトを含む第１のフレーム画像を収集する」と記載されることもできる。

本開示の実施例に記載されている機能は、少なくとも部分的に、１つ又は複数のハードウェアロジックコンポーネントによって実行され得る。例えば、限定的ものでなく、使用できるハードウェアロジックコンポーネントの例示的なタイプには、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、特定用途向け標準製品（ＡＳＳＰ、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐａｒｔｓ)）、システムオンチップ（ＳＯＣ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ）などが含まれる。

本開示の実施例の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、又はデバイスによって、またはそれらに関連して使用するためのプログラムを含むか又は記憶することができる有形媒体であり得る。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であり得る。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、又はデバイス、あるいは上記の任意の適切な組み合わせを含み得るが、それらに限定されない。機械読み取り可能な記憶媒体のより具体的な例として、１本又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含み得るが、それらに限定されない。

続いて、図３を参照すれば、図３は、本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートであり、本開示の実施例に係る画像の処理方法は、以下を含む。

ステップ３０１において、端末がターゲットオブジェクトを含む第１のフレーム画像を収集する。

実際の応用では、端末には、インスタントメッセージングクライアント、マイクロブログクライアント、ショートビデオクライアントなどのクライアントが設けられており、ユーザは、クライアントのユーザインタフェースにビデオ撮影ボタンをクリックしてビデオ撮影命令をトリガーでき、それにより、端末は、カメラなどの画像収集センサーを呼び出して、ターゲットオブジェクトを含む第１のフレーム画像を収集する。なお、ビデオ撮影のターゲットオブジェクトは、撮影されるユーザであり、ここで、ユーザの数は１人以上にすることができる。

ステップ３０２において、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得る。

実際の実施では、ターゲットオブジェクトのキーポイントは、頭、肩、肘、手首など、第１のフレーム画像におけるキャラクターの各関節ポイントにすることができ、図４を参照すれば、図４は、本開示の実施例により提供される第１のフレーム画像におけるターゲットオブジェクトのキーポイント概略図であり、ターゲットオブジェクトは、合計１４個のキーポイントを含み、キーポイントによってターゲットオブジェクトの姿態を決定することができる。

いくつかの実施例において、端末は、トレーニングされたニューラルネットワークモデル（畳み込みニューラルネットワークモデル（ＣＮＮ
、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）など）を介して、ターゲットオブジェクトのキーポイントを検出することができる。実際の実施では、端末は、第１のフレーム画像を畳み込みニューラルネットワークモデルに入力し、第１の位置情報を得る。ここで、第１の位置情報は、ターゲットオブジェクトの各キーポイントの位置情報を含み、第１のフレーム画像に座標系を確立することにより、各キーポイントの位置情報が座標で表される。

ステップ３０３において、キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示する。

実際の実施では、キーポイントの第１の位置情報に従って、ターゲットオブジェクトの姿態を決定することができるため、キーポイントの第１の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成し、生成されたアニメキャラクターを表示することができる。

いくつかの実施例において、端末は、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードし、前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定し、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及びアニメ素材に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成するような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することができる。

なお、頭部素材は、アニメキャラクターの頭部であり、肢体素材は、アニメキャラクターの手足と胴体を含み、服飾素材は、アニメキャラクターの服や靴などを含む。実際の実施では、アニメキャラクターのキーポイントとターゲットオブジェクトのキーポイントは１対１で対応しており、ターゲットオブジェクトのキーポイントの位置情報は、第１のフレーム画像に対応する座標系に基づいて決定され、アニメキャラクターを生成するとき、アニメキャラクターに対応する座標系を確立し、第１のフレーム画像の座標系とアニメキャラクターの座標系との対応関係に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する必要がある。

いくつかの実施例において、アニメ素材は、アニメキャラクターの頭部と肢体素材を含む場合に、端末は、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、頭部素材と肢体素材を組み合わせて、アニメキャラクターを得る。

ここで、アニメ素材は、アニメキャラクターの頭部と肢体素材を含み、即ち、アニメキャラクターの体の各部分にはいずれも対応する素材があり、素材を組み合わせることで、完全なアニメキャラクターを作る。実際の実施では、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報によって、各素材の位置とサイズを決定し、各素材の位置に応じて頭部素材と肢体素材を組み合わせることができる。

例えば、図５は、本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図であり、図５を参照すれば、アニメキャラクターの頭部と肢体は、いずれもアニメ素材によって生成され、アニメ素材の位置は、アニメキャラクターのキーポイントの位置に対応している。

ロードされたアニメ素材が完全なアニメキャラクターを作られない場合に、アニメキャラクターにアニメ素材が不足している部分を線で描く必要がある。

いくつかの実施例において、アニメ素材はアニメキャラクターの頭部素材を含む場合に、アニメキャラクターの肢体キーポイントの位置情報に基づき、アニメキャラクターの肢体を線の形で描き、頭部素材と描かれたアニメキャラクターの肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

ここで、アニメ素材は、アニメキャラクターの頭部素材のみ含み、アニメキャラクターの肢体の部分が欠けているため、アニメキャラクターの肢体、即ち、アニメキャラクターの胴体と手足を線で描く必要がある。

実際の実施では、肢体キーポイントは、アニメキャラクターの胴体キーポイントと手足キーポイントに分けられ、アニメキャラクターの胴体キーポイントと手足キーポイントをそれぞれ線でつなぐ。ここで、肢体キーポイントは、左肩キーポイント、右肩キーポイント、右股キーポイント、左股キーポイントを含み、肢体キーポイントを線で順番につなぎ、アニメキャラクターの体を描き、手足キーポイントは、両上肢キーポイントと両下肢キーポイントを含み、それぞれの上肢キーポイントは、肩キーポイント、肘キーポイント及び手首キーポイントを含み、それぞれの下肢キーポイントは、股キーポイント、膝キーポイント及び足首キーポイントを含み、手足キーポイントをそれぞれ線でつなぎ、アニメキャラクターの手足を描く。例えば、左肩キーポイント、左肘キーポイント、左手首キーポイントを線で順番につなぎ、アニメキャラクターの左上肢を描く。

例えば、図６は、本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図であり、図６を参照すれば、アニメキャラクターの頭部はアニメ素材であり、アニメキャラクターの肢体は線で構成され、頭部素材の位置は頭部キーポイントの位置に対応し、アニメキャラクターの肢体は、肢体キーポイントを線でつないで得られたものである。

いくつかの実施例において、アニメ素材は、アニメキャラクターの頭部と服飾素材を含む場合に、アニメキャラクターの手足が不足しているため、アニメキャラクターの手足キーポイントの位置情報に基づき、アニメキャラクターの手足を線の形で描き、アニメキャラクターの頭部と服飾素材を描かれたアニメキャラクターの手足と組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

例えば、図７は、本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図であり、図７を参照すれば、アニメキャラクターの頭部、服及び靴はロードされた素材であり、手足は線で作られている。

いくつかの実施例において、端末は、キーポイントの第１の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定し、アニメキャラクターの頭部キーポイントの位置情報に基づき、アニメキャラクターの頭部を線の形で描き、アニメキャラクターの肢体キーポイントの位置情報に基づき、アニメキャラクターの肢体を線の形で描き、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得るような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することができる。

ここで、アニメ素材がロードされていない場合に、アニメキャラクター全体を線で描く。実際の実施では、アニメキャラクターの頭部キーポイントの位置情報に基づき、アニメキャラクターの頭部の位置を決定し、アニメキャラクターの頭部に対応する位置で、アニメキャラクターの頭部を円形の線で描く。肢体キーポイントは、胴体キーポイントと手足キーポイントに分けられ、アニメキャラクターの胴体キーポイントと手足キーポイントをそれぞれ線でつなぎ、アニメキャラクターの胴体と手足を描く。

例えば、図８は、本開示の実施例により提供されるアニメキャラクターの１つの選択的な概略図であり、図８を参照すれば、アニメキャラクターの頭部と肢体は、いずれも線で構成されている。

いくつかの実施例において、端末は、アニメキャラクターの肢体キーポイントの位置に基づき、肢体キーポイントが一直線上になっていないと決定する場合に、肢体キーポイントを弧線でつなぎ、肢体の曲げ程度がターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得る。

実際の実施では、２キーポイントごとの直線の傾きによって、肢体キーポイントが一直線上になっているかどうかを判断し、一直線上になっている場合、肢体キーポイントを直接直線でつなぐが、一直線上になっていない場合、３つのキーポイントを弧線でつなぎ、このようにして、肢体の曲げ程度がターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得る。

例えば、図８を参照すれば、アニメキャラクターの右上肢の３つのキーポイントが一直線上になっていないから、その３つのキーポイントを弧線でつなぎ、曲げ程度がターゲットオブジェクトの右上肢の曲げ程度と一致する弧線の形の右上肢を得る。

いくつかの実施例において、端末は、グラフィカルインタフェースに表示されたときに、アニメキャラクターとターゲットオブジェクトとの相対的な位置関係を決定し、相対的な位置関係に基づき、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示するような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することができる。

実際の実施では、アニメキャラクターとターゲットオブジェクトとの相対的な位置関係は、上下、左右などになってもよく、相対的な位置関係に基づき、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示する。ターゲットオブジェクトとアニメキャラクターを表示するとき、アニメキャラクターがターゲットオブジェクトに対してより少ない表示領域を占めるか、またはターゲットオブジェクトがアニメキャラクターに対してより少ない表示領域を占めるか、またはターゲットオブジェクトとアニメキャラクターが同じサイズの表示領域を占めてもよい。

例えば、図９は、本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図であり、図９を参照すれば、同じウィンドウを介してターゲットオブジェクトとアニメキャラクターを表示しており、ここで、アニメキャラクターは、ターゲットオブジェクトの右下に表示され、ターゲットオブジェクトに対してより少ない表示領域を占めている。

いくつかの実施例において、端末は、グラフィカルインタフェースに表示されたときのアニメキャラクターとターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定し、メインウィンドウとサブウィンドウを介して、アニメキャラクターとターゲットオブジェクトをそれぞれ表示するような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することができる。

ここで、メインウィンドウのサイズがサブウィンドウのサイズよりも大きくし、サブウィンドウがメインウィンドウ上にある。

いくつかの実施例において、メインウィンドウを介してアニメキャラクターを表示し、サブウィンドウを介してターゲットオブジェクトを表示する。図１０は、本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図であり、図１０を参照すれば、グラフィカルインタフェースには、メインウィンドウとサブウィンドウが含まれ、サブウィンドウがメインウィンドウの右下隅領域にあり、メインウィンドウを介してアニメキャラクターを表示し、メインウィンドウを介してターゲットオブジェクトを表示する。

いくつかの実施例において、メインウィンドウを介してターゲットオブジェクトを表示し、サブウィンドウを介してアニメキャラクターを表示する。図１１は、本開示の実施例により提供されるアニメキャラクターを表示する１つの選択的なグラフィカルインタフェース概略図であり、図１１を参照すれば、グラフィカルインタフェースには、メインウィンドウとサブウィンドウが含まれ、サブウィンドウがメインウィンドウの右下隅領域にあり、メインウィンドウを介してターゲットオブジェクトを表示し、メインウィンドウを介してアニメキャラクターを表示する。

ステップ３０４において、ターゲットオブジェクトを含む第２のフレーム画像を収集し、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像である。

ここで、画像の収集はリアルタイム収集であり、第２のフレーム画像は第１のフレーム画像の後に連続するフレーム画像である。

ステップ３０５において、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得る。

ここで、端末は、ステップ３０２と同じ方法を使用して、ターゲットオブジェクトのキーポイントを検出することができる。

ステップ３０６において、第１の位置情報と第２の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新する。

ここで、第１の位置情報と第２の位置情報の違いに基づき、ターゲットオブジェクトの姿態変化を決定することができ、第１の位置情報と第２の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新することにより、アニメキャラクターは、ターゲットオブジェクトと同じアクションを実行することができる。

いくつかの実施例において、端末は、第１の位置情報と第２の位置情報の違いに基づき、アニメキャラクターのキーポイントの位置変化を決定し、アニメキャラクターのキーポイントの位置変化に基づき、表示されているアニメキャラクターの姿態を調整し、更新後のアニメキャラクターの姿態が第２のフレーム画像におけるターゲットオブジェクトの姿態と同じになるようにする方法を用いて表示されているアニメキャラクターの姿態を更新することができる。

実際の実施では、第１の位置情報に対する第２の位置情報の変化を、ベクトルで表すことができ、次いで、２つの座標系間の対応する関係に従って、アニメキャラクターのキーポイントの位置変化を決定し、そして、アニメキャラクターのキーポイントの位置変化に基づき、表示されているアニメキャラクターの姿態を調整することができる。

実際の応用では、アニメキャラクターがすべてアニメ素材で構成されている場合に、アニメキャラクターのキーポイントの位置変化に応じて、各アニメ素材の位置を調整する。アニメキャラクターが頭部素材と描かれたアニメキャラクターの肢体との組み合わせで構成されている場合に、アニメキャラクターの頭部キーポイントの位置変化に応じて、頭部素材の位置を調整し、肢体キーポイントの位置変化に応じて、肢体の曲げ程度と位置を調整する。アニメキャラクターがすべて描かれたアニメキャラクターの頭部と肢体で構成されている場合に、アニメキャラクターのキーポイントの位置変化に応じて、線で作られた肢体の曲げ程度、位置、及び頭部の位置を調整する。

なお、端末は、ターゲットオブジェクトを含むフレーム画像をリアルタイムで収集し、収集した各フレーム画像について、画像におけるターゲットオブジェクトのキーポイントの位置情報を検出し、１つ前のフレーム画像におけるターゲットオブジェクトのキーポイントの位置情報との違いに基づき、表示されているアニメキャラクターの姿態を更新するような操作を行う。

本開示の実施例は、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得ることにより、キーポイントの第１の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示し、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得ることにより、さらに第１の位置情報と第２の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新し、それによって、ビデオ撮影中に、生成されたアニメキャラクターは、収集された画像におけるターゲットオブジェクトにしたがって、それと同じアクションを実行できるようになり、ユーザエクスペリエンスを向上させるための新しいインタラクション形態をユーザに提供する。

以下、本開示の実施例により提供される画像の処理方法について、頭部素材を含むロードされたアニメ素材を例として説明し、図１２は、本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートであり、図１２を参照すれば、本開示の実施例に係る画像の処理方法は以下を含む。

ステップ４０１において、クライアントがターゲットオブジェクトを含む第１のフレーム画像を収集する。

ここで、実際の応用では、クライアントは、ショートビデオクライアント、インスタントメッセージングクライアントなどのソーシャルネットワーククライアント、または美顔カメラクライアントなどの画像処理クライアントにすることができる。クライアントは、端末のカメラを呼び出すことにより、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ステップ４０２において、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得る。

ステップ４０３において、アニメキャラクターの頭部素材をロードする。

ステップ４０４において、キーポイントの第１の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する。

ステップ４０５において、アニメキャラクターの肢体キーポイントの位置情報に従って、アニメキャラクターの肢体を線の形で描く。

図９に示すように、アニメキャラクターは、頭部素材と肢体素材を組み合わせて得られ、アニメキャラクターの姿態はターゲットオブジェクトと同じである。

ステップ４０６において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に基づき、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

ステップ４０７において、グラフィカルインタフェースに表示されたときに、アニメキャラクターとターゲットオブジェクトとの相対的な位置関係は、アニメキャラクターがターゲットオブジェクトの右下にあると決定される。

ステップ４０８において、相対的な位置関係に基づき、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示する。

図９に示すように、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示し、アニメキャラクターがターゲットオブジェクトの右下にあり、アニメキャラクターの表示領域がターゲットオブジェクトの表示領域よりも小さい。

ステップ４０９において、ターゲットオブジェクトを含む第２のフレーム画像を収集し、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像である。

ステップ４１０において、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得る。

ステップ４１１において、第１の位置情報と第２の位置情報の違いに基づき、アニメキャラクターの頭部と肢体キーポイントの位置変化を決定する。

ステップ４１２において、アニメキャラクターの頭部と肢体キーポイントの位置変化に基づき、表示されているアニメキャラクターの頭部と肢体の位置を調整する。

ここで、同じウィンドウを介して、第２のフレーム画像におけるターゲットオブジェクト及び調整されたアニメキャラクターを表示し、ここで、調整されたアニメキャラクターが第２のフレーム画像におけるターゲットオブジェクトの姿態と同じになっている。

以下、本開示の実施例により提供される画像の処理方法について、頭部素材と肢体素材を含むアニメ素材を例として説明し、図１３は、本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートであり、図１３を参照すれば、本開示の実施例に係る画像の処理方法は、以下を含む。

ステップ５０１において、クライアントが、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ここで、実際の応用では、クライアントは、ショートビデオクライアント、インスタントメッセージングクライアントなどのソーシャルネットワーククライアント、または美顔カメラクライアントなどの画像処理クライアントにすることができる。クライアントは、端末のカメラを呼び出すことにより、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ステップ５０２において、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得る。

ステップ５０３において、アニメキャラクターの頭部素材と肢体素材をロードする。

ステップ５０４において、キーポイントの第１の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する。

ステップ５０５において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に基づき、アニメキャラクターの頭部素材と肢体素材を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

ステップ５０６において、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

図１０に示すように、アニメキャラクターは頭部素材と描かれた肢体で構成されている。

ステップ５０７において、グラフィカルインタフェースのメインウィンドウを介してアニメキャラクターを表示し、グラフィカルインタフェースのサブウィンドウを介してターゲットオブジェクトを表示する。

図１０に示すように、メインウィンドウのサイズがサブウィンドウのサイズよりも大きくし、サブウィンドウがメインウィンドウ上にある。メインウィンドウを介して表示されているアニメキャラクターの姿態は、サブウィンドウを介して表示されているターゲットオブジェクトの姿態と同じである。

ステップ５０８において、ターゲットオブジェクトを含む第２のフレーム画像を収集し、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像である。

ステップ５０９において、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得る。

ステップ５１０において、第１の位置情報と第２の位置情報の違いに基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化を決定する。

ステップ５１１において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化に応じて、頭部素材と肢体素材の位置を調整する。

ステップ５１２において、グラフィカルインタフェースのメインウィンドウを介して調整されたアニメキャラクターを表示し、グラフィカルインタフェースのサブウィンドウを介して第２のフレーム画像におけるターゲットオブジェクトを表示する。

以下、本開示の実施例により提供される画像の処理方法について、線の形で描かれたアニメキャラクターを例として説明し、図１４は、本開示の実施例により提供される画像の処理方法の１つの選択的なフローチャートであり、図１４を参照すれば、本開示の実施例に係る画像の処理方法は以下を含む。

ステップ６０１において、クライアントが、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ここで、実際の応用では、クライアントは、ショートビデオクライアント、インスタントメッセージングクライアントなどのソーシャルネットワーククライアント、または美顔カメラクライアントなどの画像処理クライアントにすることができる。クライアントは、端末のカメラを呼び出すことにより、ターゲットオブジェクトを含む第１のフレーム画像を収集する。

ステップ６０２において、第１のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第１の位置情報を得る。

ステップ６０３において、キーポイントの第１の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する。

ステップ６０４において、アニメキャラクターの頭部キーポイントの位置情報に基づき、アニメキャラクターの頭部を線の形で描く。

図１１に示すように、アニメキャラクターの頭部は円形の線である。

ステップ６０５において、アニメキャラクターの肢体キーポイントの位置情報に基づき、肢体キーポイントが一直線上になっていないと決定する場合に、肢体キーポイントを弧線でつなぎ、アニメキャラクターの肢体を得る。

図１１に示すように、アニメキャラクターの肢体は、弧線で作られ、ここで、弧線の曲げ程度はターゲットオブジェクトの肢体の曲げ程度と同じである。

ステップ６０６において、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。

ステップ６０７において、グラフィカルインタフェースのメインウィンドウを介してターゲットオブジェクトを表示し、グラフィカルインタフェースのサブウィンドウを介してアニメキャラクターを表示する。

図１１に示すように、メインウィンドウのサイズがサブウィンドウのサイズよりも大きくし、サブウィンドウがメインウィンドウ上にある。サブウィンドウを介して表示されているアニメキャラクターは、メインウィンドウを介して表示されているターゲットオブジェクトの姿態と同じである。

ステップ６０８において、ターゲットオブジェクトを含む第２のフレーム画像を収集し、第１のフレーム画像と第２のフレーム画像が連続するフレーム画像である。

ステップ６０９において、第２のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第２の位置情報を得る。

ステップ６１０において、第１の位置情報と第２の位置情報の違いに基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化を決定する。

ステップ６１１において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化に基づき、線で作られた肢体の曲げ程度、位置、及び頭部の位置を調整する。

ステップ６１２において、グラフィカルインタフェースのメインウィンドウを介して第２のフレーム画像におけるターゲットオブジェクトを表示し、グラフィカルインタフェースのサブウィンドウを介して調整されたアニメキャラクターを表示する。

本開示の実施例により提供される画像の処理装置のソフトウェア実現について説明し続ける。図１５を参照すれば、図１５は、本開示の実施例により提供される画像の処理装置の１つの選択的な構成構造概略図であり、図１５を参照すれば、本開示の実施例に係る画像の処理装置７０は、
ターゲットオブジェクトを含む第１のフレーム画像を収集するための第１の収集ユニット７１と、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得るための第１の検出ユニット７２と、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニット７３と、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集するための第２の収集ユニット７４であって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像である第２の収集ユニット７４と、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得るための第２の検出ユニット７５と、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニット７６と、を含む。

いくつかの実施例において、前記処理ユニット７３は、さらに、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすること、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得るために用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くこと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得るために用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定すること、及び
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示すること、に用いられる。

いくつかの実施例において、前記処理ユニット７３は、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定すること、及び
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示すること、に用いられる。

いくつかの実施例において、前記更新ユニット７６は、さらに、前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定すること、及び
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすること、に用いられる。

本開示の１つ又は複数の実施例によれば、画像の処理方法を提供し、
ターゲットオブジェクトを含む第１のフレーム画像を収集することと、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得ることと、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集することであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像であることと、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得ることと、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすることと、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記アニメキャラクターの肢体を線の形で描くことは、
前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含む。

本開示の１つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することは、
前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含む。

本開示の１つ又は複数の実施例によれば、画像の処理装置を提供し、
ターゲットオブジェクトを含む第１のフレーム画像を収集するための第１の収集ユニットと、
前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得るための第１の検出ユニットと、
前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
前記ターゲットオブジェクトを含む第２のフレーム画像を収集するための第２の収集ユニットであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像である第２の収集ユニットと、
前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得るための第２の検出ユニットと、
前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含む。

本開示の１つ又は複数の実施例によれば、電子機器を提供し、
実行可能な命令を記憶するためのメモリと、
前記実行可能な命令を実行すると、本開示の実施例により提供される画像の処理方法を実現するためのプロセッサと、を含む。

本開示の１つ又は複数の実施例によれば、実行可能な命令が記憶されている記憶媒体を提供し、前記実行可能な命令が実行されると、本開示の実施例により提供される画像の処理方法を実現するために用いられる。

以上、本開示の実施例及び適用される技術的原理のみについて説明している。当業者であれば、本開示に係る開示範囲は、上記技術的特徴の特定の組み合わせによって形成される技術案に限定されず、上記開示された構想から逸脱することなく、上記技術的特徴又はその同等の特徴の任意の組み合わせによって形成されるその他の技術案、例えば、上記特徴を、本開示に開示されている（ただしこれらに限定されない）、類似する機能を備える技術的特徴と交換して形成される技術案をもカバーすべきであることを理解すべきである。

また、各操作は、特定の順序で説明されているが、これらの操作は、示されている特定の順序で、又は、順番どおりに実行される必要があることを理解すべきではない。特定の状況では、マルチタスクと並列処理が有利な場合もある。同様に、いくつかの具体的な実施の詳細は、以上の記述に含まれているが、それらは、本開示の範囲を制限するものとして解釈されるべきではない。単独の実施例のコンテキストに説明されるいくつかの特徴は、さらに、単一の実施例に組み合わせて実現されることができる。逆に、単一の実施例のコンテキストに説明されるさまざまな特徴は、複数の実施例に単独で又は任意の適切なサブ組み合わせで実現されることもできる。

本趣旨は、構造的特徴及び／又は方法の論理的操作に特定の言語で説明されているが、添付される特許請求の範囲に限定される趣旨は、必ずしも以上に説明されている特定の特徴又は操作に限定されないことを理解すべきである。逆に、以上に説明されている特定の特徴及び動作は、特許請求の範囲を実現するための一例にすぎない。。

本開示は、２０１９年１１月０１日に中国特許局に提出した、出願番号が２０１９１１０６０４９５．６で、発明の名称が「画像の処理方法、装置、電子機器及び記憶媒体」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。

Claims (21)

1. 画像の処理方法であって、前記方法は、
   ターゲットオブジェクトを含む第１のフレーム画像を収集することと、
   前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得ることと、
   前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
   前記ターゲットオブジェクトを含む第２のフレーム画像を収集することであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像であることと、
   前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得ることと、
   前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含むことを特徴とする画像の処理方法。
2. 前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
   アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすることと、
   前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
   前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含むことを特徴とする請求項１に記載の方法。
3. 前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
   前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
   前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含むことを特徴とする請求項２に記載の方法。
4. 前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
   前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
   前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
   前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含むことを特徴とする請求項２に記載の方法。
5. 前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
   前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
   前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
   前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
   描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含むことを特徴とする請求項１に記載の方法。
6. 前記アニメキャラクターの肢体を線の形で描くことは、
   前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
   前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含むことを特徴とする請求項５に記載の方法。
7. 前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
   グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
   前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含むことを特徴とする請求項１～６のいずれか１項に記載の方法。
8. 前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
   グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
   メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含むことを特徴とする請求項１～６のいずれか１項に記載の方法。
9. 前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することは、
   前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
   前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含むことを特徴とする請求項１～８のいずれか１項に記載の方法。
10. 画像の処理装置であって、前記装置は、
    ターゲットオブジェクトを含む第１のフレーム画像を収集するための第１の収集ユニットと、
    前記第１のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第１の位置情報を得るための第１の検出ユニットと、
    前記キーポイントの第１の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
    前記ターゲットオブジェクトを含む第２のフレーム画像を収集するための第２の収集ユニットであって、前記第１のフレーム画像と前記第２のフレーム画像が連続するフレーム画像である第２の収集ユニットと、
    前記第２のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第２の位置情報を得るための第２の検出ユニットと、
    前記第１の位置情報と前記第２の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含むことを特徴とする画像の処理装置。
11. 前記処理ユニットは、さらに、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも１つを含むアニメ素材をロードすること、
    前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
    前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられることを特徴とする請求項１０に記載の装置。
12. 前記処理ユニットは、さらに、前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
    前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得るために用いられることを特徴とする請求項１１に記載の装置。
13. 前記処理ユニットは、さらに、前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
    前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
    前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられることを特徴とする請求項１１に記載の装置。
14. 前記処理ユニットは、さらに、前記キーポイントの第１の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、
    前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くこと、
    前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
    描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられることを特徴とする請求項１０に記載の装置。
15. 前記処理ユニットは、さらに、前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
    前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得るために用いられることを特徴とする請求項１４に記載の装置。
16. 前記処理ユニットは、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定すること、及び
    前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示すること、に用いられることを特徴とする請求項１０～１５のいずれか１項に記載の装置。
17. 前記処理ユニットは、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定すること、及び
    メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示すること、に用いられることを特徴とする請求項１０～１５のいずれか１項に記載の装置。
18. 前記更新ユニットは、さらに、前記第１の位置情報と前記第２の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定すること、及び
    前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第２のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすること、に用いられることを特徴とする請求項１０～１７のいずれか１項に記載の装置。
19. 電子機器であって、前記電子機器は、
    実行可能な命令を記憶するためのメモリと、
    前記実行可能な命令を実行すると、請求項１～９のいずれか１項に記載の画像の処理方法を実現するためのプロセッサと、を含むことを特徴とする電子機器。
20. 実行可能な命令が記憶されている記憶媒体であって、前記実行可能な命令が実行されると、請求項１～９のいずれか１項に記載の画像の処理方法を実現するために用いられることを特徴とする記憶媒体。
21. コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムが実行されると、請求項１～９のいずれか１項に記載の画像の処理方法を実現するために用いられることを特徴とするコンピュータプログラム製品。
    

Images