JP2014522528A - 仮想イメージで自動的に表情を再生する方法及び装置 - Google Patents

Abstract

本発明は仮想イメージで自動的に表情を再生する方法及び装置を提供する。該方法は、ゲーム過程においてゲームプレイヤーと関連するビデオ画像を収集し、該収集されたビデオ画像がゲームプレイヤーの顔画像であるかどうかを判断し、ＹＥＳである場合、ステップＢを実行し、ＮＯである場合、ステップＡに戻るステップＡと、該顔画像における顔特徴を抽出し、該抽出した顔特徴の運動方向を連続してＮ回（Ｎは２以上）収集することによって該顔特徴の運動軌跡を取得するステップＢと、ステップＢによって得られた顔特徴の運動軌跡に基づいて対応する顔表情を確定し、前記ゲームプレイヤーの仮想イメージで自動的に該確定された顔表情を再生するステップＣとを含む。
【選択図】図１

Description

関連出願の相互参照

本出願は、２０１２年０４月０６日、中国特許局に提出した出願番号が２０１２１００９８８１７．８号、発明の名称が「仮想イメージで自動的に表情を再生する方法及び装置」である中国特許出願の優先権を要求し、その全ての内容は引用により本出願に取込まれる。

本発明はコンピュータ技術に関し、特に仮想イメージで自動的に表情を再生する方法及び装置に関する。

現有のゲームでは、ゲームプレイヤーはすべて仮想の個人的なイメージを持って個人的な扮装する。該ゲームプレイヤーの仮想の個人的なイメージはＡｖａｔａｒと略称される。ゲーム過程において、ゲームプレイヤーは予め定義された表情機能から最も現在の気分状態を体現する表情をクリック選択し、自分のＡｖａｔａｒに再生し、他のゲームプレイヤーに自分の気分状態を知るようにする。例えば、ゲームで勝利した時、ゲームプレイヤーは予め定義された表情機能から喜びを表現する表情をクリック選択し、自分のＡｖａｔａｒに再生する。

従来のゲームでは、ゲームプレイヤーが能動的に表情をクリック選択するのが必要であるが、通常は実際のゲーム過程においては、ゲームプレイヤーは能動的に表情をクリック選択する暇がなくて、ゲームプレイヤーのＡｖａｔａｒは制限されて表情を再生できないことが分かる。従って、より良いアプローチは、ゲームプレイヤーのＡｖａｔａｒで表情を自動的に再生することであるが、従来の技術では、ゲームプレイヤーのＡｖａｔａｒで表情を自動的に再生することを実現する方法はまだない。

本発明の実施形態は仮想イメージで自動的に表情を再生する方法及び装置を提供して、ゲームプレイヤーの仮想イメージで自動的に表情を再生することを実現する。

本発明の実施形態に係る技術案は、以下を含む。
仮想イメージで自動的に表情を再生する方法であって、
ゲーム過程におけるゲームプレイヤーと関連するビデオ画像を収集し、該収集されたビデオ画像がゲームプレイヤーの顔画像であるかどうかを判断し、ＹＥＳである場合、ステップＢを実行し、ＮＯである場合、ステップＡに戻るステップＡと、
該顔画像における顔特徴を抽出し、該顔特徴の運動方向を連続してＮ回（Ｎは２以上）収集することによって該顔特徴の運動軌跡を取得するステップＢと、
ステップＢによって得られた顔特徴の運動軌跡に基づいて対応する顔表情を確定し、前記ゲームプレイヤーの仮想イメージで自動的に該確定された顔表情を再生するステップＣとを含む仮想イメージで自動的に表情を再生させる方法。

自動的に仮想イメージで表情を再生する装置であって、
ゲーム過程におけるゲームプレイヤーと関連するビデオ画像を収集し、該収集されたビデオ画像がゲームプレイヤーの顔画像であるかどうかを判断し、ＹＥＳである場合、軌跡確定ユニットに通知を送信し、ＮＯである場合、ゲーム過程におけるゲームプレイヤーと関連するビデオ画像を継続して収集するための収集ユニットと、
前記収集ユニットが送信した通知を受信した後、該顔画像における顔特徴を抽出し、該抽出された顔特徴の運動方向を連続してＮ回（Ｎは２以上）収集することによって該顔特徴の運動軌跡を取得するための軌跡確定ユニットと、
前記軌跡確定ユニットから得られた顔特徴の運動軌跡に基づいて対応する顔表情を確定し、前記ゲームプレイヤーの仮想イメージで自動的に該確定された顔表情を再生するための表情再生ユニットとを備える自動的に仮想イメージで表情を再生させる装置。

以上の技術案から分かるように、本発明の実施形態において、ゲームプレイヤーのゲーム過程における顔表情を収集し、顔画像から顔特徴を抽出し、その後連続してＮ回収集することによって該顔特徴の運動軌跡を取得し、該顔運動軌跡を利用して顔表情を確定し、顔表情を自動再生させる。これは従来技術におけるゲームプレイヤーが能動的に表情をクリック選択することに比べて、ゲームプレイヤーのＡｖａｔａｒなどの仮想イメージで自動的に表情を再生することを実現できる一方、ゲームプレイヤーを解放し、ゲームプレイヤーが能動的に表情をクリック再生させる必要がなく、ゲームプレイヤーの時間を節約する。

本発明の実施形態に係る方法のフローチャートである。 本発明の実施形態に係る顔特徴の模式図である。 本発明の実施形態に係るステップ１０３の実現フローチャートである。 本発明の実施形態に係る装置構造図である。

本発明の目的、技術案及びメリットをさらに明確にするために、以下、図面と具体的な実施形態を参照しながら本発明を詳細に説明する。

本発明に係る方法は図１に示す流れを含む。
図１を参照すると、図１は本発明の実施形態に係る方法のフローチャートである。図１に示すように、該流れは以下のステップ１０１〜１０３を含んでもよい。

ステップ１０１において、ゲーム過程におけるゲームプレイヤーと関連するビデオ画像を収集し、該収集されたビデオ画像がゲームプレイヤーの顔画像であるかどうかを判断し、ＹＥＳである場合、ステップ１０２を実行し、ＮＯである場合、ステップ１０１に戻る。

ビデオ画像はフレームを単位として伝送され、これに基づいて、本ステップ１０１では、１フレーム画像を収集するたびに、該収集されたフレーム画像がゲームプレイヤーの顔画像であるかどうかを判断し、ＹＥＳである場合、ステップ１０２を実行し、ＮＯである場合、次のフレーム画像を収集し続ける。

ステップ１０２において、該顔画像における顔特徴を抽出し、該抽出された顔特徴の運動方向を連続してＮ回収集することによって該顔特徴の運動軌跡を取得する。

そのうち、Ｎは２以上である。

ただし、本ステップ１０２における収集、及びステップ１０１における収集はビデオキャプチャ技術によって実現される。

なお、本ステップ１０２における抽出は顔認識技術によって実現される。

ステップ１０３において、ステップ１０２によって得られた顔特徴の運動軌跡に基づいて対応する顔表情を確定し、前記ゲームプレイヤーの仮想イメージで自動的に該確定された顔表情を再生する。

ステップ１０１〜１０３から分かるように、本発明において、ビデオキャプチャ技術によってゲームプレイヤーのゲーム過程における顔画像を収集し、顔認識技術によって顔画像から顔特徴を抽出し、その後連続するＮ回の収集によって該顔特徴の運動軌跡を取得し、該顔運動軌跡を利用して顔表情を確定して、顔表情を自動再生させる。これは従来技術におけるゲームプレイヤーが能動的に表情をクリック選択することに比べて、ゲームプレイヤーのＡｖａｔａｒなどの仮想イメージで自動的に表情を再生することを実現できる一方、ゲームプレイヤーを解放し、ゲームプレイヤーが能動的に表情をクリック再生させる必要がなく、ゲームプレイヤーの時間を節約する。

また、好ましくは、本発明において、ステップ１０２で抽出された顔特徴は少なくともゲームプレイヤーの顔の五官の部位を含み、そのうち、該五官の部位は両眉、両目、鼻、両頬（すなわちほっぺた）及び唇でもよい。且つ、各顔部位は複数の特徴ベクトルからなり、具体的には図２に示す通りである。例えば、図２において、眉は５つの特徴点が連結されてなる５つの特徴ベクトルからなる。

さらに、ステップ１０２において、該抽出された顔特徴の運動方向を連続してＮ回収集することによって該顔特徴の運動軌跡を取得することは、
抽出された各顔部位に対して、該顔部位を構成する各特徴ベクトルを連続してＮ回収集すること、Ｎ回収集された該顔部位を構成する各特徴ベクトルを利用して該顔部位の運動軌跡を確定することを含んでもよい。顔部位が鼻であることを例にすると、該鼻を構成する各特徴ベクトル、即ちベクトル４７〜ベクトル５７を連続してＮ回収集し、Ｎ回収集された該ベクトル４７〜ベクトル５７を利用して該顔部位の運動軌跡を確定する。そのうち、Ｎ回収集されたベクトル４７〜ベクトル５７を利用して該顔部位の運動軌跡を確定することは、従来のベクトルによる軌跡の確定方式に従って実行してもよく、本発明は重点的に説明しない。

ステップ１０２に対する説明に基づいて、ステップ１０３は具体的に図３に示す流れを含んでもよい。

図３を参照すると、図３は本発明の実施形態に係るステップ１０３の実現フローチャートである。図３に示すように、該流れは以下のステップ３０１〜３０３を含んでもよい。
ステップ３０１では、事前訓練から得られた共通性顔運動軌跡と顔表情との間の対応関係集合において該抽出された各顔部位の運動軌跡をマッチングし、前記対応関係集合に以下の対応関係、即ち、該対応関係の共通性顔運動軌跡に、該抽出された各顔部位の運動軌跡と関連する運動軌跡が存在するという対応関係がある場合、ステップ３０２を実行し、さもないと、ステップ３０３を実行する。

好ましくは、ステップ３０１において、該対応関係の共通性顔運動軌跡に、該抽出された各顔部位の運動軌跡と関連する運動軌跡が存在することは、
抽出された各顔部位の運動軌跡に対して、該対応関係の共通性顔運動軌跡に、該抽出された顔部位の運動軌跡とのマッチング率が該抽出された顔部位に対応するマッチング数値以上である顔部位の運動軌跡が存在することを含んでもよい。そのうち、異なる顔部位に対応するマッチング数値は同一又は異なっていてもよく、本発明は具体的に限定しない。

なお、ステップ３０１において、事前訓練から得られた共通性顔運動軌跡と顔表情との間の対応関係集合は、
ある特定の顔表情、例えば微笑、泣き、口尖らし、眉ひそめなどの行為に対して、
複数回の収集によって顔各部位の特定の顔表情における運動軌跡を確定するステップと、
各顔部位に対して、確定された該部位の該特定の顔表情における運動軌跡から共通性運動軌跡を抽出するステップと、
各顔部位の共通性運動軌跡を該特定の顔表情とバインドし、共通性顔運動軌跡と顔表情との間の対応関係を形成するステップと、を通じて実現される。

ステップ３０２において、前記ゲームプレイヤーの仮想イメージで自動的に該存在する対応関係における顔表情を再生する。

ステップ３０３において、ステップ１０１における収集に戻る。

こうように、前記ステップ３０１〜ステップ３０３を通じて前記ステップ１０３が実現される。

ここまで、本発明に係る方法の説明を完了する。以下は本発明に係る装置を説明する。
図４を参照すると、図４は本発明の実施形態に係る装置構造図である。該装置は仮想イメージで自動的に表情を再生し、収集ユニット、軌跡確定ユニット及び表情再生ユニットを備える。

そのうち、収集ユニットは、ゲーム過程におけるゲームプレイヤーと関連するビデオ画像を収集し、該収集されたビデオ画像がゲームプレイヤーの顔画像であるかどうかを判断し、ＹＥＳである場合、軌跡確定ユニットに通知を送信し、ＮＯである場合、ゲーム過程においてゲームプレイヤーと関連するビデオ画像を継続して収集する。
軌跡確定ユニットは、前記収集ユニットが送信した通知を受信した後、該顔画像における顔特徴を抽出し、該抽出された顔特徴の運動方向を連続してＮ回（Ｎは２以上）収集することによって該顔特徴の運動軌跡を取得する。
表情再生ユニットは、前記軌跡確定ユニットから得られた顔特徴の運動軌跡に基づいて対応する顔表情を確定し、前記ゲームプレイヤーの仮想イメージで自動的に該確定された顔表情を再生する。

好ましくは、図４に示すように、前記軌跡確定ユニットは、特徴抽出モジュール
と軌跡確定モジュールを備えてもよい。

そのうち、特徴抽出モジュールは、前記収集ユニットが収集した顔画像における顔特徴を抽出する。前記抽出された顔特徴は少なくともゲームプレイヤーの顔の五官の部位を含み、各顔部位は複数の特徴ベクトルからなる。
軌跡確定モジュールは、前記特徴抽出モジュールが抽出した各顔部位に対して、該顔部位を構成する各特徴ベクトルを連続してＮ回収集し、Ｎ回収集された該顔部位を構成する各特徴ベクトルを利用して該顔部位の運動軌跡を確定する。

好ましくは、図４に示すように、前記表情再生ユニットは、マッチングモジュールと表情再生モジュールを備えてもよい。

そのうち、マッチングモジュールは、事前訓練から得られた共通性顔運動軌跡と顔表情との間の対応関係集合において該抽出された各顔部位の運動軌跡をマッチングし、前記対応関係集合に以下の対応関係、即ち、該対応関係の共通性顔運動軌跡に、該抽出された各顔部位の運動軌跡と関連する運動軌跡が存在するという対応関係がある場合、再生通知を表情再生モジュールに送信する。
そのうち、前記対応関係の共通性顔運動軌跡に、該抽出された各顔部位の運動軌跡と関連する運動軌跡が存在することは、
抽出された各顔部位の運動軌跡に対して、該対応関係の共通性顔運動軌跡に、該抽出された顔部位の運動軌跡とのマッチング率が該抽出された顔部位に対応するマッチング数値以上である顔部位の運動軌跡が存在することを含んでもよい。

さらに、好ましくは、前記マッチングモジュールは前記対応関係が存在しない時に、前記収集ユニットをトリガーしてゲーム過程におけるゲームプレイヤーと関連するビデオ画像を継続して収集できる。
表情再生モジュールは再生通知を受信した後、前記ゲームプレイヤーの仮想イメージで自動的に該存在する対応関係における顔表情を再生する。

ここまで、本発明に係る装置の説明を完了する。

以上の技術案から分かるように、本発明において、ゲームプレイヤーのゲーム過程における顔画像を収集し、顔画像から顔特徴を抽出し、その後連続するＮ回の収集によって該顔特徴の運動軌跡を取得し、該顔運動軌跡を利用して顔表情を確定し、顔表情を自動再生させる。これは従来技術におけるゲームプレイヤーが能動的に表情をクリック選択することに比べて、ゲームプレイヤーのＡｖａｔａｒなどの仮想イメージで自動的に表情を再生することを実現できる一方、ゲームプレイヤーを解放し、ゲームプレイヤーが能動的に表情をクリック再生する必要がなく、ゲームプレイヤーの時間を節約する。

本発明の実施形態はさらに、命令セットが記憶され、該命令セットが実行される時、該機器に前記実施形態のいずれかに記載の方法を実行させる機器可読媒体を提供する。該機器可読媒体はコンピュータのフロッピーディスク、ハードディスク又は光ディスクなどであってもよく、該機器は携帯電話、パソコン、サーバ又はネットワークデバイスなどであってもよい。

前記記述は本発明の好ましい実施形態に過ぎず、本発明を限定するものではなく、本発明の趣旨と原則を逸脱せずに行う任意の変更、等価置換、改良等は、いずれも本発明の保護範囲に含まれる。

なお、前記の各方法の実施形態に対して、簡単に説明するために、それを一連の動作の組み合わせとして説明したが、当業者が知るべきことは、本発明に基づいて、あるステップは他の順序を採用するか、または同時に行うことが可能であるため、本発明は説明された動作順序に制限されない。次に、当業者が知るべきことは、明細書で説明した実施形態はすべて好ましい実施形態であり、関わる動作とモジュールは必ずしも本発明に必要なものではない。

前記実施形態において、各実施形態に対する説明はそれぞれの重点があり、ある実施形態で詳しく説明されていない部分は、他の実施形態の関連する説明を参照してもよい。

一般の当業者は、前記方法を実現する全部或は一部のステップがプログラム命令に関連するハードウェアによって完成でき前記プログラムがコンピューターの可読記憶媒体に記憶でき、該プログラムが実行される時、前記方法の実施形態を含むステップを実行し、前記記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク或は光ディスク等の各種のプログラムコードを記憶可能な媒体を含むと理解可能である。

最後に説明すべきなのは、前記実施形態は単に本発明の技術案を説明するためのものに過ぎず、それを限定するものではなく、前記実施形態を参照して本発明を詳しく説明したが、一般の当業者が理解すべきことは、依然として前記各実施形態に記載の技術案を変更、又は一部の技術特徴を等価置換することができ、これらの変更又は置換は、相応する技術案の本質を本発明各実施形態の技術案の趣旨と範囲から逸脱させることはない。

Claims (11)

1. 仮想イメージで自動的に表情を再生する方法であって、
   ゲーム過程におけるゲームプレイヤーと関連するビデオ画像を収集し、該収集されたビデオ画像がゲームプレイヤーの顔画像であるかどうかを判断し、ＹＥＳである場合、ステップＢを実行し、ＮＯである場合、ステップＡに戻るステップＡと、
   該顔画像における顔特徴を抽出し、該顔特徴の運動方向を連続してＮ回（Ｎは２以上）収集することによって該顔特徴の運動軌跡を取得するステップＢと、
   ステップＢによって得られた顔特徴の運動軌跡に基づいて対応する顔表情を確定し、前記ゲームプレイヤーの仮想イメージで自動的に該確定された顔表情を再生するステップＣと、を含むことを特徴とする仮想イメージで自動的に表情を再生する方法。
2. ステップＢで抽出された顔特徴は少なくともゲームプレイヤーの顔の五官の部位を含み、各顔部位は複数の特徴ベクトルからなり、
   ステップＢにおいて、顔特徴の運動方向を連続してＮ回収集することによって顔特徴の運動軌跡を取得することは、
   抽出された各顔部位に対して、該顔部位を構成する各特徴ベクトルを連続してＮ回収集することと、
   Ｎ回収集された該顔部位を構成する各特徴ベクトルを利用して該顔部位の運動軌跡を確定することと、を含むことを特徴とする請求項１に記載の方法。
3. 前記ステップＣは、
   事前訓練から得られた共通性顔運動軌跡と顔表情との対応関係集合において該抽出された各顔部位の運動軌跡をマッチングし、前記対応関係集合に以下の対応関係、即ち、該対応関係の共通性顔運動軌跡に、抽出された各顔部位の運動軌跡と関連する運動軌跡が存在するという対応関係が存在する場合、ステップＣ２を実行するステップＣ１と、
   前記ゲームプレイヤーの仮想イメージで自動的に該存在する対応関係における顔表情を再生するステップＣ２と、を含むことを特徴とする請求項２に記載の方法。
4. 前記ステップＣ１において、該対応関係の共通性顔運動軌跡に、該抽出された各顔部位の運動軌跡と関連する運動軌跡が存在することは、
   抽出された各顔部位の運動軌跡に対して、該対応関係の共通性顔運動軌跡に、該抽出された顔部位の運動軌跡とのマッチング率が該抽出された顔部位に対応するマッチング数値以上である顔部位運動軌跡が存在すること、を含むことを特徴とする請求項３に記載の方法。
5. 前記ステップＣ１において、前記対応関係集合に前記対応関係が存在しない場合、該方法は、
   ステップＡにおける収集に戻ることをさらに含むことを特徴とする請求項３に記載の方法。
6. 仮想イメージで自動的に表情を再生する装置であって、
   ゲーム過程におけるゲームプレイヤーと関連するビデオ画像を収集し、該収集されたビデオ画像がゲームプレイヤーの顔画像であるかどうかを判断し、ＹＥＳである場合、軌跡確定ユニットに通知を送信し、ＮＯである場合、ゲーム過程においてゲームプレイヤーと関連するビデオ画像を継続して収集するための収集ユニットと、
   前記収集ユニットが送信した通知を受信した後、該顔画像における顔特徴を抽出し、該抽出された顔特徴の運動方向を連続してＮ回（Ｎは２以上）収集することによって該顔特徴の運動軌跡を取得するための軌跡確定ユニットと、
   前記軌跡確定ユニットから得られた顔特徴の運動軌跡に基づいて対応する顔表情を確定し、前記ゲームプレイヤーの仮想イメージで自動的に該確定された顔表情を再生するための表情再生ユニットとを含むことを特徴とする仮想イメージで自動的に表情を再生する装置。
7. 前記軌跡確定ユニットは、
   前記収集ユニットが収集した顔画像における顔特徴を抽出することに用いられ、前記抽出された顔特徴は少なくともゲームプレイヤーの顔の五官の部位を含み、各顔部位は複数の特徴ベクトルからなる特徴抽出モジュールと、
   前記特徴抽出モジュールが抽出した各顔部位に対して、該顔部位を構成する各特徴ベクトルを連続してＮ回収集し、Ｎ回収集された該顔部位を構成する各特徴ベクトルを利用して該顔部位の運動軌跡を確定する軌跡確定モジュールと、を含むことを特徴とする請求項６に記載の装置。
8. 前記表情再生ユニットは、
   事前訓練から得られた共通性顔運動軌跡と顔表情との対応関係集合において該抽出された各顔部位の運動軌跡をマッチングし、前記対応関係集合において、以下の対応関係、即ち、該対応関係の共通性顔運動軌跡に、該抽出された各顔部位の運動軌跡と関連する運動軌跡が存在するという対応関係が存在する場合、再生通知を表情再生モジュールに送信するためのマッチングモジュールと、
   再生通知を受信した後、前記ゲームプレイヤーの仮想イメージで自動的に該存在する対応関係における顔表情を再生するための表情再生モジュールとを含むことを特徴とする請求項７に記載の装置。
9. 前記対応関係の共通性顔運動軌跡に、該抽出された各顔部位の運動軌跡と関連する運動軌跡が存在することは、
   抽出された各顔部位の運動軌跡に対して、該対応関係の共通性顔運動軌跡に、該抽出された顔部位の運動軌跡とのマッチング率が該抽出された顔部位に対応するマッチング数値以上である顔部位運動軌跡が存在すること、を含むことを特徴とする請求項８に記載の装置。
10. 前記マッチングモジュールは、さらに、前記対応関係集合に前記対応関係が存在しない時に、前記収集ユニットをトリガーしてゲーム過程におけるゲームプレイヤーと関連するビデオ画像を継続して収集するために用いられることを特徴とする請求項８に記載の装置。
11. 命令セットが記憶され、該命令セットが実行される時、請求項１〜５のいずれかに記載の方法を実行させることを特徴とする機器可読媒体。

Images