JP2016012248A - 動作処理装置、動作処理方法及びプログラム - Google Patents
動作処理装置、動作処理方法及びプログラム Download PDFInfo
- Publication number
- JP2016012248A JP2016012248A JP2014133637A JP2014133637A JP2016012248A JP 2016012248 A JP2016012248 A JP 2016012248A JP 2014133637 A JP2014133637 A JP 2014133637A JP 2014133637 A JP2014133637 A JP 2014133637A JP 2016012248 A JP2016012248 A JP 2016012248A
- Authority
- JP
- Japan
- Prior art keywords
- mouth
- main part
- shape
- face
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
このようなバーチャルマネキンの顔の表情を豊かにするために、写真やイラストや漫画などの画像中の顔を構成する主要部(例えば、目や口等)を変形させて動きを表現する技術が知られている。具体的には、被写体であるヒトの注視点に基づいて、そのヒトのコンピュータグラフィックスで表現される顔モデル中の眼球を動作させる手法(例えば、特許文献2参照)や、発音される言葉の母音や子音毎に口の形状を変えてリップシンクさせる手法(例えば、特許文献3参照)などがある。
顔画像を取得する取得手段と、
前記取得手段により取得された顔画像から顔を構成する主要部を検出する検出手段と、
前記検出手段により検出された前記主要部の形状の種類を特定する特定手段と、
前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段と、
を備えたことを特徴としている。
動作処理装置を用いた動作処理方法であって、
顔画像を取得する処理と、
取得された顔画像から顔を構成する主要部を検出する処理と、
検出された前記主要部の形状の種類を特定する処理と、
特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する処理と、
を含むことを特徴としている。
動作処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段により取得された顔画像から顔を構成する主要部を検出する検出手段、
前記検出手段により検出された前記主要部の形状の種類を特定する特定手段、
前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段、
として機能させることを特徴としている。
図1は、本発明を適用した一実施形態の動作処理装置100の概略構成を示すブロック図である。
また、中央制御部1、メモリ2、記憶部3、動作処理部5及び表示制御部7は、バスライン8を介して接続されている。
具体的には、中央制御部1は、動作処理装置100の各部を制御するCPU(Central Processing Unit;図示略)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、動作処理装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
顔画像データ3aは、顔を含む二次元の顔画像のデータである。具体的には、顔画像データ3aは、例えば、写真画像中のヒトの顔画像、漫画で表されたヒトや動物の顔画像、イラストの中のヒトや動物の顔画像等の画像データである。また、顔画像データ3aは、少なくとも顔を含む画像の画像データであれば良く、例えば、顔のみの画像データであっても良いし、胸から上の部分の画像データであっても良い。
なお、顔画像データ3aに係る顔画像は、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
基準動作データ3bは、顔の各主要部(例えば、目E(図4(a)等参照)、口M(図10(a)等参照)等)の動きを表現する際の基準となる動きを示す情報を含んでいる。具体的には、基準動作データ3bは、各主要部毎に規定され、所定空間内における複数の制御点の動きを示す情報を含み、例えば、複数の制御点の所定空間での位置座標(x, y)を示す情報や変形ベクトル等が時間軸に沿って並べられている。
すなわち、例えば、目Eの基準動作データ3bは、上瞼や下瞼に対応する複数の制御点が設定され、これら制御点の変形ベクトルが規定されている。また、口Mの基準動作データ3bは、上唇や下唇や左右の口角に対応する複数の制御点が設定され、これら制御点の変形ベクトルが規定されている。
なお、動作処理部5の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
すなわち、画像取得部(取得手段)5aは、顔動作処理の処理対象となる顔を含む二次元の画像の顔画像データ3aを取得する。具体的には、画像取得部5aは、例えば、記憶部3に記憶されている所定数の顔画像データ3aの中で、ユーザによる操作入力部4の所定操作に基づいて指定されたユーザ所望の顔画像データ3aを顔動作処理の処理対象として取得する。
なお、画像取得部5aは、図示しない通信制御部を介して接続された外部機器(図示略)から顔画像データを取得しても良いし、図示しない撮像部により撮像されることで生成された顔画像データを取得しても良い。
すなわち、顔主要部検出部(検出手段)5bは、画像取得部5aにより取得された顔画像データの顔画像から、例えば、AAM(Active Appearance Model)を用いた処理により、左右各々の目と眉、鼻、口、顔輪郭等の主要部を検出する。
ここで、AAMとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、顔主要部検出部5bは、複数のサンプル顔画像における所定の特徴部位(例えば、目尻や鼻頭やフェイスライン等)の位置や画素値(例えば、輝度値)の統計的分析結果を所定の登録手段に登録しておく。そして、顔主要部検出部5bは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔画像をモデル化する。これにより、顔画像内で、例えば、目、眉、鼻、口、顔輪郭等の主要部がモデル化される。
なお、主要部の検出においてAAMを用いて行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。
すなわち、第1算出部(第1算出手段)5cは、目Eの上下方向(縦方向y)及び左右方向(横方向x)の長さをそれぞれ算出する。具体的には、第1算出部5cは、顔主要部検出部5bにより検出された目Eにおける、上下方向の画素数が最大となる部分の画素数を上下方向の長さhとして、また、左右方向の画素数が最大となる部分の画素数を左右方向の長さwとしてそれぞれ算出する(図5(a)参照)。
また、第1算出部5cは、目Eの上側部分及び下側部分の左右方向の長さをそれぞれ算出する。具体的には、第1算出部5cは、顔主要部検出部5bにより検出された目Eを上下方向に略等しい幅で複数の領域(例えば、四つの領域)に分割し、最も上の領域とその一つ下側の領域との分割線の左右方向の画素数を目Eの上側部分の長さwtとして、また、最も下の領域とその一つ上側の領域との分割線の左右方向の画素数を目Eの下側部分の長さwbとしてそれぞれ算出する(図5(b)及び図5(c)参照)。
すなわち、形状特定部(特定手段)5dは、顔主要部検出部5bにより検出された主要部の形状の種類を特定する。具体的には、形状特定部5dは、例えば、主要部としての目Eや口Mの形状の種類を特定する。
例えば、目Eの形状の種類を特定する場合、形状特定部5dは、第1算出部5cにより算出された目Eの上下方向及び左右方向の長さの比率(h/w)を算出し、当該比率(h/w)が所定範囲内にあるか否かに応じてヒトの目Eの形状(例えば、横長の楕円形状;図4(a)参照)であるか否かを判定する。また、形状特定部5dは、第1算出部5cにより算出された目Eの上側部分及び下側部分の左右方向の長さwt、wbどうしを比較して、これらの長さwt、wbが略等しいか否かに応じて漫画風の目Eの形状(図4(b)参照)であるか動物風の目Eの形状(例えば、略真円形状;図4(c)参照)であるかを判定する。
具体的には、形状特定部5dは、顔主要部検出部5bにより検出された口Mの上唇と下唇の合わせ目となる境界線Lの左右の両端部を左右の口角Ml、Mrの位置とするとともに、境界線Lの左右方向の略中央部を口中央部Mcとする。そして、形状特定部5dは、左右の口角Ml、Mrと口中央部Mcとの上下方向の位置関係に基づいて、左右の口角Ml、Mrと口中央部Mcが略等しい上下位置の口Mの形状(図8(a)参照)であるか、左右の口角Ml、Mrに対して口中央部Mcが高い上下位置の口Mの形状(図8(b)参照)であるか、左右の口角Ml、Mrが口中央部Mcに対して高い上下位置の口Mの形状(図8(c)参照)であるかを特定する。
すなわち、第2算出部(第2算出手段)5eは、口Mの左右方向の長さlm、顔の口Mに対応する位置の左右方向の長さlf及び口Mから顎先までの上下方向の長さljをそれぞれ算出する(図9(a)等参照)。
具体的には、第2算出部5eは、口Mの境界線Lの左右の両端部(左右の口角Ml、Mr)間の左右方向の画素数を口Mの左右方向の長さlmとして算出する。また、第2算出部5eは、口Mの境界線Lの左右の両端部を通り左右方向に延在する直線と顔主要部検出部5bにより検出された顔輪郭との二つの交点を特定して、二つの交点間の左右方向の画素数を顔の口Mに対応する位置の左右方向の長さlfとして算出する。また、第2算出部5eは、口Mの境界線Lの左右方向の略中央部(口中央部Mc)を通り上下方向に延在する直線と顔主要部検出部5bにより検出された顔輪郭との交点を特定して、特定された交点と口中央部Mcとの間の上下方向の画素数を口Mから顎先までの上下方向の長さljとして算出する。
すなわち、動作条件設定部(設定手段)5fは、形状特定部5dにより特定された主要部(例えば、目Eや口M等)の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する。具体的には、動作条件設定部5fは、形状特定部5dにより特定された目Eの形状の種類に基づいて、当該目Eを瞬き動作させる際の制御条件を設定する。また、動作条件設定部5fは、形状特定部5dにより特定された口Mの形状の種類に基づいて、当該口Mを開閉動作させる際の制御条件を設定する。
例えば、動作条件設定部5fは、記憶部3から処理対象となる主要部の基準動作データ3bを読み出して取得し、形状特定部5dにより特定された主要部の形状の種類に基づいて、基準動作データ3bに含まれる当該主要部を動作させるための複数の制御点の動きを示す情報の補正内容を制御条件として設定する。
また、動作条件設定部5fは、第1算出部5cにより算出された目Eの上側部分及び下側部分の左右方向の長さwt、wbの大きさに応じて、当該目Eを瞬き動作させる際の上瞼及び下瞼のうちの少なくとも一方の変形を制御する制御条件を設定しても良い。例えば、動作条件設定部5fは、目Eの上側部分及び下側部分の左右方向の長さwt、wbどうしを比較して、長さが短い方に対応する瞼の変形量(例えば、下瞼の変形量n)が長い方に対応する瞼の変形量(例えば、上瞼の変形量m)に対して相対的に大きくなるように(図6(b)参照)、基準動作データ3bに含まれる上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容を設定する。また、動作条件設定部5fは、目Eの上側部分及び下側部分の左右方向の長さwt、wbどうしが略等しい場合には(図6(c)参照)、上瞼の変形量m及び下瞼の変形量nが略等しくなるように、基準動作データ3bに含まれる上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容を設定する。
例えば、動作条件設定部5fは、形状特定部5dにより特定された口Mの形状が左右の口角Ml、Mrに対して口中央部Mcが高い上下位置の口Mの形状(図10(b)参照)である場合には、左右の口角Ml、Mrの上方向への変形量が相対的に大きくなるように、基準動作データ3bに含まれる口角Ml、Mrに対応する複数の制御点の動きを示す情報の補正内容を設定する。また、動作条件設定部5fは、形状特定部5dにより特定された口Mの形状が左右の口角Ml、Mrが口中央部Mcに対して高い上下位置の口Mの形状(図10(c)参照)である場合には、左右の口角Ml、Mrの下方向への変形量が相対的に大きくなるように、基準動作データ3bに含まれる左右の口角Ml、Mrに対応する複数の制御点の動きを示す情報の補正内容を設定する。
具体的には、動作条件設定部5fは、第2算出部5eにより算出された口Mの左右方向の長さlm、顔の口Mに対応する位置の左右方向の長さlf及び口Mから顎先までの上下方向の長さljに基づいて、口M以外の主要部に対する口Mとの相対的な位置関係を特定する。そして、動作条件設定部5fは、特定された位置関係に基づいて、当該口Mを開閉動作させる際の上唇及び下唇のうちの少なくとも一方の変形を制御する制御条件を設定する。例えば、動作条件設定部5fは、口Mの左右方向の長さlmと顔の口Mに対応する位置の左右方向の長さlfを比較して、顔輪郭内における口Mの左右の領域の大きさを特定する。そして、動作条件設定部5fは、顔輪郭内における口Mの左右の領域の大きさ及び口Mから顎先までの上下方向の長さljに基づいて、口Mを開閉動作させる際の上下方向の開閉や左右方向の開閉を制御する制御条件を設定する。
すなわち、例えば、開閉動作する口Mの左右方向及び上下方向への変形量は、当該口Mの大きさ、特に、口Mの左右方向の長さlmを基準として変化する。例えば、一般的にlmの大きさが大きいほど口Mを開閉動作する際の左右方向及び上下方向への変形量が大きくなる。そのため、口Mの左右方向の長さlmを基準として、顔輪郭内における口Mの左右の領域の大きさや口Mから顎先までの上下方向の長さljが相対的に大きい場合には、基準動作データ3bに基づいて口Mを変形させても問題ないと考えられる。
一方、口Mから顎先までの上下方向の長さljが相対的に小さい場合(図11(b)参照)には、動作条件設定部5fは、下唇の下方向への変形量が相対的に小さくなるように、基準動作データ3bに含まれる上唇や下唇に対応する複数の制御点の動きを示す情報の補正内容を設定する。また、顔輪郭内における口Mの左右の領域の大きさが相対的に大きい場合(図11(c)参照)には、動作条件設定部5fは、左右の口角Ml、Mrの左右方向への変形量が相対的に大きくなるように、基準動作データ3bに含まれる左右の口角Ml、Mrに対応する複数の制御点の動きを示す情報の補正内容を設定する。
また、上記した目Eや口M等の主要部を動作させる際の制御内容は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
さらに、主要部として目E及び口Mを例示して、その制御条件を設定するようにしたが、一例であってこれに限られるものではなく、例えば、鼻、眉、顔輪郭等の他の主要部であっても良い。このとき、例えば、目Eや口Mを動作させる際の制御条件を考慮して、他の主要部の制御条件を設定するようにしても良い。すなわち、例えば、目Eを瞬き動作させる際の制御条件を考慮して、眉や鼻等の目Eの周辺の主要部を関連して動作させるような制御条件を設定しても良いし、また、口Mを開閉動作させる際の制御条件を考慮して、鼻や顔輪郭等の口Mの周辺の主要部を関連して動作させるような制御条件を設定しても良い。
具体的には、動作生成部5gは、処理対象となる主要部の基準動作データ3bと、動作条件設定部5fにより設定された基準動作データ3bの補正内容とに基づいて、複数の制御点の動きを示す情報を補正して、補正後のデータを当該主要部の動作データとして生成する。
なお、動作生成部5gにより生成された動作データは、所定の格納手段(例えば、メモリ2等)に出力されて一時的に格納されても良い。
すなわち、動作制御部(動作制御手段)5hは、画像取得部5aにより取得された顔画像内で、動作条件設定部5fにより設定された制御条件に従って主要部を動作させる。具体的には、動作制御部5hは、処理対象となる主要部の所定位置に複数の制御点を設定するとともに、動作生成部5gにより生成された処理対象となる主要部の動作データを取得する。そして、動作制御部5hは、取得された動作データに規定されている複数の制御点の動きを示す情報に基づいて複数の制御点を変位させることで、当該主要部を動作させる変形処理を行う。
具体的には、表示制御部7は、例えば、GPU(Graphics Processing Unit)やVRAM(Video Random Access Memory)等を具備するビデオカード(図示略)を備えている。そして、表示制御部7は、中央制御部1からの表示指示に従って、顔動作処理にて主要部を動作させるための各種画面の表示用データをビデオカードによる描画処理によって生成し、表示部6に出力する。これにより、表示部6は、例えば、顔動作処理にて顔画像の主要部(例えば、目Eや口M等)を動作させたり顔の表情を変化させるように変形させたコンテンツを表示する。
次に、顔動作処理について図2〜図11を参照して説明する。
図2は、顔動作処理に係る動作の一例を示すフローチャートである。
次に、顔主要部検出部5bは、画像取得部5aにより取得された顔画像データの顔画像から、例えば、AAMを用いた処理により、左右各々の目、鼻、口、眉、顔輪郭等の主要部を検出する(ステップS2)。
なお、処理内容の詳細は後述するが、主要部制御条件設定処理として、目制御条件設定処理(図3参照)及び口制御条件設定処理(図7参照)を例示する。
例えば、動作生成部5gは、目制御条件設定処理や口制御条件設定処理にて設定された制御条件に基づいて、目Eや口Mを動作させるための動作データを生成し、動作制御部5hは、動作生成部5gにより生成された動作データに基づいて、顔画像内で目Eや口Mを動作させる処理を行う。
次に、目制御条件設定処理について図3〜図6を参照して説明する。
図3は、目制御条件設定処理に係る動作の一例を示すフローチャートである。また、図4(a)〜図4(c)、図5(a)〜図5(c)、図6(a)〜図6(c)は、目制御条件設定処理を説明するための図である。
なお、図4(a)〜図4(c)、図5(a)〜図5(c)、図6(a)〜図6(c)の各々の目Eは、左側(画像に向かって右側)の目を模式的に表している。
ここで、比率(h/w)が所定範囲内にあると判定されると(ステップS22;YES)、形状特定部5dは、処理対象の目Eが横長の楕円形状をなすヒトの目Eの形状(図4(a)参照)であると特定する(ステップS23)。そして、動作条件設定部5fは、目Eを瞬き動作させる際の制御条件として、上瞼に対応する複数の制御点の動きを示す情報(例えば、変形ベクトル等)のみを制御条件として設定する(ステップS24)。この場合、下瞼の変形量nは「0」となり、上瞼が変形量mで変形する動作となる。
そして、形状特定部5dは、第1算出部5cにより算出された目Eの上側部分の左右方向の長さwt及び下側部分の左右方向の長さwbが略等しいか否かを判定する(ステップS26)。
そして、動作条件設定部5fは、長さが短い方に対応する瞼の変形量(例えば、下瞼の変形量n)が長い方に対応する瞼の変形量(例えば、上瞼の変形量m)に対して相対的に大きくなるように、基準動作データ3bに含まれる上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する(ステップS28)。
このとき、動作条件設定部5fは、目Eの瞬き動作の際に目尻が下がるような表現がなされるように、上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容(変形ベクトル等)を設定しても良い(図6(b)参照)。
そして、動作条件設定部5fは、上瞼の変形量m及び下瞼の変形量nが略等しくなるように、基準動作データ3bに含まれる上瞼や下瞼に対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する(ステップS30)。
次に、口制御条件設定処理について図7〜図10を参照して説明する。
図7は、口制御条件設定処理に係る動作の一例を示すフローチャートである。また、図8(a)〜図8(c)、図9(a)〜図9(c)、図10(a)〜図10(c)、図11(a)〜図11(c)は、口制御条件設定処理を説明するための図である。
次に、形状特定部5dは、左右の口角Ml、Mrと口中央部Mcとが略等しい上下位置であるか否かを判定する(ステップS42)。
ここで、左右の口角Ml、Mrに対して口中央部Mcが高い上下位置であると判定されると(ステップS43;YES)、動作条件設定部5fは、左右の口角Ml、Mrの上方向への変形量が相対的に大きくなるように、基準動作データ3bに含まれる口角Ml、Mrに対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する(ステップS44;図10(b)参照)。
一方、ステップS43にて、左右の口角Ml、Mrに対して口中央部Mcが高い上下位置でない(左右の口角Ml、Mrが口中央部Mcに対して高い上下位置である)と判定されると(ステップS43;NO)、動作条件設定部5fは、左右の口角Ml、Mrの下方向への変形量が相対的に大きくなるように、基準動作データ3bに含まれる左右の口角Ml、Mrに対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する(ステップS45;図10(c)参照)。
続けて、動作条件設定部5fは、口Mの左右方向の長さlmを基準として、口Mから顎先までの上下方向の長さljが相対的に大きいか否かを判定する(ステップS47)。
一方、顔輪郭内における口Mの左右の領域の大きさが相対的に大きいと判定されると(ステップS49;YES)、動作条件設定部5fは、左右の口角Ml、Mrの左右方向への変形量が相対的に大きくなるように、基準動作データ3bに含まれる左右の口角Ml、Mrに対応する複数の制御点の動きを示す情報の補正内容を制御条件として設定する(ステップS51;図11(c)参照)。
さらに、目Eの上側部分の左右方向の長さwt及び下側部分の左右方向の長さwbの大きさに応じて、当該目Eを瞬き動作させる際の上瞼及び下瞼のうちの少なくとも一方の変形を制御することで、処理対象となる目Eが漫画風の目Eの形状や動物風の目Eの形状であっても不自然な変形を抑制した自然な瞬き動作を行わせることができる。
さらに、顔主要部検出部5bにより検出された口M以外の主要部(例えば、顎先等)に対する口Mとの相対的な位置関係に基づいて、当該口Mを開閉動作させる際の制御条件を設定することができる。具体的には、口Mの左右方向の長さlm、顔の口Mに対応する位置の左右方向の長さlf及び口Mから顎先までの上下方向の長さljに基づいて、口M以外の主要部に対する口Mとの相対的な位置関係を特定するので、顔輪郭内における口Mの左右の領域の大きさや口Mから顎先までの上下方向の長さlj等を考慮して、当該口Mを開閉動作させる際の制御条件を設定することができ、設定された制御条件に従って当該口Mの開閉動作をより自然に行うことができる。
また、上記実施形態にあっては、動作処理装置100単体から構成するようにしたが、一例であってこれに限られるものではなく、例えば、人物、キャラクタ、動物等の投影対象物が商品等の説明を行う映像コンテンツをスクリーンに投影する投影システム(図示略)に適用した構成であっても良い。
また、動作条件設定部5fにより設定された制御条件に従って主要部を動作させるようにしたが、一例であってこれに限られるものではなく、必ずしも動作制御部5hを具備する必要はなく、例えば、動作条件設定部5fにより設定された制御条件を外部機器(図示略)に出力して、当該外部機器にて制御条件に従って主要部を動作させるようにしても良い。
すなわち、プログラムを記憶するプログラムメモリに、取得処理ルーチン、検出処理ルーチン、特定処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部1のCPUを、顔画像を取得する手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部1のCPUを、取得された顔画像から顔を構成する主要部を検出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部1のCPUを、検出された主要部の形状の種類を特定する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部1のCPUを、特定された主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
顔画像を取得する取得手段と、
前記取得手段により取得された顔画像から顔を構成する主要部を検出する検出手段と、
前記検出手段により検出された前記主要部の形状の種類を特定する特定手段と、
前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段と、
を備えたことを特徴とする動作処理装置。
<請求項2>
前記特定手段は、更に、前記主要部としての目の形状の種類を特定し、
前記設定手段は、更に、前記特定手段により特定された目の形状の種類に基づいて、当該目を瞬き動作させる際の制御条件を設定することを特徴とする請求項1に記載の動作処理装置。
<請求項3>
目の上下方向及び左右方向の長さをそれぞれ算出する第1算出手段を更に備え、
前記特定手段は、前記第1算出手段により算出された目の上下方向及び左右方向の長さの比率に基づいて、当該目の形状の種類を特定することを特徴とする請求項2に記載の動作処理装置。
<請求項4>
前記第1算出手段は、更に、目の上側部分及び下側部分の左右方向の長さをそれぞれ算出し、
前記特定手段は、前記第1算出手段により算出された目の上側部分及び下側部分の左右方向の長さどうしを比較して、当該目の形状の種類を特定することを特徴とする請求項3に記載の動作処理装置。
<請求項5>
前記設定手段は、更に、前記第1算出手段により算出された目の上側部分及び下側部分の左右方向の長さの大きさに応じて、当該目を瞬き動作させる際の上瞼及び下瞼のうちの少なくとも一方の変形を制御する制御条件を設定することを特徴とする請求項4に記載の動作処理装置。
<請求項6>
前記特定手段は、更に、前記主要部としての口の形状の種類を特定し、
前記設定手段は、更に、前記特定手段により特定された口の形状の種類に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項1に記載の動作処理装置。
<請求項7>
前記特定手段は、更に、口角と口中央部との上下方向の位置関係に基づいて口の形状の種類を特定することを特徴とする請求項6に記載の動作処理装置。
<請求項8>
前記設定手段は、更に、前記検出手段により検出された口以外の前記主要部に対する口との相対的な位置関係に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項6又は7に記載の動作処理装置。
<請求項9>
口の左右方向の長さ、顔の口に対応する位置の左右方向の長さ及び口から顎先までの上下方向の長さをそれぞれ算出する第2算出手段を更に備え、
前記設定手段は、前記第2算出手段により算出された口の左右方向の長さ、顔の口に対応する位置の左右方向の長さ及び口から顎先までの上下方向の長さに基づいて、口以外の前記主要部に対する口との相対的な位置関係を特定し、特定された位置関係に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項8に記載の動作処理装置。
<請求項10>
前記取得手段により取得された顔画像内で、前記設定手段により設定された制御条件に従って前記主要部を動作させる動作制御手段を更に備えることを特徴とする請求項1〜9の何れか一項に記載の動作処理装置。
<請求項11>
動作処理装置を用いた動作処理方法であって、
顔画像を取得する処理と、
取得された顔画像から顔を構成する主要部を検出する処理と、
検出された前記主要部の形状の種類を特定する処理と、
特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する処理と、
を含むことを特徴とする動作処理方法。
<請求項12>
動作処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段により取得された顔画像から顔を構成する主要部を検出する検出手段、
前記検出手段により検出された前記主要部の形状の種類を特定する特定手段、
前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段、
として機能させることを特徴とするプログラム。
1 中央制御部
5 動作処理部
5a 画像取得部
5b 顔主要部検出部
5c 第1算出部
5d 形状特定部
5e 第2算出部
5f 動作条件設定部
5h 動作制御部
Claims (12)
- 顔画像を取得する取得手段と、
前記取得手段により取得された顔画像から顔を構成する主要部を検出する検出手段と、
前記検出手段により検出された前記主要部の形状の種類を特定する特定手段と、
前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段と、
を備えたことを特徴とする動作処理装置。 - 前記特定手段は、更に、前記主要部としての目の形状の種類を特定し、
前記設定手段は、更に、前記特定手段により特定された目の形状の種類に基づいて、当該目を瞬き動作させる際の制御条件を設定することを特徴とする請求項1に記載の動作処理装置。 - 目の上下方向及び左右方向の長さをそれぞれ算出する第1算出手段を更に備え、
前記特定手段は、前記第1算出手段により算出された目の上下方向及び左右方向の長さの比率に基づいて、当該目の形状の種類を特定することを特徴とする請求項2に記載の動作処理装置。 - 前記第1算出手段は、更に、目の上側部分及び下側部分の左右方向の長さをそれぞれ算出し、
前記特定手段は、前記第1算出手段により算出された目の上側部分及び下側部分の左右方向の長さどうしを比較して、当該目の形状の種類を特定することを特徴とする請求項3に記載の動作処理装置。 - 前記設定手段は、更に、前記第1算出手段により算出された目の上側部分及び下側部分の左右方向の長さの大きさに応じて、当該目を瞬き動作させる際の上瞼及び下瞼のうちの少なくとも一方の変形を制御する制御条件を設定することを特徴とする請求項4に記載の動作処理装置。
- 前記特定手段は、更に、前記主要部としての口の形状の種類を特定し、
前記設定手段は、更に、前記特定手段により特定された口の形状の種類に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項1に記載の動作処理装置。 - 前記特定手段は、更に、口角と口中央部との上下方向の位置関係に基づいて口の形状の種類を特定することを特徴とする請求項6に記載の動作処理装置。
- 前記設定手段は、更に、前記検出手段により検出された口以外の前記主要部に対する口との相対的な位置関係に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項6又は7に記載の動作処理装置。
- 口の左右方向の長さ、顔の口に対応する位置の左右方向の長さ及び口から顎先までの上下方向の長さをそれぞれ算出する第2算出手段を更に備え、
前記設定手段は、前記第2算出手段により算出された口の左右方向の長さ、顔の口に対応する位置の左右方向の長さ及び口から顎先までの上下方向の長さに基づいて、口以外の前記主要部に対する口との相対的な位置関係を特定し、特定された位置関係に基づいて、当該口を開閉動作させる際の制御条件を設定することを特徴とする請求項8に記載の動作処理装置。 - 前記取得手段により取得された顔画像内で、前記設定手段により設定された制御条件に従って前記主要部を動作させる動作制御手段を更に備えることを特徴とする請求項1〜9の何れか一項に記載の動作処理装置。
- 動作処理装置を用いた動作処理方法であって、
顔画像を取得する処理と、
取得された顔画像から顔を構成する主要部を検出する処理と、
検出された前記主要部の形状の種類を特定する処理と、
特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する処理と、
を含むことを特徴とする動作処理方法。 - 動作処理装置のコンピュータを、
顔画像を取得する取得手段、
前記取得手段により取得された顔画像から顔を構成する主要部を検出する検出手段、
前記検出手段により検出された前記主要部の形状の種類を特定する特定手段、
前記特定手段により特定された前記主要部の形状の種類に基づいて、当該主要部を動作させる際の制御条件を設定する設定手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014133637A JP6547244B2 (ja) | 2014-06-30 | 2014-06-30 | 動作処理装置、動作処理方法及びプログラム |
CN201510113162.0A CN105205847A (zh) | 2014-06-30 | 2015-03-16 | 动作处理装置以及动作处理方法 |
US14/666,282 US20150379753A1 (en) | 2014-06-30 | 2015-03-23 | Movement processing apparatus, movement processing method, and computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014133637A JP6547244B2 (ja) | 2014-06-30 | 2014-06-30 | 動作処理装置、動作処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016012248A true JP2016012248A (ja) | 2016-01-21 |
JP2016012248A5 JP2016012248A5 (ja) | 2017-07-27 |
JP6547244B2 JP6547244B2 (ja) | 2019-07-24 |
Family
ID=54931116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014133637A Active JP6547244B2 (ja) | 2014-06-30 | 2014-06-30 | 動作処理装置、動作処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150379753A1 (ja) |
JP (1) | JP6547244B2 (ja) |
CN (1) | CN105205847A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020507141A (ja) * | 2016-11-11 | 2020-03-05 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 完全な顔画像の眼球周囲およびオーディオ合成 |
JP2021111102A (ja) * | 2020-01-09 | 2021-08-02 | 株式会社Zizai | 動画生成装置およびライブ通信システム |
US11347051B2 (en) | 2018-03-16 | 2022-05-31 | Magic Leap, Inc. | Facial expressions from eye-tracking cameras |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209814A (ja) * | 2000-01-24 | 2001-08-03 | Sharp Corp | 画像処理装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999054015A1 (en) * | 1998-04-16 | 1999-10-28 | Creator Ltd. | Interactive toy |
US6504546B1 (en) * | 2000-02-08 | 2003-01-07 | At&T Corp. | Method of modeling objects to synthesize three-dimensional, photo-realistic animations |
US6654018B1 (en) * | 2001-03-29 | 2003-11-25 | At&T Corp. | Audio-visual selection process for the synthesis of photo-realistic talking-head animations |
JP4414401B2 (ja) * | 2006-02-10 | 2010-02-10 | 富士フイルム株式会社 | 顔特徴点検出方法および装置並びにプログラム |
JP5361528B2 (ja) * | 2009-05-15 | 2013-12-04 | キヤノン株式会社 | 撮像装置およびプログラム |
JP5738569B2 (ja) * | 2010-10-15 | 2015-06-24 | 任天堂株式会社 | 画像処理プログラム、装置、システムおよび方法 |
-
2014
- 2014-06-30 JP JP2014133637A patent/JP6547244B2/ja active Active
-
2015
- 2015-03-16 CN CN201510113162.0A patent/CN105205847A/zh active Pending
- 2015-03-23 US US14/666,282 patent/US20150379753A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209814A (ja) * | 2000-01-24 | 2001-08-03 | Sharp Corp | 画像処理装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020507141A (ja) * | 2016-11-11 | 2020-03-05 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 完全な顔画像の眼球周囲およびオーディオ合成 |
US11200736B2 (en) | 2016-11-11 | 2021-12-14 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
US11636652B2 (en) | 2016-11-11 | 2023-04-25 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
US11347051B2 (en) | 2018-03-16 | 2022-05-31 | Magic Leap, Inc. | Facial expressions from eye-tracking cameras |
US11598957B2 (en) | 2018-03-16 | 2023-03-07 | Magic Leap, Inc. | Facial expressions from eye-tracking cameras |
JP2021111102A (ja) * | 2020-01-09 | 2021-08-02 | 株式会社Zizai | 動画生成装置およびライブ通信システム |
JP7471826B2 (ja) | 2020-01-09 | 2024-04-22 | 株式会社Iriam | 動画生成装置および動画生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6547244B2 (ja) | 2019-07-24 |
CN105205847A (zh) | 2015-12-30 |
US20150379753A1 (en) | 2015-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9639914B2 (en) | Portrait deformation method and apparatus | |
WO2016161553A1 (en) | Avatar generation and animations | |
US8150205B2 (en) | Image processing apparatus, image processing method, program, and data configuration | |
CN111435433B (zh) | 信息处理装置、信息处理方法以及存储介质 | |
US11238569B2 (en) | Image processing method and apparatus, image device, and storage medium | |
US10712817B1 (en) | Image re-projection for foveated rendering | |
US7567251B2 (en) | Techniques for creating facial animation using a face mesh | |
JP2009237619A (ja) | 画像における顔領域および器官領域の検出 | |
JP2010186288A (ja) | 顔画像の所定のテクスチャー特徴量を変更する画像処理 | |
JP2010186216A (ja) | 顔画像における特徴部位の位置の特定 | |
JP2011053942A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20190265784A1 (en) | Operation determination device and operation determination method | |
JP6547244B2 (ja) | 動作処理装置、動作処理方法及びプログラム | |
JP6476608B2 (ja) | 動作処理装置、動作処理方法及びプログラム | |
JP2010170184A (ja) | 顔画像における特徴部位の位置の特定 | |
JP2010176314A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP2010244321A (ja) | 顔画像を表す顔モデルを設定する画像処理 | |
KR20170042782A (ko) | 정보 처리 장치, 제어 방법 및 기록 매체 | |
JP2010244251A (ja) | 顔の特徴部位の座標位置を検出する画像処理装置 | |
JP6287170B2 (ja) | 眉生成装置、眉生成方法及びプログラム | |
JP2010245721A (ja) | 顔画像に対する画像処理 | |
JP6390210B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7385416B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム | |
JP2004054759A (ja) | 表情変形装置、方法及びプログラム | |
US20150379754A1 (en) | Image processing apparatus, animation creation method, and computer-readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180717 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6547244 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |