JP2009104570A - 画像の形成用のデータ構造及び画像の形成方法 - Google Patents
画像の形成用のデータ構造及び画像の形成方法 Download PDFInfo
- Publication number
- JP2009104570A JP2009104570A JP2007298624A JP2007298624A JP2009104570A JP 2009104570 A JP2009104570 A JP 2009104570A JP 2007298624 A JP2007298624 A JP 2007298624A JP 2007298624 A JP2007298624 A JP 2007298624A JP 2009104570 A JP2009104570 A JP 2009104570A
- Authority
- JP
- Japan
- Prior art keywords
- expression definition
- image
- expression
- parameters
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【解決手段】対象物の変化させたい状態を記述するためのパラメータ群を用意し、対象物を描くための部品ごとにパラメータ群のサブセットからなるパラメータと対応付け、キーとなるパラメータ値の組み合わせごとに形状や設定値などを定義したデータを用意し、要求される対象物の状態を示すパラメータ値に応じて補間、補外を行うことによって要求される画像を生成する。
【選択図】図8
Description
しかし、2次元の原画から、3次元モデルを使用する技法によって原画に忠実なマンガやアニメーションを表現することは殆どの場合不可能である。
3次元モデルで表現する場合、まず仮想3次元空間内に対象物をモデル化する必要がある。モデル化する対象物が現実的な物体であれば問題ないが、マンガやイラストのキャラクタは3次元的な矛盾を含むため、仮想3次元空間内に正確にモデル化することは不可能である。
Qy=0
で原作どおりになる3次元モデルを作ると、
Qy=30
のときの3次元モデルの輪郭線は破線のようになって、原作のモデルに忠実ではなくなるというような問題がある。このような問題は、多くのマンガやアニメ、イラストのキャラクタで発生する。極端な例としては、正面と横向きで全く異なる髪型をしているキャラクタなどもあり、これらを忠実に3次元モデル化することは不可能である。
また、アニメーションでは、見栄えを良くするためにあえて立体的な整合性を無視するような技法がしばしば用いられている。たとえば、顔がどちらを向いても耳が常に正面を向いているキャラクタなどが存在する。
また、「特許文献2」の2次元画像を変形、補間して表現する技術では、対象物の向き、表情を変化させるために、補助的な情報を用いる方式を採用しており、少ない操作で対象物を定義できる反面、視点移動や表情変化などの様々な状態変化について、原作の意図するとおりの形状、画風に忠実に再現することは不可能であった。
また、「特許文献3」の2次元画像を変形、補間して表現する技術では、4つの画像を補間する方式を採用しており、視点移動や表情変化などの様々な状態変化について、原作の意図するとおりの形状、画風に忠実に再現することは不可能であった。
(1)画像として表現するものを対象物とする。
(2)前記対象物の変化させたい状態を1つ又は複数のパラメータとして設定し、設定された前記各パラメータをパラメータ群とする。
(3)線や塗、グラデーション、テクスチャマッピング、座標変換、補助的情報などを「表現定義部品」とし、前記対象物は複数の前記「表現定義部品」の組み合わせにより構成する。前記各「表現定義部品」は、形状、設定値などの複数の「状態」を定義し、前記複数の「状態」は前記「状態」ごとに「表現定義部品の実体」として設定する。
(4)前記各「表現定義部品」を、0個から複数個のパラメータと対応づける。前記各「表現定義部品」に対応する各パラメータに、0個から複数個の「編集点」を設定する。前記各「編集点」はパラメータ上の1つの値に対応づける。
(5)各「表現定義部品」において、対応する各パラメータ上から「編集点」を一つずつ選択した組合せごとに「表現定義部品の実体」を設定する。前記「表現定義部品の実体」は前記各「編集点」の示すパラメータの値に応じた「状態」を持つ。
(6)同じ表現定義部品に対応する各「表現定義部品の実体」は互いに補間又は補外できるものとする。かつ、補間又は補外した結果も、同じ「表現定義部品」に対応する「表現定義部品の実体」とし、同様に互いに補間又は補外できるものとする。
(1)請求項1記載の画像の形成用のデータを予め作成し、および/または、画像を形成しながら請求項1記載の画像の形成用のデータを作成する。
(2)画像形成時には、形成したい対象物の状態に応じて、各パラメータの値を決定する。
(3)各「表現定義部品」について、対応する全パラメータが決定されたパラメータ値になるように、前記「表現定義部品の実体」の補間又は補外を行い、新たな「表現定義部品の実体」を生成する。
(4)以上のようにして、得られた前記「表現定義部品の実体」を順番に描画することで、画像を生成する。
(1)請求項1記載の画像の形成用のデータを予め作成し、および/または、画像を形成しながら請求項1記載の画像の形成用のデータを作成する。
(2)各「表現定義部品」について、対応する各パラメータのうち、1個から複数個のパラメータについて、決定されたパラメータ値に対応した「表現定義部品の実体」を新たに生み出すため、複数個の「表現定義部品の実体」を補間して、新たな「表現定義部品の実体」を生成する。この操作を、元の「表現定義部品の実体」と新たに生成された「表現定義部品の実体」を用いて繰り返すことで、「表現定義部品」に対応する全てのパラメータが、決定されたパラメータ値に対応づけられた1つの「表現定義部品の実体」を得る。
(3)前記各「表現定義部品」について、対応する全パラメータが決定されたパラメータ値になるように、前記「表現定義部品の実体」の補間又は補外を行い、新たな「表現定義部品の実体」を生成する。
(4)以上のようにして、得られた前記「表現定義部品の実体」を順番に描画することで、画像を生成する。
この発明では対象物を、「表現定義部品」に分解して表現し、各「表現定義部品」ごとに必要となるパラメータを割り当て、パラメータ上の値に対応する編集点の組み合わせごとに「表現定義部品の実体」を定義することで、各「表現定義部品の実体」を互いに独立して設定可能となり、原作に忠実な表現が可能となる。
また、必要に応して編集点の数を増やすことで、表現定義の詳細度を上げることができ、原作の再現度合を高めていくことが可能となる。さらに、編集点の数を増やす際は、補間により生成された「表現定義部品の実体」を割り当てることができるため、生産性が向上する。
また、当発明による編集ソフトウェアは、Adobe Illsutrator(登録商標)など2次元のイラスト編集ツールの延長上にあるため、3次元ベースの技術よりもより多くのユーザが容易に習得可能である。
また、補間により生成された結果を再度編集できるという特徴があり、これにより、従来の技術で実現できなかった、原作のマンガやイラストに忠実なアニメーション製造を容易かつ効率的に実現できる効果がある。
(2)図2の場合、4本の曲線「顔の輪郭」「左目」「右目」「口」がそれぞれ表現定義部品である。すなわち、この対象物は4つの表現定義部品「顔の輪郭」「左目」「右目」「口」の組み合わせにより構成される。
(3)ここで対象物の状態を、顔の横回転Qx、口の開閉Mの二つのパラメータで変化させたいとする。Qxの範囲を−30〜30(度)、Mの範囲を0〜1(1のときに開く)とし、図3のようにキャラクタ顔を変化させる。
(4)各表現定義部品は、それぞれの必要に応じて0〜2個のパラメータに対応づけられる。
「顔の輪郭」の表現定義部品は、顔の横回転、口の開閉を行っても変化しないものとし、いずれのパラメータとも対応づけない。このため編集点も存在しない。「左目」の各表現定義部品は、顔の横回転に応じて変化させたいので、パラメータQxと対応づけ、
Qx=−30、0、30
の3つの値に編集点を設定する。「右目」については「左目」と同様であるため以下省略する。
「口」の表現定義部品は、顔の横回転および口の開閉に応じて変化するので、パラメータQxとパラメータMの二つに対応づけられる。Qxについては、
Qx=−30、0、30
の3つの値に編集点を設定し、Mについては、
M=0、1
の2つの値に編集点を設定する。
(5)「顔の輪郭」の表現定義部品はパラメータに対応づけられていないため、1つの表現定義部品の実体が定義される。
「左目」の表現定義部品には、図4のように三つの編集点それぞれに表現定義部の実体E1、E2、E3が設定される。
「口」の表現定義部品は、図5のようにQxとMの各編集点を一つずつ取り出した6通りの組み合わせに対して、それぞれ表現定義部品の実体F1〜F6が設定される。各実体には図3のように「口」の状態(位置、形状)が設定される。
(6)以下では、対象物を
(Qx,M)=(10,0.3)
という状態で描くとする。これは、対象物からみて10度左を向き、少し口を開いた状態を意味する。
(7)「顔の輪郭」の表現定義部品には、1つの表現定義部品の実体のみ定義されているため、パラメータに無関係に表現定義部品の実体を複製する。
「左目」の表現定義部品は、図4のE2とE3を補間することで、表現定義部品の実体E’を生成する。
「口」の表現定義部品は、図6のように、まずパラメータQxについて決定された値Qx=10に対応させるためF2、F3を補間して表現定義部品の実体F’1を生成し、F5、F6を補間して表現定義部品の実体F’2を生成する。
次にパラメータMについて決定された値M=0.3に対応させるため、F’1とF’2を補間して表現定義部品の実体F’’を得る。このF’’は口の表現定義部品に対応する全パラメータQx、Mについて、決定された値に対応づけられており、最終的な表現定義部品の実体となる。
(8)生成された、表現定義部品の実体を、それぞれの描画順序を考慮して順番に描画することで、最終的に求めたい画像(図7)を得る。
画像形成部は、入力部からの指示(描画の方式、各パラメータの値など)を受け、要求される画像を、表現定義部品の記憶部のデータを基に生成し、表示部、記憶部、通信部に出力する。
入力部は、アプリケーション(映像編集ソフトウェア、ゲームなど)を構成するソフトウェアまたはハードウェア、ユーザーインターフェイスなどから構成され、画像形成部で必要となる各パラメータ値を決定し、画像形成部に指示を出す。
表現定義部品の記憶部は、ハードディスク、メモリ、光ディスク(CD、DVD)などのハードウェアにより実現されており、画像形成部において画像を形成するのに必要なデータを記憶し、画像形成部からの要求によって画像形成部にデータを出力する。または画像形成部により補間生成された表現定義部品、表現定義部品の実体、データ、画像などを再度記憶する。
表現定義部品の補間部では、表現定義部品の記憶部から取得した表現定義部品の実体を入力部から取得したパラメータ値に基づいて補間する。
描画順序の決定部では、表現定義部品の補間部で生成されたデータの描画順序を決定する。
描画部では、表現定義部品の補間部、描画順序の決定部で生成されたデータ、順序を元に、ラスター画像、ベクター画像、その他の形式の画像もしくはデータを出力する。
画像形成部で生成された画像およびデータは、CRT、LCDなどの表示部、ハードディスク、光ディスク、メモリなどの記憶部、外部へ送信する通信部などに渡される。
本実施形態の特徴は、マンガやイラストなどの2次元的な映像を3次元空間に配置することなく、状態を変化させて表現することである。
人物や、物体、および空など物体以外を含めて、あらゆる表現に用いることができる。人物を描くような場合、全身を一つの対象物としてもよいが、顔、胴体、腕など各部位を分離して対象物とみなし、それらを合成して表現してもよい。
場合によっては、物体、顔などを、いくつかの向きごとに分けて定義し、パラメータに応じて差し替えて表現することも可能である。
以下のようにして説明されるデータ構造を用いて、表現定義部品実体を順番に描画して画像を生成する。
パラメータの数、組み合わせは、その対象物の表現に要求される変化に合わせて任意に決定する。
通常、物体(顔も含む)を表現する場合、カメラと物体の相対角をオイラー角などで定義したパラメータQx、Qy、Qzなどを使用する。しかし、求める映像が、ある方向の回転について必要としない場合は、その回転を表すパラメータを使用しなくてもよい。
顔を表現する場合、前記の角度を表わすパラメータに加えて、表情や動作のパラメータが加わる。例えば、口の開閉、目の開閉、眉の縦移動、眉の横移動、目玉の縦移動、目玉の横移動、怒りの度合、笑いの度合、照れの度合、などのように様々なパラメータが必要となる。
各パラメータについては、対象物全体で、とりうる値の範囲を設定する。例えば、対象物の横方向の回転角Qxであれば、範囲を0〜360としてもよく、−180〜180などとしてもよい。また、回転できる範囲が限られている場合、−72〜+95などとしてもよい。口の開閉のパラメータなどであれば、0.0〜1.0としてもよく、0〜100としても、−100〜100などとしても良い。
各パラメータの単位はあまり本質的な意味を持たず、描画時に指定されるパラメータの値と、定義された各編集点の示す値が適切に対応していれば良い。
顔の場合のパラメータの構成例を図9に表わす。
ここで、物体との角度を表わすパラメータも、表情などのパラメータも、単位や範囲、意味などは異なるが、全く同列に扱ってよい。すなわち、物体の回転(角度の変化)も、表情の変化も、それぞれのパラメータの値が変化し、それに応じて補間された結果が変わるという以上の意味を持たない。
高度な利用例としては、アニメーション生成時の回転の角速度をパラメータとするなどもでき、その場合も、他のパラメータと全く同列に扱ってよい。この手法によって、顔が回転している間は髪の毛が浮き上がるなどの表現が可能となる。
各種の描画や、描画を補助する要素の最小単位を「表現定義部品」とする。例えば、顔を線で描く場合、顔の輪郭線、まつげ一本、しわ一本など、それぞれを一つの「表現定義部品」とする。図10のシンプルな目は4本の線があるため、この場合は、4つの「表現定義部品」で構成される。
表現定義部品は、図11のように「描画」や「描画を補助する要素」など様々な形で定義される。1本の点列で構成される多角形(描画時には曲線補間される)、多角形の塗りつぶしやグラデーション、テクスチャマッピング(平面上に定義されたポリゴンとそのポリゴンがUVマッピングされたビットマップ画像の組み合わせ)、座標変換(アフィン変換や曲面による自由変換)、描画を補助する情報(位置を指示するための点)などである。
表現定義部品には、1個以上の「表現定義部品の実体」が対応づけられる。各表現定義部品の実体はそれぞれ1つの状態(形状、設定値など)を表す。同じ、表現定義部品に対応づけられた表現定義部品の実体は、互いに補間(もしくは補外)できる構造をもち、補間の結果として、新しい表現定義部品の実体を生成する。補間により生成された表現定義部品の実体もまた、表現定義部品に対応づけられ、他の実体と補間可能とする。
多角形(曲線補間)の場合は、図12のように補間され、テクスチャマッピングの場合は、図13のように補間される。
図12の例では、口の開閉度をMとし、
M=0の時の上唇の輪郭線を表現定義部品の実体(a)
M=1のときの輪郭線を表現定義部品の実体(b)
としている。これらを補間することで、
M=0.3に対応する輪郭線として表現定義部品の実体(c)
を出力する。
図14では、顔の横向きの角度Qx、口の開閉度をMとし、上唇の輪郭線を表現定義部品Bとし、実体を以下のように定義している。
(Qx,M)=(0,0)表現定義部品Bの実体B1
(Qx,M)=(0,1)表現定義部品Bの実体B2
(Qx,M)=(−30,0)表現定義部品Bの実体B3
(Qx,M)=(−30,1)表現定義部品Bの実体B4
このとき、B1、B2、B3、B4は互いに補間できる関係である。図14では、
(Qx,M)=(−10,0.3)
に対応する上唇を生成するための補間のプロセスを示している。
補間して生成されるデータは、B1、B2、B3、B4と同様に表現定義部品Bの実体となる。よって、図14の補間1で生成されるB’1、補間2で生成されるB’2も表現定義部品Bの実体であり、B1、B2、B3、B4、B’1、B’2は互いに補間できる関係となる。B’1、B’2を補間しB’’を生成することで、
(Qx,M)=(−10,0.3)
の時の表現定義部品の実体が生成される。
ここでは、2つのパラメータQx、Mで補間しているが、任意の数のパラメータで段階的に補間を繰り返し、一つの補間結果を出力することが可能である。
また、ここでの補間は1対1で行うとしているが、1対n、m対nで補間する方法や、複数のパラメータをまとめて補間する方法を用いることもできる。
また、補間回数を減らすため、B1とB4を補間してB’3を生成し、B3とB’3を補間して、
(Qx,M)=(−10,0.3)
の時の表現定義部品の実体を生成することも可能である。
補間可能な関係にない複数の表現定義部品を、互いに補間できる関係として定義しなおし、改めて「表現定義部品」と「表現定義部品の実体」という関係に設定することもできる。
この方式は、予め対象物の複数の原画をトレースして表現定義部品として表現し、後から各種パラメータに応じて、補間可能な表現定義部品(とその実体)として対応づけるような場合に用いられる。
互いに補間可能な関係にある「表現定義部品の実体」は、それぞれ独立して編集できる。すなわち、ある「表現定義部品の実体」を編集しても、別の要素に影響を及ぼさない。このため、向きごとに自由な編集が可能であり、マンガなどの形状や画風を容易に再現可能である。
それに対して、3Dモデルを編集する手法では、ある向きで正しくなるように点を編集することで、別の向きから見たときに正しくなくなるという編集上の問題が発生し、原作を忠実に再現することが不可能となる。
各表現定義部品は、0個から複数個のパラメータと対応づけられる。各表現定義部品に対応する各パラメータには、変化状態に応じて、0から複数個の編集点を設定する。1つの編集点はパラメータ上の1つの値に対応づけられる。
例えば、図14の上唇の表現定義部品は、二つのパラメータ、
・顔の横向きの角度Qx
・口の開閉度をM
に対応づけられている。
図14では上唇の表現定義部品は、パラメータQxに関して、
Qx=0、−30
の二つの編集点を持ち、パラメータMに関して
M=0、1
の二つの編集点を持つ。各パラメータから1つずつ編集点を選択した組合せは下記の4通りできる。
(Qx,M)=(0,0)
(Qx,M)=(0,1)
(Qx,M)=(−30,0)
(Qx,M)=(−30,1)
この4通りの組に、表現定義部品の実体が定義されている。
ただし、ここでは編集点の全ての組み合わせに表現定義部品の実体が定義されているが、かならずしも全てに定義する必要はなく、全組み合わせのサブセットでも問題ない。
表現定義部品の一つである、曲線と塗り(グラデーションも含む)は、スプライン補間曲線やカーディナル曲線のように点列を通過する曲線が補間しやすく望ましいが、ベジェ曲線やNURBS曲線などでも表現可能である。
点列を通過する曲線の場合、各点にコーナーや直線のフラグを設定することで、より自由な表現が可能となる。
点列の各点もしくは、曲線上の自由な位置に太さを設定できる構造を持たせることで、曲線の途中に自由な太さの変化を持たせることができ、これによりマンガなどの独特な線の表現を、非常に少ないデータ量で表現できる。また、曲線の形状と、太さを簡単に補間処理でき、計算量も抑制できる。
曲線には、以下のような設定項目を持たせる。
・曲線形状(色などを持たない)
・線の色、塗の色(グラデーションや網点の場合もある)、透明度、
・線の強弱(編集点ごとに変化する)、ぼかし量
・描画順序、クリッピングパスの参照
ここで、曲線どうしを補間する場合に、各設定項目どうしも補間できる構造とする。ただし、クリッピングパスの参照のように補間できない(中間的な値を持たない)項目は、ある閾値(通常中間の値)で切り替わる構造とする。
二つの点列による曲線を補間する場合に、点列の点数が同一で、各点が補間できる関係にあるとき、各点を単純に補間するだけで、補間後の点列を生成でき、それをカーディナル曲線などで曲線として表現することで、二つの曲線を補間した新たな曲線が生成できる。
点列の点数が異なる場合、もしくは、各点が対応関係に無い場合は、曲線上に付随する情報を用意することで、補間の対応関係を調整できる。すなわち、各点列から生成される曲線の任意の場所を始点、終点、もしくは任意の中間点として設定できる付随情報を用意することで、補間の対応を調整することが可能となる。
描画される種類(線、塗、テクスチャなど)の表現定義部品の実体は、Adobe Illustrator(登録商標)のようなベクター系画像編集ソフトウェアのパスや画像と同様に、それぞれが描画順序を持ち、最背面にある表現定義部品の実体から順番に描画されるものとする。
ただし、パラメータの変化に応じて、前後関係も変化する必要があるため、補間により描画位置を変化させることができるものとする。通常、各表現定義部品の実体には、相対的な前後関係ではなく、絶対的な深さとして描画順を設定する方がより扱いやすくなる。
例えば、耳は顔の向きに応じて顔の面より前に来たり後ろに来たりするので、図15のように、顔の向きのパラメータQxに応じて、Qx=0とQx=30に設定されている表現定義部品の実体の描画順序を補間し、耳と顔の面の描画順が入れ替わるように設定する。
ある表現定義部品D1を別の表現定義部品D2の内側に描画したい場合は、D1のクリッピング用の要素(通常は曲線)としてD2を設定する。例えば、目玉のように、目の範囲内からはみ出さないよう表現したい場合は、目の範囲を表す表現定義部品をクリッピング用の曲線として指定する。また、影を輪郭線からはみ出さないように輪郭線でクリッピングするような利用法も有効である。
1つのパラメータでの補間を1次の補間と定義すると、任意のn次で補間できるように構造化する。
ある「表現定義部品」に3つのパラメータが対応づけられた場合は、3次の補間を行うことのできるデータ構造として定義する。
例として「顔の輪郭」を、向きQx、Qy、口の開閉度Mの3つのパラメータで、三次の補間をするためのデータの構造を図16に示す。図は便宜上3D的に配置しているが、3D空間とはなんら関係ない。実際には、図16のように正しい格子状に並べなくてもよい。
3次の補間データは図17のようにツリー構造で定義する。n次の場合もツリーの深さをn(表現定義部品と、ルートを除く)とすることで定義できる。
例えば、3つのパラメータのQx、Qy、Mの場合、
(Qx,Qy,M)=(30,0,1)
の編集点の組には、表現定義部品の実体D6が対応づけられていることになる。
(Qx,Qy,M)=(40,20,0.8)
の時の補間データを生成するためには、
D5(30,0,0)、D6(30,0,1)、
D7(30,30,0)、D8(30,30,1)、
D9(60,0,0)、D10(60,0,1)、
D11(60,30,0)、D12(60,30,1)、
の8個の表現定義部品の実体を用いて補間を行うことで、1つの表現定義部品の実体
D’(40,20,0.8)
を生成する。
n次で補間を行う基本的な方法として、n個のパラメータから、1パラメータづつ順番に補間し、補間結果の対を再度補間する方法がある。
多数の要素間における補間を、複雑なデータに対して破綻なく行うため、1対1で補間を繰り返し、最終的に1つのデータを生成することが簡便である。前記のデータ例では、以下の様な手順で補間を繰り返す。
<口の開閉Mについて補間して、M=0.8の表現定義部品の実体を生成>
D5とD6を補間してDa(30,0,0.8)を生成
D7とD8を補間してDb(30,30,0.8)を生成
D9とD10を補間してDc(60,0,0.8)を生成
D11とD12を補間してDd(60,30,0.8)を生成
<視線方向Qyについて補間して、Qy=20の表現定義部品の実体を生成>
DaとDbを補間してDe(30,20,0.8)を生成
DcとDdを補間してDf(60,20,0.8)を生成
<視線方向Qxについて補間して、Qx=40の表現定義部品の実体を生成>
DeとDfを補間して最終的なD’(40,20,0.8)を生成
同じ意味を持つ部分でも、範囲を分離して異なる表現定義部品として設定することもできる。たとえば、図18のように髪型を横向きと正面向きで全く異なる形状で描きたい場合、横向きの髪型E1と、正面向きの髪型E2に分けて定義し、横向きの回転角Qxに関して、あるQxの閾値T1を境に、E1、E2のいずれを使うかを分けることができる。この場合、閾値T1を境に、E1とE2の間の補間関係はなくなり、連続性は失われるが、表現上は問題ない。
このような表現の場合、Qxの編集点は、パラメータ上の値を指すだけではなく、T1未満、T1以下、T1以上、T1より大、というように、詳細に設定を行う。これにより、T1未満ではE1、T1以上ではE2というように重複なく表現しうる。
この範囲を分離する方法は、顔全体、髪の毛全体など、複数の表現定義部品からなる大きなまとまりにも適用可能である。
表現定義部品の一形態として、実際に描画する要素(線など)ではなく、ある座標系から別の座標系への「座標変換」を用いることもできる。
この場合の「座標変換」も図19のように複数のパラメータと対応づけられ、互いに補間可能な表現定義部品の実体を定義することができる。
図20のように、座標変換の形態は単純なアフィン変換、自由な曲面やポリゴンによる変換などが可能である。
座標変換の中には、図21のように複数の表現定義部品を配置することができる。座標変換自体も、表現定義部品の一種であるため、座標変換の中に、座標変換を入れ子で定義することができる。
この仕組みを利用することで、各表現定義部品に対応づけるパラメータの数を減らすことが可能となる。
たとえば、眉毛の表現定義部品を、顔の回転パラメータ(角Qx、Qy)、眉の上下左右の移動(Bx、By)に合わせて表現する必要がある場合、眉毛の表現定義部品に直接4つのパラメータQx、Qy、Bx、Byを対応づけてもよいが、顔面用の座標変換T1を用意して、座標変換T1に回転角Qx、Qyのパラメータを割り当て回転を表現した場合、図22のように眉毛の表現定義部品を座標変換T1の変換元座標系に配置することにより、眉毛はBx、Byに直接対応づけるだけで済む。顔の回転に合わせて、座標変換T1が変形されるため、眉も追随することになる。
このような座標変換を組み合わせることで、各表現定義部品に対応づける必要のあるパラメータの数を減らすことが可能となる。対応づけられるパラメータの数を減らすことにより、表現定義部品を編集する作業量、データ量が減り、また描画時には補間の回数が減るため高速化できる効果がある。
表現の実施例として、現実的なキャラクタの場合を以下に示す。
1つのキャラクタには多数の表現定義部品が存在するが、それぞれの表現定義部品は異なるパラメータで構成されている。以下に標準的なパラメータ構成の例を記載する。
顔全体が収まる座標変換を用意し、Qzのパラメータによる回転を定義する。
「顔の輪郭」は、顔の向きを意味するQx、Qyに加えて、「口の開閉」の、3パラメータに対応づけられる。輪郭は、線と線の内部の塗りつぶしで表現される。
「耳」は通常「口の開閉」による影響を受けないため、Qx、Qyだけに対応づけられる。耳は複数の線と塗りで描く必要があり、複数の「表現定義部品」が使用される。
「顔面用の座標変換(曲面)」は、Qx、Qyに対応づけられており、その曲面上に描画された要素(目や眉など)は、曲面によって自動的に変形される。
「眉」は「顔面用の座標変換」の上に描画されるため、Qx、Qyには直接対応づける必要がないが、「眉の上下」、「感情による眉形状の変形」、「眉の回転」といったパラメータに対応づけられる。
このように、表現定義部品、パラメータ、編集点を組み合わせて各部位を表現するが、座標変換をうまく組み合わせることで、殆どの表情や状態を3次程度の補間で表現できるため、次数が大きくなりすぎて問題になることは通常ない。また、補間方法の最適化により、補間回数を減らすことも可能である。
また、本格的な映像を作る場合においては、リアルタイムで計算する必要はないため、より多くのパラメータに対応づけることが可能である。それにより、より微妙な表情や、しぐさなどを定義することができる。
本発明は、マンガのように白黒の表現や、水墨画などで描かれたキャラクタなどを動かす場合に、3Dよりも最適である。
応用事例として、ゲーム(特に会話などアップで繊細な表情が求められるシーン)や、アバター(キャラクタ)作成ソフト、マンガ作成ソフト、アニメーション作成ソフトなどに利用可能である。
また、3Dのビルボードと呼ばれる技術を用いて、当発明で描いた2次元の映像を、3D空間内に描画することも可能である。すなわち、3Dの視点方向と、対象物の関係から、パラメータQx、Qy、Qzなどを適切に設定して当発明により2次元的に描画し、ビルボードに平面的にマッピングすることで、3Dで描かれたかのように描くことが可能であり、視点の移動に追随することが可能である。
当発明では、3Dのように視点の自由な移動は困難であるが、正面向きや、横向きなど、映像やゲームなどで重要な意味を持つ会話のシーンのような表現においては、3Dよりも少ない労力で、原作により忠実な映像を作りだすことができる。
また、当発明の技術はAdobe Flash(登録商標)などのスクリプトとして動かすこともでき、現状のFlashでは不可能な、高品質のキャラクタを3Dのように動かすことが可能である。また、この場合、当手法の特徴により3Dよりも原作に忠実にイラストらしい表現で描くことが可能である。
Claims (3)
- 以下の条件を満たすように形成することを特徴とする画像の形成用のデータ構造
(1)画像として表現するものを対象物とする。
(2)前記対象物の変化させたい状態を1つ又は複数のパラメータとして設定し、設定された前記各パラメータをパラメータ群とする。
(3)線や塗、グラデーション、テクスチャマッピング、座標変換、補助的情報などを「表現定義部品」とし、前記対象物は複数の前記「表現定義部品」の組み合わせにより構成する。前記各「表現定義部品」は、形状、設定値などの複数の「状態」を定義し、前記複数の「状態」は前記「状態」ごとに「表現定義部品の実体」として設定する。
(4)前記各「表現定義部品」を、0個から複数個のパラメータと対応づける。前記各「表現定義部品」に対応する各パラメータに、0個から複数個の「編集点」を設定する。前記各「編集点」はパラメータ上の1つの値に対応づける。
(5)各「表現定義部品」において、対応する各パラメータ上から「編集点」を一つずつ選択した組合せごとに「表現定義部品の実体」を設定する。前記「表現定義部品の実体」は前記各「編集点」の示すパラメータの値に応じた「状態」を持つ。
(6)同じ表現定義部品に対応する各「表現定義部品の実体」は互いに補間又は補外できるものとする。かつ、補間又は補外した結果も、同じ「表現定義部品」に対応する「表現定義部品の実体」とし、同様に互いに補間又は補外できるものとする。 - 以下の様にして形成することを特徴とする画像の形成方法。
(1)請求項1記載の画像の形成用のデータを予め作成し、および/または、画像を形成しながら請求項1記載の画像の形成用のデータを作成する。
(2)画像形成時には、形成したい対象物の状態に応じて、各パラメータの値を決定する。
(3)各「表現定義部品」について、対応する全パラメータが決定されたパラメータ値になるように、前記「表現定義部品の実体」の補間又は補外を行い、新たな「表現定義部品の実体」を生成する。
(4)以上のようにして、得られた前記「表現定義部品の実体」を順番に描画することで、画像を生成する。 - 以下の様にして形成することを特徴とする画像の形成方法。
(1)請求項1記載の画像の形成用のデータを予め作成し、および/または、画像を形成しながら請求項1記載の画像の形成用のデータを作成する。
(2)各「表現定義部品」について、対応する各パラメータのうち、1個から複数個のパラメータについて、決定されたパラメータ値に対応した「表現定義部品の実体」を新たに生み出すため、複数個の「表現定義部品の実体」を補間して、新たな「表現定義部品の実体」を生成する。この操作を、元の「表現定義部品の実体」と新たに生成された「表現定義部品の実体」を用いて繰り返すことで、「表現定義部品」に対応する全てのパラメータが、決定されたパラメータ値に対応づけられた1つの「表現定義部品の実体」を得る。
(3)前記各「表現定義部品」について、対応する全パラメータが決定されたパラメータ値になるように、前記「表現定義部品の実体」の補間又は補外を行い、新たな「表現定義部品の実体」を生成する。
(4)以上のようにして、得られた前記「表現定義部品の実体」を順番に描画することで、画像を生成する。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007298624A JP2009104570A (ja) | 2007-10-23 | 2007-10-23 | 画像の形成用のデータ構造及び画像の形成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007298624A JP2009104570A (ja) | 2007-10-23 | 2007-10-23 | 画像の形成用のデータ構造及び画像の形成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009104570A true JP2009104570A (ja) | 2009-05-14 |
Family
ID=40706155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007298624A Pending JP2009104570A (ja) | 2007-10-23 | 2007-10-23 | 画像の形成用のデータ構造及び画像の形成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009104570A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039828A (ja) * | 2009-08-12 | 2011-02-24 | Konami Digital Entertainment Co Ltd | 画像処理システム及び画像処理方法 |
JP2012018540A (ja) * | 2010-07-07 | 2012-01-26 | Toppan Printing Co Ltd | 画像データ生成装置及び画像データ生成方法 |
KR20160086891A (ko) | 2013-12-02 | 2016-07-20 | 라이브2디 인크. | 화상처리장치, 화상처리방법 및 프로그램 |
JP6231713B1 (ja) * | 2017-04-13 | 2017-11-15 | 株式会社Live2D | プログラム、記録媒体、及び描画方法 |
US10235785B2 (en) | 2014-03-18 | 2019-03-19 | Live2D Inc. | Image compositing device based on mask image, image compositing method based on mask image, and non-transitory computer-readable recording medium therefor |
US10297036B2 (en) | 2015-07-01 | 2019-05-21 | Live2D Inc. | Recording medium, information processing apparatus, and depth definition method |
US10417811B2 (en) | 2014-09-05 | 2019-09-17 | Live2D Inc. | Recording medium, information processing apparatus, and control method |
JP2021149902A (ja) * | 2020-03-19 | 2021-09-27 | 慶 北畑 | 3dcgにおけるアニメーションの改善プログラム |
WO2022176132A1 (ja) | 2021-02-18 | 2022-08-25 | 株式会社Live2D | 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法 |
JP7353418B1 (ja) | 2022-05-06 | 2023-09-29 | 株式会社Cygames | 画像を生成するためのプログラム、方法、画像生成装置、及びゲームシステム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06324671A (ja) * | 1993-05-17 | 1994-11-25 | Casio Comput Co Ltd | 図形表示装置 |
JP2001084402A (ja) * | 1999-09-09 | 2001-03-30 | Namco Ltd | 画像生成システム及び情報記憶媒体 |
JP2005128988A (ja) * | 2003-10-27 | 2005-05-19 | Reallusion Inc | 画像調整のシステム及び方法 |
-
2007
- 2007-10-23 JP JP2007298624A patent/JP2009104570A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06324671A (ja) * | 1993-05-17 | 1994-11-25 | Casio Comput Co Ltd | 図形表示装置 |
JP2001084402A (ja) * | 1999-09-09 | 2001-03-30 | Namco Ltd | 画像生成システム及び情報記憶媒体 |
JP2005128988A (ja) * | 2003-10-27 | 2005-05-19 | Reallusion Inc | 画像調整のシステム及び方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039828A (ja) * | 2009-08-12 | 2011-02-24 | Konami Digital Entertainment Co Ltd | 画像処理システム及び画像処理方法 |
JP2012018540A (ja) * | 2010-07-07 | 2012-01-26 | Toppan Printing Co Ltd | 画像データ生成装置及び画像データ生成方法 |
KR20160086891A (ko) | 2013-12-02 | 2016-07-20 | 라이브2디 인크. | 화상처리장치, 화상처리방법 및 프로그램 |
US9928664B2 (en) | 2013-12-02 | 2018-03-27 | Live2D Inc. | Image processing device, image processing method and non-transitory computer-readable recording medium |
US10235785B2 (en) | 2014-03-18 | 2019-03-19 | Live2D Inc. | Image compositing device based on mask image, image compositing method based on mask image, and non-transitory computer-readable recording medium therefor |
US10417811B2 (en) | 2014-09-05 | 2019-09-17 | Live2D Inc. | Recording medium, information processing apparatus, and control method |
US10297036B2 (en) | 2015-07-01 | 2019-05-21 | Live2D Inc. | Recording medium, information processing apparatus, and depth definition method |
JP6231713B1 (ja) * | 2017-04-13 | 2017-11-15 | 株式会社Live2D | プログラム、記録媒体、及び描画方法 |
JP2018181287A (ja) * | 2017-04-13 | 2018-11-15 | 株式会社Live2D | プログラム、記録媒体、及び描画方法 |
CN108734652A (zh) * | 2017-04-13 | 2018-11-02 | 株式会社Live2D | 存储介质、描绘方法及数据结构 |
US20180300935A1 (en) * | 2017-04-13 | 2018-10-18 | Live2D Inc. | Storage medium, rendering method and data structure |
JP2021149902A (ja) * | 2020-03-19 | 2021-09-27 | 慶 北畑 | 3dcgにおけるアニメーションの改善プログラム |
WO2022176132A1 (ja) | 2021-02-18 | 2022-08-25 | 株式会社Live2D | 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法 |
JP7353418B1 (ja) | 2022-05-06 | 2023-09-29 | 株式会社Cygames | 画像を生成するためのプログラム、方法、画像生成装置、及びゲームシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009104570A (ja) | 画像の形成用のデータ構造及び画像の形成方法 | |
US10540817B2 (en) | System and method for creating a full head 3D morphable model | |
CA2239402C (en) | Method for generating photo-realistic animated characters | |
US9314692B2 (en) | Method of creating avatar from user submitted image | |
JP3288353B2 (ja) | 顔イメージから開始して3d顔モデルを作る方法 | |
CN113269872A (zh) | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 | |
KR101514327B1 (ko) | 얼굴 아바타 생성 장치 및 방법 | |
Seol et al. | Spacetime expression cloning for blendshapes | |
Orvalho et al. | A Facial Rigging Survey. | |
KR101819535B1 (ko) | 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치 | |
CN104008569B (zh) | 一种基于深度视频的3d场景生成方法 | |
US20020024519A1 (en) | System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character | |
CN106952336B (zh) | 一种保特征的人类三维头像生产方法 | |
CN102054287B (zh) | 面部动画视频生成的方法及装置 | |
JPH1091809A (ja) | 関数演算プロセッサ制御マシンの操作方法 | |
CN112669447A (zh) | 一种模型头像创建方法、装置、电子设备和存储介质 | |
KR20000063919A (ko) | 3차원 얼굴 모델링 시스템 및 모델링 방법 | |
JPH1011609A (ja) | 動画キャラクタの生成装置及び方法 | |
US11403800B1 (en) | Image generation from 3D model using neural network | |
KR20010102718A (ko) | 애니메이션 영상 합성 장치 및 방법 | |
US10319133B1 (en) | Posing animation hierarchies with dynamic posing roots | |
CN115082640A (zh) | 基于单张图像的3d人脸模型纹理重建方法及设备 | |
US8228335B1 (en) | Snapsheet animation visualization | |
Li et al. | Animating cartoon faces by multi‐view drawings | |
WO2021155666A1 (zh) | 用于生成图像的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120501 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120612 |