JP2009104570A - 画像の形成用のデータ構造及び画像の形成方法 - Google Patents

画像の形成用のデータ構造及び画像の形成方法 Download PDF

Info

Publication number
JP2009104570A
JP2009104570A JP2007298624A JP2007298624A JP2009104570A JP 2009104570 A JP2009104570 A JP 2009104570A JP 2007298624 A JP2007298624 A JP 2007298624A JP 2007298624 A JP2007298624 A JP 2007298624A JP 2009104570 A JP2009104570 A JP 2009104570A
Authority
JP
Japan
Prior art keywords
expression definition
image
expression
parameters
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007298624A
Other languages
English (en)
Inventor
Tetsuya Nakashiro
哲也 中城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CYBERNOIDS CO Ltd
Original Assignee
CYBERNOIDS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CYBERNOIDS CO Ltd filed Critical CYBERNOIDS CO Ltd
Priority to JP2007298624A priority Critical patent/JP2009104570A/ja
Publication of JP2009104570A publication Critical patent/JP2009104570A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】二次元で描かれるイラストの顔や物体のように三次元的に矛盾のある形状や陰影が含まれるため三次元的技法に適さない対象物を、二次元的技法の延長において適切に表現し、三次元的技法と同様の表現力を持つ表現技術を提供する。
【解決手段】対象物の変化させたい状態を記述するためのパラメータ群を用意し、対象物を描くための部品ごとにパラメータ群のサブセットからなるパラメータと対応付け、キーとなるパラメータ値の組み合わせごとに形状や設定値などを定義したデータを用意し、要求される対象物の状態を示すパラメータ値に応じて補間、補外を行うことによって要求される画像を生成する。
【選択図】図8

Description

この発明は、最終的に2次元の静止画または動画(アニメーションなど)として表現される対象を、仮想3次元空間内に配置せずに、向き、状態などを変化させて表現できる画像の形成用のデータ構造及び画像の生成方法に関する。
従来、マンガ(静止画)やアニメーション(動画)の生産性を上げるため、3次元モデルからアニメーション風にレンダリングする技術が提案され実用化されている。
しかし、2次元の原画から、3次元モデルを使用する技法によって原画に忠実なマンガやアニメーションを表現することは殆どの場合不可能である。
3次元モデルで表現する場合、まず仮想3次元空間内に対象物をモデル化する必要がある。モデル化する対象物が現実的な物体であれば問題ないが、マンガやイラストのキャラクタは3次元的な矛盾を含むため、仮想3次元空間内に正確にモデル化することは不可能である。
例えば、あるマンガの原作のキャラクタが図1の実線に示すような輪郭線になるとする。このキャラクタを3次元モデル化する場合、
Qy=0
で原作どおりになる3次元モデルを作ると、
Qy=30
のときの3次元モデルの輪郭線は破線のようになって、原作のモデルに忠実ではなくなるというような問題がある。このような問題は、多くのマンガやアニメ、イラストのキャラクタで発生する。極端な例としては、正面と横向きで全く異なる髪型をしているキャラクタなどもあり、これらを忠実に3次元モデル化することは不可能である。
また、アニメーションでは、見栄えを良くするためにあえて立体的な整合性を無視するような技法がしばしば用いられている。たとえば、顔がどちらを向いても耳が常に正面を向いているキャラクタなどが存在する。
このようなマンガなどのキャラクタを3次元モデルを用いて表現する場合には、仮想3次元空間内に定義できる形に調整されるので、3次元モデルを用いて原画の表現どおりに描くことは不可能になる。3次元モデルを拡張し、向きごとにモデルを用意して補間する手法なども考案されているが、その手法を突き詰めるとZ軸(奥行き情報)は不要となり、本発明のような二次元的な補間で必要十分であるとも考えられる。
また、3次元モデルの例として、「トゥーンレンダリング(トゥーンシェーディング)」という技法により、アニメ風に描くことがなされている。この手法は、マンガやイラストの原作者の意図するどおりの繊細な画風(色彩、線の強弱など)を実現することは困難である。さらに、シーンの光源の状態によっても画風が左右されてしまい、原作者の求めるとおりの色合い、陰影を出すことが困難になる。これに関しても、3次元モデルを拡張し、向きごとに陰影情報などを用意して補間する手法なども考案されているが、やはりその手法を突き詰めるとZ軸(奥行き情報)は不要となり、本発明のような二次元的な補間で必要十分であるとも考えられる。
また、例えば、アニメーション作成ツール「Adobe Flash(登録商標)」を用いることで、イラスト風の画像を補間して動かすことが可能である。しかし、Flashでは二枚の画像間の補間をサポートするのみであるため、上下左右の向き、表情などのパラメータに応じてダイナミックに映像を作り出すことは困難である。また、Flashで向きを変えたり、表情を変えたりするアニメーションを作る場合は、ほぼ毎回必要なキーフレーム(補間もとになる画像)を作っていく必要がある。これは、非常に作業効率が悪いため、Flashではシンプルなキャラクタを動かすレベルの映像しか作成することが出来ない。
3次元モデルをベースにした画像生成システム(特許文献1)、その他中間画像の作成に特徴を有する提案がなされている(特許文献2〜3)
特開2001−84402 特開2005−141705 特開平2003−141559
本発明が解決しようとする課題
従来の3次元モデルをベースとする技術では、マンガのキャラクタなどをモデル化して、アニメーション風に表現することは可能であったが、視点移動や表情変化などの様々な状態変化について、原作の意図するとおりの形状、画風に忠実に再現することは不可能であった。
「特許文献1」の拡張された3次元技術では、3次元的に矛盾する形状を原作どおり再現することが可能だが、画風に関しては、トゥーンレンダリングなどの技術と組み合わせても原作どおり忠実に再現することは困難である。
また、「特許文献2」の2次元画像を変形、補間して表現する技術では、対象物の向き、表情を変化させるために、補助的な情報を用いる方式を採用しており、少ない操作で対象物を定義できる反面、視点移動や表情変化などの様々な状態変化について、原作の意図するとおりの形状、画風に忠実に再現することは不可能であった。
また、「特許文献3」の2次元画像を変形、補間して表現する技術では、4つの画像を補間する方式を採用しており、視点移動や表情変化などの様々な状態変化について、原作の意図するとおりの形状、画風に忠実に再現することは不可能であった。
このように、従来の技術では、マンガやイラストなどの原作に忠実な形状、画風を保ったまま、視点移動や表情変化などを行うことは不可能であった。
課題を解決するための手段
そこで、この発明は、複数の表現定義部品から対象物を形成し、表現定義部品のパラメータの組合せから表現定義部品の実体を設置して、表現定義部品の実体を互いに補間又は補外可能なデータ構造として、描画するので前記問題点を解決した。
即ち、この発明は、以下の条件を満たすように形成することを特徴とする画像の形成用のデータ構造である。
(1)画像として表現するものを対象物とする。
(2)前記対象物の変化させたい状態を1つ又は複数のパラメータとして設定し、設定された前記各パラメータをパラメータ群とする。
(3)線や塗、グラデーション、テクスチャマッピング、座標変換、補助的情報などを「表現定義部品」とし、前記対象物は複数の前記「表現定義部品」の組み合わせにより構成する。前記各「表現定義部品」は、形状、設定値などの複数の「状態」を定義し、前記複数の「状態」は前記「状態」ごとに「表現定義部品の実体」として設定する。
(4)前記各「表現定義部品」を、0個から複数個のパラメータと対応づける。前記各「表現定義部品」に対応する各パラメータに、0個から複数個の「編集点」を設定する。前記各「編集点」はパラメータ上の1つの値に対応づける。
(5)各「表現定義部品」において、対応する各パラメータ上から「編集点」を一つずつ選択した組合せごとに「表現定義部品の実体」を設定する。前記「表現定義部品の実体」は前記各「編集点」の示すパラメータの値に応じた「状態」を持つ。
(6)同じ表現定義部品に対応する各「表現定義部品の実体」は互いに補間又は補外できるものとする。かつ、補間又は補外した結果も、同じ「表現定義部品」に対応する「表現定義部品の実体」とし、同様に互いに補間又は補外できるものとする。
また、他の発明は、以下の様にして形成することを特徴とする画像の形成方法である。
(1)請求項1記載の画像の形成用のデータを予め作成し、および/または、画像を形成しながら請求項1記載の画像の形成用のデータを作成する。
(2)画像形成時には、形成したい対象物の状態に応じて、各パラメータの値を決定する。
(3)各「表現定義部品」について、対応する全パラメータが決定されたパラメータ値になるように、前記「表現定義部品の実体」の補間又は補外を行い、新たな「表現定義部品の実体」を生成する。
(4)以上のようにして、得られた前記「表現定義部品の実体」を順番に描画することで、画像を生成する。
さらに、この発明は、以下の様にして形成することを特徴とする画像の形成方法である。
(1)請求項1記載の画像の形成用のデータを予め作成し、および/または、画像を形成しながら請求項1記載の画像の形成用のデータを作成する。
(2)各「表現定義部品」について、対応する各パラメータのうち、1個から複数個のパラメータについて、決定されたパラメータ値に対応した「表現定義部品の実体」を新たに生み出すため、複数個の「表現定義部品の実体」を補間して、新たな「表現定義部品の実体」を生成する。この操作を、元の「表現定義部品の実体」と新たに生成された「表現定義部品の実体」を用いて繰り返すことで、「表現定義部品」に対応する全てのパラメータが、決定されたパラメータ値に対応づけられた1つの「表現定義部品の実体」を得る。
(3)前記各「表現定義部品」について、対応する全パラメータが決定されたパラメータ値になるように、前記「表現定義部品の実体」の補間又は補外を行い、新たな「表現定義部品の実体」を生成する。
(4)以上のようにして、得られた前記「表現定義部品の実体」を順番に描画することで、画像を生成する。
前記における「表現定義部品」に対応するパラメータが0個の場合は、一つの「表現定義部品の実体」が設定され、パラメータの値によらず状態は不変となる。
また、この発明は、主に原画があり、原画を元に動画(アニメーション)を生成する場合に特に利点があるが、任意の動画、静止画の生成にも利用できる。
発明の効果
この発明では、表現定義部品、パラメータ、編集点をの構成を変えることで、様々な対象物を同じ仕組みで表現できるため、汎用的な2次元の可変モデルを定義するのに適した仕組みであるといえる。
この発明では対象物を、「表現定義部品」に分解して表現し、各「表現定義部品」ごとに必要となるパラメータを割り当て、パラメータ上の値に対応する編集点の組み合わせごとに「表現定義部品の実体」を定義することで、各「表現定義部品の実体」を互いに独立して設定可能となり、原作に忠実な表現が可能となる。
また、必要に応して編集点の数を増やすことで、表現定義の詳細度を上げることができ、原作の再現度合を高めていくことが可能となる。さらに、編集点の数を増やす際は、補間により生成された「表現定義部品の実体」を割り当てることができるため、生産性が向上する。
また、当発明による編集ソフトウェアは、Adobe Illsutrator(登録商標)など2次元のイラスト編集ツールの延長上にあるため、3次元ベースの技術よりもより多くのユーザが容易に習得可能である。
また、当発明でベクター表現を用いる場合は解像度に依存しないという特徴があり高精細な映像を瞬時に作り出すことが可能である。
また、補間により生成された結果を再度編集できるという特徴があり、これにより、従来の技術で実現できなかった、原作のマンガやイラストに忠実なアニメーション製造を容易かつ効率的に実現できる効果がある。
図2〜図7に基づき、シンプルな対象物を例にして、この発明の原理及び実施するための最良の形態を説明する。
(1)描きたい対象物のシンプルな例として、図2のように、4本の曲線「顔の輪郭」「左目」「右目」「口」、で描かれるキャラクタ(画像の例)を考える。
(2)図2の場合、4本の曲線「顔の輪郭」「左目」「右目」「口」がそれぞれ表現定義部品である。すなわち、この対象物は4つの表現定義部品「顔の輪郭」「左目」「右目」「口」の組み合わせにより構成される。
(3)ここで対象物の状態を、顔の横回転Qx、口の開閉Mの二つのパラメータで変化させたいとする。Qxの範囲を−30〜30(度)、Mの範囲を0〜1(1のときに開く)とし、図3のようにキャラクタ顔を変化させる。
(4)各表現定義部品は、それぞれの必要に応じて0〜2個のパラメータに対応づけられる。
「顔の輪郭」の表現定義部品は、顔の横回転、口の開閉を行っても変化しないものとし、いずれのパラメータとも対応づけない。このため編集点も存在しない。「左目」の各表現定義部品は、顔の横回転に応じて変化させたいので、パラメータQxと対応づけ、
Qx=−30、0、30
の3つの値に編集点を設定する。「右目」については「左目」と同様であるため以下省略する。
「口」の表現定義部品は、顔の横回転および口の開閉に応じて変化するので、パラメータQxとパラメータMの二つに対応づけられる。Qxについては、
Qx=−30、0、30
の3つの値に編集点を設定し、Mについては、
M=0、1
の2つの値に編集点を設定する。
(5)「顔の輪郭」の表現定義部品はパラメータに対応づけられていないため、1つの表現定義部品の実体が定義される。
「左目」の表現定義部品には、図4のように三つの編集点それぞれに表現定義部の実体E1、E2、E3が設定される。
「口」の表現定義部品は、図5のようにQxとMの各編集点を一つずつ取り出した6通りの組み合わせに対して、それぞれ表現定義部品の実体F1〜F6が設定される。各実体には図3のように「口」の状態(位置、形状)が設定される。
(6)以下では、対象物を
(Qx,M)=(10,0.3)
という状態で描くとする。これは、対象物からみて10度左を向き、少し口を開いた状態を意味する。
(7)「顔の輪郭」の表現定義部品には、1つの表現定義部品の実体のみ定義されているため、パラメータに無関係に表現定義部品の実体を複製する。
「左目」の表現定義部品は、図4のE2とE3を補間することで、表現定義部品の実体E’を生成する。
「口」の表現定義部品は、図6のように、まずパラメータQxについて決定された値Qx=10に対応させるためF2、F3を補間して表現定義部品の実体F’1を生成し、F5、F6を補間して表現定義部品の実体F’2を生成する。
次にパラメータMについて決定された値M=0.3に対応させるため、F’1とF’2を補間して表現定義部品の実体F’’を得る。このF’’は口の表現定義部品に対応する全パラメータQx、Mについて、決定された値に対応づけられており、最終的な表現定義部品の実体となる。
(8)生成された、表現定義部品の実体を、それぞれの描画順序を考慮して順番に描画することで、最終的に求めたい画像(図7)を得る。
図面に基づいて、この発明の実施例を説明する。また、以下において、補間について説明しているが、補外についても同様に適用することができるので、記載を省略してある。
[1]装置の構成
図8に、本発明を実施するための装置の構成の一例をブロック図で示す。
画像形成部は、入力部からの指示(描画の方式、各パラメータの値など)を受け、要求される画像を、表現定義部品の記憶部のデータを基に生成し、表示部、記憶部、通信部に出力する。
入力部は、アプリケーション(映像編集ソフトウェア、ゲームなど)を構成するソフトウェアまたはハードウェア、ユーザーインターフェイスなどから構成され、画像形成部で必要となる各パラメータ値を決定し、画像形成部に指示を出す。
表現定義部品の記憶部は、ハードディスク、メモリ、光ディスク(CD、DVD)などのハードウェアにより実現されており、画像形成部において画像を形成するのに必要なデータを記憶し、画像形成部からの要求によって画像形成部にデータを出力する。または画像形成部により補間生成された表現定義部品、表現定義部品の実体、データ、画像などを再度記憶する。
表現定義部品の補間部では、表現定義部品の記憶部から取得した表現定義部品の実体を入力部から取得したパラメータ値に基づいて補間する。
描画順序の決定部では、表現定義部品の補間部で生成されたデータの描画順序を決定する。
描画部では、表現定義部品の補間部、描画順序の決定部で生成されたデータ、順序を元に、ラスター画像、ベクター画像、その他の形式の画像もしくはデータを出力する。
画像形成部で生成された画像およびデータは、CRT、LCDなどの表示部、ハードディスク、光ディスク、メモリなどの記憶部、外部へ送信する通信部などに渡される。
[2]データ構造及び画像の生成方法について
(1)本実施形態の特徴
本実施形態の特徴は、マンガやイラストなどの2次元的な映像を3次元空間に配置することなく、状態を変化させて表現することである。
人物や、物体、および空など物体以外を含めて、あらゆる表現に用いることができる。人物を描くような場合、全身を一つの対象物としてもよいが、顔、胴体、腕など各部位を分離して対象物とみなし、それらを合成して表現してもよい。
場合によっては、物体、顔などを、いくつかの向きごとに分けて定義し、パラメータに応じて差し替えて表現することも可能である。
以下のようにして説明されるデータ構造を用いて、表現定義部品実体を順番に描画して画像を生成する。
(2)パラメータについて
パラメータの数、組み合わせは、その対象物の表現に要求される変化に合わせて任意に決定する。
通常、物体(顔も含む)を表現する場合、カメラと物体の相対角をオイラー角などで定義したパラメータQx、Qy、Qzなどを使用する。しかし、求める映像が、ある方向の回転について必要としない場合は、その回転を表すパラメータを使用しなくてもよい。
顔を表現する場合、前記の角度を表わすパラメータに加えて、表情や動作のパラメータが加わる。例えば、口の開閉、目の開閉、眉の縦移動、眉の横移動、目玉の縦移動、目玉の横移動、怒りの度合、笑いの度合、照れの度合、などのように様々なパラメータが必要となる。
各パラメータについては、対象物全体で、とりうる値の範囲を設定する。例えば、対象物の横方向の回転角Qxであれば、範囲を0〜360としてもよく、−180〜180などとしてもよい。また、回転できる範囲が限られている場合、−72〜+95などとしてもよい。口の開閉のパラメータなどであれば、0.0〜1.0としてもよく、0〜100としても、−100〜100などとしても良い。
各パラメータの単位はあまり本質的な意味を持たず、描画時に指定されるパラメータの値と、定義された各編集点の示す値が適切に対応していれば良い。
顔の場合のパラメータの構成例を図9に表わす。
ここで、物体との角度を表わすパラメータも、表情などのパラメータも、単位や範囲、意味などは異なるが、全く同列に扱ってよい。すなわち、物体の回転(角度の変化)も、表情の変化も、それぞれのパラメータの値が変化し、それに応じて補間された結果が変わるという以上の意味を持たない。
高度な利用例としては、アニメーション生成時の回転の角速度をパラメータとするなどもでき、その場合も、他のパラメータと全く同列に扱ってよい。この手法によって、顔が回転している間は髪の毛が浮き上がるなどの表現が可能となる。
(3)表現定義部品
各種の描画や、描画を補助する要素の最小単位を「表現定義部品」とする。例えば、顔を線で描く場合、顔の輪郭線、まつげ一本、しわ一本など、それぞれを一つの「表現定義部品」とする。図10のシンプルな目は4本の線があるため、この場合は、4つの「表現定義部品」で構成される。
(4)表現定義部品の種類
表現定義部品は、図11のように「描画」や「描画を補助する要素」など様々な形で定義される。1本の点列で構成される多角形(描画時には曲線補間される)、多角形の塗りつぶしやグラデーション、テクスチャマッピング(平面上に定義されたポリゴンとそのポリゴンがUVマッピングされたビットマップ画像の組み合わせ)、座標変換(アフィン変換や曲面による自由変換)、描画を補助する情報(位置を指示するための点)などである。
(5)表現定義部品の実体
表現定義部品には、1個以上の「表現定義部品の実体」が対応づけられる。各表現定義部品の実体はそれぞれ1つの状態(形状、設定値など)を表す。同じ、表現定義部品に対応づけられた表現定義部品の実体は、互いに補間(もしくは補外)できる構造をもち、補間の結果として、新しい表現定義部品の実体を生成する。補間により生成された表現定義部品の実体もまた、表現定義部品に対応づけられ、他の実体と補間可能とする。
多角形(曲線補間)の場合は、図12のように補間され、テクスチャマッピングの場合は、図13のように補間される。
図12の例では、口の開閉度をMとし、
M=0の時の上唇の輪郭線を表現定義部品の実体(a)
M=1のときの輪郭線を表現定義部品の実体(b)
としている。これらを補間することで、
M=0.3に対応する輪郭線として表現定義部品の実体(c)
を出力する。
(6)表現定義部品の段階的補間
図14では、顔の横向きの角度Qx、口の開閉度をMとし、上唇の輪郭線を表現定義部品Bとし、実体を以下のように定義している。
(Qx,M)=(0,0)表現定義部品Bの実体B1
(Qx,M)=(0,1)表現定義部品Bの実体B2
(Qx,M)=(−30,0)表現定義部品Bの実体B3
(Qx,M)=(−30,1)表現定義部品Bの実体B4
このとき、B1、B2、B3、B4は互いに補間できる関係である。図14では、
(Qx,M)=(−10,0.3)
に対応する上唇を生成するための補間のプロセスを示している。
補間して生成されるデータは、B1、B2、B3、B4と同様に表現定義部品Bの実体となる。よって、図14の補間1で生成されるB’1、補間2で生成されるB’2も表現定義部品Bの実体であり、B1、B2、B3、B4、B’1、B’2は互いに補間できる関係となる。B’1、B’2を補間しB’’を生成することで、
(Qx,M)=(−10,0.3)
の時の表現定義部品の実体が生成される。
ここでは、2つのパラメータQx、Mで補間しているが、任意の数のパラメータで段階的に補間を繰り返し、一つの補間結果を出力することが可能である。
また、ここでの補間は1対1で行うとしているが、1対n、m対nで補間する方法や、複数のパラメータをまとめて補間する方法を用いることもできる。
また、補間回数を減らすため、B1とB4を補間してB’3を生成し、B3とB’3を補間して、
(Qx,M)=(−10,0.3)
の時の表現定義部品の実体を生成することも可能である。
(7)表現定義部品と実体の関係
補間可能な関係にない複数の表現定義部品を、互いに補間できる関係として定義しなおし、改めて「表現定義部品」と「表現定義部品の実体」という関係に設定することもできる。
この方式は、予め対象物の複数の原画をトレースして表現定義部品として表現し、後から各種パラメータに応じて、補間可能な表現定義部品(とその実体)として対応づけるような場合に用いられる。
(8)編集の独立性
互いに補間可能な関係にある「表現定義部品の実体」は、それぞれ独立して編集できる。すなわち、ある「表現定義部品の実体」を編集しても、別の要素に影響を及ぼさない。このため、向きごとに自由な編集が可能であり、マンガなどの形状や画風を容易に再現可能である。
それに対して、3Dモデルを編集する手法では、ある向きで正しくなるように点を編集することで、別の向きから見たときに正しくなくなるという編集上の問題が発生し、原作を忠実に再現することが不可能となる。
(9)編集点
各表現定義部品は、0個から複数個のパラメータと対応づけられる。各表現定義部品に対応する各パラメータには、変化状態に応じて、0から複数個の編集点を設定する。1つの編集点はパラメータ上の1つの値に対応づけられる。
例えば、図14の上唇の表現定義部品は、二つのパラメータ、
・顔の横向きの角度Qx
・口の開閉度をM
に対応づけられている。
図14では上唇の表現定義部品は、パラメータQxに関して、
Qx=0、−30
の二つの編集点を持ち、パラメータMに関して
M=0、1
の二つの編集点を持つ。各パラメータから1つずつ編集点を選択した組合せは下記の4通りできる。
(Qx,M)=(0,0)
(Qx,M)=(0,1)
(Qx,M)=(−30,0)
(Qx,M)=(−30,1)
この4通りの組に、表現定義部品の実体が定義されている。
ただし、ここでは編集点の全ての組み合わせに表現定義部品の実体が定義されているが、かならずしも全てに定義する必要はなく、全組み合わせのサブセットでも問題ない。
(10)曲線の表現
表現定義部品の一つである、曲線と塗り(グラデーションも含む)は、スプライン補間曲線やカーディナル曲線のように点列を通過する曲線が補間しやすく望ましいが、ベジェ曲線やNURBS曲線などでも表現可能である。
点列を通過する曲線の場合、各点にコーナーや直線のフラグを設定することで、より自由な表現が可能となる。
(11)曲線の太さの変化
点列の各点もしくは、曲線上の自由な位置に太さを設定できる構造を持たせることで、曲線の途中に自由な太さの変化を持たせることができ、これによりマンガなどの独特な線の表現を、非常に少ないデータ量で表現できる。また、曲線の形状と、太さを簡単に補間処理でき、計算量も抑制できる。
(12)曲線の設定項目
曲線には、以下のような設定項目を持たせる。
・曲線形状(色などを持たない)
・線の色、塗の色(グラデーションや網点の場合もある)、透明度、
・線の強弱(編集点ごとに変化する)、ぼかし量
・描画順序、クリッピングパスの参照
ここで、曲線どうしを補間する場合に、各設定項目どうしも補間できる構造とする。ただし、クリッピングパスの参照のように補間できない(中間的な値を持たない)項目は、ある閾値(通常中間の値)で切り替わる構造とする。
(13)曲線形状の補間
二つの点列による曲線を補間する場合に、点列の点数が同一で、各点が補間できる関係にあるとき、各点を単純に補間するだけで、補間後の点列を生成でき、それをカーディナル曲線などで曲線として表現することで、二つの曲線を補間した新たな曲線が生成できる。
点列の点数が異なる場合、もしくは、各点が対応関係に無い場合は、曲線上に付随する情報を用意することで、補間の対応関係を調整できる。すなわち、各点列から生成される曲線の任意の場所を始点、終点、もしくは任意の中間点として設定できる付随情報を用意することで、補間の対応を調整することが可能となる。
(14)描画順序(前後関係)
描画される種類(線、塗、テクスチャなど)の表現定義部品の実体は、Adobe Illustrator(登録商標)のようなベクター系画像編集ソフトウェアのパスや画像と同様に、それぞれが描画順序を持ち、最背面にある表現定義部品の実体から順番に描画されるものとする。
ただし、パラメータの変化に応じて、前後関係も変化する必要があるため、補間により描画位置を変化させることができるものとする。通常、各表現定義部品の実体には、相対的な前後関係ではなく、絶対的な深さとして描画順を設定する方がより扱いやすくなる。
例えば、耳は顔の向きに応じて顔の面より前に来たり後ろに来たりするので、図15のように、顔の向きのパラメータQxに応じて、Qx=0とQx=30に設定されている表現定義部品の実体の描画順序を補間し、耳と顔の面の描画順が入れ替わるように設定する。
(15)クリッピング
ある表現定義部品D1を別の表現定義部品D2の内側に描画したい場合は、D1のクリッピング用の要素(通常は曲線)としてD2を設定する。例えば、目玉のように、目の範囲内からはみ出さないよう表現したい場合は、目の範囲を表す表現定義部品をクリッピング用の曲線として指定する。また、影を輪郭線からはみ出さないように輪郭線でクリッピングするような利用法も有効である。
(16)n次の補間
1つのパラメータでの補間を1次の補間と定義すると、任意のn次で補間できるように構造化する。
ある「表現定義部品」に3つのパラメータが対応づけられた場合は、3次の補間を行うことのできるデータ構造として定義する。
例として「顔の輪郭」を、向きQx、Qy、口の開閉度Mの3つのパラメータで、三次の補間をするためのデータの構造を図16に示す。図は便宜上3D的に配置しているが、3D空間とはなんら関係ない。実際には、図16のように正しい格子状に並べなくてもよい。
(17)n次で補間可能なデータ構造の実装例
3次の補間データは図17のようにツリー構造で定義する。n次の場合もツリーの深さをn(表現定義部品と、ルートを除く)とすることで定義できる。
例えば、3つのパラメータのQx、Qy、Mの場合、
(Qx,Qy,M)=(30,0,1)
の編集点の組には、表現定義部品の実体D6が対応づけられていることになる。
(Qx,Qy,M)=(40,20,0.8)
の時の補間データを生成するためには、
D5(30,0,0)、D6(30,0,1)、
D7(30,30,0)、D8(30,30,1)、
D9(60,0,0)、D10(60,0,1)、
D11(60,30,0)、D12(60,30,1)、
の8個の表現定義部品の実体を用いて補間を行うことで、1つの表現定義部品の実体
D’(40,20,0.8)
を生成する。
(18)n次補間の処理
n次で補間を行う基本的な方法として、n個のパラメータから、1パラメータづつ順番に補間し、補間結果の対を再度補間する方法がある。
多数の要素間における補間を、複雑なデータに対して破綻なく行うため、1対1で補間を繰り返し、最終的に1つのデータを生成することが簡便である。前記のデータ例では、以下の様な手順で補間を繰り返す。
<口の開閉Mについて補間して、M=0.8の表現定義部品の実体を生成>
D5とD6を補間してDa(30,0,0.8)を生成
D7とD8を補間してDb(30,30,0.8)を生成
D9とD10を補間してDc(60,0,0.8)を生成
D11とD12を補間してDd(60,30,0.8)を生成
<視線方向Qyについて補間して、Qy=20の表現定義部品の実体を生成>
DaとDbを補間してDe(30,20,0.8)を生成
DcとDdを補間してDf(60,20,0.8)を生成
<視線方向Qxについて補間して、Qx=40の表現定義部品の実体を生成>
DeとDfを補間して最終的なD’(40,20,0.8)を生成
(19)範囲の分離
同じ意味を持つ部分でも、範囲を分離して異なる表現定義部品として設定することもできる。たとえば、図18のように髪型を横向きと正面向きで全く異なる形状で描きたい場合、横向きの髪型E1と、正面向きの髪型E2に分けて定義し、横向きの回転角Qxに関して、あるQxの閾値T1を境に、E1、E2のいずれを使うかを分けることができる。この場合、閾値T1を境に、E1とE2の間の補間関係はなくなり、連続性は失われるが、表現上は問題ない。
このような表現の場合、Qxの編集点は、パラメータ上の値を指すだけではなく、T1未満、T1以下、T1以上、T1より大、というように、詳細に設定を行う。これにより、T1未満ではE1、T1以上ではE2というように重複なく表現しうる。
この範囲を分離する方法は、顔全体、髪の毛全体など、複数の表現定義部品からなる大きなまとまりにも適用可能である。
(20)座標変換
表現定義部品の一形態として、実際に描画する要素(線など)ではなく、ある座標系から別の座標系への「座標変換」を用いることもできる。
この場合の「座標変換」も図19のように複数のパラメータと対応づけられ、互いに補間可能な表現定義部品の実体を定義することができる。
図20のように、座標変換の形態は単純なアフィン変換、自由な曲面やポリゴンによる変換などが可能である。
座標変換の中には、図21のように複数の表現定義部品を配置することができる。座標変換自体も、表現定義部品の一種であるため、座標変換の中に、座標変換を入れ子で定義することができる。
この仕組みを利用することで、各表現定義部品に対応づけるパラメータの数を減らすことが可能となる。
たとえば、眉毛の表現定義部品を、顔の回転パラメータ(角Qx、Qy)、眉の上下左右の移動(Bx、By)に合わせて表現する必要がある場合、眉毛の表現定義部品に直接4つのパラメータQx、Qy、Bx、Byを対応づけてもよいが、顔面用の座標変換T1を用意して、座標変換T1に回転角Qx、Qyのパラメータを割り当て回転を表現した場合、図22のように眉毛の表現定義部品を座標変換T1の変換元座標系に配置することにより、眉毛はBx、Byに直接対応づけるだけで済む。顔の回転に合わせて、座標変換T1が変形されるため、眉も追随することになる。
このような座標変換を組み合わせることで、各表現定義部品に対応づける必要のあるパラメータの数を減らすことが可能となる。対応づけられるパラメータの数を減らすことにより、表現定義部品を編集する作業量、データ量が減り、また描画時には補間の回数が減るため高速化できる効果がある。
(21)キャラクタ(顔)の表現の場合
表現の実施例として、現実的なキャラクタの場合を以下に示す。
1つのキャラクタには多数の表現定義部品が存在するが、それぞれの表現定義部品は異なるパラメータで構成されている。以下に標準的なパラメータ構成の例を記載する。
顔全体が収まる座標変換を用意し、Qzのパラメータによる回転を定義する。
「顔の輪郭」は、顔の向きを意味するQx、Qyに加えて、「口の開閉」の、3パラメータに対応づけられる。輪郭は、線と線の内部の塗りつぶしで表現される。
「耳」は通常「口の開閉」による影響を受けないため、Qx、Qyだけに対応づけられる。耳は複数の線と塗りで描く必要があり、複数の「表現定義部品」が使用される。
「顔面用の座標変換(曲面)」は、Qx、Qyに対応づけられており、その曲面上に描画された要素(目や眉など)は、曲面によって自動的に変形される。
「眉」は「顔面用の座標変換」の上に描画されるため、Qx、Qyには直接対応づける必要がないが、「眉の上下」、「感情による眉形状の変形」、「眉の回転」といったパラメータに対応づけられる。
このように、表現定義部品、パラメータ、編集点を組み合わせて各部位を表現するが、座標変換をうまく組み合わせることで、殆どの表情や状態を3次程度の補間で表現できるため、次数が大きくなりすぎて問題になることは通常ない。また、補間方法の最適化により、補間回数を減らすことも可能である。
また、本格的な映像を作る場合においては、リアルタイムで計算する必要はないため、より多くのパラメータに対応づけることが可能である。それにより、より微妙な表情や、しぐさなどを定義することができる。
(22)応用事例
本発明は、マンガのように白黒の表現や、水墨画などで描かれたキャラクタなどを動かす場合に、3Dよりも最適である。
応用事例として、ゲーム(特に会話などアップで繊細な表情が求められるシーン)や、アバター(キャラクタ)作成ソフト、マンガ作成ソフト、アニメーション作成ソフトなどに利用可能である。
また、3Dのビルボードと呼ばれる技術を用いて、当発明で描いた2次元の映像を、3D空間内に描画することも可能である。すなわち、3Dの視点方向と、対象物の関係から、パラメータQx、Qy、Qzなどを適切に設定して当発明により2次元的に描画し、ビルボードに平面的にマッピングすることで、3Dで描かれたかのように描くことが可能であり、視点の移動に追随することが可能である。
当発明では、3Dのように視点の自由な移動は困難であるが、正面向きや、横向きなど、映像やゲームなどで重要な意味を持つ会話のシーンのような表現においては、3Dよりも少ない労力で、原作により忠実な映像を作りだすことができる。
また、当発明の技術はAdobe Flash(登録商標)などのスクリプトとして動かすこともでき、現状のFlashでは不可能な、高品質のキャラクタを3Dのように動かすことが可能である。また、この場合、当手法の特徴により3Dよりも原作に忠実にイラストらしい表現で描くことが可能である。
従来例で、3次元化できない顔の輪郭の図。 この発明の実施例で、シンプルな顔の図。 この発明の実施例で、シンプルな顔の変化を表す図。 この発明の実施例で、シンプルな顔の左目の編集点を表す図。 この発明の実施例で、シンプルな顔の口の編集点を表す図。 この発明の実施例で、シンプルな顔の口の補間を表す図。 この発明の実施例で、補間により生成されたシンプルな顔画像を表す図。 この発明の実施例で、システム構成のブロック図。 この発明の実施例で、顔のパラメータの構成例の表。 この発明の実施例で、シンプルな目を表す図。 この発明の実施例で、表現定義部品の種類を表す図。 この発明の実施例で、多角形の補間を表す図。 この発明の実施例で、テクスチャマッピングの補間を表す図。 この発明の実施例で、段階的な補間を表す図。 この発明の実施例で、顔と耳の前後関係の変化を表す図。 この発明の実施例で、3次の補間を表す立体図。 この発明の実施例で、3次の補間のデータ構造を表す図。 この発明の実施例で、範囲の分離を表す図。 この発明の実施例で、座標変換の表現定義部品の実体を表す図。 この発明の実施例で、座標変換の種類を表す図。 この発明の実施例で、座標変換の入れ子を表す図。 この発明の実施例で、座標変換による眉の定義を表す図。

Claims (3)

  1. 以下の条件を満たすように形成することを特徴とする画像の形成用のデータ構造
    (1)画像として表現するものを対象物とする。
    (2)前記対象物の変化させたい状態を1つ又は複数のパラメータとして設定し、設定された前記各パラメータをパラメータ群とする。
    (3)線や塗、グラデーション、テクスチャマッピング、座標変換、補助的情報などを「表現定義部品」とし、前記対象物は複数の前記「表現定義部品」の組み合わせにより構成する。前記各「表現定義部品」は、形状、設定値などの複数の「状態」を定義し、前記複数の「状態」は前記「状態」ごとに「表現定義部品の実体」として設定する。
    (4)前記各「表現定義部品」を、0個から複数個のパラメータと対応づける。前記各「表現定義部品」に対応する各パラメータに、0個から複数個の「編集点」を設定する。前記各「編集点」はパラメータ上の1つの値に対応づける。
    (5)各「表現定義部品」において、対応する各パラメータ上から「編集点」を一つずつ選択した組合せごとに「表現定義部品の実体」を設定する。前記「表現定義部品の実体」は前記各「編集点」の示すパラメータの値に応じた「状態」を持つ。
    (6)同じ表現定義部品に対応する各「表現定義部品の実体」は互いに補間又は補外できるものとする。かつ、補間又は補外した結果も、同じ「表現定義部品」に対応する「表現定義部品の実体」とし、同様に互いに補間又は補外できるものとする。
  2. 以下の様にして形成することを特徴とする画像の形成方法。
    (1)請求項1記載の画像の形成用のデータを予め作成し、および/または、画像を形成しながら請求項1記載の画像の形成用のデータを作成する。
    (2)画像形成時には、形成したい対象物の状態に応じて、各パラメータの値を決定する。
    (3)各「表現定義部品」について、対応する全パラメータが決定されたパラメータ値になるように、前記「表現定義部品の実体」の補間又は補外を行い、新たな「表現定義部品の実体」を生成する。
    (4)以上のようにして、得られた前記「表現定義部品の実体」を順番に描画することで、画像を生成する。
  3. 以下の様にして形成することを特徴とする画像の形成方法。
    (1)請求項1記載の画像の形成用のデータを予め作成し、および/または、画像を形成しながら請求項1記載の画像の形成用のデータを作成する。
    (2)各「表現定義部品」について、対応する各パラメータのうち、1個から複数個のパラメータについて、決定されたパラメータ値に対応した「表現定義部品の実体」を新たに生み出すため、複数個の「表現定義部品の実体」を補間して、新たな「表現定義部品の実体」を生成する。この操作を、元の「表現定義部品の実体」と新たに生成された「表現定義部品の実体」を用いて繰り返すことで、「表現定義部品」に対応する全てのパラメータが、決定されたパラメータ値に対応づけられた1つの「表現定義部品の実体」を得る。
    (3)前記各「表現定義部品」について、対応する全パラメータが決定されたパラメータ値になるように、前記「表現定義部品の実体」の補間又は補外を行い、新たな「表現定義部品の実体」を生成する。
    (4)以上のようにして、得られた前記「表現定義部品の実体」を順番に描画することで、画像を生成する。
JP2007298624A 2007-10-23 2007-10-23 画像の形成用のデータ構造及び画像の形成方法 Pending JP2009104570A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007298624A JP2009104570A (ja) 2007-10-23 2007-10-23 画像の形成用のデータ構造及び画像の形成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007298624A JP2009104570A (ja) 2007-10-23 2007-10-23 画像の形成用のデータ構造及び画像の形成方法

Publications (1)

Publication Number Publication Date
JP2009104570A true JP2009104570A (ja) 2009-05-14

Family

ID=40706155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007298624A Pending JP2009104570A (ja) 2007-10-23 2007-10-23 画像の形成用のデータ構造及び画像の形成方法

Country Status (1)

Country Link
JP (1) JP2009104570A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039828A (ja) * 2009-08-12 2011-02-24 Konami Digital Entertainment Co Ltd 画像処理システム及び画像処理方法
JP2012018540A (ja) * 2010-07-07 2012-01-26 Toppan Printing Co Ltd 画像データ生成装置及び画像データ生成方法
KR20160086891A (ko) 2013-12-02 2016-07-20 라이브2디 인크. 화상처리장치, 화상처리방법 및 프로그램
JP6231713B1 (ja) * 2017-04-13 2017-11-15 株式会社Live2D プログラム、記録媒体、及び描画方法
US10235785B2 (en) 2014-03-18 2019-03-19 Live2D Inc. Image compositing device based on mask image, image compositing method based on mask image, and non-transitory computer-readable recording medium therefor
US10297036B2 (en) 2015-07-01 2019-05-21 Live2D Inc. Recording medium, information processing apparatus, and depth definition method
US10417811B2 (en) 2014-09-05 2019-09-17 Live2D Inc. Recording medium, information processing apparatus, and control method
JP2021149902A (ja) * 2020-03-19 2021-09-27 慶 北畑 3dcgにおけるアニメーションの改善プログラム
WO2022176132A1 (ja) 2021-02-18 2022-08-25 株式会社Live2D 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法
JP7353418B1 (ja) 2022-05-06 2023-09-29 株式会社Cygames 画像を生成するためのプログラム、方法、画像生成装置、及びゲームシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06324671A (ja) * 1993-05-17 1994-11-25 Casio Comput Co Ltd 図形表示装置
JP2001084402A (ja) * 1999-09-09 2001-03-30 Namco Ltd 画像生成システム及び情報記憶媒体
JP2005128988A (ja) * 2003-10-27 2005-05-19 Reallusion Inc 画像調整のシステム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06324671A (ja) * 1993-05-17 1994-11-25 Casio Comput Co Ltd 図形表示装置
JP2001084402A (ja) * 1999-09-09 2001-03-30 Namco Ltd 画像生成システム及び情報記憶媒体
JP2005128988A (ja) * 2003-10-27 2005-05-19 Reallusion Inc 画像調整のシステム及び方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039828A (ja) * 2009-08-12 2011-02-24 Konami Digital Entertainment Co Ltd 画像処理システム及び画像処理方法
JP2012018540A (ja) * 2010-07-07 2012-01-26 Toppan Printing Co Ltd 画像データ生成装置及び画像データ生成方法
KR20160086891A (ko) 2013-12-02 2016-07-20 라이브2디 인크. 화상처리장치, 화상처리방법 및 프로그램
US9928664B2 (en) 2013-12-02 2018-03-27 Live2D Inc. Image processing device, image processing method and non-transitory computer-readable recording medium
US10235785B2 (en) 2014-03-18 2019-03-19 Live2D Inc. Image compositing device based on mask image, image compositing method based on mask image, and non-transitory computer-readable recording medium therefor
US10417811B2 (en) 2014-09-05 2019-09-17 Live2D Inc. Recording medium, information processing apparatus, and control method
US10297036B2 (en) 2015-07-01 2019-05-21 Live2D Inc. Recording medium, information processing apparatus, and depth definition method
JP6231713B1 (ja) * 2017-04-13 2017-11-15 株式会社Live2D プログラム、記録媒体、及び描画方法
JP2018181287A (ja) * 2017-04-13 2018-11-15 株式会社Live2D プログラム、記録媒体、及び描画方法
CN108734652A (zh) * 2017-04-13 2018-11-02 株式会社Live2D 存储介质、描绘方法及数据结构
US20180300935A1 (en) * 2017-04-13 2018-10-18 Live2D Inc. Storage medium, rendering method and data structure
JP2021149902A (ja) * 2020-03-19 2021-09-27 慶 北畑 3dcgにおけるアニメーションの改善プログラム
WO2022176132A1 (ja) 2021-02-18 2022-08-25 株式会社Live2D 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法
JP7353418B1 (ja) 2022-05-06 2023-09-29 株式会社Cygames 画像を生成するためのプログラム、方法、画像生成装置、及びゲームシステム

Similar Documents

Publication Publication Date Title
JP2009104570A (ja) 画像の形成用のデータ構造及び画像の形成方法
US10540817B2 (en) System and method for creating a full head 3D morphable model
CA2239402C (en) Method for generating photo-realistic animated characters
US9314692B2 (en) Method of creating avatar from user submitted image
JP3288353B2 (ja) 顔イメージから開始して3d顔モデルを作る方法
CN113269872A (zh) 基于三维人脸重构和视频关键帧优化的合成视频生成方法
KR101514327B1 (ko) 얼굴 아바타 생성 장치 및 방법
Seol et al. Spacetime expression cloning for blendshapes
Orvalho et al. A Facial Rigging Survey.
KR101819535B1 (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
CN104008569B (zh) 一种基于深度视频的3d场景生成方法
US20020024519A1 (en) System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character
CN106952336B (zh) 一种保特征的人类三维头像生产方法
CN102054287B (zh) 面部动画视频生成的方法及装置
JPH1091809A (ja) 関数演算プロセッサ制御マシンの操作方法
CN112669447A (zh) 一种模型头像创建方法、装置、电子设备和存储介质
KR20000063919A (ko) 3차원 얼굴 모델링 시스템 및 모델링 방법
JPH1011609A (ja) 動画キャラクタの生成装置及び方法
US11403800B1 (en) Image generation from 3D model using neural network
KR20010102718A (ko) 애니메이션 영상 합성 장치 및 방법
US10319133B1 (en) Posing animation hierarchies with dynamic posing roots
CN115082640A (zh) 基于单张图像的3d人脸模型纹理重建方法及设备
US8228335B1 (en) Snapsheet animation visualization
Li et al. Animating cartoon faces by multi‐view drawings
WO2021155666A1 (zh) 用于生成图像的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120501

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120612