JP2002505784A

JP2002505784A - 手書き風外観を有する画像を生成するための方法及びシステム

Info

Publication number: JP2002505784A
Application number: JP55316499A
Authority: JP
Inventors: ピー．ハーツマン，アーロン; パーリン，ケネス
Original assignee: ニューヨークユニバーシティ
Priority date: 1998-04-17
Filing date: 1999-04-16
Publication date: 2002-02-19
Also published as: US6011536A; WO1999054866A1; CA2294314A1; EP0995185A4; EP0995185A1

Abstract

(57)【要約】方法及びシステム（１０）は、ディジタル原画像（４０）及びブラシのサイズデータを受け取る。ディジタル原画像（４０）はデジタル参照画像を生成するためにぼかされる。ブラシのサイズデータはブラシの第１の大きさに対応した第１の記録及びブラシの第２の大きさに対応した第２の記録を含む。方法及びシステム（１０）は、ブラシに対して使用される第１の記録によって、参照画像を使用してデジタルキャンバス画像に対してブラシストロークを加える。次に、ブラシに対して使用される第２の記録によって、参照画像及び作業画面を使用してデジタルキャンバス画像に対してブラシストロークが加えられる。このように、手書き風外観を有する最終デジタル画面がキャンバス画像上に生成される。長い湾曲したブラシストロークもまた、画像の勾配に対して垂直方向に配列された目標画像を生成するために使用され得る。さらに、グラフィック芸術家は、スタイル又は彩色を変更するために本発明に係る方法及びシステムのパラメータを調節してもよい。

Description

【発明の詳細な説明】手書き風外観を有する画像を生成するための方法及びシステム技術分野本発明は、手書き風外観を有する画像を生成するための方法及びシステムに関する。特に、生成された画像は、原画像に対して一運のスプラインブラシストロークを繰り返して適用することによって製作される。背景技術過去において、芸術的イラストは、熟練した芸術家及び、このような芸術的イラストの製作にかなりの時間と資源を奉仕することを望む個々の製作者によってのみ製作されてきた。現在のコンピュータ技術の発展は、写真のリアルな画像を比較的素早くかつ容易に製作することを可能とした。従って、写真のリアル描写の細部を自動化することが可能である。このような描写方法は通常、ユーザが場面と描写パラメータを選択することによって制御される。しかしながら、従来の方法及びシステムは、完全に自動化された方法で、手書き風外観を有する非常に優れた写真ではないリアル作品（即ち、絵画及び図画）を作り出す事はない。特に、従来の方法及びシステムを利用するユーザは、描画プログラムを用いて画像全体を対話的に「描画」し、又は狭く規定された写真ではないリアルフィルタセットを通して画像又は３Ｄモデルを処理する必要がある。画像を処理するこの様な従来の方法よびシステムは、写真ではないリアル外観を有する画像を製作しない。例えば、これらの従来の方法及びシステムは、非常に簡単なブラシストロークを使用し、これらの全ては同じ大きさと形状を有している。手書き風の絵画とは反対に、これらの従来の方法及びシステムによって製作された結果の画像は、機械的かつコンピュータで生成した外観を有する。従って、これらの不利益を克服しかつ不利な機械的外観を持たない写真ではないリアル画像を製造する方法及びシステムの必要性が存在する。発明の開示本発明にかかる方法及びシステムは、キャンバス画像上に手書き風の外観を有するデジタル画像を生成するためのコンピュータシステムを提供する。この方法及びシステムは、原画像とブラシサイズに関するデータを受信する。原画像は、参照画像を生成するために、ぼかされる。ブラシサイズデータは、ブラシの第１のサイズに対応する第１の記録と、ブラシの第２のサイズに対応する第２の記録を含む。コンピュータシステムは、第１の記録をブラシに対して使用して、参照画像を使用してキャンバス画像に適用されるブラシストロークをシミュレートする様に動作する。ブラシストロークは次に、第２の記録をブラシに対して使用して、参照及びキャンバス画像を使用してキャンバス画像に適用される。この方法において、手書き風外観を有する画像が生成される。このようにして、目標の画像が、例えば大きなサイズのブラシで描かれたラフなスケッチで始まる一連の層を使用して、生成される。このスケッチは、好ましくはそのスケッチがぼかされた原画像とは異なる領域において、累進的に小さなブラシで描画される。従って、絵画中の視覚的強調は、原画像中に存在する空間エネルギーにほぼ対応する。本発明の他の実施形態において、長く曲がったブラシストロークを目標の画像を生成するために使用することができ、この目標画像は画像勾配に対して直角方向に配列している。更に、グラフィック芸術家は、この方法とシステムのパラメータを本発明に従って調整し、絵画のスタイルを変更することができる。図面の簡単な説明図１は、本発明にかかる代表的な一実施形態の全体のシステム構造を示す。図２は、本発明にかかる図１の代表的描写システムを更に詳細に示す。図３は、本発明にかかるシステムによって実施される本発明にかかる方法の代表的な実施形態の全体的な流れ図を示す。図４（ａ）は、参照画像として使用されるデジタル原画像を示す。図４（ｂ）は、最も大きな供給半径を有するブラシストロークがキャンバス画像に適用された後の、デジタルキャンバス画像を示す。図４（ｃ）は、より小さな供給半径を有するブラシストロークがキャンバス画像上に適用された後の、図４（ｂ）のデジタルキャンバス画像を示す。図４（ｄ）は、更に小さな供給半径を有するブラシストロークがキャンバス画像上に適用された後の、図４（ｃ）のデジタルキャンバス画像を示す。図４（ｅ）は、絵画の例示的なイラストを示す。図４（ｆ）は、デジタル原画像のカラーを用いてブラシ半径の円を配置することが可能な代表的な方法を使用して生成したデジタル画像を示す。図４（ｇ）は、画像勾配に直角方向に配列した短いブラシストロークを用いて生成した別のデジタル画像を示す。図５は、コンピュータによって生成したブラシによってデジタルキャンバス画像を描くための、本発明にかかる方法の代表的な実施形態を示す。図６は、長く曲がったブラシストロークを用いてデジタル画像を生成するための本発明にかかる代表的な実施形態のフローチャートを示す。図７（ａ）は、キャンバス画像上に長く曲がったブラシ画像を適用するための手順における代表的な初期ステップを示す。図７（ｂ）は、キャンバス画像上に長く曲がったブラシストロークを適用するための手順における代表的な第２のステップを示す。図７（ｂ）は、キャンバス画像上に長く曲がったブラシストロークを適用するための手順における代表的な第３のステップを示す。図８（ａ）は、上から下の順に、「印象派」、「表現派」及び「カラリスト・ウオッシュ」スタイルを示す代表的な第１の画像を示す。図８（ｂ）は、上から下の順に、「印象派」、「表現派」及び「カラリスト・ウオッシュ」スタイルを示す代表的な第２の画像を示す。図９（ａ）は、「点描派」スタイルのデジタル画像を示す。図９（ｂ）は、図９（ａ）と図９（ｃ）（以下に示す）の画像におけるスタイルパラメータが平均化された場合に生成されるデジタル画像を示す。図９（ｃ）は、「カラリスト・ウオッシュ」スタイルのデジタル画像を示す。詳細な説明システム構成全体：図１は、本発明にかかるシステムの代表的な実施形態のシステム構成全体を示す。ユーザ入力デバイス２０、出力デバイス３０及び原画像装置４０は、描写システム１０に結合されている。ユーザ入力デバイス２０は、例えばキイボード、マウス及び音声指令システムを含むことが可能で、かつ第１の通信装置１５を介して描写システム１０に接続されている。出力デバイス３０は、例えばモニタ又はプリンタを含むことが可能で、かつ第２の通信装置２５を介して描写システムに接続されている。原画像装置４０は、例えば、スキャナ、記憶された画像を保持する記憶装置（例えばＣＤＲＯＭドライブ）及び／又は原画像を記憶するインターネットサーバを含むことができる。原画像装置４０は第３の通信装置３５を介して描写システム１０に接続されている。各通信装置１５、２５、３５は、例えば、直列通信線、並列通信線、光ファイバー通信ネットワーク等を含むことが可能である。更に、原画像装置４０を描写システム１０に組み込むことも可能である。描写システム１０を通信ネットワーク及び／又は電話線（図示せず）を介して他の描写システム及び又は更に他のシステムに接続することもできる。メッセージ配信システム：図２は本発明にかかる代表的な描写システム１０を詳細を示す。特に、代表的な描写システム１０は、例えばプロセッサ５０を含むことができる。プロセッサ５０は通信デバイス７０（例えば、ＳＣＳＩポート、直列ポート等のような通信ポート）、出力ポート６０（例えば、モニタポート、ＬＰＴポート等）及び記憶デバイス８０（例えば、ＲＡＭ装置、ＲＯＭ装置、ディスクドライブ等）に接続されている。プロセッサ５０は、例えば高性能マイクロプロセッサ、ミニコンピュータ、メインフレームコンピュータ又はプロセッサネットワーク（市販されている）をも含むことが可能である。出力ポート６０、通信デバイス７０及び記憶デバイス８０は全て市販されていることに注意すべきである。通信デバイス７０は原画像を受信するために原画像装置４０に結合されていることが好ましい。更に、通信デバイス７０を、ユーザ命令を受信するためにユーザ入力デバイス２０へ結合することも可能である。通信デバイス７０を他のプロセッサ及び／又はシステム間の通信のために通信ネットワークに結合することも可能である。このような通信ネットワークとして、アナログ電話線、デジタル電話線、イーサネットネットワーク、Ｔ１／Ｔ３通信装置等を含むことが可能である。原画像は、記憶デバイス８０に記憶することもでき、従って本発明にかかる方法の実行中にプロセッサ５０に提供される。このように、描写システム１０は原画像装置４０を使用することなく、記憶デバイス８０から原画像を得ることができる。処理した画像を表示するために、出力デバイス３０は出力ポート６０に結合され、その結果画像データは出力ポート６０からプロセッサ５０によって及び／又は記憶デバイス８０によって提供され得る。本発明によれば、原画像を受信し、記憶し及び／又は表示するため、及び処理された（例えば最終の）画像を表示するために、プロセッサ５０は通信デバイス７０、記憶デバイス８０及び出力ポート６０を制御する。操作の大要：図３は、上述した描写システム１０によって実施される本発明の方法の一般的な流れ図を示す。特に、本発明の方法はステップ１００において開始される。描写システム１０は原画像を受信する（ステップ１１０）。原画像は、描画することによって模写される画像を表す。上述したように、原画像は、原画像生成装置４０によって及び／又は既に原画像を記憶しているであろう記憶デバイス８０によってプロセッサ５０に提供される。他のシステム及び／又はデバイスが原画像をプロセッサ５０に提供しても良い。ステップ１２０において、プロセッサ５０は使用可能なブラシサイズのリストと描画スタイル命令（例えば、データレコード）を記憶デバイス８０から又は他のソースから受信する。ブラシサイズ及び／又はスタイルは、ユーザ入力デバイス２０を介してユーザから提供される場合もある。ステップ１３０において、プロセッサはキャンバス画像（例えば、作業すべき画像）を予め決められた色で塗る。次に、ステップ１４０において、プロセッサ５０は使用可能なブラシサイズのリストから最大のブラシサイズを、作業ブラシ（Ｒ_i）として選択する。その後、プロセッサ５０は原画像をデジタル的にぼかして参照画像を生成する（ステップ１５０）。原画像は、標準偏差ｆσ＊Ｒ_iのガウシアンカーネルを伴う畳み込みを用いてぼかされることが好ましい。なおｆσは定数因子であり、Ｒ_i は作業ブラシサイズである。エッジ付近に僅かに良い結果を得るために、ガウシアンぼかしに代わって非線形拡散を使用することもまた可能である。他の標準的なぼかし技術もまた使用することができる。ステップ１６０において、プロセッサ５０は、ブラシストロークを用いて作業ブラシによってキャンバス画像を描画する命令を実行する。キャンバス画像を描画するための本発明による方法の一実施形態を以下に詳細に示す。キャンバス画像は参照画像（例えば、ぼかされた原画像）に基づいて、作業ブラシ（Ｒ_i）を使用して描画される。もし全てのブラシサイズがまだ使用されていなければ（ステップ１７０）、プロセッサ５０は次に大きなブラシサイズを作業ブラシとして使用すべきであると割り当てて（ステップ１８０）、原画像をぼかして参照画像を生成し（ステップ１５０）さらに新しい作業ブラシを使用して再びキャンバス画像を描画する（即ちステップ１６０に戻る）。各ブラシは、現在使用している作業ブラシのサイズと少なくとも同じ大きさの細部のみを捕獲することが好ましい。全てのブラシサイズが使用されると（ステップ１７０）、プロセッサ５０は記憶デバイス８０に描画されたキャンバス画像を記憶し及び／又は描画されたキャンバス画像を出力デバイス３０上に出力ポート６０を介して表示し（ステップ１９０）、本発明にかかる方法の実行を完了する。以下は、上述した本発明にかかる一般的な方法のための代表的な疑似コードである。図４（ｂ）〜４（ｄ）は、図４（ａ）に示した原画像を使用したキャンバス画像の進展を示す。特に、キャンバス画像は、最初の層が８ピクセル（例えば８mm ）のブラシ半径を使用してデジタル的に描画された後で、図４（ｂ）に表示されている。図４（ｃ）は、半径４ピクセル（例えば４mm）のブラシを使用するブラシストロークによってデジタル的に描画された後のキャンバス画像を示す。図４（ｄ）は、半径２ピクセル（例えば２mm）のブラシを使用したブラシストロークでデジタル的に描画された後の最終的なキャンバス画像を示す。各サイズのブラシストロークが図４（ｄ）においてまだ認め得ることに注目すべきである。図４（ｅ）は１８７６年にドガによって描かれた代表的なイラストを示すものである。この絵に示されるブラウス、砂、子供、ボート、及び空を描くために、画家によって異なる特徴を持った描画ストロークが用いられたことに注意すべきである。特に、これらの特徴のそれぞれは、異なるストローク様式を用いていることに加えて、異なるブラシサイズのブラシを用いて描かれたことにある。この図面は、色々なストロークの特性により女性や人物にはより多くの注意が払われるようになっているが、地面には殆ど注意が払われないことを示している。従って、画家は我々の注意が精巧な細部に向けられるように、精巧なストロークをするのである。この絵を基礎として使用して、本発明のシステムと方法では、絵を精密なものにすることが必要な場所にだけ使用される精巧なブラシストロークを利用し、絵の残りの部分はそのままにしておく。従って、キャンバス画像の上には、最初はラフな近似画が描かれ、そして次に、そこに次第に小さなブラシを用いて微妙な点が連続的に付け加えられる。図５は、作業ブラシを用いてキャンバス画像を描くための本発明に基づく具体的な実施形態を示すものである（即ち、前述の細部装飾ステップ１６０）。特に、プロセッサ５０はキャンバス画像をグリドと一緒にする（例えば、かぶせる）（ステップ２００）。ステップ２１０において、作業ブラシが、使用できるブラシサイズのリストの中から選ばれた最大のブラシである場合（即ち、キャンバス画像の上を第１回目に通過する）は、プロセッサはステップ２２０〜２５０を実行する。ステップ２２０では、キャンバス画像の上の第１のグリッド位置が決定される（もし第１のグリッド位置が以前に決定されていた場合は、次のグリッド位置が決定される）。そして、ステップ２３０では、プロセッサ５０は現在のグリッド位置が前回のグリッド位置に等しいか否かを判定する。もし、等しいのであれば、プロセッサ５０は図３に示されるように、ステップ１７０に戻る。もし、等しくないのてあれば、プロセッサ５０はコマンドを実行し、ストロークがキャンバス画像上の現在のグリッド位置の勾配に対して直角になるようにし（ステップ２５０）（例えば、長く湾曲したブラシストロークで描く）、そして、プロセッサ５０はステップ２２０に戻り、キャンバス画像上の次の作業グリッド位置が決定され、ステップ２３０〜２５０が再び実行される。もし、ステップ２１０において、次のブラシが最大のブラシサイズでないならば（例えば、第１回目の通過でないならば）、プロセッサ５０は（ステップ２６０において）キャンバス画像と参照画像（即ち、不鮮明な画像）との間の差を（例えば異なる画像を作り出して）決定する。キャンバス画像と参照画像との間の差（図５のステップ２７０）は以下の方法によって作ることができる。ここで、r₁,g₁,b₁はキャンバス画像の現在のグリッド位置用のカラーコードであり、r₂,g₂,b₂は対応する参照画像のグリッド位置用のカラーコードである。キャンバス画像上の次のグリッド位置はステップ２７０において決定される。ステップ２８０では、現在のグリッド位置が前回のグリッド位置であるかどうかが判定される。現在のグリッド位置が前回のグリッド位置である場合は、プロセッサ５０は図３に示されるように、ステップ１７０に戻る。現在のグリッド位置が前回のグリッド位置である場合は、プロセッサ５０は現在のグリッド位置の周囲に隣接するピクセルと、これに対応する参照画像上のピクセルとの間の色の差の平均値を決定する。色の差の平均値が閾値よりも大きい時は（ステップ３００）、プロセッサ５０はキャンバス画像上のグリッド位置の近傍が最も大きい差の値を持つと判定し（ステップ３１０）、キャンバス画像上の現在のグリッド位置の勾配に対してストロークを直角にし（ステップ３２０）、ステップ２７０に戻って次のグリッド位置に移動する。色の差の平均値が閾値よりも大きくない時は、ストロークが作られることなく処理はステップ２７０に戻る。上述したように、閾値は変更されることがある。要約すると、（キャンバス画像の）各グリッド点の近傍のグリッド点は、近くの点に大きなエラー値（例えば、異なる値）があるかどうかを見つけるために、参照画像の対応するグリッド点と比較され、そのグリッド点においてブラシストロークが描かれる。代表的な擬似コードが以下に示される。手順-“makeStroke()”-は、（ｘ₁，ｙ₁）から始まるキャンバス画像上のストロークの位置を定め、また、（入力として）参照画像とブラシの半径ｆ_gが一定のグリッドの大きさの要素であることを受け入れる。図４（ｆ）はmakeStroke() 手順を使用して作られた画像を示しており、これにより、位置（ｘ，ｙ）における原画像の色を使用して、グリッド位置（ｘ，ｙ）におけるブラシ半径の円の位置が定められるであろう。図４（ｇ）は、画像勾配の方向に直交する方向に定められた、短いブラシストロークを使用することによって作られる画像を示している。本発明の方法とシステムによって、多くの小さなブラシストロークをこの領域に位置決めすることにより、観察者の注意をなるべくキャンバス画像の精密な部分（例えば、高い周波数の情報）を多く含む領域に向けるような絵が作られる。精密な部分の少ない領域は非常に大きなブラシストロークだけを用いて描かれる。従って、ストロークは原画像における精密さのレベルに適切である。このように選択して強調することにより、精密な領域は最も「重要な」視覚情報を含むこととなる。他の強調方法を選択することもまた可能である。ストロークの配置：本発明の１つの実施形態において、各階層に対する全てのストロークは実際の描写（即ち、描くこと）の前に準備されている（例えば、記憶装置８０に記憶されたデータリスト）。そのあと、ストロークは任意の順番で示される（例えば、表示される）ので、ブラシストロークにおける望ましくない規則の出現を防ぐことができる。本発明の他の実施形態では、ストロークが作られるやいなや（即ち、ストロークを記憶することなく、かつ、ストロークを表示することなく、）、各ストロークを描くためにＺバッファを使用することができる。Ｚバッファは３Ｄの背景を描写するためのコンピュータグラフィックス技術である。Ｚバッファは、各ピクセル用の特別の深さ値（例えば、Ｚ値）もまた記憶する通常のフレームバッファに類似している（例えば、記憶装置８０を使用する）。従って、各ピクセルはその深さに関するデータを含んでいるので、３Ｄモデル用の隠れた表面は除くことができる。Ｚバッファにおけるピクセルが上書きされようとする場合は、最初にそれらのピクセルの深さが比較される。新たなピクセルは、現在のピクセルの深さ値よりも小さな深さ値を持つ場合にだけ、Ｚバッファに書かれる。上述した手順に対する代表的なＣ言語は以下の通りである。特に、目標画像における全てのグリッド位置（例えば、ピクセル）に対して、別々の値（例えば、Ｚ値）が記憶される。どのＺ値も各フレームの前に１に初期化されている。ブラシストロークを決定する任意の値（例えば、Ｒ値）には、０と１の間の任意の数字が割り当てられている。ブラシストロークを描くために、ブラシストロークの中の全てのピクセルは、以下の手順を使用して分析される。・画像中の現在のピクセル用のＺ値がＲ値より小さい場合は何もしない・現在のピクセル用のＺ値かＲ値以上の場合は、ストロークの色を現在のピクセルの上に合成し、現在のピクセルに対するＺ値を現在のピクセルに対するＲ値に等しく設定する。長く湾曲したブラシストロークを作る：描画における個々のブラシストロークは、形、質感、重複、及び、色々な他の画像の特徴を伝えることができる。本発明の代表的な実施形態では、ステップ３２０（図５）が長く湾曲したブラシストロークを発生させて描くことができ、例えば、気配、物の湾曲部、或いは、表面への光の作用を描くことができる。本発明の方法とシステムによれば、長く、連続する曲線を描くために、長く湾曲したブラシストロークを使用することができる。特に、一定の厚さを持つこれらのストロークにより、参照画像の色に近い色で描く（即ち、発生する）ことができる。長く湾曲したブラシストロークは、反アライアスキュービックＢ−スプラインとして与えられ、それぞれは予め定められた色と不透明さを含むであろう。各ストロークはスプラインのスイープに沿って円形のブラシマスクを引くことによって与えられる。本発明の代表的な実施形態では、長く湾曲したブラシストロークは一定の色を備えており、画像勾配を使用してストロークの配置をガイドし、特定の画像位置の勾配に対して直角方向に配置する。ストロークの色が参照画像のグリッド点の下の色から現在の絵の値以上に逸脱している場合には、ストロークはその制御点において停止する。人はこのことを、スプラインを配置することにより参照画像の等高線に大まかに合っていると思うことができる。長く湾曲したストロークを作るための本発明の代表的な実施形態の流れ図が図６に示されている。長く湾曲したストローク配置のアルゴリズムは、与えられたブラシ半径Ｒと共に、画像の中の与えられた点(ｘ₀,ｙ₀)において始まる。制御点(ｘ₀,ｙ₀)がスプラインに加えられ、点(ｘ₀,y₀)における参照画像の色がブラシストロークの色として使用される。それ以上の制御点が（以下に説明されるように）画像勾配に直角な線を追うことによって追加される。プロセッサ５０は次に制御点を曲がったブラシストロークに近づける。ブラシストロークはキュービックＢスプラインになり、反アリアスの円形マスクは曲線の経路に沿って、或いは他の従来方法を用いて引かれるてあろう。特に、ステップ４００においては、プロセッサ５０はストローク長が最大ストローク長よりも大きいかどうかを決定する。ストローク長が最大ストローク長よりも大きい場合は、処理はステップ２７０に戻る（図５に示される）。そうでない場合は、プロセッサ５０はストロークを停止し、ストロークの色が前回の制御点の下の色から、その点における参照画像のキャンバス画像からの差以上に異なっているかを判定する。プロセッサ５０はステップ４１０〜４４０を使用して、長く湾曲したストロークを停止すべきかどうかを決定する。特に、プロセッサ５０はストローク長がステップ４１０における最小ストローク長よりも長いかどうかを決定する。（最小ストローク長は非常に短いストロークの外観に小斑点が付くのを防止する）。最小ストローク長よりも長い場合は、プロセッサ５０は（ステップ４４０において）参照の不鮮明画像とストロークの色（ステップ４２０）との差が、現在のグリッド位置における参照不鮮明画像とキャンバス画像との差（ステップ４３０）よりも大きいかどうかを決定する。そうでない場合は、処理は以下に説明されるようにステップ４６０に飛ぶ。ステップ４１０において否定となるか、或いは、ステップ４４０において肯定となる場合は、（制御点を経由した）ストロークの方向はステップ４６０において、どちらが参照画像のグリッド位置に対応する勾配に対して直角であるかが決定される。その後、ステップ４７０において制御点が（ブラシストロークの方向を決定するために）ストロークリストに追加され、プロセッサ５０はブラシが次のブラシストロークとなるように準備する（ステップ４８０）。最後に、処理はステップ４００に戻る。本発明による処理手順により、図７（ａ）−７（ｃ）に示す点が生成される。特に、プロセッサ５０は最初の点（Ｘ₀,Ｙ₀）（即ち、現在のグリッド位置）から開始する。この点（即ち、グリッド位置）の勾配（θ₀）は、例えばソベルフィルタ（Sobel-filter）された参照画像の輝度から計算できる。勾配（θ₀）を計算する他の方法の使用もまた考え得る。ピクセルの輝度は、以下のように計算される。Ｌ（ｒ，ｇ，ｂ）＝０．３０＊ｒ＋０．５９＊ｇ＋０．１１＊ｂ図７（ａ）に示すように、次の点（Ｘ₁,Ｙ₁）は、（Ｘ₀,Ｙ₀）から距離Ｒで方向が（θ₀+Π/２）に配置される。ブラシ半径Ｒはグリッド位置間の距離として使用される。なぜなら、ブラシ半径ＲはこのブラシサイズＲを使用して得られる好適なレベルを表示しているからである。従って、非常に大きなブラシはキャンバス画像の広いスケッチを生成し、後でより小さな半径のブラシでリファインされる。前記グリッド位置における残りの制御点は、キャンバス画像を勾配の直角方向に沿って移動させ、そして制御点を配置する（図６で示したような）本発明の処理を繰り返すことによって計算される。ステップ４００−４５０に示すように、長く湾曲したストロークは、（ａ）所定の最大ストローク長に達したとき、又は（ｂ）キャンバス画像の現グリッド点の色が対応するそのぼかした参照画像のグリッド位置と異なる以上に、ストロークの色がぼかした参照画像の現グリッド位置配下の色と異なり、そしてその最小ストローク長に達したとき、に終了する。従って、図７（ｂ）に示すように、プロセッサ５０はグリッド位置（Ｘ_i，Ｙ_i）で勾配方向θ_iを計算する。２つの直角方向、即ちθ_i＋Π／２及びθ_i−Π／２、が存在し得るため、次に選択される方向はストローク湾曲を最小にしている。方向Ｄ_iは、Ｄ_iとＤ_i-1との間が＿Π/ ２に等しいか、それよりも小さくなるように選択される（図７（ｂ）参照）。図７（ｃ）は、さらに延長された長く湾曲したブラシスストロークを描いている。ブラシストロークの湾曲は、またストローク方向に不定インパルスレスポンスフィルタを適用することによって誇張又は減少可能である。前記フィルタは１つの所定フィルタ定数−ｆ_c−で制御できる。もし、先のストローク方向が次のように決定され、Ｄ’_i-1＝（ｄｘ’_i-1，ｄｙ’_i-1）、そして、現ストローク方向が以下のように決定されるならば、Ｄ_i＝（ｄｘ_i，ｄｙ_i）、フィルタリングされたストローク方向は、Ｄ’_i＝ｆ_cＤ_i＋（１−ｆ_c）Ｄ’_i-1 ＝（ｆ_cｄｘ_i＋（１−ｆ_c）ｄｘ’_i-1，ｆ_cｄｙ_i ＋（１−ｆ_c）ｄｙ’_i-1）である。図６に示した処理の代表的な擬似コードは以下の通りである。描写スタイル：本発明による方法及びシステムは、グラフィックデザイナーやアーティストが、唯一つのスタイルで全ての画像を描くことを強要するのに代えてコンピュータを用いた「芸術的なアプローチ」を変更可能にする。好適には、描写処理やブラシストロークを制御するスタイルパラメータを使用する。これらのパラメータにより、グラフィックアーティストは描画（例えば、キャンバス画像）のビジュアル品質を変更できる。デザイナーに有用とするため、スタイルパラメータは以下のように与え得る。直感的認識：各スタイルパラメータは描画のビジュアル品質と対応される。これらの品質は、グラフィックアーティストにとって直感的であり、どんな技術的なコンピュータ知識も要求又は必要とされない。ロバスト性：各パラメータは、ある値に対し画像を歪めることなく、所定の範囲を通して妥当な結果を与える。デフォルト値は、いかなる特別の負荷を与えることなく特定のパラメータがユーザにより多くのオプションを提供するように与え得る。パラメータを多くすることは、生成した画像出力を変動させるよりもむしろ描画のいくつかの品質を好適に向上又は低下させる。独立性：スタイルパラメータは、好適には他のものと独立である。例えば、線幅の変更が、キャンバス画像の彩度に影響を与える必要はない。スタイルは、有名なアーティストのスタイルを模倣した設計にしてもよく、又は描画のための他のアプローチを表現するものであってもよい。スタイルは、グラフィックデザイナーが後に使用できるよう、ライブラリ（例えば、レコードとして）に収集してもよい。以下に述べるパラメータを使用することで、デザイナーは特定のアプリケーションに対して好適にパラメータを調節するだけでよい。代表的なスタイルパラメータ：以下のスタイルパラメータは本発明による方法及びシステムで使用できる。近似閾値（Ｔ）：どれだけ描画（すなわち、キャンバス画像）が原画に近似しているかを示す。例えば、より高い値の閾値Ｔは「より粗い」画像を生成する。この閾値は本発明による方法のステップ３００で利用される。ブラシサイズ（Ｒ）：本発明によれば、例えばブラシサイズを特定する３つのパラメータ、最小ブラシ半径（Ｒ_i）、ブラシ数（ｎ）、及びサイズ比（Ｒ_i+1／Ｒ_i）が好適に使用される。ブラシサイズの範囲制限は、描画をすばやくすると同時に、描画のためのグラフィックデザイナーの要求にマッチした結果を提供する。湾曲フィルタ（ｆ_c）：このパラメータはストロークの湾曲を制限又は誇張するのに使用できる。ぼかしファクタ（ｆ_s）：このパラメータは、ぼかすカーネルサイズを制御するのに使用できる。小さなぼかし因子は画像内でより多くのノイズを許容し、従ってより「印象派的」な画像を生成する。最小／最大ストローク長（minlength，maxlength）：このパラメータは可能なストローク長を制限するのに使用できる。非常に短いストロークは「点描画派」画像に使用し得る。一方、長いストロークは「表現派的」画像に使用し得る。不透明度（α）：このパラメータは、例えば０と１の間の、描画の不透明度を規定する。より低い不透明度はウオッシュ（wash-like）効果を生じさせる。グリッドサイズ（ｆ_g）：このパラメータは、ブラシストロークの間隔を制御する。グリッドサイズ×ブラシ半径（ｆ_g＊Ｒ_i）は“paintLayer()”処理におけるステップサイズを与える。カラージッタ：このパラメータは、色相（ｊ_h）、彩度（ｊ_s）、明度（ｊ_v）、赤（Ｊ_r）、緑（ｊ_g）、青（ｊ_b）の色成分にジッタを与える。ゼロ値はランダムなジッタが無いことを示し、一方大きな値はその要因を増大させる。閾値（Ｔ）は、カラースペースにおける距離の単位で規定される。ブラシサイズは距離単位で規定される。解像度独立の計量（インチ又はミリメートルのような）も同様に機能するが、サイズはピクセル単位で特定される。ブラシ長は制御ポイントの数を使って計量される。残りのパラメータは、一般にディメンジョンが無い。代表的なスタイルパラメータの利用：図８（ａ）−８（ｂ）は、２つの異なる画像に対し、これらスタイルの最初の３つ（すなわち、上から下に「印象派」、「表現派」、カラーリスト・ウオッシュを適用したものを示している。各スタイルの異なる特徴は本発明による方法及びシステムの整合性を実証している。図９（ａ）−９（ｃ）は、「点描画派」スタイルとカラーリスト・ウオッシュスタイルとの間の連続的な遷移を示している。特に、図９（ａ）はカラーリスト・ウオッシュスタイルにおける描画像を示しており、図９（ｃ）は「点描画派」スタイルで同じ描画像を示している。図９（ａ）と図９（ｃ）のパラメータを平均化すると、図９（ｂ）に示す新たなスタイルが生成される。スタイルパラメータ値を補間することで、描写スタイルのビジュアル的な特徴が補間可能である。代表的なスタイルを以下に示す。印象派：通常の描画スタイルであり、湾曲フィルタ及びランダムカラーは使用しない。代表的なスタイルパラメータは：Ｔ＝１００、Ｒ＝（８，４，２）、ｆ_c ＝１、ｆ_s＝０．５、ａ＝１、ｆ_g＝１、minlength＝４、maxlength＝１６である。表現派：細長いブラシストロークであり、ジッタがカラー値に付加される。代表的なスタイルパラメータは：Ｔ＝５０、Ｒ＝（８，４，２）、ｆ_c＝０．２５、ｆ_s＝０．５、ａ＝０．７、ｆ_g＝１、minlength＝１０、maxlength＝１６、ｊ_v ＝０．５である。カラーリスト・ウオッシュ：ルーズで半透明なブラシストロークである。ランダムジッタがＲ、Ｇ、及びＢカラー成分に付加され、Ｔ＝２００、Ｒ＝（８，４，２）、ｆ_c＝１、ｆ_s＝０．５、ａ＝０．５、ｆ_g＝１、minlength＝４、maxlen gth＝１６、ｊ_r＝Ｊ_g＝ｊ_b＝０．３である。点描画派：ランダムな色相及び彩度を伴い濃密に配置された円である。代表的なスタイルパラメータは：Ｔ＝１００、Ｒ＝（４，２）、ｆ_c＝１、ｆ_g＝０．５、ａ＝１、ｆｇ＝０．５、minlength＝０、maxlength＝０、ｊ_v＝１、ｊ_h＝０．３である。他の代表的な実施例：本発明によるシステム及び方法は、例えばビデオアプリケーションの処理に使用できる。ビデオシーケンスを描画するいくつかの従来方法は、各ビデオフレームを独立に処理し、それらは散発的な「フリッカリング」効果を生じさせている。この効果を低減し、一時的な干渉を改善するために、本発明によるシステム及び方法では各フレームを各々の時間に空白のキャンバスをもって開始する代わりに、動画の最終フレームにわたる描画を開始する。本発明のこの実施例は実装するのが非常に簡易で、計算が早い。なぜなら、ブラシストロークは各フレームに対して稀にしか実行されないからである。上述した実施例の代表的なステップを以下に示す。ａ．ビデオの最初のフレームは、図３、５及び６に示すような本発明によるシステム及び方法を使って処理される。ｂ．各残りのフレームは、ここで述べる本発明の実施例を使って処理される。本例において、初期キャンバスは、空白キャンバスではなく、先のフレームからの描画である（例えば、図３のステップ１３０は先のフレームの結果をコピーするステップで置き換えられる）。次に、描画処理が実行されるが、全てのレイヤが同様に処理される。従って、図５のステップ２１０−２５０は省略され、そして常にステップ２００の次はステップ２６０である。ｃ．各描画フレームの結果は、新たなビデオシーケンスに結合される。上述のように、本発明によるシステム及び方法のこの実施例は、最初のフレームを描画することでムービーを「描画」するのと等価となり、次のフレーム等を生成するために最初のフレームを描画する。他の実施例：本発明は代表的な実施例を参照しながら、時にそれを示しそして説明してきた。当業者がその発明の精神及び概念から大きく離れることなく、その形式及び詳細の種々の変更をなし得ることは理解されるとことである。例えば、水色又は油画のスタイルでフィーチャレングス・ムービー(feature-length mo vie)をアニメーションさせるために、本発明によるシステム及び方法を利用することが可能である。写真ではないリアルな描写がまたグラフィックデザイン及びアニメーションに魅力的且つ印象的に使用可能である。さらに、異なる順序でストロークを配置することが図５に示すような“makeLayer()”処理を変更することで可能である。さらにまた、曲線ストロークを異なって配置するため、図６に示す“makeSplineStoroke()”処理を変更することも想像できるところである。ブラシストロークモデルはストローク厚、テーパリング、ストロークテクスチャ、テンション、等を含めてもよい。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＩＬ，ＪＰ

Claims

【特許請求の範囲】１．コンピュータシステムを使用してデジタルキャンバス画像上に手書き風外観を有するデジタル完成画像を生成する方法であって、（ａ）デジタル原画像を受け取り、（ｂ）デジタル参照画像を生成するために、前記デジタル原画像をぼかし、（ｃ）ブラシの第１の大きさに対応する第１の記録、及び前記第１の大きさと相違するブラシの第２の大きさに対応する第２の記録を含むブラシのサイズデータを受け取り、（ｄ）ブラシに対する第１の記録によって、前記参照画像を使用して前記キャンバス画像にブラシの動きを与え、（ｅ）ブラシに対する第２の記録によって、かつステップ（ｄ）の後に、前記参照画像及び前記キャンバス画像を使用して前記キャンバス画像にブラシストロークを与える複数のステップを具備する方法。２．（ｆ）前記キャンバス画像を表示装置上に表示するステップをさらに具備する請求項１に記載の方法。３．（ｆ）前記キャンバス画像を記憶装置中に記憶するステップをさらに具備する請求項１に記載の方法。４．第１のブラシの大きさが第２のブラシの大きさより大である請求項１に記載の方法。５．ブラシのサイズデータが第２の大きさより小であるブラシの第３の大きさに対応した第３の記録を含み、（ｇ）ブラシに対する第３の記録によって、かつステップ（ｅ）の後に、前記参照画像及び前記キャンバス画像を使用して前記キャンバス画像にブラシストロークを与えるステップをさらに具備する請求項４に記載の方法。６．ステップ（ｄ）が、（ｉ）格子位置を生成するために前記キャンバス画像上に格子を重ね書きし、（ii）前記格子位置の現在位置中でブラシストロークを与える副ステップを含む請求項１に記載の方法。７．ブラシストロークが現在位置の勾配に直角な方向に加えられる請求項６に記載の方法。８．ステップ（ｅ）が、（ｉ）格子位置を生成するために前記キャンバス画像上に格子を重ね書きし、（ii）各格子位置に対する差値を生成するために前記キャンバス画像と前記参照画像を比較し、（iii）平均値を生成するために現在位置の周囲の相違した位置の差値を平均し、（iv）最も大きい差値を有する更なる位置を決定し、（ｖ）平均値が閾値よりも大きければ、前記更なる位置中でブラシストロークを与える副ステップを含む請求項１に記載の方法。９．ブラシストロークが更なる位置の勾配に垂直な方向に加えられる請求項８に記載の方法。１０．前記副ステップ（ｖ）が、（ｖ１）更なる位置における前記参照画像の色と更なる位置における前記キャンバス画像の現在の色の間の第１の差を決定し、（ｖ２）前記対応位置の第１の色とブラシストロークの第２の色の間の第２の差を決定し、（ｖ３）ストローク長が最大ストローク長より小であるか、又は、ストローク長が最小ストローク長より大かつ第１の差が第２の差より大であるときは、他の位置に向けてあるストローク長を有する湾曲したブラシストロークを継続する副ステップを含む請求項８に記載の方法。１１．前記副ステップ（ｖ）が、（ｖ４）湾曲したブラシストロークの曲率をフィルタリングするステップをさらに含む請求項１０に記載の方法。１２．（ｇ）スタイルデータを受け取り、ブラシストロークが前記スタイルデータを使用して前記キャンバス画像に加えられるステップをさらに具備する請求項１に記載の方法。１３．前記ステップ（ｄ）が、リスト中に各々のブラシストロークを記憶する副ステップを含む請求項１に記載の方法。１４．前記ステップ（ｅ）が、リスト中に各々のブラシストロークを記憶する副ステップを含む請求項１に記載の方法。１５．原画像及びブラシのサイズデータを供給する装置と、参照画像を生成し、第１のブラシの大きさに対応する第１の記録及び前記第１のブラシの大きさとは相違する第２のブラシの大きさに対応する第２の記録を含むブラシのサイズデータを受け取るプロセッサと、を具備するデジタルキャンバス画像上に手書き風外観を有するデジタル画像生成システムであって、前記プロセッサが、作業画像を生成するためにブラシに対する第１の記録によって前記参照画像を使用して前記デジタルキャンバス画像にブラシストロークを加え、前記プロセッサが、完成された画像を生成するために前記参照画像及び前記作業画像を使用して前記作業画像にブラシストロークを加えるものであるデジタル画像生成システム。１６．前記完成された画像を表示する表示装置をさらに具備する請求項１５に記載のデジタル画像生成システム。１７．前記完成された画像を記憶する記憶装置をさらに具備する請求項１５に記載のデジタル画像生成システム。１８．ブラシの第１の大きさが、ブラシの第２の大きさより大である請求項１５に記載のデジタル画像生成システム。１９．ブラシのサイズデータが、第２の大きさより小であるブラシの第３の大きさに対応した第３のデータを含み、ブラシに対する第３のデータを有する前記プロセッサが、最終画像を生成するために前記参照画面及び完成された画像を使用して完成された画像に対してブラシストロークを加える請求項１８に記載のデジタル画像生成システム。２０．前記プロセッサが、格子位置を生成するために前記キャンバス画像上に格子を重ね書きすることによって、及び前記格子位置の現在位置中でブラシストロークを加えることによって前記キャンバス画像にブラシストロークを加える請求項１５に記載のデジタル画像生成システム。２１．前記ブラシストロークが現在位置の勾配に対して垂直な方向に加えられる請求項２０に記載のデジタル画像生成システム。２２．前記プロセッサが、（ａ）格子位置を生成するために完成された画像上に格子を重ね書きし、（ｂ）各格子位置に対して差値を生成するために、前記完成された画像と前記参照画面を比較し、（ｃ）平均値を生成するために、現在位置の周囲の相違する位置の相違する値を平均し、（ｄ）最大の差値を有する更なる位置を決定し、（ｅ）前記平均値が閾値より大であるならば、前記更なる位置中の制御点を生成し、（ｆ）前記ブラシストロークを形成するために制御点を結合することによって作業画像上にブラシストロークを加える請求項１５に記載のデジタル画像生成システム。２３．前記ブラシストロークが、更なる位置の勾配に垂直な方向に加えられる請求項２２に記載のデジタル画像生成システム。２４．前記プロセッサが、（ａ）更なる位置と前記参照画像上の対応する位置の間の第１の差を決定し、（ｂ）対応する位置の第１の色とブラシストロークの第２の色の間の第２の差を決定し、（ｃ）前記ブラシストロークが最大ストローク長より小であるか、前記ブラシストロークが最小ストローク長より大かつ前記第１の差が前記第２の差より大であれば、完成された画像上の更なる位置にあるストローク長を有する湾曲したブラシストロークを継続する請求項２２に記載のデジタル画像生成システム。２５．前記プロセッサが、（ｄ）前記湾曲したブラシストロークの曲率をフィルタリングすることによって更なる位置中でブラシストロークを加える請求項２４に記載のデジタル画像生成システム。２６．前記ブラシストロークが前記スタイルデータを使用して前記キャンバス画像に加えられる請求項２４に記載のデジタル画像生成システム。２７．前記プロセッサが、リスト中に各ブラシストロークを記憶することによって前記キャンバス画像上にブラシストロークを加える請求項１５に記載のデジタル画像生成システム。２８．前記プロセッサが、リスト中に各ブラシストロークを記憶することによって作業画面上にブラシストロークを加える請求項１５に記載のデジタル画像生成システム。