JP2017111719A - 映像処理装置、映像処理方法、及び映像処理プログラム - Google Patents

Abstract

【課題】躍動感や臨場感等の付加価値を与えたＣＧ映像を提供する。【解決手段】映像処理装置において、オブジェクトを含む三次元の映像を生成する三次元映像生成手段と、前記三次元映像生成手段により生成された映像中の連続する各画像に含まれる前記オブジェクトに対する影情報を生成する影情報生成手段と、前記影情報生成手段により得られる影情報から影領域を抽出し、抽出した影領域に合成させる所定の属性を有する線影を生成する線影生成手段と、前記連続する各画像の前記影領域に前記線影生成手段により得られる線影を合成し、前記線影が前記属性に対応して移動する映像を生成する画像合成手段とを有することにより、上記課題を解決する。【選択図】図１

Description

本発明は、映像処理装置、映像処理方法、及び映像処理プログラムに関する。

従来では、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等を用いて、三次元のＣＧアニメーション映像を生成する際、映像中の人物や建造物、車両等の各種物体オブジェクトに対して、光源の位置に対する陰影を与えることで、より現実感（リアル性）のある映像を生成する手法が存在する（例えば、特許文献１〜３参照）。

例えば、特許文献１では、オブジェクト空間を所与の視点から見たときの画像を生成するため、オブジェクト空間内における第１のオブジェクトと第２のオブジェクトとの位置関係に基づいて距離パラメータを求め、求めた距離パラメータと、テクスチャ記憶部から読み出された影テクスチャのテクセルデータとに基づいて、影濃度パラメータを取得して、第２のオブジェクトに対して第１のオブジェクトの影を生成する手法が示されている。

また、特許文献２では、オブジェクトが配置された仮想三次元空間を所定の透視投影面上に透視投影して得られる二次元画像データを生成する画像処理装置が示されている。また、特許文献３では、オブジェクトの情報と光源情報とに基づいてマスク生成用テクスチャを指定するためのテクスチャ座標を求め、求められたテクスチャ座標に基づいてマスク生成用テクスチャをオブジェクトにマッピングすることで、マスク情報を生成し、生成されたマスク情報に基づいて、オブジェクトの陰影領域に陰影表現画像を描画する手法が示されている。

特許第４８０４１２２号公報 特許第５００７６３３号公報 特許第３７７７２８８号公報

しかしながら、ＣＧ等で表現された三次元のアニメーション映像（以下、必要に応じて「ＣＧ映像」という）は、影等により現実感を表現したものであり、その影によってアニメーション独特の躍動感や臨場感を出すことができない。

また、アニメーションの原作等が漫画等である場合、ユーザは、漫画でのスクリーントーン等の描写に慣れているため、ＣＧ映像を漫画とは異なる位置付けで視聴することになる。そのため、ＣＧ映像をあまり身近に感じなくなり、漫画で得たような感動を得ることができない可能性がある。

なお、複数のスクリーントーンのセル画等を用いてＣＧ映像を生成することも考えられる。しかしながら、例えばゲーム機等のソフトウェアとして、ＣＧキャラクタ等を動かすようなゲームプログラム等の場合、ユーザは、自由にオブジェクトを移動させることができるため、あらゆる移動に応じたセル画を数千、数万単位で準備しておく必要がある。そのため、準備の手間やコストがかかり、現実的ではない。

本発明は、上述した課題に鑑みてなされたものであって、躍動感や臨場感等の付加価値を与えたＣＧ映像を提供することを目的とする。

本発明の一つの態様として、映像処理装置は、オブジェクトを含む三次元の映像を生成する三次元映像生成手段と、前記三次元映像生成手段により生成された映像中の連続する各画像に含まれる前記オブジェクトに対する影情報を生成する影情報生成手段と、前記影情報生成手段により得られる影情報から影領域を抽出し、抽出した影領域に合成させる所定の属性を有する線影を生成する線影生成手段と、前記連続する各画像の前記影領域に前記線影生成手段により得られる線影を合成し、前記線影が前記属性に対応して移動する映像を生成する画像合成手段とを有する。

本発明の一つの態様によれば、躍動感や臨場感等の付加価値を与えたＣＧ映像を提供することができる。

本実施形態における映像処理装置の機能構成の一例を示す図である。 本実施形態における映像処理装置のハードウェア構成の一例を示す図である。 本実施形態における映像処理の一例を示すフローチャートである。 オブジェクトに対する影生成及び線影生成の一例を示す図である。 線影付きオブジェクトの大きさの変化に対する線影の変化の様子を説明するための図である。 本実施形態における線影生成を説明するための図である。 線影に対する設定情報の一例を示す図である。 本実施形態における画面例を示す図（その１）である。 本実施形態における画面例を示す図（その２）である。 本実施形態における画面例を示す図（その３）である。

以下、図面に基づいて実施形態を説明する。

＜映像処理装置の機能構成例＞
図１は、本実施形態における映像処理装置の機能構成の一例を示す図である。図１に示す映像処理装置１０は、入力手段１１と、出力手段１２と、記憶手段１３と、三次元映像生成手段１４と、影情報生成手段１５と、線影情報設定手段１６と、線影生成手段１７と、画像合成手段１８と、通信手段１９と、制御手段２０とを有する。

入力手段１１は、映像処理装置１０における映像処理を行うための各種入力（例えば、映像処理の開始や終了、各種設定情報の入力）等を受け付ける。入力手段１１は、例えば、キーボードやマイク等であるが、これに限定されるものではない。

出力手段１２は、入力手段１１により入力された内容や、入力内容に基づいて実行された経過や結果等の出力を行う。出力手段１２は、例えばディスプレイやスピーカ等であるが、これに限定されるものではない。出力手段１２は、入力手段１１と一体型のタッチパネルであってもよい。

記憶手段１３は、映像処理装置１０が使用する各種情報や設定情報、映像処理履歴（ログ情報）、線影に関する設定情報（線影情報）等の情報を記憶するが、記憶手段１３に記憶される情報は、これに限定されるものではない。記憶手段１３に記憶された情報は、必要に応じて読み出すことができ、また記憶手段１３に各種情報を書き込むこともできる。記憶手段１３は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等から少なくとも１つを用いることができる。

三次元映像生成手段１４は、影や線影を付ける対象となる三次元の映像（ＣＧ映像）を生成する。映像は、例えば複数の連続する画像フレーム等を有する。また、三次元映像生成手段１４は、画像のみを生成してもよい。三次元映像生成手段１４は、例えば漫画やアニメーション等のコンテンツを素材として、対応するキャラクタ等のオブジェクトを含む三次元映像を生成することができるが、三次元映像の生成手法については、これに限定されるものではない。

三次元映像の各画像（映像中の全画像ではなく、一部の画像でもよい）に存在するオブジェクトとは、例えばユーザがゲーム上で操作するオブジェクト等であるが、これに限定されるものではなく、操作対象ではない建造物等のオブジェクトでもよい。また、オブジェクトは、キャラクタや、武器、防具、洋服等のアイテムや、建造物等の各種物体を含む。

また、三次元映像生成手段１４は、生成した各オブジェクトの形状を三次元空間上における座標情報を用いて管理する。また、三次元映像生成手段１４は、生成した各オブジェクトの種類、オブジェクトの動き、表情（感情）、映像を生成する場合にその映像がどのようなシーンであるか等といった情報を管理してもよい。このようなオブジェクト情報は、記憶手段１３に記憶される。

影情報生成手段１５は、三次元映像生成手段１４により生成される映像中の連続する各画像（例えば、三次元画像）に含まれるオブジェクトに対する影情報を生成する。影情報生成手段１５は、映像（画像）中の三次元空間上に定義された光源の位置（例えば、三次元座標）に基準として、オブジェクトの位置（例えば、三次元座標）、オブジェクトとの距離、位置、角度、オブジェクトの形状（例えば、凹凸）等に対応させて、三次元の影情報（例えば、影の位置、濃さ等）を生成する。

ここで、本実施形態では、影情報生成手段１５で生成された影を含めた三次元画像に対して、漫画調の躍動感や臨場感のある描写を実現するために、線状で影を生成し、生成した線影を影を含めた三次元画像に合成する。

上記の処理を行うため、線影情報設定手段１６は、影情報生成手段１５で生成された影を含めた三次元画像に対して、線影を付加するための条件や線影の属性等の線影情報を設定する。線影の属性としては、例えば「線種」、「線幅（線の太さ）」、「線色」、「線の角度」、アニメーションとして線影を動かす際の「線の移動速度」等があるが、これに限定されるものではない。また、線影は、例えば各映像のシーン毎、又はオブジェクト毎に設定することができるが、これに限定されるものではない。

線影情報設定手段１６により設定される線影情報は、例えばユーザ等により線影を生成する前に設定されているのが好ましい。設定された線影に関する設定情報（線影情報）は、記憶手段１３に記憶される。

線影生成手段１７は、線影情報設定手段１６により設定された線影情報（例えば、線影を付加するための条件）に基づき、影情報生成手段１５により生成される影情報から影領域を抽出する。また、線影生成手段１７は、抽出した影領域に合成させる線影を生成する。このとき、線影生成手段１７は、線影情報から得た線影を付加するための条件に対応した属性を有する線影を生成する。

例えば、線影生成手段１７は、三次元映像生成手段１４により生成された映像が、線影を付加する対象の映像（例えば、対象のシーン）である場合に、その対象となったオブジェクトに対して設定されている属性の線影（例えば、テクスチャ情報）を生成する。また、三次元映像生成手段１４により生成された映像が、対象のシーンではない場合には、線影を生成しない。なお、対象のシーンであるか否かの判断は、映像毎ではなく、映像中の各画像単位に行ってもよい。

画像合成手段１８は、三次元映像生成手段１４で生成されたオブジェクトを含む三次元映像の各画像に対し、影情報生成手段１５で生成された影を、オブジェクトに三次元形状に対応させて合成する。また、画像合成手段１８は、影を含む三次元画像のオブジェクトに対してセル画を合成するように二次元（平面上）の線影（例えば、陰影テクスチャ）を合成する。これにより、漫画調のＣＧ画像又はＣＧ映像を生成することができる。

なお、画像合成手段１８は、例えば影領域の一部又は全部に線影を付加してもよく、また影領域ではない部分（例えば、動き方向に対して所定量だけはみ出した領域等）に線影を付加してもよい。

また、画像合成手段１８は、線影を合成した三次元の画像フレームを時系列に並べてＣＧ映像を生成する。このとき、画像合成手段１８は、連続する各画像の影領域に合成した線影を画像毎に所定方向に移動させて合成することで、線影が属性に対応して移動する映像を生成することができる。このように、映像中の影に対し、動きのある線影を合成することで、線影を付加したオブジェクト等の動きや躍動感、臨場感、疾走感、心情等を分かりやすく表現することができる。したがって、付加価値のある映像を提供することができる。

通信手段１９は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークを介して、他の装置に対するデータの送受信等を行う。例えば、映像処理装置１０は、通信手段１９を介して画像合成手段１８により生成された画像や映像を、他の装置に出力（配信）する等の処理を行うことができるまた、通信手段１９は、本実施形態における映像処理を実現するためのプログラムや設定情報等の各種情報を他の装置から取得することができ、また他の装置に提供することができる。

制御手段２０は、映像処理装置１０の各構成部の動作等を制御する。例えば、制御手段２０は、三次元映像生成手段１４における三次元映像の生成、影情報生成手段１５における影情報の生成、線影情報設定手段１６における線影情報の設定、線影生成手段１７における線影情報の生成、画像合成手段１８における画像合成、及び、通信手段１９における各種データの送受信等の制御を行う。

また、制御手段２０は、処理の開始や終了、エラー発生時の処理等を行うことができる。なお、制御手段２０により制御される内容としては、これに限定されるものではない。

映像処理装置１０は、例えば汎用のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバ等でもよいが、これに限定されるものではない。

＜映像処理装置１０のハードウェア構成例＞
次に、映像処理装置１０のハードウェア構成例について、図を用いて説明する。図２は、本実施形態における映像処理装置のハードウェア構成の一例を示す図である。図２の例において、映像処理装置（コンピュータ）１０は、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、主記憶装置３５と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３６と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３７と、通信制御装置３８とを有し、これらはシステムバス３９で相互に接続されている。

入力装置３１は、例えばユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイス、コントローラ等の操作デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。

出力装置３２は、本実施形態における処理を行うためのコンピュータ本体（映像処理装置１０）を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置３２は、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体４０等により提供される。記録媒体４０は、ドライブ装置３３にセット可能である。ＣＰＵ３６からの制御信号に基づき、記録媒体４０に格納された実行プログラムが、記録媒体４０からドライブ装置３３を介して補助記憶装置３４にインストールされる。

補助記憶装置３４は、例えばＨＤＤやＳＳＤ等のストレージ手段等である。補助記憶装置３４は、ＣＰＵ３６からの制御信号に基づき、本実施形態における実行プログラム（映像処理プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置３４は、ＣＰＵ３６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。

主記憶装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。主記憶装置３５は、ＲＯＭやＲＡＭ等である。

ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及び主記憶装置３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置３４から取得することができ、また実行結果等を格納することもできる。

具体的には、ＣＰＵ３６は、例えば入力装置３１から得られるプログラムの実行指示等に基づき、補助記憶装置３４にインストールされたプログラムを実行させることにより、主記憶装置３５上でプログラムに対応する処理を行う。例えば、ＣＰＵ３６は、映像処理プログラムを実行させることで、三次元映像生成手段１４における三次元映像の生成、影情報生成手段１５における影情報の生成、線影情報設定手段１６における線影情報の設定、線影生成手段１７における線影情報の生成、画像合成手段１８における画像合成、及び、通信手段１９における各種データの送受信等の処理を行う。ＣＰＵ３６における処理内容は、これに限定されるものではない。ＣＰＵ３６により実行された内容は、必要に応じて補助記憶装置３４等に記憶される。

ＧＰＵ３７は、ＣＰＵ３６の制御により本実施形態における画像処理部分を担当する。ＧＰＵ３７を有することで、３次元グラフィックスを表示させるための各種の計算処理等を高速に行うことができる。なお、ＧＰＵ３７に関する処理は、ＣＰＵ３６内で行ってもよく、この場合にはＧＰＵ３７の構成を有していなくてもよい。

通信制御装置３８は、上述した通信ネットワークを介して、他の外部装置との通信を行う。通信制御装置３８は、ＣＰＵ３６からの制御信号に基づき、通信ネットワーク等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、通信制御装置３８は、プログラムを実行することで得られた実行結果を外部装置等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。

記録媒体４０は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体４０は、例えばフラッシュメモリ等の半導体メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体であるが、これに限定されるものではない。

図２に示すハードウェア構成に実行プログラム（例えば、映像処理プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における各種映像処理等を実現することができる。

＜映像処理＞
次に、本実施形態における映像処理についてフローチャートを用いて説明する。図３は、本実施形態における映像処理の一例を示すフローチャートである。図３の例において、映像処理装置１０の三次元映像生成手段１４は、オブジェクトを含むＣＧ映像を生成する（Ｓ０１）。なお、Ｓ０１の処理では、三次元画像フレームを時系列に繋ぎ合わせて映像を生成してもよい。

次に、影情報生成手段１５は、Ｓ０１の処理で生成したＣＧ映像に対し、映像中の各画像フレーム単位で各オブジェクトに対する影情報を生成する（Ｓ０２）。また、影情報生成手段１５は、生成した影情報に対して、オブジェクトの三次元形状に合わせて影を合成する（Ｓ０３）。

次に、線影生成手段１７は、予め設定された線影に関する設定情報と、現時点で生成した三次元画像におけるシーンに対応付けて線影情報を生成するか否かを判断する（Ｓ０４）。なお、線影情報を生成するか否かの判断は、ユーザが行ってもよい。

また、線影生成手段１７は、対象の三次元画像が、線影を付ける対象の画像である場合（Ｓ０４において、ＹＥＳ）、三次元画像を二次元平面上に投影し、その二次元画像の座標情報（画面座標系）を用いて影領域を抽出する（Ｓ０５）。次に、線影生成手段１７は、その画像に対応付けられたシーン情報やオブジェクトに関する情報に基づき、設定情報から対応する線影の属性を抽出する（Ｓ０６）。また、線影生成手段１７は、抽出した線影の属性に対応する線影テクスチャを生成する（Ｓ０７）。なお、Ｓ０６及びＳ０７の処理では、予め線影の属性毎に線影テクスチャを用意しておき、画像に対応付けられたシーン情報やオブジェクトに対する線影テクスチャを直接抽出してもよい。

なお、上述した線影の生成は、画像中に含まれる１又は複数のオブジェクトに対して各オブジェクトに対応した線影テクスチャを生成してもよい。また、例えば一人のキャラクタに対して、洋服部分と顔部分とで異なる複数の線影テクスチャを生成してもよい。

次に、画像合成手段１８は、三次元画像を二次元平面上に投影して、得られた二次元画像の影領域を基準に、二次元座標に対応させて線影テクスチャを合成する（Ｓ０８）。なお、Ｓ０８の処理では、影領域における影の濃さに応じて線影テクスチャを合成してもよい。また、Ｓ０８の処理では、線影テクスチャの各線に黒以外の色味を持たせてもよい。線影に色味を持たせることで、例えば背景色（例えば肌色）や光源の色（例えば夕日のオレンジ色や、夜間のライトの青白い色等）に対応させて、適切な色味を持った線影テクスチャを合成することができる。また、色は線影の属性情報の１つであり、例えば背景色に対する透過率や、所定の明度によるマスク（明度マスク）による輝度調整を行うか（明度マスクの有無）等の情報であるが、これに限定されるものではない。

次に、Ｓ０８の処理後、又は、Ｓ０４の処理において、線影情報を生成しない場合（Ｓ０４において、ＮＯ）、Ｓ０１の処理で生成したＣＧ映像の全ての画像フレームで上述した映像処理を行ったか否かを判断する（Ｓ０９）。全ての画像フレームで処理を行っていない場合（Ｓ０９において、ＮＯ）、Ｓ０２の処理に戻り、次のフレームに対して上述した映像処理を行う。また、Ｓ０９の処理において、全ての画像フレームについて処理を行った場合（Ｓ０９において、ＹＥＳ）、処理後のＣＧ映像を出力する（Ｓ１０）。Ｓ１０の処理では、出力手段１２のディスプレイにＣＧ映像を表示してもよく、記憶手段１３に記憶してもよく、通信手段１９を介して他の装置に送信してもよい。

次に、制御手段２０は、処理を終了するか否かを判断し（Ｓ１１）。処理を終了しない場合（Ｓ１１において、ＮＯ）、Ｓ０１の処理に戻る。また、処理を終了する場合（Ｓ１１において、ＹＥＳ）、本実施形態における映像処理を終了する。

＜オブジェクトに対する影生成及び線影生成について＞
次に、本実施形態におけるオブジェクトに対する影生成及び線影生成について、図を用いて説明する。図４は、オブジェクトに対する影生成及び線影生成の一例を示す図である。図４（Ａ）は、三次元画像５０−１に影なしオブジェクト５１が生成された例を示している。三次元映像生成手段１４は、ユーザの指示等により三次元空間上に目的のオブジェクト５１を生成する。このオブジェクト５１は、三次元空間上の座標で管理される。

図４（Ｂ）は、三次元空間上の所定の位置（図４の例では、左上）に光源を設けた場合におけるオブジェクト５１に対する影を生成して合成した例を示している。図４（Ｂ）の例では、その光源の強さや色、オブジェクト５１の位置、角度、オブジェクト５１までの距離、オブジェクト５１の形状等により、濃さや色等が異なる影を生成し、生成した影をオブジェクト５１に三次元で合成して、影付きオブジェクト５２を生成する。このとき、影は、三次元座標に対応させて合成することで、現実的なオブジェクト（物体）映像を生成することができる。なお、三次元画像５０−２上にオブジェクトが複数ある場合には、各オブジェクト単位に影が合成される。

図４（Ｃ）は、影付きオブジェクト５２に対して線影５３を二次元的に合成した線影付きオブジェクト５４の一例を示している。本実施形態では、図４（Ｂ）に示す線付きオブジェクト５１を二次元平面上に投影変換し、その変換した二次元画像に基づいて影領域を抽出する。また、抽出した影領域に対応させて線影５３（例えば、線影テクスチャ）を生成し、三次元画像５０−２に対し、生成した線影５３を、例えば二次元上でセル画を貼り合わせるようにして合成する。なお、線影５３は、記憶手段１３に記憶された設定情報等に基づいて、三次元画像５０のシーンやオブジェクトの内容等に応じて、線影５３の線種、線幅、色、角度、線の移動速度等の属性情報に対応させて線影５３を生成する。図４（Ｃ）の例において、線影５３は設定情報や光源の位置、オブジェクト５１の形状等に応じて、所定の傾き（角度）を有する斜線影となっている。

また、線影５３は、影の濃さに応じて濃度を調整する。例えば、図４（Ｃ）のＡ領域内は影自体が薄いため、その領域に合成する線影５３の濃度も薄くする。また、図４（Ｃ）のＢ領域は、影自体が濃いため、その領域に合成する線影５３の濃度も濃くする。例えば、本実施形態では、影の濃度を取得し、取得した影の濃度に対して一定量だけ濃く又は薄くした線影５３を生成してもよいが、これに限定されるものではない。また、線影５３は、背景色や光源の色等に応じて色味を持たせてもよい。

また、線影５３は、例えばオブジェクト５１の動きに合わせて映像中の各フレーム毎に移動させてもよく、またオブジェクトの動きに関係なく、オブジェクト（例えば、キャラクタ）の状態（心情）等に応じて移動させてもよい。これにより、アニメーション独特の躍動感や臨場感等の付加価値を与えたＣＧ映像を提供することができる。また、ＣＧ映像の原作等が漫画等である場合、ユーザは、漫画でのスクリーントーン等の描写に慣れているため、見慣れた映像を視聴することになる。そのため、本実施形態により、漫画とアニメーションとを適切に融合させたコンテンツの提供を実現することができる。

また、上述した線影５３は、オブジェクト５１の三次元形状に対応付けて付加するのではなく、二次元画面に対して漫画のトーンのように貼り付けて描写を行うため、オブジェクト５１に対するズームインやズームアウト等の処理においても、線影５３の間隔等が変動することがなく、影領域の変動に合わせて線影を付加する領域が変更するだけであるため、映像処理の軽減化を図ることができる。

図５は、線影付きオブジェクトの大きさの変化に対する線影の変化の様子を説明するための図である。図５（Ａ）は、上述した図４（Ｃ）と同様の図であり、図５（Ｂ）は、図５（Ａ）の三次元画像５０において、線影付きオブジェクト５４をズームアウトにより縮小した場合の三次元画像５０−４を示している。

本実施形態では、ズームアウトにより線影付きオブジェクト５４が縮小された場合、影領域も小さくなる。しかしながら、その縮小率に応じて線影５３を小さくするのではなく、縮小された影付きオブジェクトの影領域を抽出し、その影領域に対して、二次元的に線影テクスチャを合成して三次元画像５０−４を生成する。したがって、線幅等の属性情報を変更せずに、表示させることができるため、処理負荷を軽減させることができる。

＜線影生成処理について＞
次に、本実施形態における線影生成処理の一例について、図を用いて説明する。図６は、本実施形態における線影生成を説明するための図である。図６（Ａ）は、上述した図４（Ｂ）と同様に、影付きオブジェクト５２を含む三次元画像５０−２を示している。この画像に対し、影領域を抽出し、抽出した影領域にその画像に対応付けられたシーン又はオブジェクトの種類等に応じて設定された線影情報（線影テクスチャ５５）を抽出する（図６（Ｂ））。

この線影テクスチャ５５を、三次元画像５０−２中における光源の位置や影付きオブジェクト５２の移動方向、線影の属性等に基づいて、所定の角度になるまで回転させ、影領域を覆うように繰り返し（リピート）重ねて画面座標系で貼り付ける（図６（Ｃ））。

なお、図６（Ｃ）の例では、簡略的に、影領域を覆う例を示しているが、線影テクスチャ５５は、影領域に隙間なく付加させてもよく、一部のみに付加させてもよい。

また、図６（Ｃ）の例では、線影テクスチャ５５の線影以外の部分を、便宜上、白領域で示しているが、実際には透過して背景（三次元画像５０−５）が表示される。また、本実施形態では、影の部分と線影とが、同じ濃さで見えなくなることがないように、濃度を調整し、影と線影とが視認できるように、色（濃度）調整を行ってもよい。この場合、予め設定された輝度差情報に基づいて色を調整してもよく、線影テクスチャ５５を参照し、背景色に対応させて明度マスクや輝度値の乗算処理を行い、透過率等を調整したうえで、線影を合成させてもよい。

また、本実施形態において、オブジェクトが所定のキャラクタであり、そのキャラクタの顔の部分と、髪の毛の部分に影がある場合に、顔の影領域を対象にして、線影を付加してもよい。また、キャラクタの顔や服等の部位情報を取得し、取得した部位毎に異なる線影を付加してもよい。

また、三次元画像を時系列で繋ぎ合わせてアニメーション映像（ＣＧ映像）を生成する場合に、上述した線影を所定時間毎に所定速度で移動させることで、流れるような線影を表示させることができる。これにより、アニメーション独特の躍動感や臨場感等の付加価値を与えたＣＧ映像を提供することができる。また、漫画のトーンのような描写を行うことで、漫画等により、そのキャラクタを見てきたユーザ等に対しても、そのキャラクタの三次元映像を違和感なく、視聴させることができる。

＜設定情報＞
次に、上述した線影情報設定手段１６により設定されるデータ（設定情報）の例について、図を用いて説明する。図７は、線影に対する設定情報の一例を示す図である。図７に示す設定情報の項目としては、例えば、「オブジェクト名」、「シーン種別」、「線種」、「線幅」、「色」、「角度」、「線の移動速度」等であるが、これに限定されるものではない。なお、この設定情報は、設定後に、記憶手段１３に記憶され、必要に応じてユーザが変更、更新、削除等の制御を行うことができる。

「オブジェクト名」は、映像中の各三次元画像に含まれるオブジェクトを識別するための情報（例えば、オブジェクト種別）である。「シーン種別」は、映像又は画像のシーンを識別するための情報である。シーン種別としては、例えば「戦闘シーン」、「移動シーン」等に限定されるものではなく、「絶望の表情」、「喜びの表情」等のように、オブジェクトの表情（心情）に対するものであってもよい。また、本実施形態では、オブジェクト及びシーン種別を設定するだけでなく、何れか一方を設定してもよい。

「線種」は、線影における線の種類に関する情報である。線影の一例としては、例えば、直線（実践）、点線、破線、波線、一点鎖線、二点鎖線等があるが、線の種類等については、これに限定されるものではなく、ギザギザ線や模様等でもよい。

「線幅」は、各線間の幅（間隔、距離）に示す情報（例えば、２ｍｍ、５ｍｍ等）である。なお、線幅は、線の太さに関する情報であってもよく、太さ及び間隔の両方を含んでいてもよい。「色」は、線の色に関する情報である。色は、例えば背景色に対する透過率等でもよく、明度マスクによる輝度調整を行うか否か（明度マスク有、無）等の情報でもよい。「角度」は、例えば縦線を基準線（０°）とした回転角度を示す情報である。例えば、角度が４５°の線影は、斜線影となる。

「線の移動速度」は、線影を線が流れる方向に移動させる場合に、その速度（単位時間あたりの移動量）に関する情報である。例えば、オブジェクト（例えば、キャラクタ）の移動速度が速い場合に、線影の移動速度も速くすると、映像における疾走感や躍動感を適切に表現することができる。また、「線の移動速度」として、移動方向の情報を含めてもよい。

なお、本実施形態における線影の設定情報については、これに限定されるものではなく、例えばオブジェクト名やシーン種別等に関係なく、固定の設定情報を有するものであってもよい。

＜画面例＞
ここで、本実施形態における画面例について図を用いて説明する。図８〜図１０は、本実施形態における画面例を示す図（その１〜その３）である。図８の例では、ＣＧ映像中の三次元画像６０において、オブジェクトの一例であるキャラクタ６１の攻撃シーンを示すものである。図８（Ａ）、（Ｂ）は、それぞれ同一の映像中（攻撃シーン）において時系列の異なる２つの三次元画像６０−１，６０−２を示している。

本実施形態では、図８（Ａ）のキャラクタ６１は、光源の位置により影領域６２が生成されている。このような影領域は、仮想空間上の三次元座標に対応させてキャラクタ６１の形状に合わせて合成する。また、本実施形態では、キャラクタ６１とそのシーンに対して予め設定された斜線影（線影の一例）６３を生成し、生成した斜線影６３を影領域６２に対応させて二次元の画面座標系を基準に合成する。なお、斜線影６３は、影領域６２に完全に同一するものでなくてもよく、一部の影領域６２又は影領域６２から所定量だけはみ出した部分に斜線影６３を合成させてもよい。

また、三次元画像６０−２は、三次元画像６０−１における斜線影６３をＡ方向に移動させたものとなっている。したがって、図８の（Ａ）に示す領域ａ，ｂ内のそれぞれの斜線影は、単位時間に図８（Ｂ）に示す領域ａ'、ｂ'の位置まで移動する。図８（Ａ）に示す他の斜線影も同様である。

なお、斜線影６３を移動させる場合には、例えば線影の属性情報に基づき、斜線影６３の角度及びキャラクタ６１の移動方向に対応させて、連続する画像毎に斜線影６３を所定量だけ移動させる。映像では、このような三次元画像が時系列で複数繋ぎ合わさることで、、映像中の斜線影６３に動きを持たせることができる。斜線影は、例えば点線等を用いることで、その動きをより分かりやすく表現することができ、躍動感や臨場感等の付加価値を与えたＣＧ映像を生成することができる。

また、図９（Ａ）、（Ｂ）の例では、同一のシーン（移動シーン）において時系列の異なる２つの三次元画像７０−１，７０−２を示している。図９の例では、オブジェクトの一例であるキャラクタ７１の顔の向きに応じて影領域７２が異なる（図９（Ａ）、（Ｂ）における影領域７２）。そのため、生成した斜線影７３を、それぞれの画像における影領域７２に反映させると共に、斜線影７３を時系列にＡ方向に動かすことができる。また、図９に示すように影領域７２の全体ではなく、一部の影領域（例えば、顔の部分のみ）に対して斜線影７３を付加してもよい。

また、図１０の例では、三次元画像８０におけるキャラクタ８１が、絶望的な表情を浮かべるシーンを示している。このような場合には、キャラクタ８１は移動していないが、シーンの状況（三次元画像８０に対するシーン種別）に対応させて、影領域８２を基準とした線影８３を生成し、生成した線影８３を二次元に合成すると共に、線影８３を所定速度で移動させることで、キャラクタ８１の心情を表現したＣＧ映像を生成することができる。

＜まとめ＞
上述したように、本発明によれば、躍動感や臨場感等の付加価値を与えたＣＧ映像を提供することができる。なお、上述した本実施形態における映像処理手法は、例えば、原作の漫画やアニメを知るユーザからみれば、そのユーザに馴染みのある表現を用いて三次元映像が表示されるため、映像に違和感がなく、漫画とＣＧ映像とを融合した適切なコンテンツの提供を実現することができる。

また、本実施形態における映像処理手法は、例えばゲームプログラム等において、キャラクタ等をユーザの意図で動作させる場合等に適用することができる。例えば、ゲーム上において、ユーザが操作するキャラクタの動作の全てを想定して線影を付加するセル画を数千、数万単位で用意しておく必要がなく、線影テクスチャを三次元画像の影領域に重ねて合成するだけで、漫画やアニメに近い三次元ＣＧ映像を表示させることができる。また、上述した映像処理手法は、ゲーム以外における映像表示においても適用することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

１０ 映像処理装置
１１ 入力手段
１２ 出力手段
１３ 記憶手段
１４ 三次元映像生成手段
１５ 影情報生成手段
１６ 線影情報設定手段
１７ 線影生成手段
１８ 画像合成手段
１９ 通信手段
２０ 制御手段
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ 主記憶装置
３６ ＣＰＵ
３７ ＧＰＵ
３８ 通信制御装置
３９ システムバス
４０ 記録媒体
５０，６０，７０，８０ 三次元画像
５１ オブジェクト
５２ 影付きオブジェクト
５３，８３ 線影
５４ 線影付きオブジェクト
５５ 線影テクスチャ
６１，７１，７１ キャラクタ
６２，７２，８２ 影領域
６３，７３ 斜線影

Claims (7)

1. オブジェクトを含む三次元の映像を生成する三次元映像生成手段と、
   前記三次元映像生成手段により生成された映像中の連続する各画像に含まれる前記オブジェクトに対する影情報を生成する影情報生成手段と、
   前記影情報生成手段により得られる影情報から影領域を抽出し、抽出した影領域に合成させる所定の属性を有する線影を生成する線影生成手段と、
   前記連続する各画像の前記影領域に前記線影生成手段により得られる線影を合成し、前記線影が前記属性に対応して移動する映像を生成する画像合成手段とを有することを特徴とする映像処理装置。
2. 前記線影生成手段は、
   前記映像におけるシーン種別又は前記オブジェクトの種別に対応させて、予め設定された前記線影の属性を取得し、取得した属性に基づいて前記線影を生成することを特徴とする請求項１に記載の映像処理装置。
3. 前記線影生成手段は、
   前記オブジェクトの三次元座標に基づいて合成された影領域を、二次元の平面上に投影した座標系に変換して抽出し、抽出した影領域に対して、前記属性に対応する線影テクスチャを覆うように並べることで線影を生成することを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記画像合成手段は、
   前記影領域の一部又は全部に前記線影を付加することを特徴とする請求項１乃至３の何れか１項に記載の映像処理装置。
5. 前記線影生成手段は、
   前記影領域における影の濃さに応じて前記線影の濃さを調整することを特徴とする請求項１乃至４の何れか１項に記載の映像処理装置。
6. オブジェクトを含む三次元映像を生成する三次元映像生成ステップと、
   前記三次元映像生成ステップにより生成された映像中の連続する各画像に含まれる前記オブジェクトに対する影情報を生成する影情報生成ステップと、
   前記影情報生成ステップにより得られる影情報から影領域を抽出し、抽出した影領域に合成させる所定の属性を有する線影を生成する線影生成ステップと、
   前記連続する各画像の前記影領域に前記線影生成ステップにより得られる線影を合成し、前記線影が前記属性に対応して移動する映像を生成する画像合成ステップとを有することを特徴とする映像処理方法。
7. コンピュータを、
   オブジェクトを含む三次元の映像を生成する三次元映像生成手段、
   前記三次元映像生成手段により生成された映像中の連続する各画像に含まれる前記オブジェクトに対する影情報を生成する影情報生成手段、
   前記影情報生成手段により得られる影情報から影領域を抽出し、抽出した影領域に合成させる所定の属性を有する線影を生成する線影生成手段、及び、
   前記連続する各画像の前記影領域に前記線影生成手段により得られる線影を合成し、前記線影が前記属性に対応して移動する映像を生成する画像合成手段として機能させるための映像処理プログラム。