JP2002095012A

JP2002095012A - ステレオ画像生成装置およびその方法

Info

Publication number: JP2002095012A
Application number: JP2000286847A
Authority: JP
Inventors: Fumiko Kureyama; 史子紅山; Toshio Moriya; 俊夫守屋; Haruo Takeda; 晴夫武田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2000-09-18
Filing date: 2000-09-18
Publication date: 2002-03-29
Also published as: US20020033834A1

Abstract

(57)【要約】【課題】ディジタル化されたセルアニメーションデータ
に関して、付加価値化による既存アニメーションとは違
った表現方法を提供する。その中でも特に、３次元画像
への歪みのない合成を行い、ステレオ化による没入感の
ある画像を提供する。【解決手段】画像表示装置と合成対象となるオブジェク
トの未表示されたセル画像データと、オブジェクトと視
点位置の位置関係を示す視点位置データと、合成先とな
る背景３次元ＣＧデータとを格納した記憶装置と接続さ
れたステレオ画像生成装置において、主記憶装置１００
に格納されたプログラムに従ってＣＰＵが、セル画像に
含まれるオブジェクトの視点位置を概算し、概算された
結果を基に円柱モデルの位置大きさを決定し、円柱にセ
ル画像をマッピングし、マッピングされたデータと３次
元ＣＧを合成し、この合成方法を用い、異なる視点から
作成した２枚の合成画像データより、ステレオ画像を作
成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２次元セル画像か
らステレオ画像を生成し、２次元セル画像の付加価値化
に関するものである。なお、２次元セル画像にには、ア
ニメーションを含む。

【０００２】特に、計算機を用いて既存２次元セルアニ
メーションに対して、３次元合成をおこないステレオ画
像を作成する、２次元セルアニメーションのステレオ化
に関するものである。

【０００３】

【従来の技術】セルアニメーションは、背景画像の上
に、セルとよばれる透明なシートにオブジェクトを描画
したものを複数枚重ね合わせ、35mm フィルムで１コマ
ずつ連続して撮影することで作成されていた。昭和３０
・４０年代に作られた名作と呼ばれる古典セルアニメー
ション作品の多くが、フィルムの形態で保存されてい
る。しかしながら、年月の経過に伴う媒体の物理的・化
学的損傷による品質劣化が不可避であり、そのディジタ
ル化による半永久的な保存が注目されている。

【０００４】現在のアニメーション制作では多くの作業
がディジタル化されるようになった。このように、古典
アニメーションのディジタル化、現在のアニメ−ション
のディジタル制作などによる、セルアニメーションのデ
ィジタル化が徐々に浸透してきている。ディジタル化さ
れたデータは、修正や保管が容易である上、半永久的な
保存が可能である。

【０００５】しかし、ディジタル化されたセルアニメー
ション画像は単に表示するだけのことが多く、データ管
理や修正、劣化のない保管に関しては、容易になったも
のの、セル画像データを用いて他の表現手法に応用する
など付加価値化した例はあまり見られない。

【０００６】ディジタル化されたセルアニメーションに
関して、以下の従来技術がある。特開平10-40411号公報
の「動画像生成方法および装置」は、ディジタルで取り
込んだ画像をレイヤ毎に並列して処理を行うことによっ
て時間の短縮を図ったものであり、合成時のパラメータ
を工夫している。

【０００７】

【発明が解決しようとする課題】しかし、従来技術で
は、ディジタル化されたセルアニメーションの応用、例
えば、３次元化、ステレオ化までは考えられていない。
このように、従来のセルアニメーションにおいては、表
現手法に乏しく、単に２次元的に表示するに過ぎないこ
とが多かった。

【０００８】

【課題を解決するための手段】本発明は、上記問題点を
考慮して発案されたものであり、その目的はディジタル
化されたセルアニメーションを利用して、付加価値化す
ることにより既存のものとは異なるセルアニメーション
の表現方法を提供することにある。

【０００９】ディジタル化を行うことによって、古典ア
ニメーションを永久に保存することが可能になり、付加
価値をつけることにより、例えばモノクロ画像をカラー
化することによっては、表現力がより豊かで非常にきれ
いな画像を観覧者に提供することを可能にし、３次元Ｃ
Ｇ空間に合成することによっては、今までにないセルア
ニメーションの提示を可能にし、新たなステレオ化する
ことによっては、没入感を高め２次元空間の中に入り込
むという不思議な感覚を提供することを可能とする。ま
た、３次元ＣＧ空間への合成に関して、独自の投影モデ
ルを用いることにより、歪みの少ない画像の提供を可能
とする。

【００１０】さらに、本発明には、上記のステレオ画像
作成装置およびフィルム画像読み込みの機能を実行する
ためのプログラムおよびプログラムを格納した媒体を含
む。

【００１１】なお、本発明が取り扱う画像データは、静
止画でも動画でも、またそれらの両方であってもよい。

【００１２】

【発明の実施の形態】以下に、本発明における実施の形
態を、図面を参照しながら詳述する。図１は、本実施例
の全体のシステム構成を示した図である。本システム
は、プログラムに基づいた計算や制御を行うＣＰＵ
（１）、データやプログラムを記憶するメモリ等の主記
憶装置（１００）、およびハードディスク等の補助記憶
装置（２００）、を含む。

【００１３】また、ディジタルで作成された画像データ
をアナログデータに変換するD/A変換器（１０）、画像
を表示する画像表示装置（２０）、これらの構成要素を
相互に結合するバス（２）からなる。

【００１４】補助記憶装置（２００）は、ディジタル化
されたセルアニメーションをレイヤ毎に分離して得られ
るセル画像データ（２１０）、セル画像データ（２１
０）の合成先となる背景３次元ＣＧを格納する３次元Ｃ
Ｇデータ（２２０）、２次元セル画像データ（２１０）
の３次元空間における擬似カメラ位置を格納する視点位
置データ格納部（２３０）、カメラ位置の水平方向移動
により得られる２枚の異視点画像より得られるステレオ
画像を格納するステレオ画像データ格納部（２７０）に
よって構成されている。

【００１５】主記憶装置（１００）は、画像合成部（１
１０）とステレオ画像生成部（１２０）によって構成さ
れている。

【００１６】画像合成部（１１０）には、背景画像とな
る３次元ＣＧデータ（２２０）に、セルアニメーション
におけるセル画像データ（２１０）を適した場所に合成
するために、２次元セル画像（２１０）の視点位置デー
タ（２３０）を基に、セル画像（２１０）におけるオブ
ジェクトの視点位置を決定する、オブジェクト視点位置
決定プログラム（１１１）、３次元空間内でカメラパン
をしても２次元セル画像（２１０）に歪みが生じないよ
うセル画像（２１０）を円柱モデルにマッピングする円
柱マッピングプログラム（１２１）、視点位置データ
（２３０）よにカメラからセル画像におけるオブジェク
トまでの距離に応じて、円柱モデルの大きさを調整し、
３次元空間内にセル画像（２１０）を合成する画像合成
プログラム（１１３）によって、構成されている。ここ
でマッピング対象に円柱を用いたのは、カメラをパンし
た時に、回転による歪みが少ないからである。

【００１７】ステレオ画像生成部（１２０）には、カメ
ラの位置や注視点より、左右それぞれの目に対応する画
像を作成するためのカメラ位置設定プログラム（１２
１）が含まれる。このとき、カメラ位置は、注視点一定
のまま左右に等距離水平移動したものであり、２種類の
カメラパラメータが設定される。さらに、カメラ位置設
定プログラム（１２１）により設定されたそれぞれのカ
メラ位置において画像を作成する異視点画像生成プログ
ラム（１２２）、２枚の異視点画像を合成することによ
りステレオ画像を生成するステレオ画像生成プログラム
（１２３）が含まれる。ステレオ画像には様々な種類が
あるが、偏光式、液晶シャッタ式などの２つの画像を必
要とする場合は、左目用の画像、右目用の画像をそれぞ
れ作成し、赤青など色によって左目用と右目用の画像を
分離するしくみのアナグリフ式では、左目用の画像、右
目用の画像を該当する色成分で作成し合成したものを作
成する。

【００１８】図２は、本実施形態における内部構成を示
す図である。まず、３次元空間に合成するセル画像デー
タ（２１０）と、セル画像データ（２１０）の中に含ま
れるキャラクタなどのオブジェクトに対する視点の位置
を示す視点位置データ（２３０）と、３次元ＣＧデータ
（２２０）を用いて、画像合成部（１１０）にて、セル
画像データと３次元ＣＧデータの視点位置を合わせるよ
うにセル画像データ（２１０）を３次元空間に設置し、
違和感ない合成画像を作成する。３次元空間への設置に
おいて、セル画像データ（２１０）をアスペクト比固定
のまま円柱にマッピングすることにより、カメラパンに
おける画像の歪みが減少する。このような画像合成方法
を前提に、ステレオ画像生成部（１２０）にて、カメラ
を異なる視点位置に設定し、作成した画像を合成するこ
とにより、ステレオ画像データ（２４０）を作成する。
出来上がったステレオ画像データ（２４０）は、Ｄ／Ａ
変換部（１０）にてアナログデータに変換され、画像表
示装置（２０）へ出力される。このとき、ステレオ画像
データ（２４０）の表示対象はディスプレイやプロジェ
クタなどの画像表示装置でなく、プリントアウトした紙
面でも構わない。また、表示せずに、記憶装置に保存し
たり、ＶＴＲ出力しても構わない。

【００１９】図３は、従来のセルアニメーションのカメ
ラパンシーンにおける生成画像例を示した図である。

【００２０】セルアニメーションの作成において、カメ
ラパンを表現するには、一般に、横長の画像を描画し、
カメラ固定のままこれを横方向にスクロールしたものを
撮影することによってなされる。このため、作成された
画像に歪みを減少することが可能になる。

【００２１】図４は、２次元セル画像データ（２１０）
を３次元空間内に１枚の板として設置したときのカメラ
パンシーンにおける生成画像例を示した図である。この
例では、カメラの回転角度が増加するに従い、画像の歪
みが顕著である。

【００２２】図５に、２次元セル画像データ（２１０）
を３次元空間内に円柱マッピングして設置したときのカ
メラパンシーンにおける生成画像例を示した図である。

【００２３】板として設置したときに比べ、カメラの回
転角度が増加に従う画像の歪みがほとんどなく、従来の
セルアニメーションのカメラパンシーンと同様の結果を
得ること可能である。

【００２４】図６は、第２の実施形態における全体のシ
ステム構成を示した図である。第１の実施形態における
構成に加え、既存のアニメーションデータからセル画像
データを得る過程も含む。図１に加え、フィルムにアナ
ログデータで保管されているアニメーションデータをフ
ィルムスキャナにてスキャンしディジタル化するか、又
は、予めディジタルにて描画することによって作成され
た、セルアニメーション画像データを格納するオリジナ
ル画像データ格納部（２５０）と、オリジナル画像デー
タ（２５０）から画像に含まれるオブジェクトの輪郭を
際立たせた輪郭線データを格納する輪郭線抽出画像デー
タ格納部（２６０）によって、構成されている。輪郭線
抽出画像データより背景部分やオブジェクト部分を認識
し、背景、オブジェクトなどをそれぞれの別のレイヤに
分割したデータは、セル画像データ格納部に格納され
る。さらに、任意カットにおける複数の連続するセル画
像（２１０）より、特徴点情報を基に元の横長のセル画
像に復元した画像を格納する、結合セル画像データ格納
部（２７０）によって構成されている。

【００２５】主記憶装置（１００）には、図1に、輪郭
線抽出部（１３０）、レイヤ分離部（１４０）、画像復
元部（１５０）が加わる。

【００２６】輪郭線抽出部（１３０）には、フィルムに
付いたノイズを除去するノイズ除去プログラム（１３
１）が含まれる。フィルムデータをスキャニングした場
合、フィルムデータをスキャンする前のフィルムデータ
の段階で、水洗いクリーニング、ケミカル処理によっ
て、傷やゴミの除去を行い、そのあと、焼き直しを行う
場合もある。しかし、前期過程だけでは、完全に傷を修
復や、ゴミを除去することは不可能であるため、セルに
残ったゴミや傷が、デジタイズした画像に一緒に取り込
まれてしまうため、。また、セルアニメーションの場
合、複数のセルを重ねて撮影する事によって生ずるセル
影の除去も必須となる。セル影と言うのは、セルアニメ
を撮影する際、複数セルを重ねて撮影するとき、セルを
複数重ねていること、セルに厚みがあること(0。6mm/
枚)、照明が斜め上方からあたっていること、セルの質
が良好でなく不均一であること、などが原因となり、上
方レイヤのセルに描かれている絵の影などが映ってしま
い、線が2重になったりぼけたりする現象のことをい
う。これらのノイズを除去する事によって、画像処理を
しやすいきれいな画像を作成する。輪郭線抽出プログラ
ム（１３２）では、上記ノイズ除去された画像から、オ
ブジェクトの輪郭線を際立たせる処理を行う。輪郭線の
かすれや途切れを修復し、線画を再構成する。途切れの
ない線分を抽出する事により、領域の認識が容易になる
ため、レイヤ分離や彩色処理が容易になる。

【００２７】レイヤ分離部（１４０）には、輪郭線抽出
画像データ（２６０）を基に、動画内に含まれるオブジ
ェクトを認識するオブジェクト認識プログラム（１４
１）が含まれる。前後するフレームの画像データを参考
に、動きのある人物や動物や乗り物などのキャラクタ、
動きの少ないオブジェクト、背景画と思われるオブジェ
クトを決定し、レイヤ分離プログラム（１４２）にて、
キャラクタや他のオブジェクト、背景画、特殊効果など
の画像を分離し、それぞれの画像として保存する。この
とき、必要に応じて、上位レイヤに描かれるオブジェク
トによって隠れてしまった部分を修復する。それは、他
のフレームから該当部分を抜き出し、継ぎ足してもよい
し、新たに描いてもよい。

【００２８】また、フィルムにて撮影された従来のアニ
メーションは、すべてのフレームの画像が異なっている
ことはなく、連続する２〜３のフレームが併用されてい
ることが多い。しかも、フレーム画像の併用具合は、全
てのレイヤにおいて同一ではなく、切り替わるタイミン
グが異なることもある。また、あるセルにおいて、複数
のフレームの映像を繰り返し用いることもある。このた
め、すべてのフレームにおいて修復及び彩色処理を行う
必要はなく、重複しているフレームは1回の処理で十分
である。重複具合のデータベースを作成することによ
り、処理量の軽減が可能である。

【００２９】画像復元部（１５０）では、まず、セルア
ニメーションにおけるカメラパンシーンが含まれる部分
の、セル画像データ（２１０）を読み込む。連続するレ
イヤに含まれる、建物やキャラクタ、動物などのオブジ
ェクトの特徴となる点を追跡し、レイヤをまたがって対
応づけを行う特徴点認識プログラム（１５１）、特徴点
データを元に複数のセル画像データ（２１０）から、１
枚の横に長い結合セル画像データ（２７０）を作成する
画像結合プログラム（１５２）が含まれる。

【００３０】画像合成部（１１０）、ステレオ画像生成
部（１２０）において、合成対象となる2次元セル画像
データは、結合セル画像データ（２７０）を用いる。

【００３１】図７は、第２の実施形態における全体のシ
ステム構成を示した図である。第１の実施形態における
構成に加え、既存のアニメーションデータからセル画像
データを得る過程も含む。図２において、３次元ＣＧデ
ータ（２２０）に合成するセル画像、結合セル画像デー
タ（２７０）を作成する過程を追加する。まず、フィル
ムからスキャンされた画像又は予めディジタルで作成さ
れたセルアニメーションのオリジナル画像データ（２１
０）を基に、まず、輪郭線抽出部（１３０）にて、ノイ
ズの除去を行い、輪郭線をフィルタリングによって際立
たせる処理を行い、輪郭線抽出画像データ（２６０）を
作成する。ここで作成された輪郭線抽出画像データ（２
６０）は、レイヤ分離部（１４０）によって連続する前
後フレームの画像情報を基に背景やキャラクタなど認識
し、オブジェクト毎にレイヤを分ける処理を行い、セル
画像データ（２１０）を作成する。カメラパンを含むシ
ーンにおける連続する複数のセル画像データ（２１０）
は、画像復元部（１５０）にて一つの横長の結合セル画
像データ（２７０）を生成する。以下、図２の構成と同
様である。

【図面の簡単な説明】

【図１】第1実施形態のステレオ画像生成装置のシステ
ム構成図。

【図２】第1実施形態のステレオ画像生成装置の内部構
成。

【図３】セルアニメーションにおけるカメラパン画像
例。

【図４】平面投影における、セル画像のカメラパン画像
例。

【図５】円柱マッピングにおける、セル画像のカメラパ
ン画像例。

【図６】第２実施形態のステレオ画像生成装置のシステ
ム構成図。

【図７】第２実施形態のステレオ画像生成装置の内部構
成。

【符号の説明】

１・・・ＣＰＵ、２・・・バス、１０・・・Ｄ／Ａ変換器、２０・
・・画像表示装置、１００・・・主記憶装置、１１０・・・画像
合成部、１１１・・・オブジェクト視点位置決定プログラ
ム、１１２・・・円柱マッピングプログラム、１１３・・・画
像合成プログラム、１２０・・・ステレオ画像生成部、１
２１・・・カメラ位置設定プログラム、１２２・・・異視点画
像生成プログラム、１２３・・・ステレオ画像生成プログ
ラム、１３０・・・輪郭線抽出部、１３１・・・ノイズ除去プ
ログラム、１３２・・・輪郭線抽出プログラム、１４０・・・
レイヤ分離部、１４１・・・オブジェクト認識プログラ
ム、１４２・・・レイヤ分離プログラム、１５０・・・画像復
元部、１５１・・・特徴点認識プログラム、１５２・・・画像
結合プログラム、２００・・・補助記憶装置、２１０・・・セ
ル画像データ格納部、２２０・・・背景３次元ＣＧデータ
格納部、２３０・・・視点位置データ格納部、２４０・・・ス
テレオ画像データ格納部、２５０・・・オリジナル画像デ
ータ格納部、２６０・・・輪郭線抽出画像データ格納部、
２７０・・・結合セル画像データ格納部

フロントページの続き (72)発明者武田晴夫神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内Ｆターム(参考） 5B050 AA09 BA07 BA08 BA09 BA15 EA06 EA07 EA19 EA24 EA27 FA02 FA06 5B057 AA20 CA12 CA16 CB13 CB16 CD14 CE08 DA16 DA17 DB02 DC02 DC16 5C061 AA00 AB08

Claims

【特許請求の範囲】

【請求項１】ステレオ画像生成装置において、２次元のセル画像データを読み込む手段と、前記読み込まれたセル画像データに含まれるオブジェク
トと視点との距離である視点距離を算出する手段と、前記算出された視点距離に応じて適用投影モデルを決定
し、前記決定された適用投影モデルにセル画像データを
マッピングする手段と、前記マッピングされた投影モデルにマッピングされたセ
ル画像データと予め用意した３次元ＣＧデータとを合成
して、ステレオ画像データを生成する手段とを備えたこ
とを特徴とするステレオ画像生成装置。
【請求項２】請求項１記載のステレオ画像生成装置にお
いて、前記セル画像データは、カメラパンシーンを含む連続す
るセルアニメーション画像であり、前記画像データを生成する手段は、前記セルアニメーシ
ョン画像に含まれるオブジェクトの輪郭線を抽出し、前
記輪郭線データを基に、前記セルアニメーション画像を
複数のセル画像データ分離し、分離された複数のセル画
像データから1枚の画像を生成することを特徴とするス
テレオ画像生成装置。
【請求項３】ステレオ画像を生成するステレオ画像生成
方法において、２次元のセル画像データを読み込み、前記読み込まれたセル画像データに含まれるオブジェク
トと視点との距離である視点距離を算出し、前記算出された視点距離に応じて適用投影モデルを決定
し、前記決定された投影モデルにセル画像データをマッピン
グし、前記マッピングされた投影モデルにマッピングされたセ
ル画像データと予め用意した３次元ＣＧデータとを合成
して、ステレオ画像データを生成することを特徴とする
ステレオ画像生成方法。
【請求項４】請求項３に記載のステレオ画像生成方法に
おいて、前記セル画像データは、カメラパンシーンを含む連続す
るセルアニメーション画像であり、前記画像データの生成は、前記セルアニメーション画像
に含まれるオブジェクトの輪郭線を抽出し、前記輪郭線
データを基に、前記セルアニメーション画像を複数のセ
ル画像データ分離し、分離された複数のセル画像データ
から1枚の画像を生成することを特徴とするステレオ画
像生成方法。
【請求項５】コンピュータに対して所定の処理を実行さ
せるプログラムが格納された記憶媒体であって、前記所
定の処理には以下の処理が含まれる、２次元のセル画像データを読み込む処理、前記読み込まれたセル画像データに含まれるオブジェク
トと視点との距離である視点距離を算出する処理、前記算出された視点距離に応じて適用投影モデルを決定
する処理、前記決定された投影モデルにセル画像データをマッピン
グする処理、および前記マッピングされた投影モデルに
マッピングされたセル画像データと予め用意した３次元
ＣＧデータとを合成して、ステレオ画像データを生成す
る処理。