JP2004078431A - 画像生成方法と装置 - Google Patents

Abstract

【課題】実写が困難な画像を生成したり、既存の画像に映像効果を施したり、その中間画像を生成したりする画像生成を、高い画質で容易に実現する技術を提供する。
【解決手段】画像入力部１２で実写像などを読み込む。仮想画像生成部１８で入力された画像の被写体などに三次元特性を与え、オブジェクトモデルとして第１のＣＧ画像を生成する。さらに、オブジェクトモデルを所望の態様に操作し、二次元平面へ投影して第２のＣＧ画像を生成する。対応点情報算出部２０で第１、第２のＣＧ画像間の対応点情報を取得する。画像生成部２４で、入力画像を始点画像として対応点情報を適用することにより、ＣＧ画像での変化に対応した対応画像を終点画像として生成する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
この発明は画像処理技術に関し、とくに画像フレームとそれらの間の対応点情報を利用した画像生成方法と装置に関する。
【０００２】
【従来の技術】
実写画像のデジタル処理は、近年のプロセッサやＬＳＩ技術の著しい発達とともにその応用範囲が劇的に多様化した。その結果、産業としての放送、映像制作の分野から、個人が趣味で楽しむ場合まで、幅広いニーズに対応した多様な加工、表示技術が生み出された。また、ＭＰＥＧ（Ｍｏｔｉｏｎ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ）に代表される圧縮技術の進歩により、優れた画質をもつ動画像データの保存や送信が容易になり、画像が付随する情報の一般ユーザーへの浸透に拍車をかけた。一方、コンピュータグラフィックス（ＣＧ）の分野では、モーフィング、ウォークスルーなどの加工、表示技術が一般化し、精緻な画像を比較的自由に制作することが可能になりつつある。さらに、実写像を解析し３次元オブジェクトデータとして取り込み、コンピュータ上で加工を行ったり、実写像とＣＧを合成してシミュレーションを行ったりと、実写像とＣＧとを融合する技術も幅広い用途で利用されるようになった。
【０００３】
【発明が解決しようとする課題】
ＣＧは実際には存在しない物体や、所望の態様にすることが困難な被写体を有する画像を比較的容易に生成することができ、さらに演算の過程で被写体の位置情報、角度などを正確に把握できるため、任意のフレームレートでの画像の生成が誤差なく実施できる。ところが、実写した動画像などをもとにＣＧ画像を作り上げ、実写と同等の画質で表示しようとすると演算が膨大化し、計算負荷、メモリー容量などの点で実現が難しい。
【０００４】
一方実写は、高画質の画像を容易に記録、再生することが可能であるが、一旦撮影した画像の中間画像を生成したり、被写体を別の態様に動作させた画像を新たに生成したりすることが難しく、画像処理の過程で誤差やひずみが生じる場合もある。また現実にはない場面を表現するには、画像を別撮りして合成したり、静止画像をコマ撮りしてアニメーション表示したりする工夫が必要である。それらの作業は人手に頼る過程が多く、さらに、自然画像と比較すると違和感のある画像となる場合も多い。
【０００５】
本発明はそうした状況に鑑みてなされたものであり、その目的は、実写が困難な画像を、実写像と同等の画質で容易に生成する技術の提供にある。
【０００６】
本発明の別の目的は、実写動画像などにおける各フレームの中間画像を、誤差なく所望のフレームレートで生成する技術の提供にある。
【０００７】
本発明のさらに別の目的は、動画、静止画にかかわらず、あらかじめ取得されている画像などに対し、任意の映像効果を容易に施すことのできる技術の提供にある。
【０００８】
【課題を解決するための手段】
以下、本発明の画像生成技術は、主に動画について説明するが、静止画や種々の映像効果など、用途は動画に限られない。
【０００９】
本発明のある態様は、画像生成方法に関する。この方法は入力画像を取得するステップと、三次元オブジェクトモデルが含まれる第１、第２のＣＧ画像の対応点情報を取得するステップと、前記第１、第２のＣＧ画像の変化に対応した、前記入力画像に対する対応画像を、前記対応点情報に基づき生成するステップと、を含む。
【００１０】
ここで「入力画像」とは実写を行った動画像などであり、連続した画像フレームやそのうちから抽出した複数の画像フレームでもよいし、１枚の静止画像でもよい。また、「三次元オブジェクトモデル」はＣＧ空間内でモデリングされた三次元情報を有する物体を言い、以降、これと「オブジェクトモデル」または「オブジェクト」を区別しない。また、「フレーム」は画像の単位ではあるが、以下特に必要がない限り、これと「画像」を区別しない。
【００１１】
この方法は、前記入力画像のうち所定の画像に三次元特性を与え、前記第１のＣＧ画像を生成するステップをさらに含んでもよく、前記第１のＣＧ画像における前記オブジェクトモデルを三次元空間内で操作したのち、二次元平面へ投影して前記第２のＣＧ画像を生成するステップをさらに含んでもよい。
【００１２】
そのようにして生成した第１、第２のＣＧ画像に対し、まず前記第１のＣＧ画像に注目点を定め、次に前記第２のＣＧ画像における前記注目点の対応点を算出することによって前記対応点情報を取得してもよい。
【００１３】
前記対応画像を生成するステップは、前記入力画像を始点画像として前記対応点情報を適用し、導出された終点画像を対応画像としてもよい。入力画像に三次元特性を与えてＣＧ画像を生成し第１のＣＧ画像とした場合、第２のＣＧ画像は例えば入力画像内の被写体をＣＧ空間内で動かしたり、加工を施したりしたものとなる。したがって、第１、第２のＣＧ画像間の対応点情報を取得し、その情報に対して始点となる画像を、第１のＣＧ画像の元となった入力画像に置き換えることにより、その終点画像はＣＧ空間内で行われた操作と同等の変化を有し、かつ、入力画像と同等の画質をもつ画像となる。このとき得られる対応点情報は、画像を直接マッチング処理することなく、ＣＧの演算上得られるものであるため、画像間の正確な変位情報を示しており、最終的に誤差やゆがみのない画像を生成できる。第１のＣＧ画像が、入力画像から生成されたものでなくても、例えば画像全体に所望の効果を加えたり、被写体を変形させたりといった加工を施した画像の生成が可能となる。
【００１４】
また、前記注目点と前記対応点の画像内位置を補間することにより、前記第１、第２のＣＧ画像の中間変位情報を生成するステップをさらに含んでもよく、前記中間変位情報に基づき、前記入力画像と前記対応画像の中間画像をさらに生成してもよい。ここで中間変位情報とは、前記第１、第２のＣＧ画像の間の任意の間隔における対応点情報のことであり、それにより前記対応画像を生成したのと同様に、誤差のない中間画像を任意のタイミングで生成できる。
【００１５】
以上の各構成、工程を任意に入れ替えたり、方法の表現における一部または全部を装置と入れ替え、または追加したり、表現をコンピュータプログラム、記録媒体等に変更したものもまた、本発明として有効である。
【００１６】
【発明の実施の形態】
本実施の形態の特徴は、ＣＧの特性を利用した画像処理技術にある。一般に画像処理とはカメラに代表される撮像装置を用いて撮影した画像にフィルタリングを施したりマッチング処理をしたりして、三次元データの構築や画像認識などに応用するもので、その対象物は実存する場合が多い。それ故、画像そのものもまさに現実感を伴うが、同時に撮像という動作がもたらす偶発性、あいまいさの要素を多く含むことになり、処理結果もそれを継承してしまう場合がある。
【００１７】
それに対しＣＧは仮想空間の構築が発想の原点であり、撮像することなく現実にはない物をオブジェクトモデルとして表現できる。従って、オブジェクトモデルを自由に操作できるうえ、その三次元形状と視野空間を決定することにより、ＣＧ画像が確定される。本実施の形態によれば、ＣＧのそのような利点を画像処理に利用することによって、すでに取得済みの実写像をもとに、所望の態様に変化させた画像または中間画像の生成を正確に行うことができる。
【００１８】
＜第１の実施の形態＞
図１は第１の実施の形態の係る画像生成装置１０の構成を示す。画像生成装置１０は、実写画像データなどを取得する画像入力部１２と、その画像を格納する入力画像記憶部１４と、入力画像から所定の画像を抽出する画像抽出部１６と、抽出された入力画像に三次元特性を与えて第１のＣＧ画像を生成するとともに、第１のＣＧ画像におけるオブジェクトモデルを三次元空間内で操作し、それを二次元平面へ投影して前記第２のＣＧ画像をさらに生成する仮想画像生成部１８と、第１のＣＧ画像に注目点を定め、前記第２のＣＧ画像において前記注目点の対応点を算出する対応点情報算出部２０と、算出された対応点情報を格納する対応点情報記憶部２２と、第１、第２のＣＧ画像の変化に対応した、前記入力画像に対する対応画像を、前記対応点情報に基づき生成する画像生成部２４と、生成された画像と入力画像とを表示するため、適宜整列させる画像出力制御部２６とを含む。
【００１９】
画像入力部１２は画像データを、撮像装置や記憶媒体など任意の装置から読み出してよい。本実施の形態は、例えば動くことのない対象物が動作する映像を作成したり、途中まで撮影された動画に対してその先のシーンを表す画像を生成したりすることに利用できるため、入力画像はそれら個々の事情によって任意の形態をとってよく、上記の例では、動くことのない対象物の写る静止画や、途中まで撮影された動画を用いる。また入力画像は実写像に限らず、例えば手書きの絵をスキャナーでデータ化したりしてもよい。
【００２０】
入力された画像は入力画像記憶部１４にいったん格納されるとともに、画像抽出部１６にてその一部が抽出され、仮想画像生成部１８へと送られる。一方、入力画像記憶部１４に記憶された、抽出された画像のデータは、フラグが立てられるなどして他の画像データと識別される。画像抽出部１６には例えば、入力画像を順次表示できる表示機能を設け、生成する画像の始点としたい画像を手入力にて指定できるようにしてもよい。この場合は、例えば実写した動画像の所定のフレーム以降、撮影したのと別のシーンを生成したい場合や、実物ではあり得ない動作を所定のフレームから挿入させたい場合など、状況に応じて所望の画像を選択できる。または、入力画像から所定の時間間隔または枚数間隔で自動的に抽出するようにしてもよい。抽出する画像は１枚でも複数でもよい。入力画像がもともと１枚の静止画の場合は、その画像はそのまま仮想画像生成部１８へ送られる。
【００２１】
仮想画像生成部１８へ送られた入力画像は、被写体などにそれぞれ三次元特性を与えられ、擬似的なオブジェクトを有するＣＧ画像となる。図２は入力画像ＫＦ_ｉからＣＧ画像ＣＧ_ｉを生成する過程を概念的に示している。ここでは例えば二次元である入力画像内の被写体に対し、奥行き方向の情報を人工的に付与することによって三次元データ化し、任意の座標系において三次元オブジェクトを生成する。本来動かない物が動作する画像などを生成したい場合に、三次元画像の計測法として一般的な種々の手法を用いてその対象物を計測し、あらかじめ奥行き方向の情報を得ておいてもよい。それらを再度入力画像と同じ視野空間内の座標系に移し変え、二次元平面へ投影することによりＣＧ_ｉが生成される。
【００２２】
仮想画像生成部１８ではさらに、生成されたＣＧ画像に対し、まずオブジェクトなどを三次元空間内で所望の態様になるように操作し、それを二次元平面へ投影して新たなＣＧ画像を生成する。仮想画像生成部１８へ送られた画像が動画像の一部や、所定の間隔で抽出された画像の場合は、それらの複数の画像から被写体などの移動速度や変化の割合を算出し、それを考慮することにより、入力された動画像と連続性のあるＣＧ画像を生成することができる。ここでは、連続したＣＧ画像を高いフレームレートで複数生成してもよいし、大きく変化させた後のＣＧ画像を１枚生成してもよい。後者のような場合でも、後に述べる中間変位情報を利用することにより、最終的に生成される画像の枚数には影響しない。このＣＧ画像生成枚数は、ＣＧ画像の生成による演算負荷と、画像の正確性との兼ね合いで適宜決定する。また、上記のオブジェクト操作には、オブジェクトの位置的変化をもたらす操作の他に、色など他の属性を変化させる操作を含んでもよい。
【００２３】
仮想画像生成部１８で生成された複数のＣＧ画像は、対応点情報算出部２０に送られ、隣接するＣＧ画像間の対応点情報が取得される。ここでの計算手法は先に特願２００１−２４２２８２号において本出願人が提案した技術を用いることができる。図３は当該技術を利用した場合の、２枚のＣＧ画像とオブジェクトＯＢＪとの対応関係を示す模式図である。まず、第１のＣＧ画像ＣＧ_１のオブジェクトなどに対し注目点ｐ_１を設定する。次に第２のＣＧ画像ＣＧ_２における、注目点の対応点ｐ_２を導出する。Ｍ_ｉを第ｉのＣＧ画像を得るためにオブジェクトなどを三次元空間内で操作する演算、Ｑ_ｉを演算Ｍ_ｉの後にオブジェクトなどを二次元平面へ投影して第ｉのＣＧ画像を得るための演算とすると、ｐ_１からｐ_２を導出する式は以下のように表される。
ｐ_２　＝　ｆｐ_１　＝　Ｑ_２Ｍ_２Ｍ_１ ^−１Ｑ_１ ^−１ｐ_１
注目点は画素単位で設定してもよいし、ｘ，ｙ方向に一定間隔で設定したり、オブジェクトのエッジなど変化の大きい部分に重み付けをして設定したりしてもよい。注目点の数が多いほど画像生成の際に正確性を増すが、計算負荷やメモリー容量などとの兼ね合いで決定するべきである。また、あらかじめオブジェクトに対し注目点ｐを定め、その点の対応点をそれぞれのＣＧ画像上で算出してもよい。同様の計算を、対応点情報算出部２０に送られたＣＧ画像の全てに対して行い、画像ＣＧ_１，ＣＧ_２，ＣＧ_３，ＣＧ_４・・・・に対し、ｐ_１→ｐ_２→ｐ_３→ｐ_４・・・・という対応関係を全注目点に対して取得する。
【００２４】
仮想画像生成部１８ではさらに、ＣＧ画像の色の勾配情報を取得し、対応点情報に含めてもよい。ここで色の勾配情報とは、例えば仮想画像生成部１８において、ＣＧ画像のオブジェクトの色を変化させる操作を行った場合において、座標どうしの対応とともにそれらの色がどのように変化したかを数値化して表したデータのことである。図４はこのような場合の対応点情報のデータ形式の一例を示したものであり、隣接するｉおよびｉ＋１番目のＣＧ画像に対する対応点情報ＶＣ_{ｉ，ｉ＋１}は、対応する点のデータｐ_ｉ，ｐ_ｉ＋１とそれらの点の色情報Ｃ（ｐ_ｉ），Ｃ（ｐ_ｉ＋１）との繰り返しにより構成されている。ここでは色情報以外にも所望の属性データをもたせることができる。対応点情報は、対応点情報記憶部２２に順次格納される。
【００２５】
画像生成部２４では、入力画像記憶部１４および対応点情報記憶部２２にそれぞれ格納された抽出後の入力画像と対応点情報とが読み出され、それをもとに新たな画像、すなわち対応画像が生成される。図５は入力画像、ＣＧ画像および対応画像の関係を示す概念図である。仮想画像生成部１８において生成されたＣＧ画像のうち、入力された画像ＫＦ_ｉをもとに生成されたＣＧ画像をＣＧ_ｉとし、それに隣接するＣＧ画像をＣＧ_ｉ＋１、それらＣＧ画像間の対応点情報をＶＣ_{ｉ，ｉ＋１}とする。このときＣＧ_ｉ＋１はＣＧ_ｉのオブジェクトなどを所望の態様に操作した後の画像であるため、ＶＣ_{ｉ，ｉ＋１}はそのオブジェクトなどの変化を表した情報であるといえる。そこでＶＣ_{ｉ，ｉ＋１}の始点画像をＫＦ_ｉとすることにより、その終点画像として生成された対応画像ＫＦ_ｉ＋１は、ＫＦ_ｉ中の被写体などを所望の態様に変化させた画像となる。また、ＶＣ_{ｉ，ｉ＋１}に前述のとおり色の勾配情報が含まれている場合は、終点画像ＫＦ_ｉ＋１の対応点にその色を当てはめることにより、色の変化をも踏襲した対応画像を生成することができる。
【００２６】
また本実施の形態は、実写画像の中間画像を生成してフレームレートを増加させたい場合にも有効である。基本的な装置構成は図１における画像生成装置１０と同じである。図６はこの場合における入力画像とＣＧ画像および中間画像との関係を示している。ここでＫＦ_ｉおよびＫＦ_ｉ＋１は画像抽出部１６において抽出された隣接する入力画像である。入力画像は所定の時間間隔または枚数間隔で抽出してもよいし、特に抽出作業をすることなく、入力された画像を全て仮想画像生成部１８へ送ってもよい。その選択規則はＣＧ画像を生成する演算負荷と、最終的な中間画像の正確性というトレードオフの関係を考慮して適宜決定する。
【００２７】
次に仮想画像生成部１８において、画像抽出部１６より送信された複数の入力画像に対して三次元特性を与え、それぞれに対応するＣＧ画像を順次生成する。被写体の三次元情報があらかじめ得られている場合は、それを利用し、さらに各画像の視点との相対位置情報を考慮することにより、ＣＧ画像を生成できる。図６においては、入力画像ＫＦ_ｉおよびＫＦ_ｉ＋１から、ＣＧ画像ＣＧ_ｉおよびＣＧ_ｉ＋１がそれぞれ生成されているとする。
【００２８】
さらに対応点情報算出部２０において、まず図５の例と同様に隣接するＣＧ画像の対応点情報ＶＣ_{ｉ，ｉ＋１}を取得する。次に補間計算によりそれらのＣＧ画像間を所定の間隔に分割し、その間隔における対応点情報、すなわち中間変位情報を取得する。ここでは任意の線形または非線形の補間手法を利用してよい。例えば図６に示したように、画像ＣＧ_ｉおよびＣＧ_ｉ＋１の間を４等分する場合を考える。対応点情報ＶＣ_{ｉ，ｉ＋１}によって画像ＣＧ_ｉ上の点ｐ_ｉの座標（ｘ_ｉ，ｙ_ｉ）が画像ＣＧ_ｉ＋１上の点ｐ_ｉ＋１の座標（ｘ_ｉ＋１，ｙ_ｉ＋１）へ対応していることが示されているとすると、等間隔に線形補間を行えば、
【数１】

という中間変位情報が得られる。得られた中間変位情報を、入力画像ＫＦ_ｉを始点画像として順次適用していくことにより、画像ＫＦ_ｉとＫＦ_ｉ＋１の間の中間画像ＩＦ_{ｉ，ｉ＋１}（１），ＩＦ_{ｉ，ｉ＋１}（２），ＩＦ_{ｉ，ｉ＋１}（３）が生成される。対応点情報の分割は等分である必要はなく、中間変位情報は任意のタイミングで生成してよい。また、外分点を算出することにより、画像ＫＦ_ｉ＋１以降の画像を生成してもよい。
【００２９】
上述の例では、画像ＫＦ_ｉ＋１も入力画像であるとして、それをもとに画像ＣＧ_ｉ＋１を生成した後、中間変位情報を取得したが、対応画像としてＫＦ_ｉ＋１を生成しながら中間画像を生成することもできる。図７はそれらの一連の手順を示すフローチャートである。図５にて示したのと同様に、抽出された入力画像ＫＦ_ｉ（Ｓ５０）をもとにＣＧ画像ＣＧ_ｉを生成し（Ｓ５１）、オブジェクトなどに所望の操作を施して画像ＣＧ_ｉ＋１を生成する（Ｓ５２）。その後、対応点情報ＶＣ_{ｉ，ｉ＋１}を取得して（Ｓ５３）、図６で述べたように中間変位情報を取得し（Ｓ５４）、ＫＦ_ｉを始点画像として中間変位情報を順次適用していくことにより、中間画像および対応画像ＫＦ_ｉ＋１を生成する（Ｓ５５）。その後、必要に応じてさらにオブジェクトなどを操作してＣＧ画像を生成し、それに応じて対応画像および中間画像を生成することを繰り返す（Ｓ５６，Ｓ５７）。この方法により、例えば一枚の画像から、その被写体に所望の動作をさせた動画像を、所望のフレームレートで正確に生成することができる。
【００３０】
対応点情報ＶＣ_{ｉ，ｉ＋１}に位置的情報以外の属性データ、例えば色の勾配情報が含まれているときは、前述の座標補間と同様、画素値の補間を任意の補間手法により行い中間画素値情報を取得し、それを中間画像の画素値として採用してもよい。
【００３１】
＜第２の実施の形態＞
次に第２の実施の形態を説明する。図８は第２の実施の形態の係る画像生成装置１０の構成を示す。本実施の形態では、図１の仮想画像生成部１８および対応点情報算出部２０に変わり、ＣＧ画像データ入力部１９が設けられる。ＣＧ画像データ入力部１９は、外部装置としてＣＧ画像の演算を行うコンピュータなどと接続し、当該コンピュータの記憶装置などからＣＧ画像データを読み込む。ここでＣＧ画像データとは、動画などを表す複数のＣＧ画像と、隣接するＣＧ画像間の対応点情報とからなるデータストリームである。第１の実施の形態と異なり、ここで用いるＣＧ画像は入力画像をもとに生成されたものでなくてもよい。対応点情報は第１の実施の形態と同様の計算を行ったものでもよく、ＣＧ画像間に色の変化などがある場合は、それらの属性データも対応点情報に包含させてよい。
【００３２】
画像抽出部１６では、入力されたＣＧ画像に適した入力画像を１枚選択する。ＣＧ画像に適した入力画像とは、例えばＣＧ画像の１枚目と類似性の高い画像などである。また、ＣＧ画像データ入力部１９にＣＧ画像を順次参照できる表示部を設け、入力画像がもともと１枚の場合などに、その入力画像と類似性の高いＣＧ画像をＣＧの１枚目の画像として指定できる機能をさらに設けてもよい。
【００３３】
画像生成部２４において、ＣＧ画像の対応点情報ＶＣ_{ｉ，ｉ＋１}を、入力画像より抽出された画像ＫＦ_ｉに適用することにより、ＣＧ画像の動きに対応した対応画像が生成される。ＣＧ画像が動画を表す複数の画像フレームであった場合は、１枚の入力画像から動画を表す複数の対応画像が順次生成される。本実施の形態の画像生成装置１０において、対応点情報算出部２０をさらに対応点情報記憶部２２の入力側（図示せず）に設け、第１の実施の形態と同様に中間変位情報を取得し、画像生成部２４にて所望のフレームレートで中間画像を生成してもよい。また、ＣＧ画像データ入力部１９にて読み込むデータには対応点情報が含まれていなくてもよい。この場合、上述のように対応点情報算出部２０を設け、隣接するＣＧ画像間の対応点情報を、第１の実施の形態と同様に計算すればよい。
【００３４】
第２の実施の形態は、例えばＣＧ画像で細かいドットパターンの水平方向の流れや、渦巻きを作成し、水面のさざなみを入力画像とすることで、水流や渦潮の画像を生成したりするのに利用できる。また同様のＣＧ画像を用いて、入力画像に人の顔などを選択すれば、非現実的な映像表現が可能である。このように、ＣＧ画像として様々なパターンの動きをあらかじめ作成しておき、そこから選択してＣＧ画像データ入力部１９にて読み込めば、実写像などの加工や映像効果の付加が容易にできる。ＣＧ画像はランダムなパターンの動きばかりでなく、例えば球体が転がる動画などでもよく、最終的に所望とする画像が、りんごが転がるなど単純な場面や緻密性を要求しない場合などは、入力画像として例えばりんごの画像を選択することにより、動画を容易に生成できる。
【００３５】
以上、実施の形態をもとに本発明を説明した。なお本発明はこの実施の形態に限定されることなく、そのさまざまな変形例もまた、本発明の態様として有効である。
【図面の簡単な説明】
【図１】第１の実施の形態に係る画像処理装置の構成図である。
【図２】入力画像の被写体に三次元特性を与えＣＧ画像を生成する過程を示す概念図である。
【図３】２枚のＣＧ画像間の対応点情報を導出する方法を示す説明図である。
【図４】色の勾配情報を含む対応点情報のデータ形式を示す模式図である。
【図５】入力画像、ＣＧ画像および対応画像と、対応点情報の関係を示す概念図である。
【図６】入力画像、ＣＧ画像および中間画像と、中間変位情報との関係を示す概念図である。
【図７】入力画像から対応画像および中間画像を生成する場合の手順を示すフローチャートである。
【図８】第２の実施の形態に係る画像処理装置の構成図である。
【符号の説明】
１０　画像生成装置、　１２　画像入力部、　１４　入力画像記憶部、　１６画像抽出部、　１８　仮想画像生成部、　１９　ＣＧ画像データ入力部、　２０　対応点情報算出部、　２２　対応点情報記憶部、　２４　画像生成部。

Claims (17)

1. 入力画像を取得するステップと、
   三次元オブジェクトモデルが含まれる第１、第２のＣＧ画像の対応点情報を取得するステップと、
   前記第１、第２のＣＧ画像の変化に対応した、前記入力画像に対する対応画像を、前記対応点情報に基づき生成するステップと、
   を含むことを特徴とする画像生成方法。
2. 前記入力画像に３次元特性を与え、前記第１のＣＧ画像を生成するステップをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記第１のＣＧ画像における前記オブジェクトモデルを３次元空間内で操作したのち、二次元平面へ投影して前記第２のＣＧ画像を生成するステップをさらに含むことを特徴とする請求項１または請求項２に記載の方法。
4. 前記対応点情報を取得するステップは、前記第１のＣＧ画像に注目点を定めるステップと、
   前記第２のＣＧ画像における前記注目点の対応点を算出するステップと、
   を含むことを特徴とする請求項１から請求項３のいずれかに記載の方法。
5. 前記対応画像を生成するステップは、前記入力画像を始点画像として前記対応点情報を適用し、導出された終点画像を前記対応画像とすることを特徴とする請求項１から請求項４のいずれかに記載の方法。
6. 前記第１、第２のＣＧ画像の画素値の勾配情報を取得するステップをさらに含み、前記対応画像の画素値は前記画素値の勾配情報に基づき決定することを特徴とする請求項１から請求項５のいずれかに記載の方法。
7. 前記注目点と前記対応点の画像内位置を補間することにより、前記第１、第２のＣＧ画像の中間変位情報を生成するステップをさらに含み、前記中間変位情報に基づき、前記入力画像と前記対応画像の中間画像をさらに生成することを特徴とする請求項１から請求項６のいずれかに記載の方法。
8. 入力画像を取得する画像入力部と、
   三次元オブジェクトモデルが含まれる第１、第２のＣＧ画像の対応点情報を記憶する対応点情報記憶部と、
   前記第１、第２のＣＧ画像の変化に対応した、前記入力画像に対する対応画像を、前記対応点情報に基づき生成する画像生成部と、
   を含むことを特徴とする画像生成装置。
9. 前記入力画像に３次元特性を与え、前記第１のＣＧ画像を生成する仮想画像生成部をさらに含むことを特徴とする請求項８に記載の装置。
10. 前記仮想画像生成部は、前記第１のＣＧ画像における前記オブジェクトモデルを３次元空間内で操作したのち、二次元平面へ投影して前記第２のＣＧ画像をさらに生成することを特徴とする請求項９に記載の装置。
11. 前記第１のＣＧ画像に注目点を定め、前記第２のＣＧ画像における前記注目点の対応点を算出する対応点情報算出部をさらに含むことを特徴とする請求項８から請求項１０のいずれかに記載の装置。
12. 前記画像生成部は、前記入力画像を始点画像として前記対応点情報を適用し、導出された終点画像を前記対応画像とすることを特徴とする請求項８から請求項１１のいずれかに記載の装置。
13. 前記対応点情報算出部において、前記第１、第２のＣＧ画像の画素値の勾配情報をさらに取得し、前記画像生成部において前記画素値の勾配情報に基づき、前記対応画像の画素値を決定することを特徴とする請求項１１または請求項１２に記載の装置。
14. 前記対応点情報と前記第１、第２のＣＧ画像の画素値の勾配情報を含むＣＧ画像データを読み込むＣＧ画像データ入力部をさらに含むことを特徴とする請求項８に記載の装置。
15. 前記対応点情報算出部において、前記注目点と前記対応点の画像内位置を補間することにより、前記第１、第２のＣＧ画像の中間変位情報をさらに生成し、前記画像生成部において、前記中間変位情報に基づき、前記入力画像と前記対応画像の中間画像をさらに生成することを特徴とする請求項１１から請求項１４のいずれかに記載の装置。
16. 前記対応点情報算出部において前記画素値の勾配情報を補間することにより、前記中間画像の画素値を決定することを特徴とする請求項１５に記載の装置。
17. 入力画像を取得する機能と、
    三次元オブジェクトモデルが含まれる第１、第２のＣＧ画像の対応点情報を取得する機能と、
    前記第１、第２のＣＧ画像の変化に対応した、前記入力画像に対する対応画像を、前記対応点情報に基づき生成する機能と、
    をコンピュータに実行せしめることを特徴とするコンピュータプログラム。

Images