JP2007004718A - 画像生成装置及び画像生成方法 - Google Patents

Abstract

【課題】 画像中に存在する関節物体が持つ形状、服装、動きなどのパラメータを反映した新たな画像を生成する画像生成装置等を提供する。
【解決手段】 関節物体を撮像した画像から、関節物体の特性を反映した新たな画像を生成する画像生成装置であって、関節物体を撮像した画像を取得する画像入力部１０１と、取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、関節物体の関節又は関節間部位の位置に関する第１パラメータを算出するパラメータ算出部１０２と、第１パラメータに基づいて関節物体の画像の領域分割を行うことによって、関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第２パラメータを抽出する領域分割部１０３と、前記第１パラメータと前記第２パラメータとを用いて、関節物体の特性を反映した新たな画像を生成する画像生成部１０４とを備える。
【選択図】 図１

Description

本発明は、画像処理によって人物や動物等を含む関節物体の画像を生成する画像生成装置及びその方法に関する。

従来の関節物体の画像生成技術は、コンピュータグラフィクスの分野において実現されている。これらの多くは、モーションキャプチャシステムを用いて、実際の人物の形状や動きデータを取得し、その動きデータに基づいてアニメーション生成を行っている。これによって、関節物体のさまざまな姿勢や動きを画像として出力することが可能である。また、モーションキャプチャシステムを使わなくともアニメーション生成可能な方法も存在する。例えば、特許文献１には、動力学を用いて人物の筋肉動作を最小とする動きを推定することによって、人体動作のアニメーションを生成する方法が開示されている。

また、動作解析等を目的として、画像中に存在する関節物体に対して、モデルを当てはめる画像解析方法も提案されている。例えば、特許文献２では、画像中に存在する対象物に対して、その対象物が持つ部位それぞれについて構成したモデルを当てはめ、当てはめた結果、対象物をモデルパラメータとして保持するものである。また、非特許文献１には、１０個の身体部位で構成した人物モデルを用いて、画像中に存在する人物に対して円柱の組合せによって構成した人物モデルを当てはめ、画像中に存在する人物が動いた場合にも、その身体部位をトラッキングすることができる技術が提案されている。
特許第３３５５１１３号公報 特開平８−２１４２８９号公報 Ｌｅｏｎｉｄ Ｓｉｇａｌ， Ｓｉｄｈａｒｔｈ Ｂｈａｔｉａ、 Ｓｔｅｆａｎ Ｒｏｔｈ、 Ｍｉｃｈａｅｌ Ｊ．Ｂｌａｃｋ、 Ｍｉｃｈａｅｌ Ｉｓａｒｄ、"Ｔｒａｃｋｉｎｇ Ｌｏｏｓｅ−Ｌｉｍｂｅｄ Ｐｅｏｐｌｅ"、２００４ ＩＥＥＥ ＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｖｏｌ．１，ｐｐ４２１−４２８、２００４

しかしながら、上記従来技術に代表される画像生成方法や画像解析方法では、画像中に存在する関節物体が持つ形状、服装、動きなどのパラメータを反映した新たな画像を生成することができないという問題がある。

特許文献１に代表される画像生成方法では、関節物体の動きに関するパラメータをあらかじめ算出しているために、関節物体の動きパラメータからアニメーション生成が可能である。ところが、画像中に存在する関節物体から形状、服装、動きに関するパラメータを得ることは行っていない。そのため、アニメーションを生成する場合には、事前に用意した形状や服装などに関するデータを用いることになる。

また、特許文献２や非特許文献１に代表される画像解析方法では、円柱や直線等で簡略化した人物モデルを当てはめる。そのため、画像中に存在する関節物体の関節位置等のパラメータは取得できるものの、服装や形状に関する情報は取得できない。そのため、実写に近いアニメーションを生成するためには、関節物体の形状や服装などに関するデータを別途、保持しておく必要がある。また、画像中に存在する関節物体の形状や服装、動き等、その関節物体固有の情報（特性）を反映した画像を生成するためには、関節物体の各関節間部位の位置や動きに関する情報だけでなく、各関節間部位の形状や服装に関するデータを画像から取得する必要がある。

そこで、本発明は、このような課題を解決するものであり、画像中に存在する関節物体が持つ形状、服装、動きなどのパラメータを反映した新たな画像を生成する画像生成装置等を提供することを目的とする。

つまり、本発明は、画像中に存在する関節物体の画像から、画像中に存在する関節物体の部位形状、服装、動き等に関する情報を抽出し、抽出した情報を用いて、画像中に存在する関節物体の特性を反映した新たな画像を生成することを目的とする。

具体的には、本発明は、画像中に存在する関節物体の画像から、画像中に存在する関節物体の部位形状、服装、動き等に関する情報を抽出し、抽出した情報を用いて、時間的、空間的に内挿、外挿した画像を生成する技術を提供する。また、画像中に存在する関節物体の画像から、画像中に存在する関節物体の身体部位形状や動きに関する情報を抽出し、抽出した情報を用いて、関節物体を構成する部位が明確に目視できる画像を生成する技術をも提供する。さらに、画像中に存在する関節物体の画像から、画像中に存在する関節物体の部位形状、服装、動きに関する情報を抽出し、抽出した情報を用いて、得られた画像中に存在する関節物体の姿勢や動きとは異なる姿勢や動きを含む関節物体の画像を生成する技術をも提供する。

この課題を解決するために本発明は、関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成装置であって、関節物体を撮像した画像を取得する画像入力手段と、取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置に関する第１パラメータを算出するパラメータ算出手段と、前記第１パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第２パラメータを抽出する領域分割手段と、前記パラメータ算出手段によって算出された第１パラメータと前記領域分割手段によって抽出された第２パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成手段とを備えることを特徴とする。

ここで、前記画像入力手段が時間的に連続した画像を取得する場合には、前記パラメータ算出手段は、前記画像を用いて、前記関節物体の関節又は関節間部位の位置及び動きに関する第１パラメータを算出してもよい。

なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をステップとして含むプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体等としても実現することができる。

本発明により、画像中に存在する関節物体に関して、関節を有するモデルを当てはめることによって得た関節の位置やその動き等に関するパラメータと、画像から得た形状や服装等に関するパラメータとを用いて、画像中に存在する関節物体の情報（特性）を反映した新たな画像を生成することが可能である。

たとえば、画像中に存在する関節物体の画像から時間的、空間的に内挿、外挿した画像を生成することが可能である。また、画像中に存在する関節物体の画像から、関節物体の構成する部位が明確に目視できるように、各部位に異なる色やテクスチャ等を貼り付けた画像を生成することも可能である。さらに、画像中に存在する関節物体の画像から、その関節物体の部位形状や服装等を反映した上で、画像中に存在する関節物体の姿勢や動きとは異なる姿勢や動きを含む関節物体の画像を生成することが可能である。

よって、本発明により、撮像された実画像から高精度な画像が生成され、特に、デジタルカメラやカメラ付き携帯電話、ビデオ装置等の撮影によって得られた映像を補完して精度を向上させる映像補完装置等として、その実用的価値は高い。

本発明の一実施形態は、関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成装置であって、関節物体を撮像した画像を取得する画像入力手段と、取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置に関する第１パラメータを算出するパラメータ算出手段と、前記第１パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第２パラメータを抽出する領域分割手段と、前記パラメータ算出手段によって算出された第１パラメータと前記領域分割手段によって抽出された第２パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成手段とを備える。ここで、前記画像生成手段は、関節物体の特性を反映した新たな画像として、例えば、関節物体の関節又は関節間部位の位置、および、前記関節物体の関節間部位の色およびテクスチャ情報を反映した画像を生成する。また、前記画像入力手段が時間的に連続した画像を取得する場合には、前記パラメータ算出手段は、前記画像を用いて、前記関節物体の関節又は関節間部位の位置及び動きに関する第１パラメータを算出することを特徴とする。これによって、関節を有する関節モデルの当てはめによって得た動きや関節の位置等に関するパラメータと画像から得た形状や服装等に関するパラメータとを用いて、画像中に存在する関節物体の特性を反映した新たな画像の生成が可能となる。

また、本発明のより好ましい形態は、前記画像生成装置はさらに、前記画像生成手段によって生成された画像と目標画像との誤差を算出することにより、前記画像を評価する画像評価手段と、前記画像評価手段による評価結果に基づいて、前記第１パラメータを変更するパラメータ変更手段とを備え、前記領域分割手段は、前記パラメータ変更手段で変更された第１パラメータに基づいて前記領域分割を行い、前記画像生成手段は、前記パラメータ変更手段によって変更された第１パラメータと前記領域分割手段によって抽出された第２パラメータとを用いて、前記画像を生成することを特徴とする。これによって、目標画像に近づくように前記パラメータを変更することによって、パラメータをより高精度に得ることができるため、さらに忠実に、画像中に存在する関節物体の特性を反映した新たな画像生成が可能となる。

また、本発明のより好ましい形態は、前記画像生成装置はさらに、前記第１パラメータを用いて、前記関節物体の関節間部位の形状情報、前記第１パラメータには含まれない関節の位置及び動きに関する第３パラメータを推定するモデル変換手段を備え、前記画像生成手段は、前記第１パラメータと前記第２パラメータと前記第３パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成することを特徴とする。これによって、前記第１のパラメータより、情報量が多い第３のパラメータを推定するか、もしくはオクルージョン等の原因により、画像への関節モデルの当てはめだけでは得る事ができない情報に関するパラメータを第３のパラメータとして推定することによって、より確実に、画像中に存在する関節物体の特性を反映した新たな画像の生成が可能となる。なお、オクルージョンとは、移動物体の一部が物陰に隠れてしまい、撮影できるピクセル数が変化することである。

ここで、前記画像生成手段は、例えば、時間的に連続した画像に対して、前記第１パラメータに含まれる動き情報をもとに生成した、時間的に内挿および外挿した画像を前記新たな画像として生成してもよい。これによって、フレームレートの低い動画像から、よりフレームレートの高い動画像の生成が可能となる。

また、前記画像生成手段は、例えば、前記関節物体を構成する各部位に異なる色またはテクスチャを貼り付けた画像を前記新たな画像として生成してもよい。これによって、関節物体を構成する各部位の状態や動きを、画像中に存在する関節物体の特性を反映した画像で把握することが可能となる。

さらに、前記画像生成手段は、例えば、前記関節物体の姿勢又は動きとは異なる姿勢又は動きを含む関節物体の画像に、前記関節物体の関節間部位のテクスチャを貼り付けた画像を前記新たな画像として生成してもよい。これによって、画像中に存在する関節物体の特性を反映した上で、他の姿勢、動き、形状に加工した画像の生成が可能となる。

また、前記パラメータ算出手段は、前記画像に対して、関節物体の領域を抽出する関節物体領域抽出部を有し、抽出した領域に対して、前記当てはめをするのが好ましい。たとえば、関節物体領域抽出部は、前記画像に対して、エッジ抽出をすることによって前記領域を抽出するのが好ましい。これによって、自然画像中に存在する関節物体を検出することが容易となるため、処理可能な対象画像の限定を減らした上で、画像中に存在する関節物体の特性を反映した、新たな画像の生成が可能となる。

また、本発明のより好ましい形態は、前記画像生成装置はさらに、前記画像入力手段によって取得された画像中に存在する関節物体の動作の周期を検出する周期性検出手段を備え、前記パラメータ算出手段、前記領域分割手段及び前記画像生成手段は、前記周期性検出手段で検出された１周期分の時系列画像ごとに、それぞれ、第１パラメータの算出、第２パラメータの抽出、及び、画像の生成をすることを特徴とする。これによって、歩行動作や走行動作等の繰り返し動作における１周期ごとにパラメータの算出と画像生成が行われるので、周期的な動作をする間接物体が正確に検出され、より忠実に関節物体の特性を反映した新たな画像が生成される。

なお、前記動きは、例えば、動きベクトル、加速度ベクトル、アフィンパラメータ及び近似曲線パラメータのいずれかによって表すのが好ましい。関節を有する物体の動きに関するパラメータを得ることで、動き情報を用いて時間的に内挿および外挿する新たな画像の生成が可能となるからである。

また、前記領域分割手段は、前記第１パラメータに含まれる関節位置又は関節間部位の位置情報を初期値として、前記第２パラメータを算出するのが好ましい。これによって、前記第２のパラメータの初期値を設定しておくことで、その探索における収束性が向上され、安定した領域分割処理が可能となる。

また、前記画像生成手段は、関節で接続された部位が分離しないように、関節位置を基準とした画素移動を行うことにより、前記新たな画像を生成するのが好ましい。これによって、新たな画像を生成する際に、身体パーツ領域が分離する危険性を回避することできる。

また、前記モデル変換手段は、前記第１パラメータと前記第３パラメータとの相関情報をあらかじめ求めておき、その相関情報に基づいて前記第３パラメータを推定するのが好ましい。これによって、関節物体の関節の位置や動きに関する情報をあらかじめ学習しておくことによって、前記第３のパラメータの推定が容易になる。

また、前記モデル変換手段は、前記パラメータ算出手段によって前記第１パラメータの一部が抽出不能な場合に、抽出不能なパラメータ値を推定することによって、前記第３パラメータを推定するのが好ましい。これによって、オクルージョン等の原因により、画像への関節モデルの当てはめのみでは得る事ができない情報に関するパラメータを第３のパラメータとして推定することによって、画像中に存在する関節物体の情報（特性）を反映した、新たな画像の生成が可能となる。

また、前記パラメータ算出手段は、関節物体の構造（関節間部位の接続関係）をもとに、階層的に表現した前記第１パラメータを算出し、前記モデル変換手段は、関節物体の構造（関節間部位の接続関係）をもとに、階層的に表現した前記第３パラメータを推定するのが好ましい。これによって、階層表現を用いて時間的に内挿、外挿する画像を生成する場合に、関節が分離した画像が生成されることを防ぐことが可能となる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
まず、本発明の実施の形態１について説明する。図１は、実施の形態１における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報（特性）を反映した、新たな画像の生成を可能とする装置であり、画像入力部１０１、パラメータ算出部１０２、領域分割部１０３および画像生成部１０４から構成される。

画像入力部１０１は、関節物体をデジタルカメラやビデオ装置等で撮像して得られる画像（つまり、コンピュータグラフィック等ではない実画像）を取得する入力インタフェース等である。ここでは、入力される画像は、時系列に並んだ画像であっても構わない。

パラメータ算出部１０２は、あらかじめ用意した関節を有するモデルを画像に当てはめることによって、画像中に存在する関節物体の関節の位置を検出する処理部である。ここで、時系列に並んだ画像で、かつ画像中の関節物体が動いている場合は、その関節物体の関節、関節間部位の動きを検出することもできる。図２は、パラメータ算出部１０２の詳細な構成を示す機能ブロック図である。パラメータ算出部１０２は、入力された画像から関節物体領域を抽出する関節物体領域抽出部１０２１と、抽出した関節物体領域に対して、あらかじめ用意した関節モデルを当てはめるモデル当てはめ部１０２２と、関節モデルを当てはめることによって得た関節位置から、関節間部位の位置を算出する関節間部位位置計算部１０２３とで構成される。関節モデルを３次元で構成する場合は、３次元情報を２次元の画像空間へ射影する処理を行う。

領域分割部１０３は、パラメータ算出部１０２で検出した関節位置もしくは、その関節位置から算出される関節間部位の中心位置を初期値として、領域分割処理を行う処理部である。これにより、関節間部位の色やテクスチャ情報を抽出することができる。なお、関節間部位は、頭部、手、足を含む。図３は、領域分割部１０３の詳細な構成を示す機能ブロック図である。領域分割部１０３は、パラメータ算出部１０２によって算出された関節間部位位置の情報とあらかじめ用意した関節モデルの構成部位数をもとに、画像の領域分割を行い、領域ごとに色やテクスチャ情報を抽出する領域分割処理部１０３１と、パラメータ算出部１０２によって算出された関節位置と、領域分割処理部１０３１で抽出した領域境界との整合を行う関節位置修正部１０３２とで構成される。

画像生成部１０４は、パラメータ算出部１０２で検出した関節位置および、関節間部位の動き情報と、領域分割部１０３で抽出した関節間部位の色やテクスチャ情報とを用いて、新たな画像を生成する処理部である。つまり、この画像生成部１０４は、関節物体の特性を反映した新たな画像として、関節物体の関節又は関節間部位の位置、および、関節物体の関節間部位の色およびテクスチャ情報を反映した画像を新たな画像として生成する。時間的に内挿および外挿した新たな画像を生成する場合の画像生成部１０４の詳細な構成例を図４を用いて説明する。図４は、画像生成部１０４の詳細な構成を示す機能ブロック図である。画像生成部１０４は、生成するフレーム（時刻）に対応した画素位置を動き情報をもとに決定する画素移動位置計算部１０４１と、画素を移動させた結果生じる画素の欠落等を補間する補間処理部１０４２と移動した画素の色情報を決定する画素値決定部１０４３とから構成される。

なお、時間的に内挿、外挿する画像を生成しない場合は、動き情報が不要なため、画素移動位置計算部１０４１と補間処理部１０４２は、なくてもよい。

次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図５のフローチャートを用いて詳細に説明する。

まず、ステップＳ２００１にて、画像入力部１０１は、撮像された画像の入力を受け付ける。

次に、ステップＳ２００２にて、パラメータ算出部１０２の関節物体領域抽出部１０２１は、入力された画像に対して背景差分処理を行い、関節物体領域を抽出する。なお、ここでは、背景差分処理の代わりにフレーム間差分処理を行っても良い。さらに、対象とする関節物体が人物である場合は、Ｍ．Ｏｒｅｎ， Ｃ．Ｐａｐａｇｅｏｒｇｉｏｕ， Ｐ．Ｓｉｎｈａ， Ｅ．Ｏｓｕｎａ ａｎｄ Ｔ．Ｐｏｇｇｉｏ，“Ｐｅｄｅｓｔｒｉａｎ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｗａｖｅｌｅｔ ｔｅｍｐｌａｔｅｓ”，Ｐｒｏｃ．ｏｆ ＣＶＰＲ９７， ｐｐ．１９３−１９９， １９９７に開示されている技術等を用いて、人物領域を切り出しても良い。さらに、エッジ検出処理を併用しても良い。また、背景差分処理を行う場合は、人物の存在しない背景となる画像を事前に準備しておく。動画を入力とする場合には、背景スプライトを生成し、生成した背景スプライト画像を用いることもできる。

次に、ステップＳ２００３にて、パラメータ算出部１０２のモデル当てはめ部１０２２は、図６（ａ）に示すような関節モデル１００１を用いて、図６（ｂ）に示されるモデル当てはめ結果１００２のように、前記関節物体領域に対して、あらかじめ用意した関節を有するモデルを当てはめる。ここでは、Ｌｅｏｎｉｄ Ｓｉｇａｌ， Ｓｉｄｈａｒｔｈ Ｂｈａｔｉａ、 Ｓｔｅｆａｎ Ｒｏｔｈ、 Ｍｉｃｈａｅｌ Ｊ．Ｂｌａｃｋ、 Ｍｉｃｈａｅｌ Ｉｓａｒｄ、“Ｔｒａｃｋｉｎｇ Ｌｏｏｓｅ−Ｌｉｍｂｅｄ Ｐｅｏｐｌｅ”、２００４ ＩＥＥＥ ＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｖｏｌ．１，ｐｐ４２１−４２８、２００４などのモデル当てはめ手法を用いることができる。これによって、モデル当てはめ結果１００２の黒丸で示した各部分が、モデル当てはめによって検出した関節位置となる。すなわち、３次元の関節位置｛Ｘｗｉ（ｔ），Ｙｗｉ（ｔ），Ｚｗｉ（ｔ）｝および、関節の角度情報を得ることができる。

なお、関節の角度情報は、関節モデル１００１で示した円柱の接続角度を用いることができる。また、時系列画像を入力した場合は、上記に加えて、入力画像ごとにモデル当てはめを行い、モデル当てはめ結果１００２で示した黒丸の３次元位置情報を時系列で得ることで、動き情報｛ΔＸｗｉ（ｔ），ΔＹｗｉ（ｔ），ΔＺｗｉ（ｔ）｝を算出することができる。

さらに、パラメータ算出部１０２の関節間部位位置計算部１０２３は、検出した３次元の関節位置（図６（ｂ）に示されるモデル当てはめ結果１００２）を用いて、図６（ｃ）に示されるように、隣接する関節どうしの中間点を関節間部位の代表位置１００３として算出する。この中心位置は、次のステップで行う領域分割処理の初期値として必要な位置情報である。そのため、必ずしも中心位置である必要は無く、関節間部位ごとに関節間部位位置を算出しても良い。

なお、図６は、関節数および関節間部位の数を限定するものではない。また、頭部、手、足のように関節の先に存在する部位に関する中心位置については、首、手首、足首の関節位置とその角度情報から、規定値を用いて算出する。ここで、頭部の中心位置は、首位置から１５ｃｍ、手の中心位置は、手首位置から５ｃｍ、足は、足首位置から９ｃｍとした。もちろん、図７に示す例のように体型や性別ごとに、それぞれの値をデータベースとして用意しても構わない。

次に、ステップＳ２００４にて、領域分割部１０３は、ステップＳ２００３で検出した関節間部位の中心位置を画像に投影する。

ここでは、カメラパラメータが既知である場合の例について述べるが、３次元の実世界座標値を画像に投影できるものであれば良く、画像からカメラパラメータを推定する手法を用いても良い。カメラパラメータを規定できれば、図８に示されるように、ステップＳ２００３で検出した各関節位置および関節間部位位置を示す３次元情報を画像上に投影することができる。

３次元の実世界座標値を画像に投影する手法としては、徐、辻著、「３次元ビジョン」、９ページ、共立出版、１９９８年発行に詳細が記述されている。ここで、画像上に投影した関節間部位の中心位置を（ｘｉ，ｙｉ）とする。そして、各ｉの中心位置（ｘｉ，ｙｉ）の画素における色情報（Ｒｉ，Ｇｉ，Ｂｉ）と動き情報（ｕｉ，ｖｉ）を領域ｉの初期値として領域分割を行う。ｉは、関節間部位のインデックスであり、領域のインデックスでもある。領域分割の結果、画像中の関節物体領域における各画素が、どの領域ｉに属するかを得ることができ、領域ｉに属する画素は関節間部位ｉの一部と考えることができる。すなわち、領域ｉに含まれる画素位置が関節間部位ｉの服や体などの形状に対応する。そして、領域ｉに含まれる画素の色情報が関節間部位ｉの色やテクスチャ情報に対応する。なお、領域分割処理の詳細については後述する。

次に、ステップＳ２００５にて、画像生成部１０４は、ステップＳ２００３で検出した関節の位置と動き情報と、ステップＳ２００４で抽出した関節部位ｉに属する色、動き等の情報とを用いて画像中に存在する関節物体の情報（特性）を反映した新たな画像を生成する。なお、画像生成の詳細については、後述する。

ここで、ステップＳ２００４における領域分割部１０３による領域分割処理について、詳しく説明する。

ここでは、画像の色、位置、動き情報を用いた領域分割処理について説明するが、必ずしも、３つすべての特徴量を用いる必要は無い。また、色情報は、ＹＵＶ等、他の色空間座標系で表現されたものでも良い。さらに、色情報は、服装や体表皮等のテクスチャの影響を受けるため、位置と動き情報を用いて領域分割処理を行うことも有効である。動き情報を用いる場合は、複数枚の時系列画像から関節物体領域の各画素について、オプティカルフロー計算により、動きベクトル（ｕｋ，ｖｋ）を求める。ここで、ｋは画像をラスタスキャンした時の画素番号である。

まず、図９（ａ）の初期値３２０１に示されるように、領域分割部１０３の領域分割処理部１０３１は、ステップＳ２００３で検出した関節間部位の中心位置を画像に投影する。この時、投影した関節間部位の中心位置ｉごとに初期値を決定する。具体的には、画像上に投影した関節間部位の中心位置を（ｘｉ，ｙｉ）とする。そして、各ｉの中心位置（ｘｉ，ｙｉ）の画素における色情報（Ｒｉ，Ｇｉ，Ｂｉ）と動き情報（ｕｉ，ｖｉ）を用いて、領域分割の初期値を決定する。この時、分割する領域数は、あらかじめ用意したモデルの関節間部位数と同数とする。図９の例では、モデルの関節間部位数を１４個としたため、領域数も１４個とする。ただし、モデルの関節数および関節間部位数の数を規定するものでは無い。

具体的な初期値は以下のように決定するが、初期値は、モデル当てはめの結果である関節位置の情報が反映されていれば良く、必ずしも、以下のように決定する必要は無い。

まず、領域を次のように、表現する。

ここで、Ｎは、領域数であり、あらかじめ用意した関節モデルの関節間部位数と同数である。

次に、それぞれの領域θ_iは、以下の数２〜数７のパラメータで表現する。

ここで、数２の左辺（以下、「ａ_i（ave）」と記す。）は、領域ｉの色情報の平均値、数３の左辺Ａ_iは、領域ｉの色情報の共分散行列、数４の左辺（以下、ｐ_i(ave)」と記す。）は、領域ｉの重心、数５の左辺Ｐ_iは、領域ｉの位置情報の共分散行列、数６の左辺（以下、「ｕ_i(ave)」と記す。）は、領域ｉの動き情報の平均値、数７の左辺Ｕ_iは、領域の動き情報の共分散行列である。

ここで、動き情報として、動きベクトルを用いる例を述べるが、動きベクトルを関数で近似しても良いし、アフィンパラメータでも良いし、３枚以上の時系列画像を用いる場合は、加速度を用いても良い。

次に、上記の初期値を用いた領域分割方法について説明する。領域分割では、次式の距離関数を用いて、関節物体領域の各画素がどの領域ｉに属するかを計算する。

ここで、ｄ_i（ａ，ｐ，ｕ）は、各画素とそれぞれの領域ｉとの距離を示すものである。各画素は、ｄ_i（ａ，ｐ，ｕ）が最も小さい値をとる領域ｉに属することになる。

なお、φ_i（ａ，ｐ，ｕ）は、以下の式に示すように、マハラノビス距離であり、

である。

また、

としても構わない。

さらに、ｐ（ω_i）は、一定値としても構わないし、体型や性別等の情報を元に、各関節間部位の体積情報から、関節間部位ｉの体積／全体積として、あらかじめ設定しておいても良い。

次に、ｄ_i（ａ，ｐ，ｕ）の計算結果をもとに、各領域ｉに属する画素に関する色、位置、動き情報を用いて、次のように領域パラメータを更新する。

図９（ｂ）の領域分割結果３２０２に示されるように、ステップＳ２００３で関節モデルを当てはめた結果を初期値として、上記の領域分割を行った結果、大まかに関節間部位ごとに領域を分割することができる。

ここで、ω＝１としても良いし、入力ベクトルの平均値からのずれ具合によって調整しても良い。上記、パラメータ更新を規定回数繰り返すことによって、各画素が属する領域を得ることができる。なお、領域分割処理は上記に加えて、ｋ−ｍｅａｎ、競合学習など、他の領域分割方法を用いても構わない。さらに、栄藤．白井：「色、位置、輝度こう配に基づく領域分割による２次元動き推定」，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．７６，Ｎｏ．１１，ｐｐ．２３２４−２３３２，１９９３等に開示されている領域分割方法を用いることができる。

ここで、図１０を用いて、領域境界１１０３と関節位置１１０５の関係について説明する。

領域境界１１０３とは、領域Ａ１１０１と領域Ｂ１１０２とが接している画素である。領域Ａ１１０１と領域Ｂ１１０２との境界が、ステップＳ２００３にて推定した関節位置１１０５を含むことが望ましい。そこで、領域境界１１０３と関節位置１１０５との位置が異なる場合は、領域分割部１０３の関節位置修正部１０３２は、次のような関節位置修正処理を行う。

まず、領域Ａと領域Ｂの境界に属する領域境界の重心１１０４を求める。

領域境界の重心１１０４に最も近い位置にある、ステップＳ２００３で推定した関節位置１１０５を領域境界の重心１１０４に移動させる。これは、領域分割結果の信頼性が高い場合に有効である。なお、ここでは、ステップＳ２００３で行った関節位置の推定結果を領域分割の初期値としているため、関節位置の初期値を与えずに領域分割を行う場合に比べ、関節間部位を特定しやすい形で領域分割される効果がある。

さらに、ステップＳ２００４で得られた領域境界１１０３を、関節位置１１０５に近づけることも可能である。この場合、図１０（ｂ）に示されるように、領域境界の重心１１０４と関節位置１１０５とを結んだ線を、移動軸１１０６として、移動軸１１０６上に、領域境界１１０３と関節位置１１０５をそれぞれ移動させる。この時、領域境界１１０３は、移動軸となす角度を保ったまま移動させる。最終的な領域境界の決定は、図１０（ｂ）に示されるように２つの領域の画素数の比を利用して、１：１となるように決定しても良いし、対象が人物等の場合は、標準体型の各関節間部位の体積比率に基づいて決定しても良い。各関節間部位の体積比率については、図１１の例ように事前に決めておくことができる。例えば、大腿部と下腿部との領域境界は、体積比で０．１２：０．０８であるため、体積比率が３：２となるように、移動軸上で領域境界を決定することもできる。上記により、それぞれの関節間部位に属する領域を決定することができる。この効果として、図１２（ａ）に示されるような入力画像１２０１から、図１２（ｂ）に示されるような出力画像１２０２が得られる。つまり、領域ごとに色分けを行ったり、テクスチャを変えて、画像関節物体を構成する各部位を見分けることが容易な画像を生成することが可能である。

次に、ステップＳ２００５における画像生成部１０４による画像生成について、図１３を用いて詳しく説明する。ここでは、２枚の時系列画像Ｉ（ｔ）１３０１（図１３（ａ））とＩ（ｔ＋ｎ）１３０２（図１３（ｃ））を入力として、その画像を時間的に内挿、外挿する画像を生成する例について述べるが、入力の枚数を規定するものでは無い。また、説明のため領域が２個の場合について説明するが、領域数を限定するものではない。さらに、ステップＳ２００４で抽出した動き情報を用いて、内挿画像１３０３（図１３（ｂ））を生成する例について述べるが、ステップＳ２００３で検出した関節位置の動き情報を用いても良い。

Ｉ（ｔ）１３０１とＩ（ｔ＋ｎ）１３０２との間に時間的に内挿する画像１３０３をＮ枚生成する場合について説明する。

画素移動位置計算部１０４１は、生成するフレーム（時刻）に対応した画素位置を、動き情報をもとに、以下のようにして決定する
領域Ａの動きパラメータをＭａ、領域Ｂの動きパラメータをＭｂとすると、内挿する画像１３０３は、Ｉ（ｔ）１３０１の画像をもとに、領域Ａ、Ｂに属するそれぞれの画素を、Ｍａ／（Ｎ＋１），Ｍｂ／（Ｎ＋１）ずつ移動させることによって生成できる。

外挿する場合については、Ｉ（ｔ）１３０１とＩ（ｔ＋ｎ）１３０２の間で生成した動き情報をもとに、Ｉ（ｔ＋ｎ）１３０２の画像から、領域Ａ、Ｂに属するそれぞれの画素を、Ｍａ／（Ｎ＋１），Ｍｂ／（Ｎ＋１）移動させることによって生成できる。

なお、動きパラメータＭａとしては、平均動きベクトルｕ_A(ave)を、領域Ｂの動きパラメータＭｂとしては、平均動きベクトルをｕ_B(ave)を用いることができる。ただし、動きパラメータは、動きベクトルに限らず、アフィンパラメータ、加速度ベクトル、近似曲線パラメータでも構わない。

この時、領域Ａと領域Ｂが異なる方向に移動するために、図１３（ｄ）の画像１３０４および図１３（ｅ）の画像１３０５のように関節位置および領域境界を中心に領域Ａと領域Ｂが分離したり、重なったりする可能性がある。これについては、以下のように処理を行うと効果的である。

まず、隣接する領域ＡおよびＢにおいて、領域Ａの動きパラメータをＭａ，領域Ｂの動きパラメータをＭｂとする。次に、各領域に属する画素ごとに、領域境界の画素までの最短距離ｄｉｓｔ_{j_min}を計算する。ここでｊは、画素である。なお、ｄｉｓｔ_{j_min}は、領域境界の重心までの距離でも構わない。

領域Ａに属する画素を例として説明する。

次のように、各画素の動きパラメータＭａ＿ｊを決定する。ここでｊは画素である。

同様に、領域Ｂに属する画素については、

で表せる。

なお、非線形関数を利用しても良く、

のようにすることも可能である。

以上のように、関節位置および領域境界を基準とした画素移動もしくは画像生成を行うことによって、図１３（ｂ）の内挿画像１３０３のように、関節で接続された部位が分離せず、かつ領域どうしが重ならない新たな画像を生成することが可能である。

ここでは、領域境界付近の画素の動き情報がなだらかに変化するような条件が望ましい。

もちろん、図１４における外挿画像１４０４についても同様である。

また、さらに、画素を移動させることによって、新たに生成した画像の画素が一部欠ける場合があるが、この場合は、補間処理部１０４２が近傍画素から補間するか、もしくは、時刻ｔ＋ｎの画像から、時間的に逆向きの時刻ｔの画像を生成し、順方向から生成した画像と逆方向から生成した画像とを用いて画像を生成することも有効である。なお、補間方法としては、バイリニア法やバイキュービック法、モルフォロジー処理等を用いることができる。

以上の処理により、関節を有する関節モデルの当てはめによって得た動きや関節の位置等に関するパラメータと画像から得た形状や服装等に関するパラメータとを用いて、画素値決定部１０４３は、画像中に存在する関節物体の情報（特性）を反映した画素値、つまり、新たな画像を生成する。

また、内挿画像１４０３、外挿画像１４０４と入力画像とを時間順に並べて再生することによって、フレームレートの低い動画像から、よりフレームレートの高い動画像の生成が可能である。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図１５は、実施の形態２における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、実施の形態１に加えて、生成した画像を評価しながら関節物体の関節位置、形状、服装、動きに関するパラメータを変更することによって、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報を反映した、より精度の高い新たな画像の生成を可能とする装置であり、画像入力部１０１、パラメータ算出部１０２、領域分割部１０３、画像生成部１０４、画像評価部２０１およびパラメータ変更部２０２から構成される。画像入力部１０１、パラメータ算出部１０２、領域分割部１０３については、実施の形態１と同様であるので、説明は省略する。

画像生成部１０４は、図１４に示されるように、入力画像Ｉ（ｔ）１４０１をもとに、入力画像Ｉ（ｔ）１４０１とＩ（ｔ＋ｎ）１４０２のから検出したパラメータを用いて、Ｉ（ｔ＋ｎ）に相当する時刻の画像を生成する。これを生成画像Ｉ'（ｔ＋ｎ）とする。

画像評価部２０１は、図１６に示されるように、前記入力画像Ｉ（ｔ＋ｎ）３４０１と生成画像Ｉ'（ｔ＋ｎ）３４０２との誤差を計算する処理部である。

ここで、生成画像Ｉ'（ｔ＋ｎ）３４０２は、関節間部位ごとにハッチングで表示したが、領域分割部の領域分割結果をもとに、色やテクスチャを貼り付けても良い。

パラメータ変更部２０２は、関節位置や動きパラメータを変更する処理部である。変更したパラメータに従って、再度、領域分割部１０３、画像生成部１０４、画像評価部２０１は、それぞれの処理を行う。この処理を繰り返しながら、本実施の形態の画像生成装置は、誤差が小さくなるパラメータを決定し、この時のパラメータを用いて、新たな画像を生成する。

ここで、処理の繰返しは、必ずしもすべてのパラメータを網羅的に変更する必要は無く、誤差が閾値以下になるまで行ったり、規定回数繰り返したり、処理時間によって決定することができる。処理時間によって決定する場合は、フレームレートと新たに生成する画像の枚数を考慮する必要がある。例えば、１０フレーム／秒で入力される画像に対し、フレーム間に２枚の画像を新たに生成することで、３０フレーム／秒の画像列をリアルタイムに生成することを考えた場合、少なくとも０．１秒の間に２枚の画像を生成する必要がある。この場合、一枚あたり０．０５秒で生成する必要があり、このような情報を処理時間の閾値として用いることが可能である。

次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図１７のフローチャートを用いて詳細に説明する。なお、ステップＳ２１０１〜Ｓ２１０４までは、実施の形態１と同様であるため、説明を省略する。

ステップＳ２１０５では、図１４に示されるように、画像生成部１０４は、入力画像Ｉ（ｔ）１４０１をもとに、入力画像Ｉ（ｔ）１４０１とＩ（ｔ＋ｎ）１４０２から検出したパラメータを用いて、Ｉ（ｔ＋ｎ）に相当する時刻の画像を生成する。これを図１６で説明すると、Ｉ（ｔ＋ｎ）３４０１を目標画像と呼び、ステップＳ２１０５で生成した予測画像をＩ'（ｔ＋ｎ）３４０２とする。

Ｉ'（ｔ＋ｎ）の生成方法について述べる。ここでは、実施の形態１と同様の手法により、入力画像Ｉ（ｔ）をもとに、ステップＳ２１０３とステップＳ２１０４にて検出したパラメータを用いて、時刻ｔ＋ｎの予測画像Ｉ'（ｔ＋ｎ）３４０２を生成する。ここで、予測画像Ｉ'（ｔ＋ｎ）３４０２は、ハッチングによって示した領域である。

ステップＳ２１０６では、画像評価部２０１は、評価値として、目標画像Ｉ（ｔ＋ｎ）３４０１と予測画像Ｉ'（ｔ＋ｎ）３４０２との誤差を計算する。

評価値の計算方法としては、目標画像Ｉ（ｔ＋ｎ）３４０１の画素値と、生成画像Ｉ'（ｔ＋ｎ）３４０２の画素値との差を計算する。目標画像Ｉ（ｔ＋ｎ）と生成画像Ｉ'（ｔ＋ｎ）３４０２とのオーバーラップが多く、かつ画素値が近ければ、目標画像に近いと判断することが望ましい。そこで、次のような評価値を用いることができる。

もちろん、上式に限らず、目標画像と予測画像との誤差を評価する計算方法であれば良い。

次に、ステップＳ２１０７では、画像評価部２０１は、Ｅｒｒ値があらかじめ設定した評価値を満たしているか否かを計算する。ここで、Ｅｒｒ値があらかじめ設定した評価値を満たしていない場合は、現時点において、最も評価値に近い値とその時のステップＳ２１０３及びステップＳ２１０４で検出したパラメータとを組として保持する。反対に、Ｅｒｒ値があらかじめ設定した評価値を満たしている場合は、ステップＳ２１０９の処理を行う。もちろん、すべてのパラメータを網羅的に処理し、評価値が最も良いパラメータを決定してからステップＳ２１０９の処理を行っても良い。ただし、リアルタイム処理等、処理時間を考慮する場合は、規定回数繰返したり、規定した処理時間に達するまでとしても良い。この場合は、繰返し処理の中で最も評価値に近いパラメータを選択する。

次に、ステップＳ２１０８では、パラメータ変更部２０２は、図１０（ｂ）に示されるように、ステップＳ２１０４で得られた領域境界１１０３を関節位置１１０５に近づける。この場合、領域境界の重心１１０４と関節位置１１０５とを結んだ線を、移動軸１１０６として、移動軸１１０６上に、領域境界１１０３と関節位置１１０５をそれぞれ移動させる。この時、領域境界１１０３は、移動軸となす角度を保ったまま移動させる。この結果、関節位置１１０５が移動することになり、ステップＳ２１０４における関節間部位の中心位置が変更されることになる。そして、変更された関節間部位の中心位置を領域分割の初期値として、領域分割部１０３、画像生成部１０４および画像評価部２０１等が、再度ステップＳ２１０４以降を繰り返す。

また、さらに、パラメータ変更部２０２は、あらかじめ用意した関節モデルの関節間の距離を変更するように、関節位置１１０５を移動させることも可能である。この時、図１８に示されるように、関節モデルを関節物体の構造（関節間部位の接続関係）をもとに階層的に表現し、上位の階層に属する関節位置から順にパラメータを変更することで、効率的にパラメータを変更、決定することができる。関節モデルの階層的表現については、後述する。

次に、ステップＳ２１０９では、画像生成部１０４は、ステップＳ２１０７で最終的に決定したパラメータを用いて画像を生成する。この時の画像生成方法は、実施の形態１におけるステップＳ２００５と同様であり、時間的に内挿、外挿した画像を生成することもできるし、関節物体の構成する各部位を明確に目視できるように、各部位に異なる色やテクスチャ等を貼り付けた画像を生成することもできる。図１６の画像３４０２に示されるように、画像評価前の画像生成時には、実際の目標画像と一部ずれがあったとしても、（数２２）のような評価に基づいてパラメータを変更することによって、パラメータ変更後の画像３４０３に示されるように、目標画像とのずれを最小限に押さえた画像を生成することができる。これにより、より精度の高い新たな画像を生成することができる。

以上の処理により、実施の形態１の効果に加えて、生成した画像を評価しながら関節物体の関節位置、形状、服装、動きに関するパラメータを変更することによって、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報を反映した、より精度の高い新たな画像の生成が可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図１９は、実施の形態３における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、実施の形態１に加えて、モデル当てはめによって抽出した画像中に存在する関節物体の関節の位置や動きに関する情報から、モデル変換を行うことによって、オクルージョン等によって得られなかった関節の位置や動きに関する情報を推定することを可能とし、それによって、本来、画像のみからでは抽出不能なパラメータを用いた新たな画像の生成を可能とする装置であり、画像入力部１０１、パラメータ算出部１０２、領域分割部１０３、画像生成部１０４およびモデル変換部３０１から構成される。画像入力部１０１、パラメータ算出部１０２、領域分割部１０３については、実施の形態１と同様であるため、説明は省略する。

モデル変換部３０１は、パラメータ算出部１０２で抽出した関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置や動きの情報を出力したり、オクルージョン等で得られなかった関節の位置やその動きに関する情報を出力する処理部である。

画像生成部１０４は、モデル変換部３０１で推定した関節位置および、関節間部位の動き情報や形状情報と、領域分割部１０３で抽出した、関節間部位の色やテクスチャ情報を用いて、新たな画像を生成する。

次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図２０のフローチャートを用いて詳細に説明する。なお、ステップＳ２２０１〜Ｓ２２０４までは、実施の形態１と同様であるため、説明を省略する。また、並行に並んでいる２つのステップ（ここでは、ステップＳ２２０４とＳ２２０５）は、いずれが先か後かの順序を問わない手順（並行処理も含まれる）を示す（以下、他のフローチャートについても同様）。

ステップＳ２２０５では、モデル変換部３０１は、入力と出力の関係を記述したモデル変換データを使用することによって、入力情報から出力情報を推定する。具体的には、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力として、オクルージョン等で得られなかった関節の位置やその動きに関する情報を出力する。さらに、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置等の情報を出力する。ここでは、モデル変換データを相関情報によって生成する例について述べる。

まず、入力ベクトルをｘとする。ｘは、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きに相当する。

Ｘは、入力ベクトルの集合である。Ｎは、データセットの数である。

また、

であり、ｍは関節位置や関節間部位に相当する。

次に、出力ベクトルをｙとする。ｙは、推定したいパラメータであり、オクルージョン等で得られなかった関節の位置やその動きに関する情報でも良いし、形状情報を含むさらに情報量の多い関節物体の関節位置等の情報でも良い。

Ｙは、出力ベクトルの集合である。

であり、ｌは、関節位置、関節間部位に加えて、形状を表現するためのマーカ位置等の情報を含む。

次に、Ｘの自己相関行列を次のように決定する。

また、ＸとＹの相互相関行列を次のように決定する。

ここで、モデル変換行列をＣとすると、

で表すことができる。ここで、Ｃ_x ^*はＣ_xの逆行列、または疑似逆行列である。

そして、モデル変換（ステップＳ２１０５）によって推定したいｙは、モデル変換行列を用いて次の式で表すことができる。

ここで、ｍ_xおよびｍ_yは、ｘおよびｙの平均ベクトルである。

（数３０）より、ｘの平均ベクトルｍ_xおよびｙの平均ベクトルｍ_y、モデル変換行列Ｃを保持しておけば、新たに与えられた入力ベクトルｘから、出力ベクトルｙを推定することが可能である。

ここで、具体的なｍ_x、ｍ_y、Ｃの決定方法について説明する。

ＸおよびＹとしては、モーションキャプチャデータを使うことができる。

モーションキャプチャは、実際の関節物体の関節位置などにマーカを取り付けて、そのマーカの３次元位置を時系列で得ることができるものである。

時刻ｔにおける入力ベクトルｘをマーカｍについて次のように記述すると、

として、位置情報と動き情報を表現できる。

動き情報については、動きベクトルの他に、動きベクトルを関数で近似しても良いし、アフィンパラメータでも良いし、加速度を用いても良い。

また、ｙも同様にマーカｌについて記述すると、

のように、位置情報と動き情報を表現できる。

ここでも、動き情報については、動きベクトルの他に、動きベクトルを関数で近似しても良いし、アフィンパラメータでも良いし、加速度を用いても良い。

ｘおよびｙは、これらのベクトルをマーカ順に並べたもので表現できる。

さらに、ｍ_x、ｍ_yは、マーカ順に並べたそれぞれのベクトルの平均である。

そして、モデル変換行列Ｃは、同時刻におけるｘとｙを組として、（数２７）、（数２８）、（数２９）によって、計算することが可能である。なお、ｍ_x、ｍ_y、Ｃについては、あらかじめ計算しておいても良いし、データセットからその都度計算しても良い。

ここで、具体的なｘとｙの例について図２１を用いて説明する。ｘについては、画像から比較的検出しやすいことが重要であるため、図２１（ａ）のマーカデータ３５０１に示されるように、大まかな関節位置に取り付けたマーカデータを用いることが望ましい。そして、ｙについては、図２１（ｂ）のマーカデータ３５０２に示されるように、黒丸で示したｘの関節位置に加えて、白丸で示した関節間部位等に取り付けたマーカデータも含むことができる。ここで、黒丸で示した関節位置を示すマーカと白丸で示した関節間部位に取り付けたマーカとの位置関係を用いれば、おおまかな形状を得ることができる。これによって、画像から検出しやすい関節位置のデータから、形状に関わる情報も含めた詳細なデータを推定することが可能である。

また、オクルージョンが生じやすい例として、人物や動物等が画像上を横向きに移動している場合がある。このような例では、左半身、もしくは右半身のどちらか一方の情報が得られない事がある。他にも、他の物体によって対象とする関節物体の一部が隠されたり、画質が悪い場合には、関節物体の情報の一部が得られない事もある。

このような状況に備えるためには、図２２（ａ）の例に示されるように、ｘについては、マーカデータ３６０１の片半身に関するマーカデータを用いて生成し、図２２（ｂ）のの例に示されるように、ｙについては、マーカデータ３６０２の白丸で示すマーカを含む全身に関するマーカデータを生成することによって、片半身の情報から全身の情報を推定することが可能である。なお、ｘ、ｍ_x、Ｃについては、あらかじめテスト画像等で、画像にモデルを当てはめた結果を用いて生成しても良い。さらに、ＣＧの関節位置データを用いても良い。また、ｙについては、形状データを含めてＣＧからデータを生成しても良い。さらに、モデル変換の例として、関節物体の体型や動作ごとに、上記ｍ_x、ｍ_y、Ｃを複数組用意しても良いし、オクルージョンが生じやすい例ごとに上記ｍ_x、ｍ_y、Ｃを複数組用意しても良い。

また、図２３に示されるように、異なる姿勢間の相関情報を求めておくことによって、入力された姿勢情報とは異なる姿勢情報を出力することも可能である。例えば、図２３（ａ）のマーカデータ３７０１に示されるように、歩行動作に関連する姿勢を表現するマーカデータをｘとして、図２３（ｂ）のマーカデータ３７０２に示されるように、走行動作に関連する姿勢を表現するマーカデータをｙとすることによって、歩行動作の入力画像から、走行動作の出力画像を得ることができる。これにより、画像中に存在する関節物体の情報（特性）を反映した上で、他の姿勢に加工した画像の生成を可能とする。さらに、図２３に示されるように、異なる姿勢間の相関情報において、ｘ、ｙそれぞれのベクトルの要素として位置情報に加えて、（数３１）、（数３２）のように動き情報を含め、さらに、動き情報を含めたｘ、ｙから相関情報を求めておけば、入力された動作とは異なる動作を出力することも可能である。これにより、画像中に存在する関節物体の情報（特性）を反映した上で、他の動きに加工した画像の生成を可能とする。さらに、上記相関情報のみならず、ニューラルネットワークを用いて、ＸとＹの関係を学習しても良い。

次に、ステップＳ２２０６では、画像生成部１０４は、ステップＳ２２０５で推定した関節物体の関節位置、動き、形状に関するパラメータとステップＳ２２０３にて抽出した服装や色に関する情報を用いて画像生成を行う。

なお、ステップＳ２２０５にて、形状に関するパラメータを推定しない場合は、ステップＳ２２０６は、実施の形態１および２と同様の処理を行うことができる。

以上の処理により、実施の形態１および２の効果に加えて、オクルージョン等で画像から検出困難なパラメータをモデル変換によって推定することで、画像のみからでは抽出不能なパラメータを用いた新たな画像の生成を可能とするものである。

また、本実施の形態の変形例として、図２４に示される構成要素によって画像生成装置を構成してもよい。図２４は、実施の形態３の変形例における画像生成装置の構成を示す機能ブロック図である。こ画像生成措置は、モデル当てはめによって抽出した画像中に存在する関節物体の関節の位置や動きに関する情報から、図２１に示されるようにモデル変換を行うことによって、形状や動きに関するパラメータを推定する、つまり、画像評価とパラメータ変更を行いながらモデル変換を繰り返すことによって、画像のみからでは抽出不能なパラメータを推定して、さらに高精度な新たな画像の生成を可能とする装置であり、画像入力部１０１、パラメータ算出部１０２、領域分割部１０３、画像生成部１０４、モデル変換部３０１、画像評価部２０１およびパラメータ変更部２０２から構成される。画像入力部１０１、パラメータ算出部１０２、領域分割部１０３、モデル変換部３０１、画像生成部１０４、画像評価部２０１、パラメータ変更部２０２は、実施の形態１および２で説明した方法によって、実現可能であるため説明を省略する。

画像評価部２０１は、モデル変換によって推定された形状や動きに関するパラメータを用いて生成された画像を評価する処理部である。パラメータ変更部２０２は、その評価に従って、関節物体の関節位置、形状、服装、動きに関するパラメータを変更し、変更したパラメータが再度、モデル変換されるように、パラメータ算出部１０２にフィードバックする処理部である。

このような構成された変形例の画像生成装置の詳細な動作フローを図２５に示す。このフローは、実施の形態２の動作手順を示すフロー（図１７）と、実施の形態３の動作手順を示すフロー（図２０）とを組み合わせたものに相当し、各ステップの詳細な説明を省略する。

以上のことから分かるように、この変形例に係る画像生成装置は、実施の形態２と実施の形態３とを組み合わせた処理を行い、その結果、実施の形態２および３で得られた両方の効果を発揮する。つまり、実施の形態１の効果に加えて、生成した画像を評価しながら関節物体の関節位置、形状、服装、動きに関するパラメータを変更することによって、画像中に存在する関節物体の関節の位置や形状、服装、動きに関する情報を反映した、より精度の高い新たな画像の生成が可能になるとともに、オクルージョン等で画像から検出困難なパラメータをモデル変換によって推定することで、画像のみからでは抽出不能なパラメータを用いた新たな画像の生成が可能となる。

なお、推定するパラメータｙを、図１８に示されるように階層的に表現することによって、上位の階層に属する関節位置から順にパラメータを変更することで、効率的にパラメータを変更、決定することができる。関節モデルの階層的表現の詳細については、後述する。

（実施の形態４）
次に、本発明の実施の形態４について説明する。図２６は、実施の形態４における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、実施の形態３に加えて、画像中に存在する関節物体の情報（特性）を反映した上で、他の形状に加工した画像の生成を可能とする装置であり、画像入力部１０１、パラメータ算出部１０２、領域分割部１０３、画像生成部１０４、モデル変換部３０１およびユーザ設定部５０１から構成される。画像入力部１０１、パラメータ算出部１０２、領域分割部１０３、モデル変換部３０１については、実施の形態３と同様であるため、説明は省略する。

ここでは、モデル変換部３０１にて、パラメータ算出部１０２で抽出された関節物体の関節位置やその動きを入力として、形状情報を含むさらに高精度な関節物体の関節位置等の情報を出力する場合について説明する。

ユーザ設定部５０１は、モデル変換部３０１で得られた形状情報を含むパラメータをユーザの指示に従って変更する処理部である。ここでは、太らせる、痩せさせる、といったパラメータを変更するように画面表示することも可能である。

画像生成部１０４は、ユーザ設定部５０１で設定した形状情報を含むパラメータと領域分割部１０３で得たパラメータとモデル変換部３０１で得たパラメータとを用いた画像生成を行うことで、入力された関節物体の形状、動き、色などに関する情報を反映した上で、形状を変更した画像を生成する。

次に、以上のように構成された本実施の形態の画像生成装置による関節物体の画像生成方法について、図２７のフローチャートを用いて詳細に説明する。なお、ステップＳ２４０１〜Ｓ２４０４までは、実施の形態３と同様であるため、説明を省略する。

ステップＳ２４０５のモデル変換では、実施の形態３の図２１でも説明したように、関節位置以外の形状を含む情報を推定することができる。この場合、関節間部位の大まかな形状を知ることができる。この情報とステップＳ２４０４にて行った領域分割の結果を用いた画像生成について説明する。

ステップＳ２４０５で推定したパラメータｙは、関節位置やその動きに関する情報に加えて、関節間部位に取り付けたマーカの位置情報も得ることができる。これはすなわち、大まかな形状を表現していることになる。

次に、ステップＳ２４０６では、ユーザ設定部５０１により、特に関節間部位に取り付けられたマーカ位置情報等、形状に関するパラメータをユーザが変更する。人物や動物の場合を例に挙げると、図２８に示されるように、腹の上に取り付けたマーカの位置情報を変更することによって、腹の大きさを変更することができる。図２９にユーザが変更するパラメータの設定画面の例を示す。ユーザが変更可能なパラメータは、例えば、図２９のＡ〜Ｅのように、あらかじめ制御可能な関節間部位位置を決定しておくことが望ましい。具体的には図２１のｙのマーカ位置の例３５０２に示されるように、白丸で示した形状に関連するマーカ位置を制御可能な関節間部位位置とすることで、入力画像の形状を関節間部位ごとに変化させることが可能である。そして、ユーザは、形状パラメータ制御バー３８０２を操作することによって、関節間部位ごとに形状を変化させる。

次に、ステップＳ２４０７では、画像生成部１０４は、ステップＳ２４０４で得た領域分割の結果と、ステップＳ２４０５で得た主に関節位置に関するパラメータと、ステップＳ２４０６で変更した形状に関するパラメータとを用いて画像を生成する。図２８に示されるように、入力画像１７０１を入力として、ステップＳ２４０６で形状に関するパラメータを変更することによって、入力画像の情報を反映した上で、一部の形状を加工もしくは変更した出力画像１７０２を得ることができる。

ここで、ステップＳ２４０７における画像生成部１０４の画像生成について図３０を用いて詳しく説明する。ステップＳ２４０４で得た領域境界１１０３とステップＳ２４０５で得た関節位置１１０５の関係については、実施の形態１と同様であるため、説明は省略する。ここでは、ステップＳ２４０６でユーザが変更したパラメータの作用について説明する。

ステップＳ２４０５にて、図３０における形状パラメータ１６０５が得られたとする。この時、両端の関節位置を端点として、形状パラメータ１６０５の点を制御点としたベジェ曲線を生成する。そして、ステップＳ２４０６にて、ユーザは、図２９の形状パラメータ制御バー３８０２を操作する。この操作によって、例えば、形状パラメータ１６０５を図３０（ａ）の矢印のように変更すると、画像生成部１０４は、両端の関節位置と変更された形状パラメータ１６０５の点とを通るベジェ曲線を生成して、新たな画像を生成する。ここで、図２９の形状パラメータ制御バー３８０２は、図２１のマーカデータ３５０２に示した白丸の点の位置を変更させることになり、これは、図３０における形状パラメータ１６０５に相当する。

この時、色情報やテクスチャ情報は、ステップＳ２４０３の領域分割によって得られた情報をそのまま用いる。なお、領域の輪郭点すべてをベジェ曲線の制御点とすることも可能であるし、ベジェ曲線の代わりとして、スプライン補間などのパラメトリックに曲線を処理する手法を使うことも可能である。

以上の処理により、画像中に存在する関節物体の情報（特性）を反映した上で、他の形状に加工した画像の生成が可能となる。

（実施の形態５）
次に、本発明の実施の形態５について説明する。実施の形態５は、実施の形態１〜４で説明した処理に加えて、パラメータ算出、領域分割等において動き情報を用いる画像生成装置である。ここでは、実施の形態１に適用した例として説明するが、すべての実施の形態において適用可能である。また、入力画像は、時系列に並んだ複数枚の画像であることが望ましい。なお、時系列に並んだ画像を３次元に並べた時空間画像としても良い。

図１のパラメータ算出部１０２および領域分割部１０３で用いることができる動き情報について説明する。パラメータ算出部１０２では、モデル当てはめ手法を用いて、３次元の関節位置および、角度情報を得ることができる。ここで、時系列画像を入力した場合は、上記に加えて各時刻における動き情報を得ることができる。さらに、領域分割部１０３においても、オプティカルフロー処理により、画像上での動きベクトルｕ_i（ｔ）を得ることができる。以下に、上記動きベクトルに加えて、加速度ベクトルを用いた例を説明する。

例えば、Ｔ枚の時系列に並んだ画像を入力とした場合、各関節位置ｉの動きベクトル｛ΔＸｗｉ（ｔ），ΔＹｗｉ（ｔ），ΔＺｗｉ（ｔ）｝を、Ｔ−１個得ることができる。この時、３枚以上の時系列画像が入力された場合は、次式のように加速度ベクトルｓを得ることができる。なお、ｖは動きベクトルである。

加速度ベクトルは、画像上での動きベクトルｕ_i（ｔ）からも同様に計算可能である。

計算した加速度ベクトルを用いた場合の画像生成方法を説明する。実施の形態１におけるステップＳ２００５の画像生成では、画像中の関節物体が一定速度で動いている場合における、時間的に内挿、外挿する画像の生成例ついて説明した。これに加えて、加速度ベクトルを用いて、実施の形態１における動きパラメータを（ｓ／（Ｎ＋１）＋ｕ）／（Ｎ＋１）とすることで、加速度を加味した時間的に内挿、外挿した画像を生成することが可能である。

具体的には、関節物体の動きが急激に早くなったり、急激に止まったりといった場合に、その加速度を反映して、内挿、外挿した画像を生成することが可能となる。

次に、動きベクトルの代わりに、Ｎ次関数をフィッティングした場合について述べる。Ｔ枚の時系列に並んだ画像を入力とした場合、Ｔ個の関節位置情報や画像上での位置情報に対してＮ次の関数でフィティングすることができる。これにより、フィッティングした関数の値に沿うように、時間的に内挿、外挿した画像を生成することが可能である。具体的には、関数でフィッティングすることによって、より滑らかな動きを表現することが可能となるため、内挿、外挿した画像を用いてより滑らかな動画を生成することが可能となる。

次に、動きベクトルの代わりに、アフィンパラメータを用いる場合について述べる。

Ｔ枚の時系列に並んだ画像を入力とした場合、Ｔ個の関節位置情報や画像上での位置情報を用いて、アフィンパラメータを推定することが可能である。

ここでは、画像上での位置情報を用いて、アフィンパラメータを推定する例について説明する。時刻ｔにおける画素位置を（ｘ、ｙ）、時刻ｔ＋１でその画素が移動した先を（ｘ'，ｙ'）とすると、アフィン変換は、次のように表すことができる。

ここで、アフィンパラメータａ〜ｆを数７の代わりとして用いれば、動きベクトルの代わりにアフィンパラメータを用いた領域分割を行うことができる。これによって、動きパラメータとして、動きベクトルの代わりにアフィンパラメータを用いた時間的に内挿、外挿した画像を生成することができる。特に、アフィンパラメータは、回転運動を含む動きの表現が可能であり、腕や足の回旋運動の表現に適している。

次に、実施の形態２を例として、関節モデルを関節間部位の接続関係をもとに階層的に表現し、それに対しアフィンパラメータを組み合わせた例について述べる。図１８に関節モデルを関節物体の構造（つまり、関節間部位の接続関係）をもとに、胴体を最上位として階層的に表現した例を示す。

パラメータ算出部１０２では、検出された関節位置に対して、図１８のような階層表現との対応付けを行う。これによって、領域分割部１０３では、各領域ｉについて、他の領域との階層的な接続関係を得ることができる。この効果としては、例えば、胴体のパラメータを先に決定し、次に、左右上腕、左右大腿、頭のように、胴体と接続されている関係を用いて、上位の階層に属する関節位置から順にパラメータを変更することで、効率的にパラメータを変更、決定することができることにある。

画像生成部１０４では、上記階層表現を利用した画像生成を行うことができる。図１８において、上位の階層にある関節間部位の動きパラメータをＭｂ、上位階層と直接接続している下位階層にある動きパラメータをＭａとすると、（数１７）〜（数２０）で示した、各画素の動きパラメータは、次式のように書き換えられる。

これによって、上位階層の関節間部位の動きが支配的になるため、より関節物体の構造を反映した画像を生成することができる。つまり、関節位置を基準とした画素移動を行うことにより、新たな画像を生成することができる。

さらに、パラメータ変更部２０２において、関節位置や動きパラメータを変更する場合に、例えば、胴体のパラメータを最初に変更、決定し、次に、左右上腕、左右大腿、頭のように、上位階層との接続関係を用いることによって、上位階層の関節位置や動きパラメータから順に変更することが望ましい。人物や動物に代表される関節物体は、各関節間部位が繋がっているために、図１８の階層関係が示すように、胴体の動きに、左右上腕、左右大腿、頭の動きが影響を受け、左右前腕は、左右上腕の動きに影響を受ける。このような階層関係を用いることで、効率的に誤差が小さくなるパラメータを決定することができる。

以上で説明した動きパラメータの決定方法により、実施の形態１〜４で説明した効果に加えて、効率的に高精度な画像を生成可能である。

（実施の形態６）
次に、本発明の実施の形態６について説明する。図３１は、実施の形態６における画像生成装置の構成を示す機能ブロック図である。この画像生成装置は、実施の形態１〜４に加えて、特に歩行動作や走行動作の情報をより正確に検出することを可能とする装置であり、より詳しくは、周期的な動きをする関節物体の周期を検出して、一周期分の画像を生成することで、周期的動作を時間的に無限に生成することを可能とする装置であり、画像入力部１０１、パラメータ算出部１０２、領域分割部１０３、画像生成部１０４および周期性検出部６０１から構成される。

画像入力部１０１では、時系列の画像が逐次入力される。

周期性検出部６０１は、逐次入力される画像同士の自己相関を求めることによって、周期的動作を含む関節物体が存在するか否かを判定し、さらにその周期を検出する。そして、検出した周期を用いて、１周期分の時系列画像を切り出す。もちろん、ここでは、時系列画像中から周期的動作を検出できるものであれば良い。たとえば、Ｒｏｓｓ Ｃｕｔｌｅｒ ａｎｄ Ｌａｒｒｙ．Ｄａｖｉｓ “Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｐｅｒｉｏｄｉｃ Ｍｏｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ，Ａｎａｌｙｓｉｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ”， ＩＥＥＥ ＰＡＭＩ，ＶＯＬ．２２，ＮＯ．８，ｐｐ．７８１−７９６，２０００等を用いて周期性を検出してもよい。

なお、パラメータ算出部１０２、領域分割部１０３、画像生成部１０４については、入力画像が１周期分の画像列であることを除いて、実施の形態１〜５で説明した方法と同じであるため、説明を省略する。

このような構成によって、本実施の形態における画像生成装置は、１周期分の画像中に存在する関節物体の情報（特性）を反映した、新たな画像の生成が可能である。特に、歩行動作や走行動作のような、周期的な動作においては、時間的に内挿、外挿した画像と入力画像とを時間順に並べて、１周期分の画像を生成し、それを１周期ごとに繋げて再生することによって、フレームレートの低い動画像から、よりフレームレートの高い動画像を時間的に無限に生成、および再生が可能という効果がある。

なお、本実施の形態では、実施の形態１の例に従って説明したが、周期性検出部６０１と実施の形態１〜５とを組み合わせる構成としてもよい。

以上、本発明に係る画像生成装置について、実施の形態及び変形例に基づいて説明したが、本発明は、これらの形態や例に限定されるものではない。各実施の形態や変形例における構成要素を適宜組み合わせて実現される別の形態や、各実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。

なお、特許請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、特許請求の範囲における「画像入力手段」、「パラメータ算出手段」、「領域分割手段」、「画像生成手段」、「画像評価手段」、「パラメータ変更手段」、「モデル変換手段」、「周期性検出手段」の一例が、それぞれ、実施の形態における画像入力部１０１、パラメータ算出部１０２、領域分割部１０３、画像生成部１０４、画像評価部２０１、パラメータ変更部２０２、モデル変換部３０１、周期性検出部６０１である。ただし、特許請求の範囲における構成要素は、これら実施の形態における対応する構成要素だけに限定されるのでなく、その等価物も含まれる。

本発明は、画像生成装置として、特に、画像処理によって、人物や動物等を含む関節物体の画像を生成する装置として、例えば、画像中に存在する関節物体の動きや関節の位置等に関するパラメータと形状、服装等に関するパラメータとを用いて、画像中に存在する関節物体の特性を反映した新たな画像を生成する装置、アニメーション生成装置、デジタルカメラ・カメラ付き携帯電話・ビデオ装置等で撮影した映像を補完して精度を向上させる映像補完装置、ゲーム・映画・コンピュータグラフィックス用の静止画や動画を生成する装置として、有用である。

本発明の実施の形態１における画像生成装置の構成を示す図 パラメータ算出部の詳細な構成を示す図 領域分割部の詳細な構成を示す図 画像生成部の詳細な構成を示す図 画像生成装置の動作を示すフローチャート 関節モデルを示す図 頭、手、足の位置を示すデータベースの例を示す図 ３次元情報の画像への投影例を示す図 領域分割の例を示す図 関節位置の決定方法を示す図 関節モデルの体積比率の例を示す図 画像生成の例を示す図 画像生成方法を示す図 内挿、外挿画像の例を示す図 本発明の実施の形態２における画像生成装置の構成を示す図 画像評価部の例を示す図 画像生成装置の動作を示すフローチャート 関節モデルの階層表現の例を示す図 本発明の実施の形態３における画像生成装置の構成を示す図 画像生成装置の動作を示すフローチャート 入力、出力ベクトルの例を示す図 入力、出力ベクトルの例を示す図 入力、出力ベクトルの例を示す図 本発明の実施の形態３の変形例における画像生成装置の構成を示す図 画像生成装置の動作を示すフローチャート 本発明の実施の形態４における画像生成装置の構成を示す図 画像生成装置の動作を示すフローチャート 画像生成の例を示す図 パラメータ設定画面の例を示す図 画像生成方法を示す図 本発明の実施の形態６における画像生成装置の構成を示す図

符号の説明

１０１ 画像入力部
１０２ パラメータ算出部
１０３ 領域分割部
１０４ 画像生成部
２０１ 画像評価部
２０２ パラメータ変更部
３０１ モデル変換部
５０１ ユーザ設定部
６０１ 周期性検出部
１０２１ 関節物体領域抽出部
１０２２ モデル当てはめ部
１０２３ 関節間部位位置計算部
１０３１ 領域分割処理部
１０３２ 関節位置修正部
１０４１ 画素移動位置計算部
１０４２ 補間処理部
１０４３ 画素値決定部

Claims (19)

1. 関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成装置であって、
   関節物体を撮像した画像を取得する画像入力手段と、
   取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置に関する第１パラメータを算出するパラメータ算出手段と、
   前記第１パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第２パラメータを抽出する領域分割手段と、
   前記パラメータ算出手段によって算出された第１パラメータと前記領域分割手段によって抽出された第２パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成手段と
   を備えることを特徴とする画像生成装置。
2. 前記画像生成手段は、関節物体の特性を反映した新たな画像として、関節物体の関節又は関節間部位の位置、および、前記関節物体の関節間部位の色およびテクスチャ情報を反映した画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
3. 前記画像入力手段は、時間的に連続した画像を取得し、
   前記パラメータ算出手段は、前記画像を用いて、前記関節物体の関節又は関節間部位の位置及び動きに関する第１パラメータを算出する
   ことを特徴とする請求項１記載の画像生成装置。
4. 前記画像生成装置はさらに、
   前記画像生成手段によって生成された画像と目標画像との誤差を算出することにより、前記画像を評価する画像評価手段と、
   前記画像評価手段による評価結果に基づいて、前記第１パラメータを変更するパラメータ変更手段とを備え、
   前記領域分割手段は、前記パラメータ変更手段で変更された第１パラメータに基づいて前記領域分割を行い、
   前記画像生成手段は、前記パラメータ変更手段によって変更された第１パラメータと前記領域分割手段によって抽出された第２パラメータとを用いて、前記画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
5. 前記画像生成装置はさらに、前記第１パラメータを用いて、前記関節物体の関節間部位の形状情報、前記第１パラメータには含まれない関節の位置及び動きに関する第３パラメータを推定するモデル変換手段を備え、
   前記画像生成手段は、前記第１パラメータと前記第２パラメータと前記第３パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
6. 前記画像生成手段は、時間的に連続した画像に対して、前記第１パラメータに含まれる動き情報をもとに生成した、時間的に内挿および外挿した画像を前記新たな画像として生成する
   ことを特徴とする請求項３記載の画像生成装置。
7. 前記画像生成手段は、前記関節物体を構成する各部位に異なる色またはテクスチャを貼り付けた画像を前記新たな画像として生成する
   ことを特徴とする請求項１記載の画像生成装置。
8. 前記画像生成手段は、前記関節物体の姿勢又は動きとは異なる姿勢又は動きを含む関節物体の画像に、前記関節物体の関節間部位のテクスチャを貼り付けた画像を前記新たな画像として生成する
   ことを特徴とする請求項１記載の画像生成装置。
9. 前記パラメータ算出手段は、前記画像に対して、関節物体の領域を抽出する関節物体領域抽出部を有し、抽出した領域に対して、前記当てはめをする
   ことを特徴とする請求項１記載の画像生成装置。
10. 関節物体領域抽出部は、前記画像に対して、エッジ抽出をすることによって、前記領域を抽出する
    ことを特徴とする請求項９記載の画像生成装置。
11. 前記画像生成装置はさらに、前記画像入力手段によって取得された画像中に存在する関節物体の動作の周期を検出する周期性検出手段を備え、
    前記パラメータ算出手段、前記領域分割手段及び前記画像生成手段は、前記周期性検出手段で検出された１周期分の時系列画像ごとに、それぞれ、第１パラメータの算出、第２パラメータの抽出、及び、画像の生成をする
    ことを特徴とする請求項３記載の画像生成装置。
12. 前記動きは、動きベクトル、加速度ベクトル、アフィンパラメータ及び近似曲線パラメータのいずれかによって表される
    ことを特徴とする請求項３記載の画像生成装置。
13. 前記領域分割手段は、前記第１パラメータに含まれる関節位置又は関節間部位の位置情報を初期値として、前記第２パラメータを算出する
    ことを特徴とする請求項１記載の画像生成装置。
14. 前記画像生成手段は、関節で接続された部位が分離しないように、関節位置を基準とした画素移動を行うことにより、前記新たな画像を生成する
    ことを特徴とする請求項１記載の画像生成装置。
15. 前記モデル変換手段は、前記第１パラメータと前記第３パラメータとの相関情報をあらかじめ求めておき、その相関情報に基づいて前記第３パラメータを推定する
    ことを特徴とする請求項５記載の画像生成装置。
16. 前記モデル変換手段は、前記パラメータ算出手段によって前記第１パラメータの一部が抽出不能な場合に、抽出不能なパラメータ値を推定することによって、前記第３パラメータを推定する
    ことを特徴とする請求項５記載の画像生成装置。
17. 前記パラメータ算出手段は、関節物体の関節間部位の接続関係をもとに、階層的に表現した前記第１パラメータを算出し、
    前記モデル変換手段は、関節物体の関節間部位の接続関係をもとに、階層的に表現した前記第３パラメータを推定する
    ことを特徴とする請求項５記載の画像生成装置。
18. 関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成する画像生成方法であって、
    関節物体を撮像した画像を取得する画像入力ステップと、
    取得された画像中の関節物体に対して、あらかじめ保持した関節を有するモデルを当てはめることによって、前記関節物体の関節又は関節間部位の位置又は動きに関する第１パラメータを算出するパラメータ算出ステップと、
    前記第１パラメータに基づいて前記関節物体の画像の領域分割を行うことによって、前記関節物体の関節間部位の色及びテクスチャ情報の少なくとも一つに関する第２パラメータを抽出する領域分割ステップと、
    前記パラメータ算出ステップによって算出された第１パラメータと前記領域分割ステップによって抽出された第２パラメータとを用いて、前記関節物体の特性を反映した新たな画像を生成する画像生成ステップと
    を含むことを特徴とする画像生成方法。
19. 関節物体を撮像した画像から、前記関節物体の特性を反映した新たな画像を生成するためのプログラムであって、
    請求項１８記載の画像生成方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。

Images