JP2004159354A - 補間画像生成装置および隠蔽領域推定方法 - Google Patents

Abstract

【課題】 補間画像を正確に生成する。
【解決手段】隠蔽領域補間部20は、それぞれのフレームのオブジェクトに他のオブジェクトに隠れた隠蔽領域があるか否かを検出して、隠蔽領域がある場合にその隠蔽領域を補間してそれぞれのオブジェクト画像を生成する。補間オブジェクト画像生成部30は、隣接するフレームのオブジェクトの三角パッチを形状変換して、対応の画素値を線形予測により補間画像の画素値を推定して、それぞれの補間画像を生成する。補間画像合成部14は、オブジェクト毎の補間画像を合成して補間フレームを生成する。
【選択図】図10

Description

本発明は、補間画像生成装置および隠蔽領域推定方法に係り、特に、フレームレートの低い動画像、たとえばテレビ電話等にて受信した動画像をフレームレートの高い動画像に変換する画像処理装置等に用いて好適な補間画像生成装置および隠蔽領域推定方法に関するものである。

従来、複数のフレームからなる動画像に動き補償を行ない、予測画像を生成する技術として、たとえば、1990年、電子情報通信学会発行の研究技術報告（Vol. 90. PRU90-137 第９頁〜第16頁）に記載の中屋雄一郎、原島博らによる「三角パッチによる動き補償の検討」などが知られている。

この文献では、たとえば、参照画像全体を三角パッチで分割して、その三角パッチのそれぞれの頂点の動きベクトルを求める。この動きベクトルから参照フレームと予測フレームの間にて三角パッチのアフィン変換の係数を求めて、そのアフィン変換係数を用いて参照画像の三角パッチをアフィン変換することにより予測フレームの画像を求めている。

一方、テレビ電話などのフレームレートの低い動画像に対して、隣接するフレームの間に画像を内挿することにより、動きの滑らかな動画像を生成する研究が近年盛んに行なわれている。この場合、内挿画像、つまり補間画像を予測する方式として上記の文献の手法を利用することができる。すなわち、動画像を表わすそれぞれのフレームを三角パッチに分割して、隣接するフレーム間にて三角パッチの頂点の動きベクトルを求める。次に、求めた動きベクトルと隣接するフレームでの三角パッチの頂点の位置から補間画像での三角パッチのそれぞれの頂点の位置と動きベクトルを線形予測により求める。次いで、参照画像と補間画像の三角パッチの頂点の位置からアフィン変換の係数をそれぞれ求めて、参照画像の三角パッチをこのアフィン変換係数で変換することにより、補間画像を生成することができる。

しかしながら、上述した従来の技術では、動画像の隣接フレーム間に補間フレームを内挿する場合、画像中のオブジェクトが前フレームでは重なって、オブジェクトが他のオブジェクトの陰に隠れる領域があり、現フレームではオブジェクトが重なっていない場合、前フレームに存在しない三角パッチが現フレームに存在することなる。このような場合、現フレームと前フレームとで対応付けができない三角パッチが発生するので、三角パッチの頂点の動きベクトルが求められず、補間画像が生成できない場合が生じるという問題があった。

本発明はこのような従来技術の欠点を解消し、複数の動きの異なるオブジェクトが存在する動画像から有効に補間画像を生成することができる補間画像生成装置を提供することを目的とする。

また、本発明は、画像中に複数の動きの異なるオブジェクトが存在して隠蔽領域が生じる動画像にて、その隠蔽領域のテクスチャと形状を有効に推定して補間画像を生成することができる隠蔽領域推定方法を提供することを目的とする。

本発明による補間画像生成装置は上述の課題を解決するために、それぞれのフレームのオブジェクトに他のオブジェクトに隠れた隠蔽領域があるか否かを検出して、隠蔽領域がある場合にその隠蔽領域を補完してそれぞれのオブジェクト画像を生成する隠蔽領域補完部と、隠蔽領域補完部にて補完したオブジェクト画像に基づいて補間フレームのそれぞれのオブジェクト画像を生成するオブジェクト画像生成部と、オブジェクト画像生成手段からのそれぞれのオブジェクト画像を合成して補間フレームを生成する補間画像合成部とを含み、隠蔽領域補完部は、動画像中のオブジェクトを多角形の領域に分割し、他のオブジェクトに隠れた隠蔽領域のパッチの頂点の座標値を他のフレームのパッチ群の頂点の座標値から推定する頂点座標値推定手段と、頂点座標値推定手段からの座標値に基づいて隠蔽領域の範囲を推定する隠蔽領域推定手段と、隠蔽領域推定手段にて推定された隠蔽領域のそれぞれの点の画素値を他のフレームの対応するパッチから予測するテクスチャ推定手段とを含むことを特徴とする。

この場合、頂点座標値推定手段は、対象となるオブジェクトに隠蔽領域があるか否かをそのオブジェクトを多角形のパッチに分割した際のパッチのそれぞれの頂点の座標値から判定する判定手段と、オブジェクトに隠蔽領域がある場合にその隠蔽領域に対応するパッチの座標値が定義された他のフレームのパッチを検出する参照パッチ検出手段と、隠蔽領域のパッチの近辺に存在するパッチとこれに対応する他のフレームのパッチとから形状変換係数を求める変換係数算出手段と、変換係数算出手段からの変換係数にて前記参照パッチ検出手段にて検出した他のフレームのパッチを変換して隠蔽領域のパッチの座標値を推定する変換推定手段とを含むとよい。

さらに、頂点座標値推定手段は、変換係数算出手段にて隠蔽領域の近辺に頂点の座標値が定義されたパッチが存在しない場合に、隠蔽領域に対応するパッチの座標値が定義された参照パッチ検出手段にて検出したフレームと異なる他のフレームを検出する参照フレーム検出手段と、これら２つのフレームのパッチの座標値から隠蔽領域のパッチの頂点の座標値を線形予測する線形推定手段とを含むとよい。

また、変換係数算出手段は、それぞれ三角形のパッチに分割された隠蔽領域の近辺のパッチとこれに対応する他のフレームのパッチとからアフィン変換係数を求めるとよい。

さらに、隠蔽領域推定手段は、隠蔽領域を含むフレームに隣接して隠蔽領域を含まない少なくとも２個のフレームを検出する参照フレーム検出手段と、該参照フレーム検出手段にて検出したフレームのパッチと基準となる所定の多角形との間にて形状変形の変換係数を求め、変換係数にてそれぞれのフレームのパッチと輪郭との間の領域を変換して正規化する第１の変換手段と、正規化後のパッチの辺から輪郭までの距離を求める輪郭距離算出手段と、輪郭距離算出手段にて求めた値から隠蔽領域を含むフレームでのパッチから輪郭までの距離を推定する距離推定手段と、正規化された隠蔽領域のパッチと頂点座標値推定手段にて推定した隠蔽領域のパッチとの間にて形状変形の変換係数を求め、変換係数を用いて正規化された隠蔽領域のパッチと距離推定手段にて求めた値にて含まれるシェイプ領域の各点を形状変換して隠蔽領域の範囲を推定する第２の変換手段とを含むとよい。

この場合、第１の変換手段は、三角形のパッチに分割されたフレームのパッチと基準となる直角二等辺三角形とからアフィン変換係数を求め、その変換係数にてそれぞれのフレームのパッチと輪郭との間の領域をアフィン変換して正規化し、前記第２の変換手段は正規化された三角形のパッチと推定された三角形のパッチとの間にてアフィン変換係数を求め、その変換係数を用いて隠蔽領域のそれぞれの点をアフィン変換によって算出するとよい。

また、テクスチャ推定手段は、隠蔽領域を含むフレームに隣接して隠蔽領域を含まない少なくとも２個のフレームを検出する参照フレーム検出手段と、参照フレーム検出手段にて検出したフレームのパッチと隠蔽領域推定手段にて推定した隠蔽領域のパッチとの間にて形状変形の変換係数を算出する変換係数算出手段と、変換係数算出手段にて求めた変換係数にて隠蔽領域の画素の座標値を変換して参照フレーム検出手段にて検出したフレームのパッチの座標位置を対応付ける参照位置算出手段と、参照位置算出手段にて対応付けた２個のフレームの画素値に基づいて隠蔽領域の画素値を推定する画素値推定手段とを含むとよい。

この場合、変換係数算出手段は、それぞれ三角形のパッチに分割された画像のパッチおよび推定された三角形のパッチからアフィン変換係数を求め、前記参照位置算出手段は、隠蔽領域の画素の座標値をアフィン変換にて変換して、対応の参照フレームの座標値を求めると有利である。

また、オブジェクト画像生成部は、隣接するフレームのオブジェクトのパッチの頂点の座標値から補間画像のオブジェクトのパッチの頂点の座標値を推定する頂点位置推定手段と、頂点位置推定手段にて推定した補間画像のパッチと基準となる所定の多角形とから補間画像のパッチの形状変形の変換係数を求め、かつ参照フレームのパッチと基準となる所定の多角形とから形状変形の変換係数を求める第１の変換係数算出手段と、変換係数算出手段にて求めた変換係数にて参照画像のパッチおよびそのパッチと輪郭との間の領域を正規化する正規化手段と、正規化手段にて正規化したパッチおよび輪郭との間の領域からそれぞれのパッチの辺から輪郭までの距離を求め、その結果から補間画像でのパッチと輪郭との間の距離を推定する輪郭距離推定手段と、輪郭距離推定手段にて推定した輪郭距離と正規化された補間画像の三角パッチとを第１の変換係数算出にて求めた変換係数にて変換して実際のフレームでの三角パッチと輪郭の座標値に変換する変換手段と、隣接フレームのパッチと補間画像のパッチとから形状変形の変換係数を算出する第２の変換係数算出手段と、第２の変換係数算出手段にて求めた変換係数を用いて隣接するフレームの画像と補間画像のそれぞれの画素とを対応付け、その結果に基づいて補間画像の画素値を隣接するフレームの画素値から推定して補間画像の画素値を隣接するフレームの画素値から推定して補間画像のテクスチャを推定するテクスチャ推定手段とを含むとよい。

この場合、第１の変換係数算出手段は、三角形のパッチにて分割した画像のパッチと基準となる直角二等辺三角形とからアフィン変換係数をそれぞれ求め、正規化手段は、第１の変換係数算出手段にて求めたアフィン変換係数にて参照画像のパッチおよび輪郭との間の領域をアフィン変換により正規化し、第２の変換係数算出手段は、それぞれ画像の三角形のパッチからアフィン変換係数を求め、テクスチャ推定手段は、第２の変換係数算出手段にて求めたアフィン変換係数を用いて補間画像の画素の座標値をアフィン変換して隣接フレームの対応の座標値を求めるとよい。

さらに、本発明による補間画像生成装置は、複数のオブジェクトを含むフレームの中からそれぞれのオブジェクトを検出するオブジェクト検出部と、オブジェクト検出部にて検出したオブジェクトを多角形の領域に分割し、他のオブジェクトに隠れた隠蔽領域のパッチの頂点の座標値を他のフレームのパッチ群の頂点の座標値から推定する頂点位置推定部と、頂点位置推定部からの座標値に基づいて隠蔽領域の範囲を推定する隠蔽領域推定部と、オブジェクト検出部にて検出したそれぞれのオブジェクトを前記隠蔽領域推定部にて推定した隠蔽領域を含む輪郭形状として表わす輪郭データ生成部と、隠蔽領域補完部にて補完したオブジェクト画像に基づいて補間フレームのそれぞれのオブジェクト画像を生成するオブジェクト画像生成部と、オブジェクト画像生成手段からのそれぞれのオブジェクト画像を合成して補間フレームを生成する補間画像合成部とを含むことを特徴とする。

この場合、頂点位置推定部は、対象となるオブジェクトに隠蔽領域があるか否かをそのオブジェクトを多角形のパッチに分割した際のパッチのそれぞれの頂点の座標値から判定する判定手段と、オブジェクトに隠蔽領域がある場合にその隠蔽領域に対応するパッチの座標値が定義された他のフレームのパッチを検出する参照パッチ検出手段と、隠蔽領域のパッチの近辺に存在するパッチとこれに対応する他のフレームのパッチとから形状変換係数を求める変換係数算出手段と、変換係数算出手段からの変換係数にて参照パッチ検出手段にて検出した他のフレームのパッチを変換して隠蔽領域のパッチの座標値を推定する座標値推定部とを含むとよい。

また、変換係数算出手段は、それぞれ三角形のパッチに分割された隠蔽領域の近辺のパッチとこれに対応する他のフレームのパッチとからアフィン変換係数を求めるとよい。

さらに、隠蔽領域推定部は、隠蔽領域を含むフレームに隣接して隠蔽領域を含まない少なくとも２個のフレームを検出する参照フレーム検出手段と、参照フレーム検出手段にて検出したフレームのパッチと隠蔽領域を含むフレームのパッチとの間にて形状変形の変換係数を求める変換係数算出手段と、変換係数算出手段にて求めた変換係数を用いて隠蔽領域の画素に対応する参照フレームの画素の位置を算出する参照画素位置算出手段と、算出手段にて算出された参照フレームの画素から対応の隠蔽領域の画素の値を求めて隠蔽領域のテクスチャを推定するテクスチャ推定部とを含むとよい。

この場合、変換係数算出手段は、それぞれ三角形のパッチに分割された隠蔽領域のパッチとこれに対応する他のフレームの三角パッチとからアフィン変換係数を求めるとよい。

また、輪郭データ生成部は、オブジェクトを多角形の領域で分割して、分割したパッチと基準となる所定の多角形との間で形状変形の変換係数を求める変換係数算出手段と、分割したパッチ内部およびパッチとオブジェクトの輪郭との間の領域のそれぞれの座標値を変換係数算出手段にて求めた変換係数を用いて変換して正規化する正規化手段と、正規化手段にて変換したパッチの辺から垂直にオブジェクトの輪郭までの距離を算出する輪郭距離検出手段と、輪郭距離検出手段にて求めた値とパッチの頂点の座標値を用いて輪郭の形状を表わす輪郭データを形成する輪郭データ形成手段とを含むとよい。

この場合、変換係数算出手段は、オブジェクトを三角形のパッチにて分割し、分割した三角パッチと直角二等辺三角形との間でアフィン変換係数を求め、正規化手段は、求めたアフィン変換係数にて三角パッチ内部およびパッチとオブジェクトの輪郭との間の領域のそれぞれの座標値をアフィン変換して正規化するとよい。

さらに、オブジェクト画像生成部は、隣接するフレームのオブジェクトのパッチの頂点の座標値から補間画像のオブジェクトのパッチの頂点の座標値を推定する頂点位置推定手段と、頂点位置推定手段にて推定した補間画像のパッチと基準となる所定の多角形とから補間画像のパッチの形状変形の変換係数を求め、かつ参照フレームのパッチと基準となる所定の多角形とから形状変形の変換係数を求める第１の変換係数算出手段と、変換係数算出手段にて求めた変換係数にて参照画像のパッチおよびそのパッチと輪郭との間の領域を正規化する正規化手段と、該正規化手段にて正規化したパッチおよび輪郭との間の領域からそれぞれのパッチの辺から輪郭までの距離を求め、その結果から補間画像でのパッチと輪郭との間の距離を推定する輪郭距離推定手段と、隣接フレームのパッチと補間画像のパッチとから形状変形の変換係数を算出する第２の変換係数算出手段と、第２の変換係数算出手段にて求めた変換係数を用いて隣接するフレームの画像と補間画像のそれぞれの画素とを対応付け、その結果に基づいて補間画像の画素値を隣接するフレームの画素値から推定して補間画像のテクスチャを推定するテクスチャ推定手段とを含むとよい。

この場合、第１の変換係数算出手段は、三角形のパッチにて分割した画像のパッチと基準となる直角二等辺三角形とからアフィン変換係数をそれぞれ求め、正規化手段は、第１の変換係数算出手段にて求めたアフィン変換係数にて参照画像のパッチおよび輪郭との間の領域をアフィン変換により正規化し、第２の変換係数算出手段は、それぞれ画像の三角形のパッチからアフィン変換係数を求め、テクスチャ推定手段は、第２の変換係数算出手段にて求めたアフィン変換係数を用いて補間画像の画素の座標値をアフィン変換して隣接フレームの対応の座標値を求めるとよい。

また、本発明による隠蔽領域検出方法は、動画像のそれぞれのフレームのオブジェクトが他のオブジェクトに隠れた領域を有する場合、その隠蔽領域を検出する隠蔽領域検出方法において、オブジェクトを多角形のパッチに分割し、隠蔽領域のパッチの頂点の座標値を他のフレームの対応するパッチの頂点の座標値から推定する第１の工程と、第１の工程にて推定した座標値に基づいて隠蔽領域の範囲を推定する第２の工程と、第２の工程にて推定された隠蔽領域のそれぞれの点の画素値を他のフレームの対応するパッチの画素値から予測する第３の工程とを含むことを特徴とする。

この場合、第１の工程は、隠蔽領域のパッチの頂点の座標値を他のフレームの対応する頂点の座標値から推定するとよい。

また、第１の工程は、隠蔽領域のパッチの近辺に存在するパッチと、そのパッチに対応する他のフレームのパッチとから形状変形の変換係数を求める工程と、他のフレームのパッチの頂点の座標値を求めた変換係数にて変換する工程と、その結果に基づいて隠蔽領域のパッチの頂点の座標値を推定する工程とを含むとよい。

また、第１の工程の変換係数は、三角形のパッチに分割されたオブジェクトのパッチから求めたアフィン変換係数であると有利である。

さらに、第２の工程は、第１の工程にて推定した隠蔽領域のパッチおよび他のフレームの対応するパッチのそれぞれと基準となる所定の多角形とにて形状変換の変換係数を求める工程と、その変換係数を用いて隠蔽領域のパッチおよび他のフレームのパッチを正規化する工程と、正規化した他のフレームのパッチにてその辺から輪郭までの距離を算出する工程と、その求めた結果から隠蔽領域にて正規化したパッチの辺から輪郭までの距離を推定する工程と、正規化した隠蔽領域のパッチと画像上での隠蔽領域のパッチとから形状変形の変換係数を求める工程と、求めた変換係数にて正規化したパッチおよびその辺と輪郭との間の領域を形状変換して、隠蔽領域の形状を推定する工程とを含むとよい。

この場合、第２の工程の正規化は、三角形のパッチに分割されたオブジェクトのパッチと直角二等辺三角形との間にて算出されたアフィン変換係数にてそれぞれのパッチをアフィン変換するとよい。

また、第２の工程の形状変換は、隠蔽領域の正規化された三角パッチと予測した三角パッチとから求めたアフィン変換係数を用いて、正規化したパッチおよび輪郭との間の領域をアフィン変換するとよい。

さらに、第３の工程は、隠蔽領域のパッチの頂点の座標値と他のフレームの対応するパッチの頂点の座標値とから形状変形の変換係数を求める工程と、求めた変換係数を用いて隠蔽領域のパッチの画素と他のフレームの画素を対応付ける工程と、対応付けた他のフレームの画素の値に基づいて隠蔽領域のパッチおよび輪郭との間の領域の画素値を推定するとよい。

この場合、第３の工程は、隠蔽領域の三角パッチと他のフレームの三角パッチとからアフィン変換係数を求め、その変換係数にて隠蔽領域の画素の座標値をアフィン変換して他のフレームの対応の画素位置を求めるとよい。

他方、上記隠蔽領域推定方法を用いて推定されたフレームの画像から動画像の補間フレームを生成する補間画像生成方法であって、隣接するフレームのオブジェクトのパッチの頂点の座標値から補間画像のオブジェクトのパッチの頂点の座標値を推定する第１の工程と、推定した補間画像のパッチと基準となる所定の多角形とから補間画像のパッチの形状変形の変換係数を求め、かつ参照フレームのパッチと基準となる所定の多角形とから形状変形の変換係数を求める第２の工程と、求めた変換係数にて参照画像のパッチおよびそのパッチと輪郭との間の領域を正規化する第３の工程と、正規化したパッチおよび輪郭との間の領域からそれぞれのパッチの辺から輪郭までの距離を求め、その結果から補間画像でのパッチと輪郭との間の距離を推定する第４の工程と、隣接フレームのパッチと補間画像のパッチとから形状変形の変換係数を算出する第５の工程と、求めた変換係数を用いて隣接するフレームの画像と補間画像のそれぞれの画素とを対応付け、その結果に基づいて補間画像の画素値を隣接するフレームの画素値から推定して補間画像のテクスチャを推定する第６の工程とを含むことを特徴とする。

この場合、第１の工程ないし第６の工程にてそれぞれのオブジェクト毎に補間画像を生成し、それらオブジェクト画像を合成して補間フレームを生成するとよい。

このように本発明によれば、動画像中のオブジェクトが他のオブジェクトに隠れた領域を有する場合に、オブジェクトを多角形のパッチに分割して隠蔽領域のパッチを検出し、そのパッチの頂点位置および輪郭形状ならびに隠蔽領域の画素値を他のフレームのパッチを参照して予測し、有効に隠蔽領域を補間することができるので、オブジェクトに隠蔽領域がある場合でもそのオブジェクト画像を用いてオブジェクト毎の補間画像を有効に形成することができる。

次に、添付図面を参照して本発明による補間画像生成装置および輪郭データ生成方法ならびに隠蔽領域推定方法の実施例を詳細に説明する。図１には、本発明による輪郭データ生成方法が適用された補間画像生成装置の第１の実施例が示されている。

本実施例による補間画像生成装置は、動画像のそれぞれのフレームから順次オブジェクト毎の輪郭形状を表わす輪郭データを生成して、その輪郭データに基づいて補間フレームのオブジェクト毎の補間画像を生成して、それらの画像を合成することにより補間フレームを形成する画像生成装置である。特に、本実施例では、輪郭データを生成する際に、入力フレームのオブジェクトを三角形のパッチにて分割して、分割した三角パッチを直角二等辺三角形に正規化して、その正規化した三角パッチと輪郭との間の距離を求めることにより、それぞれのオブジェクトを三角パッチと輪郭との距離で表わす輪郭データを生成する点が主な特徴点である。

その詳細を説明すると、本実施例による補間画像生成装置は、図１に示すように、シェイプ計算部10と、補間オブジェクト画像生成部12と、補画像合成部14とを含み、シェイプ計算部10にはオブジェクトの有効領域を表わすレイヤ画像のデータと、あらかじめ用意された頂点ファイルからのオブジェクトの頂点位置を表わすデータとがそれぞれ供給され、補間オブジェクト画像生成部12には頂点位置を表わすデータと、入力画像のデータが順次供給される。

各部の詳細を説明すると、シェイプ計算部10は、レイヤ画像とオブジェクトの頂点の座標値とに基づいて輪郭形状を表わす輪郭データを生成する輪郭データ生成回路であり、頂点の座標値の組み合わせによりオブジェクトの有効領域を三角形のパッチにて分割し、そのパッチの辺と輪郭との間の領域、いわゆるシェイプ領域までの距離を求めて三角パッチの頂点の組み合わせとシェイプ領域までの距離とで表わす輪郭データを生成する。

たとえば、オブジェクトは、図４に示すように、レイヤ画像の頂点をABCDととった場合、三角パッチABD と三角パッチBCD とに分割されて、三角パッチABD の頂点座標の組み合わせと辺AB,AD からそれぞれの輪郭までの距離とで表わす輪郭データ、および三角パッチBCD の頂点座標とその辺BC,CD からそれぞれの輪郭までの距離とで表わす輪郭データとして生成される。本実施例では、それぞれのデータは、後の処理を容易にするため正規化されて形成される。

より詳細には、本実施例のシェイプ計算部10は、図２に示すように、アフィン変換係数演算部100 と、アフィン変換部102 と、輪郭距離演算部104 とを含み、オブジェクトを分割した三角パッチを直角二等辺三角形に正規化し、その正規化した頂点の座標値と輪郭までの距離とを算出する。

具体的には、アフィン変換係数演算部100 は、オブジェクトを分割したそれぞれの三角パッチを正規化する際のアフィン変換のパラメータを求める処理回路であり、頂点ファイルからのオブジェクトの頂点の座標値に基づいてアフィン変換係数を演算する演算回路である。たとえば、図５に示すように三角パッチA0-B0-D0の頂点の座標をそれぞれ(x1,y1),(x2,y2),(x3,y3) とし、基準となる直角二等辺三角形A1-B1-C1の頂点の座標をそれぞれ(x4,y4),(x5,y5),(x6,y6) とすると、アフィン変換係数は次式(1) によって６つの係数ａ〜ｆとして求められる。

アフィン変換係数演算部100 は、求めたアフィン変換係数ａ〜ｆをアフィン変換部102 に供給する。

アフィン変換部102 は、レイヤ画像のデータとアフィン変換係数ａ〜ｆとを受けて、オブジェクトを分割した三角パッチをアファイン変換にて正規化する正規化回路であり、オブジェクトを分割した際の三角パッチの内部の点およびシェイプ領域の点の座標値を正規化した際のレイヤ画像の対応の座標値として求めて出力する処理回路である。たとえば、元の座標値を(xo,yo) とすると、変換した座標値(xp,yp) は次式(2) にて求められる。

アフィン変換部102 は、上式(2) にてレイヤ画像の各点を順次アフィン変換係数にて変換して、それらの座標値をレイヤ画像の対応点の画素値として、順次輪郭距離演算部104 に供給する。

輪郭距離演算部104 は、アフィン変換部102 からの座標値のデータに基づいて正規化されたレイヤ画像のシェイプ領域の範囲を求める処理回路であり、三角パッチの辺から輪郭線までの距離をそれぞれ算出してシェイプ領域の範囲を求める演算回路である。たとえば、正規化した三角パッチA1-B1-C1にて辺A1-B1 が輪郭線に向かう場合、辺A1-B1 上にて頂点A1から頂点B1まで一定の間隔毎に点をとりそれらの点から辺A1-B1 から輪郭まで垂線を形成して、その長さを順次求めて、輪郭距離を算出する。その結果は、正規化した三角パッチの頂点の座標値とともに、輪郭データとして補間オブジェクト画像生成部12に供給される。

図１に戻って、補間オブジェクト画像生成部12は、シェイプ領域計算部10からの輪郭データとともに動画像を表わす複数のフレームおよび頂点ファイルからの頂点データを受けて、隣接するフレーム間でのオブジェクトの補間画像を生成する画像生成回路であり、特に、本実施例ではそれぞれのフレームのオブジェクトを三角パッチに分割して三角パッチの形状変換に基づいて補間画像を生成する画像処理回路である。

より詳しくは本実施例による補間オブジェクト画像生成部12は、図３に示すように、頂点位置推定部120 と、第１のアフィン変換係数演算部122 と、輪郭距離推定部124 と、アフィン変換部126 と、第２のアフィン変換係数演算部128 と、テクスチャ推定部130 とを含む。頂点位置推定部120 は、頂点ファイルからそれぞれのフレームのオブジェクトの頂点データを受けて、補間画像を分割する三角パッチの頂点位置を推定する回路であり、隣接する２つのフレームの頂点データからそれらの間の補間フレームでのオブジェクトの三角パッチの頂点位置を線形予測する演算回路である。たとえば、図６に示すように時刻t0のフレームでの三角パッチA0-B0-C0と、時刻t2での三角パッチA2-B2-C2との間にて、時刻t1の補間フレームの三角パッチA1-B1-C1を推定する場合、対応の頂点A0=(x0,y0)と頂点A2=(x2,y2)とから補間画像の頂点A1=(x1,y1)は、次式(3),(4) にて求められる。
x1={(t1-t0)・x2+(t2-t1)・x0}/(t2-t0) ・・・(3)
y1={(t1-t0)・y2+(t2-t1)・y0}/(t2-t0) ・・・(4)
頂点位置推定部120 は、同様に、頂点B1,C1 および他の三角パッチの頂点位置を求めて、その結果を第１のアフィン変換係数演算部122 および第２のアフィン変換係数演算部128 に供給する。

第１のアフィン変換係数演算部122 は、頂点位置推定部120 からの補間画像の三角パッチを直角二等辺三角形に正規化する際のアフィン変換係数を求める演算回路であり、シェイプ計算部10の変換係数演算部100 と同様に、上式(1) を用いて補間画像の三角パッチと基準となる直角二等辺との間にてアフィン変換係数ａ〜ｆを求める処理回路である。求めたアフィン変換係数ａ〜ｆは、アフィン変換部126 に供給される。

輪郭距離推定部124 は、シェイプ計算部10からの輪郭データを受けて、補間画像での三角パッチの辺と輪郭との距離を推定する処理回路であり、隣接する２つのフレームでの正規化されたシェイプ領域の距離からそれらの間の補間フレームでの正規化されたシェイプ領域の距離を線形予測により求める演算回路である。たとえば図７に示すように、時刻t0の正規化された三角パッチA01-B01-D01 にて辺A01-D01 上の点ｘからの距離をh0とし、時刻t2の正規化された三角パッチA21-B21-D21 にて辺A21-D21 上の点ｘからの距離をh2とすると、時刻t1の正規化された三角パッチA11-B11-D11 の辺A11-D11 上の点ｘからの輪郭までの距離h1は次式 (5) にて求められる。
h1={(t1-t0)・h2+(t2-t1)・h0}/(t2-t0) ・・・(5)
輪郭距離推定部124 は、上式(5) にて補間画像の正規化された三角パッチでの輪郭との距離を順次求めて、その結果とともに補間画像の正規化された三角パッチの頂点位置の座標値をアフィン変換部126 に供給する。

アフィン変換部126 は、輪郭距離推定部124 からの補間画像の正規化された三角パッチおよびシェイプ領域の各値を第１のアフィン変換係数部122 からのアフィン変換係数ａ〜ｆにて変換して、実際の補間画像での三角パッチおよびシェイプ領域の値に戻す処理回路であり、シェイプ計算部10のアフィン変換部102 と同様に式(2) を用いて変換する演算回路である。たとえば、図７では補間画像の正規化された三角パッチA11-B11-D11 およびシェイプ領域の各点が実際の補間画像での三角パッチA1-B1-D1およびそのシェイプ領域の点に変換される。変換した結果は、テクスチャ推定部130 に供給される。

一方、図３にて第２のアフィン変換係数演算部128 は、頂点位置推定部120 からの補間画像の三角パッチの頂点位置と隣接するフレームの三角パッチの頂点位置とから形状変換の係数となるアフィン変換係数を求める演算回路であり、シェイプ計算部10のアフィン変換係数演算部100 と同様に式(1) を用いてアフィン変換係数ａ〜ｆを求める。たとえば、図６では時刻t1の補間画像の三角パッチA1-B1-C1と時刻t0の前フレームの三角パッチA0-B0-C0とからこれらの間の形状変換係数を求め、さらに補間画像の三角パッチA1-B1-C1と時刻t2の現フレームの三角パッチA2-B2-C2とからこれらの間の形状変換係数を求める。求めたアフィン変換係数はテクスチャ推定部130 に供給される。

テクスチャ推定部130 は、補間画像の三角パッチと隣接フレームの三角パッチとを対応付けて、補間画像の画素値を推定する処理回路であり、第２のアフィン変換係数演算部128 からのそれぞれの変換係数を用いて補間画像の三角パッチおよびシェイプ領域の各点の座標を対応のフレームの座標に変換し、それらの結果の座標の画素値から補間画像の画素値を線形推定して求める演算回路である。たとえば、図９に示すように、第２のアフィン変換係数演算部128 で求めた時刻t1の三角パッチA1-B1-C1と時刻t0の三角パッチA0-B0-C0との間のアフィン変換係数を用いて、三角パッチA1-B1-C1内の画素P1に対応する三角パッチA0-B0-C0内の画素P0の位置を求める。同様に、時刻t1の三角パッチA1-B1-C1内の画素P1に対応する時刻t2の三角パッチA2-B2-C2内の画素P2の位置を求める。これらの結果から前フレームの画素P0の画素値Q0と現フレームの画素P2の画素値Q2とから次式(6) により補間画像の画素P1の画素値Q1を求める。
Q1={(t1-t0)・Q0+(t2-t1)・Q2}/(t2-t0) ・・・(6)
テクスチャ推定部130 は、三角パッチ内およびシェイプ領域のすべての画素値を順次推定して補間フレームのオブジェクト画像を生成して補間画像合成部14に供給する。

補間画像合成部14は、補間オブジェクト画像生成部12からのオブジェクトを１枚のフレームに合成して出力する画像処理回路であり、補間画像を空間的に後ろに位置するものから順次マッピングして補間フレームを形成するフレーム生成回路である。

以上ような構成において本実施例による補間画像生成装置の動作を本実施例による輪郭データ生成方法とともに説明する。本実施例の場合、たとえば、図９に示すように、時刻t0のフレームＭにて画面の右側にあったボールＬが時計回りに180 度回転して時刻t2のフレームＮにて画面の左側に移動する際に、それらのフレームの中間の時刻t1の補間フレームを生成する場合を例に挙げて説明する。

動作状態において、まず、時刻t0のフレームＭが入力されると、そのボールＬの有効領域を表わすレイヤ画像と、ボールＬの頂点データABCDの座標値がシェイプ計算部10に供給される。これにより、シェイプ計算部10は、ボールＬを三角パッチABD と三角パッチBCD に分割して、輪郭データの演算を開始する。

まず、アフィン変換係数演算部100 に頂点データABCDが供給されると、アフィン変換係数演算部100 は上述した式(1) にて三角パッチABD の頂点座標と基準となる直角二等辺三角形の頂点座標とからアフィン変換係数ａ〜ｆを求めて、その結果をアフィン変換部102 に供給する。これにより、アフィン変換係数ａ〜ｆを受けたアフィン変換部102 では、レイヤ画像のデータから三角パッチABD およびそのシェイプ領域の各点の座標値を上述した式(2) によってアフィン変換して正規化し、その結果を輪郭距離算出部104 に供給する。

次に、正規化された三角パッチABD およびそのシェイプ領域の座標値を受けた輪郭距離演算部104 では三角パッチの辺から輪郭までの距離を順次算出して、その結果を三角パッチの頂点座標とともに輪郭データとして補間オブジェクト画像生成部12に供給する。

三角パッチABD の演算が終了すると、シェイプ計算部10は、上記と同様に三角パッチBCD の正規化およびそのシェイプ領域の輪郭距離を求めて、その輪郭データを補間オブジェクト画像生成部12に供給する。この結果、補間オブジェクト画像生成部12に時刻t0のフレームのボールＬの輪郭データが供給される。

次に、シェイプ計算部10に時刻t2のフレームでのボールＬの頂点データA'B'C'D'とそのレイヤ画像が供給されると、上記と同様に、シエイプ計算部10はボールＬを三角パッチA'B'D'および三角パッチB'C'D'に分割して、それらを直角二等辺三角形に正規化して、正規化した三角パッチの座標とシェイプ領域の輪郭距離とで表わす輪郭データを補間オブジェクト画像生成部12に供給する。

次に、輪郭データを受けた補間オブジェクト画像生成部12では、まず、その頂点位置推定部120 にて頂点ファイルから時刻t0のフレームでのボールＬの頂点データABCDと時刻t2のフレームでの頂点データA'B'C'D'を読み出す。次に、頂点位置推定部120 は、シエイプ計算部10と同様に、それぞれの時刻t0,t2 でのボールＬを三角パッチにて分割して、これらから時刻t1の補間フレームでのボールＬの三角パッチA''B''C''D''のそれぞれの頂点位置を上述した式(3),(4) に基づいて求め、その結果を第１のアフィン変換係数演算部122 および第２のアフィン変換係数演算部128 に供給する。

次に、補間画像の三角パッチの頂点座標を受けた第１のアフィン変換係数演算部122 では、シェイプ計算部10のアフィン変換係数演算部100 と同様に、それぞれの三角パッチと基準となる直角二等辺三角形との間にてアフィン変換係数を求め、それらの結果をアフィン変換部126 に供給する。

一方、輪郭距離推定部124 には、シェイプ計算部10から時刻t0,t2 の輪郭データが供給されて、これに基づいて補間画像でのそれぞれの三角パッチと輪郭との距離が上述した式(5) によって求められる。その結果はアフィン変換部126 に供給される。これにより、アフィン変換部126 は、正規化された補間画像での三角パッチおよびシェイプ領域のそれぞれの点の座標を第１のアフィン変換係数演算部122 からのアフィン変換係数にて変換して、実際の画像での三角パッチおよびシェイプ領域の座標に変換する。その結果は、順次テクスチャ推定部130 に供給される。

他方、第２のアフィン変換係数演算部128 には、頂点位置推定部120 にて推定した時刻t1の補間画像における三角パッチの頂点座標と時刻t0,t2 の三角パッチの頂点座標がそれぞれ供給されて、補間画像の三角パッチと時刻t0の三角パッチとの間のアフィン変換係数および補間画像の三角パッチと時刻t2の三角パッチとの間のアフィン変換係数がそれぞれ求められて、これらがテクスチャ推定部130 に供給される。これにより、テクスチャ推定部130 は、補間画像の三角パッチの座標をそれぞれのアフィン変換係数にてアフィン変換して、補間画像のそれぞれの画素位置を時刻t0,t2 の画素位置に対応付ける。

次に、テクスチャ推定部130 は、対応付けた時刻t0,t2 の画素の値から補間画像の対応の画素値を順次上述した式(6) によって求め、補間画像のボールＬのテクスチャを求める。この結果、図９に示すように、時刻t1の補間フレームでのボールＬのオブジェクト画像が生成されて、補間画像合成部14に供給される。この場合、ボールＬは時刻t0の画像から時計回りに90度回転して、左にわずかに移動した様子が描かれている。

次に、補間オブジェクト画像生成部12からのオブジェクト画像を受けた補間画像合成部14では、オブジェクト画像を空間的に後ろに位置するものから順次１枚のフレームにマッピングして補間フレームを形成し、その結果を出力する。本実施例の場合、背景に補間オブジェクト画像生成部12にて生成したボールＬの画像が合成されて出力される。

以上のように、本実施例の補間画像生成装置および輪郭データ生成方法によれば、三角パッチとそのシェイプ領域の輪郭距離とのデータにて輪郭形状を表わすことにより、それぞれのオブジェクトの輪郭に沿った取り扱いを可能にして、かつ、オブジェクトを細かく分割することなく、また、三角パッチをオブジェクト周辺まで広くとる必要がないので、生成した補間画像の輪郭または周辺の画像の歪みを極めて少なくすることができる。

また、三角パッチとそのシェイプ領域の距離とのデータにて輪郭形状を表わすことにより、補間画像のオブジェクトの輪郭の形状およびテクスチャの推定を線形予測を用いた簡単な演算にて求めることができる。

次に、図10には、本発明による補間画像生成装置の第２の実施例が示されている。本実施例による補間画像生成装置は、動画像中にて他のオブジェクトに隠れた領域を有するオブジェクトがある場合に、その隠蔽領域の画像を推定して、その推定した画像に基づいて補間フレームのオブジェクト毎の補間画像を正確に生成して、それらの画像を合成することにより補間フレームを形成する画像生成装置である。特に、本実施例では、隠蔽領域を推定する際に、入力フレームのオブジェクトを三角形のパッチにて分割し、分割した三角パッチの頂点の座標値を他のフレームの対応のパッチまたはその近辺のパッチから推定し、隠蔽領域のパッチのテクスチャを他のフレームの対応の三角パッチから推定する点が主な特徴点である。

なお、図10において上記実施例と同様の部分には同符号を付して、その説明は可能な限り省略し、以下、異なる部分のみを詳細に説明する。

具体的には本実施例による補間画像生成装置は、図10に示すように、隠蔽領域補間部20と、補間オブジェクト画像生成部30と、補間画像合成部14とを含み、隠蔽領域補間部20には、それぞれのオブジェクトのレイヤ画像と、頂点ファイルからの頂点データと、入力画像のデータがそれぞれ供給される。

詳細には、隠蔽領域補間部20は、それぞれのフレームのオブジェクトに他のオブジェクトに隠れた隠蔽領域があるか否かを検出して、隠蔽領域がある場合にその隠蔽領域を補間してそれぞれのオブジェクト画像を生成する画像処理回路であり、本実施例では、頂点座標値推定部22と、隠蔽領域推定部24と、テクスチャ推定部26とを含む。

頂点座標値推定部22は、オブジェクト毎のレイヤ画像と頂点データとに基づいて動画像中のオブジェクトを三角パッチにて分割してその三角パッチの座標値から隠蔽領域を検出する検出回路であり、他のオブジェクトに隠れた隠蔽領域を検出した際にその三角パッチの頂点の座標値を他のフレームのパッチ群の頂点の座標値から推定する推定回路である。たとえば、本実施例の頂点座標値推定部22は図11に示すように、推定判断部220 と、参照パッチ検出部222 と、アフィン変換係数演算部224 と、変換推定部226 と、参照フレーム検出部228 と、線形推定部230 とを含む。

推定判断部220 は、三角パッチの各頂点が隠蔽領域内に含まれるか否か、および頂点の座標値の推定の必要があるか否かを判定する判定回路であり、頂点ファイルからの頂点座標が定義されている場合と定義されない場合とに分けて処理を実行する処理回路である。たとえば、頂点ファイルからの頂点座標値が定義されているがその頂点が他のオブジェクトに重なってレイヤ画像では有効領域の範囲外にあると判定する場合であって、この場合、頂点座標値を推定する必要がないが、その三角パッチは隠蔽領域に含まれると判断して、これを示す信号を参照パッチ検出部222 に供給する。

一方、頂点ファイルからの頂点座標値が定義されない値、たとえば本実施例では(-9999,-9999) などの値で表わされる頂点座標値が与えられた場合であって、この場合、三角パッチの頂点位置が他のオブジェクトに明らかに隠れて、頂点座標値を推定する必要があると判定して、その結果を示す信号を参照パッチ検出部222 に供給する。たとえば、図18に示すように、時刻t10 のフレームにてオブジェクトの中央下部の一部が他のオブジェクトに隠れている場合、その三角パッチC1-G1-E1の頂点E1が未定義であると判定して、その結果を出力する。

参照パッチ検出部222 は、推定判断部220 の判定結果に基づいて隠蔽領域の三角パッチの頂点座標値を推定するための参照パッチを検出する検出回路であり、座標値の推定の必要があると判定されたフレームの頂点について他のフレームでこの頂点の座標値が定義されているフレームを検出し、それぞれのフレームで三角パッチの三頂点が定義されており座標値を推定する頂点に近い三角パッチを検出する。たとえば、図18に示すように、時刻t10 のフレームの三角パッチC1-G1-E1の頂点E1の座標値を推定する際に、これに対応する頂点E0が定義された時刻t0のフレームを検出し、また、時刻t10 にて頂点E1の近辺にて三頂点が定義された三角パッチB1-C1-G1を検出して、さらに、これに対応する時刻t0のフレームの三角パッチB0-C0-G0を検出して、その結果をアフィン変換係数演算部224 に供給する。また、三頂点が定義された三角パッチを含むフレームが検出できないときはその結果をアフィン変換係数演算部224 および参照フレーム検出部228 に指示する信号を出力する。

アフィン変換係数演算部224 は、参照パッチ検出部222 にて検出した三角パッチ間の形状変形の変換係数を求める演算回路であり、頂点の座標値を推定する必要がある頂点の近辺の三角パッチについて、頂点座標値を推定する時刻の三頂点と他のフレームの三頂点からアフィン変換係数を求める。その演算式は、上記実施例にて説明した式(1) と同様の式であり、上記と同様に６つの係数ａ〜ｆを求め、その結果をたとえば、参照パッチの対応点E0の座標値ととも変換推定部226 に供給する。

変換推定部226 は、アフィン変換係数演算部224 から供給された座標値をアフィン変換係数ａ〜ｆを用いて変換して、隠蔽領域の三角パッチの定義されていない頂点の座標値を推定する処理回路であり、上記実施例と同様に式(2) を用いて対応点の座標値を変換して、その値を隠蔽領域の三角パッチの頂点の座標値として求める演算回路である。求めた結果は、隠蔽領域推定部24と補間オブジェクト画像生成部30にそれぞれ供給される。

一方、参照フレーム検出部228 は、座標値を推定する隠蔽領域の頂点について座標値が頂点ファイルで定義されている他の時刻の２つのフレームを検出する検出回路であり、本実施例では参照パッチ検出部222 にて参照パッチが検出されないときのみ動作する。たとえば、図15にて時刻t10 の頂点E1の近辺の三角パッチB1-C1-G1が検出できないとき、あるいは時刻t0にて三角パッチB0-C0-G0が検出できないときは、頂点E1に対応して定義された点E0を含む時刻t0のフレームと、同様に点E2を含む時刻t20 のフレームを参照フレームとして検出し、その結果を線形推定部230 に供給する。

線形推定部230 は、参照フレーム検出部228 にて検出されたフレームでの頂点の座標値に基づいて座標値が未定義な隠蔽領域の三角パッチの頂点の座標値を線形予測する演算回路である。たとえば、図15にて時刻t0の頂点E0の座標値を(x4, y4) とし、時刻t20 の頂点E2の座標値を(x5,y5) とすると、時刻t10 の隠蔽領域の頂点E1の座標値(x6,y6) は次式(7) にて求められる。
x6={(t10-t0)・x5+(t20-t1)・x4}/(t20-t0) ・・・(7)
y6={(t10-t0)・y5+(t20-t1)・y4}/(t20-t0) ・・・(8)
線形推定部230 は、参照フレーム検出部228 と同様に参照パッチ検出部222 にて参照パッチが検出できないときのみ動作し、その結果は隠蔽領域推定部24および補間オブジェクト画像生成部30に供給される。

隠蔽領域推定部24は、頂点座標値推定部22にて推定した座標値に基づいて隠蔽領域の範囲を推定する処理回路であり、本実施例では、たとえば図12に示すように、参照フレーム検出部240 と、第１のアフィン変換部242 と、輪郭距離演算部244 と、輪郭距離推定部246 と、第２のアフィン変換部248 とを含む。

参照フレーム検出部240 は、頂点座標値推定部22からの座標値とレイヤ画像とに基づいて隠蔽領域を含むフレームに隣接して隠蔽領域のない三角パッチを含む少なくとも２個のフレームを検出する検出回路であり、たとえば、図15では頂点座標値推定部22から時刻t1のフレームの頂点E1の座標値が供給されると、その三角パッチC1-E1-G1に対応する三角パッチで隠蔽領域を含まない時刻t0のフレームと時刻t20 のフレームとをそれぞれ検出する。その結果は、第１のアフィン変換部242 に供給される。

第１のアフィン変換部242 は、参照フレーム検出部240 にて検出したフレームのそれぞれの三角パッチを正規化する正規化回路であり、検出した三角パッチと基準となる直角二等辺三角形との間にてアフィン変換係数を求めて、その変換係数にてそれぞれのフレームの三角パッチおよびシェイプ領域をアフィン変換して正規化する。その結果は、輪郭距離演算部244 に供給される。

輪郭距離演算部244 は、第１のアフィン変換部242 にて正規化した参照フレームの三角パッチおよびシェイプ領域にてそれぞれの三角パッチの辺から輪郭までの距離を求める演算回路であり、たとえば、輪郭に向かう三角パッチの辺の所定の位置にて輪郭までの距離を算出する。それらの結果は、輪郭距離推定部246 に供給される。

輪郭距離推定部246 は、輪郭距離算出部244 からの算出結果に基づいて隠蔽領域を含むフレームでの三角パッチから輪郭までの距離を推定する回路であり、本実施例の場合、上記実施例と同様に正規化された三角パッチにてその輪郭距離を式(5) と同様の式にて線形予測する。求めた隠蔽領域での輪郭距離は三角パッチの座標値とともに第２のアフィン変換部248 に供給される。

第２のアフィン変換部248 は、正規化された隠蔽領域の三角パッチと頂点座標値推定部240 にて推定した隠蔽領域の三角パッチとの間にてアフィン変換係数を求め、その変換係数を用いて正規化された隠蔽領域の三角パッチと輪郭距離推定部246 にて求めた値にて含まれるシェイプ領域の各点をアフィン変換して隠蔽領域の範囲を推定する演算回路である。推定した結果は、テクスチャ推定部26および補間オブジェクト画像生成部30に供給される。

テクスチャ推定部26は、隠蔽領域推定部24にて推定された隠蔽領域の範囲のそれぞれの点の画素値を他のフレームの対応するパッチから予測して、隠蔽領域のテクスチャを求める処理回路であり、本実施例では、たとえば、図13に示すように、参照フレーム検出部260 と、アフィン変換係数演算部262 と、参照位置計算部264 と、画素値推定部266 とを含む。

参照フレーム検出部260 は、隠蔽領域を含むフレームに隣接して隠蔽領域を含まない少なくとも２個のフレームを検出する検出回路であり、図18では時刻t0のフレームと時刻t20 のフレームをそれぞれ検出する。その結果は、アフィン変換係数演算部262 に供給される。

アフィン変換係数演算部262 は、参照フレーム検出部260 にて検出したそれぞれのフレームの三角パッチと隠蔽領域推定部24にて推定した隠蔽領域の三角パッチとの間にてアフィン変換係数を求める演算回路であり、上記実施例と同様に式 (1) を用いてアフィン変換係数を算出する。その結果は、参照位置計算部264 に供給される。

参照位置計算部264 は、アフィン変換係数演算部262 にて求めたアフィン変換係数を用いて隠蔽領域のそれぞれの画素の座標値をアフィン変換する変換回路であり、参照フレーム検出部260 にて検出したフレームの三角パッチ毎にアフィン変換して隠蔽領域の画素に対応するそれぞれのフレームの画素位置を検出する検出回路である。それらの結果は画素値推定部266 へ供給される。

画素値推定部266 は、参照位置計算部264 にて対応付けた２個のフレームの画素値に基づいて隠蔽領域の画素値を推定する処理回路であり、上記実施例における補間オブジェクト画像生成部12のテクスチャ推定部130 にて用いた式(6) と同様の式にて画素値を線形推定する演算回路である。その演算結果は、補間オブジェクト画像生成部30に供給される。

本実施例による補間オブジェクト画像生成部30は、図14に示すように、頂点位置推定部300 と、第１のアフィン変換係数演算部302 と、第１のアフィン変換部304 と、輪郭距離推定部306 と、第２のアフィン変換部308 と、第２のアフィン変換係数演算部310 と、画素値推定部312 とを含む。なお、本実施例の補間オブジェクト画像生成部30は、基本的には上記実施例の補間オブジェクト画像生成部12と同様の機能を有する。しかし、各部の入出力関係が上記と異なるので、それらの点を中心に以下、極力簡単化して説明する。

頂点位置推定部300 は、隣接するフレームのオブジェクトの三角パッチの頂点の座標値から補間画像のオブジェクトの三角パッチの頂点の座標値を線形推定する演算回路であり、本実施例では隠蔽領域補間部20の頂点座標値推定部22を介してそれぞれのフレームでのオブジェクトの頂点データを受けて、推定した隠蔽領域の座標値を含む頂点データに基づいて補間画像の三角パッチのそれぞれの頂点の座標値を求める。その結果は、第１のアフィン変換係数演算部302 および第２のアフィン変換係数演算部310 に供給される。

第１のアフィン変換係数演算部302 は、頂点位置推定部300 にて推定した補間画像の三角パッチおよび隣接するフレームの三角パッチと基準となる直角二等辺三角形とからそれぞれのアフィン変換係数を求める演算回路である。それらの結果は、第１のアフィン変換部304 および第２のアフィン変換部308 にそれぞれ供給される。

第１のアフィン変換部304 は、第１のアフイン変換係数演算302 からのアフィン変換係数を用いて参照画像の三角パッチおよびシェイプ領域を正規化する演算回路であり、参照画像に隠蔽領域がある場合に隠蔽領域推定部24からの正規化した三角パッチおよびそのシェイプ領域の値を補間して出力する。その結果は、輪郭距離推定部306 に供給される。

輪郭距離推定部306 は、第１のアフィン変換部からの正規化した三角パッチおよびシェイプ領域の値からそれぞれの三角パッチの辺から輪郭までの距離を求めて、その結果から補間画像での三角パッチと輪郭との間の距離を推定する演算回路である。その結果は、補間画像の三角パッチの座標値とともに第２のアフィン変換部308 に供給される。

第２のアフィン変換部308 は、正規化された補間画像の三角パッチおよびシェイプ領域の座標値を第１のアフィン変換係数演算部302 からのアフィン変換係数を用いてアフィン変換して、実際の画像の三角パッチおよびシェイプ領域の座標値に戻す演算回路である。その結果は、画素値推定部312 に供給される。

一方、第２のアフィン変換係数演算部310 は、頂点位置推定部300 にて推定した補間画像の三角パッチと隣接フレームの三角パッチとからアフィン変換係数を算出する演算回路であり、その結果は画素値推定部312 に供給される。

画素値推定部312 は、第２のアフィン変換係数演算部からのアフィン変換係数を用いて隣接するフレームの画像と補間画像のそれぞれの画素とを対応付け、その結果に基づいて補間画像の画素値を隣接するフレームの画素値から推定する演算回路であり、参照フレームに隠蔽領域がある場合は隠蔽領域補間部20のテクスチャ推定部26にて推定した画素値を用いて補間画像の画素値を推定する。その結果から補間フレームのオブジェクト画像がそれぞれ生成されて、それぞれのオブジェクト画像は、補間画像合成部14に供給される。

補間画像合成部14は、上記実施例と同様に補間オブジェクト画像生成部30からのオブジェクトを１枚のフレームに合成して出力する画像処理回路であり、補間画像を空間的に後ろに位置するものから順次マッピングして補間フレームを形成するフレーム生成回路である。

以上のような構成において、本実施例による補間画像生成装置の動作を本実施例による隠蔽領域推定方法とともに説明する。本実施例の場合、たとえば、図15に示すように、画面の左側にあったボールＬがたとえばカレンダのような矩形状のオブジェクトＫの前を横切って右側に転がる場合の動画像を例に挙げて説明する。

動作状態において、まず、時刻t0のフレームが隠蔽領域補間部20に供給されると、頂点座標値推定部220 にてそれぞれのオブジェクトのレイヤ画像と頂点ファイルの頂点データからそれぞれのオブジェクトに隠蔽領域があるか否かが検出される。この場合、時刻t0のフレームではオブジェクトに隠蔽領域がないので、それぞれのデータは、隠蔽領域補間部20を介して補間オブジェクト画像生成部30にそのまま供給される。

次に、時刻t10 のフレームが隠蔽領域補間部20に供給されると、その頂点座標値推定部22にてカレンダＫの下部に定義されない頂点E1が含まれることが検出されて、隠蔽領域補間部20での隠蔽領域の補間動作が開始する。まず、隠蔽領域の頂点を検出した推定判断部220 は、参照パッチ検出部222 に頂点E1の座標値を推定する必要がある旨を示す信号を供給する。

これにより、参照パッチ検出部222 は、頂点E1に対応する定義された頂点を含むフレームを探索して、定義された頂点E0を含む時刻t1のフレームを検出する。次いで、参照パッチ検出部222 は時刻t10 のフレームにて頂点E0の付近の定義された三頂点を含む三角パッチB1-C1-G1を検出し、これとともに時刻t0のフレームにて三角パッチB1-C1-G1に対応する三頂点が定義された三角パッチB0-C0-G0を検出し、それらの座標値をアフィン変換係数演算部224 に供給する。この際、定義された三角パッチB1-C1-G1または三角パッチB0-C0-G0が検出できないときは、その旨を指示する信号を参照フレーム検出部228 に供給する。本実施例では、参照パッチが検出できるので、参照フレーム検出部228 および線形推定部230 は動作しない。なお、動作する場合には、参照フレーム検出部228 は、時刻t20 のフレームの入力を待って、頂点E0を含む時刻t0のフレームと頂点E2を含む時刻t20 のフレームを検出して、それらの頂点座標値を線形推定部230 に供給する。これにより、線形推定部230 は頂点E0,E2 の座標値から線形推定により頂点E1の座標値を求めて、その結果を隠蔽領域推定部24および補間オブジェクト画像生成部30に供給する。

一方、本実施例の場合、三角パッチB0-C0-G0,B1-C1-G1 を受けたアフィン変換係数演算部224 にて、これらの三角パッチからアフィン変換係数が求められて、その結果が変換推定部226 に供給される。これにより、アフィン変換係数を受けた変換推定部226 は、時刻t0のフレームの頂点E0の座標値をアフィン変換して、その値を頂点E1の座標値として隠蔽領域推定部24および補間オブジェクト画像生成部30に供給する。

次に、隠蔽領域推定部24では、参照フレーム検出部240 に隠蔽領域の推定された頂点E1の座標値を受けると、まず、その頂点E1に対応する頂点E0を含む時刻t0のフレームが検出され、次いで、時刻t20 のフレームが供給されると、これを検出して、その結果を第１のアフィン変換部242 に供給する。この際、頂点位置検出部22では、時刻t20 のオブジェクトに隠蔽領域がないので、それぞれのデータは、そのまま隠蔽領域推定部24および補間オブジェクト画像生成部30に供給される。

次に、参照フレームを受けた第１のアフィン変換部242 では、時刻t0の三角パッチと基準となる直角二等辺三角形からアフィン変換係数を求め、それぞれの三角パッチおよびそのシェイプ領域を正規化し、同様に時刻t20 の三角パッチと基準となる直角二等辺三角形からアフィン変換係数を求め、それぞれの三角パッチおよびそのシェイプ領域を正規化する。それらの結果は順次、輪郭距離演算部244 に供給される。参照フレームの正規化した三角パッチおよびシェイプ領域の座標値を受けた輪郭距離演算部244 は、それぞれの三角パッチにて輪郭までの距離を算出して、その結果を輪郭距離推定部246 に供給する。

これにより、輪郭距離推定部246 は、時刻t0,t20の正規化された三角パッチでの輪郭距離からそれらの線形予測により、隠蔽領域での正規化された三角パッチでの輪郭距離を推定して、その結果を第２のアフィン変換部248 に供給する。第２のアフィン変換部248 では、頂点座標値推定部22からの隠蔽領域の三角パッチと正規化された三角パッチとからアフィン変換係数を求め、その変換係数にて三角パッチとそのシェイプ領域の座標をアフィン変換して、実際の画像での隠蔽領域の範囲を推定して、その結果をテクスチャ推定部26および補間オブジェクト画像生成部30に供給する。

次に、隠蔽領域推定部24からの結果を受けたテクスチャ推定部26では、まず、参照フレーム検出部260 にて時刻t0のフレームと時刻t20 のフレームを検出してそれらの隠蔽領域に対応する三角パッチをアフィン変換係数演算部262 に供給する。これにより、アフィン変換係数演算部262 では、隠蔽領域の三角パッチと時刻t0の対応の三角パッチとの間にてアフィン変換係数を求め、さらに隠蔽領域の三角パッチと時刻t20 の三角パッチとの間にてアフィン変換係数を求めて、これらを参照位置計算部264 に供給する。

次に、それぞれのアフィン変換係数を受けた参照位置計算部264 は、隠蔽領域の三角パッチおよびそのシェイプ領域の画素位置を時刻t0の三角パッチとの間にて求めたアフィン変換係数にて変換して、隠蔽領域の三角パッチおよびそのシェイプ領域と時刻t0の三角パッチおよびシェイプ領域の画素位置を対応付ける。同様に、隠蔽領域の三角パッチとそのシェイプ領域の画素位置を時刻t20 の三角パッチとの間にて求めたアフィン変換係数にて変換して、隠蔽領域の三角パッチと時刻t20 の三角パッチとそのシェイプ領域の画素位置を対応付ける。この結果、隠蔽領域の三角パッチとそのシェイプ領域の画素位置に対応する時刻t0,t20の三角パッチとそのシェイプ領域がそれぞれ対応付けられ、その結果が画素値推定部266 に供給される。

これにより、画素値推定部266 は、時刻t0,t20の対応の画素の値から隠蔽領域のそれぞれの画素値を線形推定して、その結果を補間オブジェクト画像生成部30に供給する。

以下、補間オブジェクト画像生成部30では、上記実施例と同様に、時刻t0のオブジェクトと、隠蔽領域を補間した時刻t10 のオブジェクトから、たとえば、時刻t5の補間画像を生成し、また、隠蔽領域を補間した時刻t10 のオブジェクトと時刻t20 のオブジェクトとから時刻t15 の補間画像を生成して、その結果を補間画像合成部14に供給する。

この結果、補間画像合成部14は、オブジェクト画像を空間的に後ろに位置するものから順次１枚のフレームにマッピングして補間フレームを形成し、その結果を出力する。本実施例の場合、カレンダＫの左端付近または右端付近にボールＬの画像がわずかにかかる合成されて出力される。

以上のように本実施例の補間画像生成装置および隠蔽領域推定方法によれば、隠蔽領域補間部20の頂点座標値推定部22にて隠蔽領域の頂点座標を検出して、その隠蔽領域の範囲を隠蔽領域推定部24にて推定して、さらにテクスチャ推定部26にて隠蔽領域のテクスチャを推定するので、オブジェクト画像に隠蔽領域が含まれる場合でも補間画像を有効に生成することができる。

図16には、本発明による補間画像生成装置の第３の実施例が示されている。本実施例による補間画像生成装置は、動画像中に複数の異なる動きのオブジェクトがある画像にて、それらに隠れた領域を有するオブジェクトが存在する場合に、その隠蔽領域を補間して、かつ補間したオブジェクトを含むすべてのオブジェクトの輪郭データを生成して、その輪郭データに基づいて補間画像を有効に生成する画像処理装置である。特に、本実施例にて上記第２の実施例と異なる点は、隠蔽領域を推定する前に複数のオブジェクトの有効領域をあらかじめ検出するオブジェクト検出部40を含む点と、隠蔽領域を推定した後に、それぞれのオブジェクトの輪郭データを生成する上記第１の実施例と同様のシェイプ領域計算部46を含む点である。

その詳細を説明すると、本実施例の補間画像生成装置は、図16に示すように、オブジェクト検出部40と、頂点位置推定部42と、隠蔽領域推定部44と、シェイプ領域計算部46と、補間オブジェクト画像生成部48と、補間画像合成部14とを含み、オブジェクト検出部40にはそれぞれのオブジェクトのレイヤ画像と入力フレームの画像が供給され、頂点位置推定部42にはレイヤ画像と頂点ファイルのデータとが供給され、隠蔽領域推定部44には入力フレームの画像とオブジェクト検出部40および頂点位置推定部42からの出力とがそれぞれ供給される。

オブジェクト検出部40は、入力フレームの画像をそれぞれのオブジェクトを示すレイヤ画像に基づいて、それぞれのオブジェクトの有効領域の画像を切り出す画像検出回路である。たとえば、入力フレームの画像が図20に示すように、カレンダＫと、ボールＬと、汽車Ｍの３つの画像を含む場合、レイヤ画像はそれぞれ図21ないし図23に示すような画像が与えられる。オブジェクト検出部40は、これらから図24に示すような、たとえばカレンダＫの有効領域の画像を切り出して、その結果を出力する。

頂点位置推定部42は、オブジェクトの隠蔽領域を検出して定義されていない三角パッチの頂点位置を検出する上記第２の実施例の頂点座標値推定部22とほぼ同様の機能を含む回路である。たとえば、本実施例では、図17に示すように、推定判断部220 と、参照パッチ検出部222 と、アフィン変換係数計算部224 と、座標値推定部（変換推定部）226 とを含み、隠蔽領域の近辺の三角パッチから定義されていない頂点の座標値を推定して出力する。

隠蔽領域推定部44は、頂点位置推定部42からの推定した三角パッチとオブジェクト検出部40からのそれぞれのオブジェクトの有効領域と入力フレームの画像から隠蔽領域の画素値を推定する処理回路である。この回路にて上記実施例と異なる点は、上記実施例ではそれぞれの三角パッチを正規化してから隠蔽領域の画素値を求めていた。しかし、本実施例では、後段にシェイプ領域計算部46を有するので、上記第２の実施例のテクスチャ推定部26と同様な構成でよい。たとえば、図18に示すように、参照フレーム検出部260 と、アフィン変換係数演算部262 と、参照画素位置計算部264 と、テクスチャ推定部（画素値推定部）266 とを含み参照フレームの三角パッチと隠蔽領域の三角パッチとを形状変換により対応付けて、それらの線形予測により、隠蔽領域の画素値を推定する。

シェイプ領域計算部46は、隠蔽領域推定部44にて補間したそれぞれのデータに基づいて輪郭データを生成する、すなわち、隠蔽領域を含まない上記第１の実施例と同様にそれぞれのオブジェクトを三角パッチに分割して、それぞれの三角パッチを正規化して、その三角パッチおよび輪郭距離にて表わす輪郭データを生成する。

補間オブジェクト画像生成部48は、シェイプ領域計算部46からの輪郭データに基づいてそれぞれのオブジェクトの補間画像を生成する画像処理装置であり、本実施例では図19に示すように、上記第２の実施例の第２のアフィン変換部308 を省いた構成となっている。

動作状態において、まず、時刻t0のフレームおよびそれぞれのレイヤ画像が供給されると、オブジェクト検出部40は、それぞれのオブジェクトの有効領域を検出して、その結果を隠蔽領域推定部44に供給する。この際、頂点位置推定部42は頂点ファイルのデータを受けてそれぞれのオブジェクトに隠蔽領域があるか否かを検出する。たとえば、時刻t0のフレームにてオブジェクトに隠蔽領域がない場合、それぞれの入力画像のデータおよびオブジェクトの有効領域を表わすデータは隠蔽領域推定部44を介してシェイプ領域計算部46に供給される。これにより、シエイプ領域計算部46は、上記第１の実施例と同様にそれぞれのオブジェクトの輪郭データを形成して、その結果を補間オブジェクト画像生成部48に供給する。

次に、たとえば、図20に示す時刻t10 のフレームの画像および図21ないし図23に示すレイヤ画像がオブジェクト検出部40に供給されると、オブジェクト検出部40は、たとえば、図24に示すオブジェクトの有効領域のデータを生成して、その結果を隠蔽領域推定部44に供給する。この際、頂点位置推定部42では、頂点ファイルのデータとレイヤ画像から隠蔽領域を検出して、その領域の頂点位置を検出して、その結果を隠蔽領域推定部44に供給する。これにより、隠蔽領域推定部44は、隠蔽領域の画素値を時刻t0のフレームの参照パッチから推定して、その結果をシェイプ領域計算部46に供給する。

シェイプ領域計算部46は、上記と同様に時刻t10 のオブジェクトの輪郭データを生成して、その結果を補間オブジェクト画像生成部48に供給する。これにより補間オブジェクト画像生成部48は、時刻t0と時刻t10 のそれぞれの輪郭データからたとえば、時刻t5の補間フレームでのそれぞれのオブジェクトとを生成して、生成したオブジェクト画像を補間画像合成部14に供給する。

この結果、補間画像合成部14は、オブジェクト画像を空間的に後ろに位置するものから順次１枚のフレームにマッピングして補間フレームを形成し、その結果を出力する。

以上のように本実施例の補間画像生成装置によれば、入力フレームとそれぞれのレイヤ画像からオブジェクトの有効領域を検出して、そのオブジェクトに隠蔽領域がある場合には隠蔽領域の画素を補間して、その補間したオブジェクトに基づいて輪郭データを生成するので、隠蔽領域を含むオブジェクトからも有効に補間画像を生成することができる。この場合、輪郭データを生成することにより、輪郭形状の歪みが少ない画像を得ることができる。また、隠蔽領域を補間する回路を簡単化することができ、演算量をさらに少なくすることができる。

次に、図25には、本実施例による補間画像生成装置の第４の実施例が示されている。本実施例による補間画像生成装置は、たとえば、アニメーションなどのそれぞれのオブジェクトのセル画像を入力して、その補間フレームを生成する画像処理装置であり、図に示すように、オブジェクト領域検出部40と、シェイプ領域計算部46と、補間オブジェクト画像生成部48と、補間画像合成部14とを含む。

オブジェクト領域検出部40は、それぞれの時刻のセル画像およびレイヤ画像からそれぞれのオブジェクトの有効領域を検出して、その結果をシェイプ領域計算部46に供給する。

シェイプ領域計算部46は、オブジェクト領域検出部40からの出力とオブジェクトデータファイルからの頂点データを受けて、それぞれのオブジェクトを三角パッチにて分割し、上記と同様に輪郭データを生成する。その結果は、補間オブジェクト画像生成部48に供給される。

補間オブジェクト画像生成部48は、上記と同様に、隣接フレームから補間フレームのオブジェクトをそれぞれ生成して、その結果を補間画像合成部14に供給する。

補間画像合成部14は、補間オブジェクト画像生成部48からのオブジェクト画像を空間的に後ろに位置するものから順次１枚のフレームにマッピングして補間フレームを形成し、その結果を出力する。

以上のように本実施例の補間画像生成装置によれば、アニメーションのような隠蔽領域を持たないオブジェクト毎の画像を入力して、オブジェクト毎に補間画像を生成し、それらを合成することにより有効に補間フレームを生成することができる。また、オブジェクト毎に入力画像を処理して、オブジェクト毎の補間画像を生成することにより、複数の動きの異なるオブジェクトが存在する動画像から補間画像を生成することが可能である。さらに、入力されるオブジェクトが隠蔽領域を持たないので、隠蔽領域を推定する回路を省くことができ、簡単な回路構成にて処理を実行することができる。たとえば、アニメーションでは、オブジェクト毎の画像を毎フレーム作成して、オブジェクト同士の位置を少しづつずらして１フレーム毎に撮影し、動画像を作成する手法がある。しかし、完成までには多くの工程を要する。本実施例では、オブジェクト毎のセル画像を数フレームに１枚作り、オブジェクトを分割する三角パッチの位置を指定することにより、作成工程を省いたフレームを自動的に作成することができる。これにより、アニメーションなどの人工的な動画像を生成する場合に、生成の工程数を減らすことができるなどの効果を奏する。

なお、上記各実施例においては、オブジェクトを分割した三角パッチを直角二等辺三角形にて正規化して処理しているが、本発明においては三角パッチを正三角形などの他の三角形にて正規化してもよい。また、上記各実施例ではオブジェクトを三角形のパッチに分割して処理しているが、本発明においては四角形などの他の多角形を用いてもよい。この場合、パッチが四角形の際には、アフィン変換ではなく共１次変換や透視変換などを用いるとよい。

本発明による輪郭データ生成方法が適用された補間画像生成装置の第１の実施例を示す機能ブロック図である。 図１の実施例による補間画像生成装置のシェイプ計算部の構成例を示す機能ブロック図である。 図１の実施例による補間画像生成装置の補間オブジェクト画像生成部の構成例を示す機能ブロック図である。 図１の実施例による補間画像生成装置に適用されるオブジェクトの分割例を示すフレーム図である。 図１の実施例による補間画像生成装置での三角パッチの正規化例を示す図である。 図１の実施例による補間画像生成装置での三角パッチにおける頂点位置の推定例を示す図である。 図１の実施例による補間画像生成装置での補間画像の三角パッチの推定例を示す図である。 図１の実施例による補間画像生成装置での補間画像の画素値の推定例を示す図である。 図１の実施例による補間画像生成装置での補間フレームの生成例を示す図である。 本発明による隠蔽領域推定方法が適用された補間画像生成装置の第２の実施例を示す機能ブロック図である。 図10の実施例による補間画像生成装置の頂点座標値推定部の構成例を示す機能ブロック図である。 図10の実施例による補間画像生成装置の隠蔽領域推定部の構成例を示す機能ブロック図である。 図10の実施例による補間画像生成装置のテクスチャ推定部の構成例を示す機能ブロック図である。 図10の実施例による補間画像生成装置の補間オブジェクト画像生成部の構成例を示す機能ブロック図である。 図10の実施例による補間画像生成装置の動作および隠蔽領域推定方法を説明するための図である。 本発明による補間画像生成装置の第３の実施例を示す機能ブロック図である。 図16の実施例による補間画像生成装置の頂点位置推定部の構成例を示す機能ブロック図である。 図16の実施例による補間画像生成装置の隠蔽領域推定部の構成例を示す機能ブロック図である。 図16の実施例による補間画像生成装置の頂点位置推定部の構成例を示す機能ブロック図である。 図16の実施例による補間画像生成装置への入力画像の例を示す図である。 図16の実施例による補間画像生成装置へのレイヤ画像の例を示す図である。 図16の実施例による補間画像生成装置へのレイヤ画像の例を示す図である。 図16の実施例による補間画像生成装置へのレイヤ画像の例を示す図である。 図16の実施例による補間画像生成装置でのオブジェクトの有効領域を示す図である。 本発明による補間画像生成装置の第４の実施例を示す機能ブロック図である。

符号の説明

10,46 シェイプ計算部
12,30,48 補間オブジェクト画像生成部
14 補間画像合成部
20 隠蔽領域補間部
22,42 頂点座標値推定部
24,44 隠蔽領域推定部
26 テクスチャ推定部
40 オブジェクト検出部
100 アフィン変換係数演算部
102 アフィン変換部
104 輪郭距離演算部

Claims (30)

1. 動画像を表わす複数のフレームからそれらの間の補間フレームをそれぞれ形成する補間画像生成装置において、該装置は、
   それぞれのフレームのオブジェクトに他のオブジェクトに隠れた隠蔽領域があるか否かを検出して、隠蔽領域がある場合にその隠蔽領域を補完してそれぞれのオブジェクト画像を生成する隠蔽領域補完部と、
   該隠蔽領域補完部にて補完したオブジェクト画像に基づいて補間フレームのそれぞれのオブジェクト画像を生成するオブジェクト画像生成部と、
   該オブジェクト画像生成手段からのそれぞれのオブジェクト画像を合成して補間フレームを生成する補間画像合成部とを含み、
   前記隠蔽領域補完部は、
   動画像中のオブジェクトを多角形の領域に分割し、他のオブジェクトに隠れた隠蔽領域のパッチの頂点の座標値を他のフレームのパッチ群の頂点の座標値から推定する頂点座標値推定手段と、
   該頂点座標値推定手段からの座標値に基づいて隠蔽領域の範囲を推定する隠蔽領域推定手段と、
   該隠蔽領域推定手段にて推定された隠蔽領域のそれぞれの点の画素値を他のフレームの対応するパッチから予測するテクスチャ推定手段とを含むことを特徴とする補間画像生成装置。
2. 請求項１に記載の装置において、前記頂点座標値推定手段は、
   対象となるオブジェクトに隠蔽領域があるか否かをそのオブジェクトを多角形のパッチに分割した際のパッチのそれぞれの頂点の座標値から判定する判定手段と、
   オブジェクトに隠蔽領域がある場合にその隠蔽領域に対応するパッチの座標値が定義された他のフレームのパッチを検出する参照パッチ検出手段と、
   隠蔽領域のパッチの近辺に存在するパッチとこれに対応する他のフレームのパッチとから形状変換係数を求める変換係数算出手段と、
   該変換係数算出手段からの変換係数にて前記参照パッチ検出手段にて検出した他のフレームのパッチを変換して隠蔽領域のパッチの座標値を推定する変換推定手段とを含むことを特徴とする補間画像生成装置。
3. 請求項２に記載の装置において、前記頂点座標値推定手段は、
   前記変換係数算出手段にて隠蔽領域の近辺に頂点の座標値が定義されたパッチが存在しない場合に、隠蔽領域に対応するパッチの座標値が定義された前記参照パッチ検出手段にて検出したフレームと異なる他のフレームを検出する参照フレーム検出手段と、
   これら２つのフレームのパッチの座標値から隠蔽領域のパッチの頂点の座標値を線形予測する線形予測手段とを含むことを特徴とする補間画像生成装置。
4. 請求項２に記載の装置において、前記変換係数算出手段は、それぞれ三角形のパッチに分割された隠蔽領域の近辺の三角パッチとこれに対応する他のフレームの三角パッチとからアフィン変換係数を求めることを特徴とする補間画像生成装置。
5. 請求項１に記載の装置において、前記隠蔽領域推定手段は、
   隠蔽領域を含むフレームに隣接して隠蔽領域を含まない少なくとも２個のフレームを検出する参照フレーム検出手段と、
   該参照フレーム検出手段にて検出したフレームのパッチと基準となる所定の多角形との間にて形状変形の変換係数を求め、該変換係数にてそれぞれのフレームのパッチと輪郭との間の領域を変換して正規化する第１の変換手段と、
   正規化後のパッチの辺から輪郭までの距離を求める輪郭距離算出手段と、
   該輪郭距離算出手段にて求めた値から隠蔽領域を含むフレームでのパッチから輪郭までの距離を推定する距離推定手段と、
   正規化された隠蔽領域のパッチと前記頂点座標値推定手段にて推定した隠蔽領域のパッチとの間にて形状変形の変換係数を求め、該変換係数を用いて正規化された隠蔽領域のパッチと前記距離推定手段にて求めた値にて含まれるシェイプ領域の各点を形状変換して隠蔽領域の範囲を推定する第２の変換手段とを含むことを特徴とする補間画像生成装置。
6. 請求項５に記載の装置において、
   前記第１の変換手段は、三角形のパッチに分割されたフレームの三角パッチと基準となる直角二等辺三角形とからアフィン変換係数を求め、その変換係数にてそれぞれのフレームの三角パッチと輪郭との間の領域をアフィン変換して正規化し、
   前記第２の変換手段は、正規化された三角パッチと推定された三角パッチとの間にてアフィン変換係数を求め、その変換係数を用いて隠蔽領域のそれぞれの点をアフィン変換によって算出することを特徴とする補間画像生成装置。
7. 請求項１に記載の装置において、前記テクスチャ推定手段は、
   隠蔽領域を含むフレームに隣接して隠蔽領域を含まない少なくとも２個のフレームを検出する参照フレーム検出手段と、
   該参照フレーム検出手段にて検出したフレームのパッチと前記隠蔽領域推定手段にて推定した隠蔽領域のパッチとの間にて形状変形の変換係数を算出する変換係数算出手段と、
   該変換係数算出手段にて求めた変換係数にて隠蔽領域の画素の座標値を変換して前記参照フレーム検出手段にて検出したフレームのパッチの座標位置を対応付ける参照位置算出手段と、
   該参照位置算出手段にて対応付けた２個のフレームの画素値に基づいて隠蔽領域の画素値を推定する画素値推定手段とを含むことを特徴とする補間画像生成装置。
8. 請求項７に記載の装置において、
   前記変換係数算出手段は、それぞれ三角形のパッチに分割された画像の三角パッチおよび推定された三角パッチからアフィン変換係数を求め、
   前記参照位置算出手段は、隠蔽領域の画素の座標値をアフィン変換にて変換して、対応の参照フレームの座標値を求めることを特徴とする補間画像生成装置。
9. 請求項１に記載の装置において、前記オブジェクト画像生成部は、
   前記隠蔽領域補完部にて補完された隣接するフレームのオブジェクトのパッチの頂点の座標値から補間画像のオブジェクトのパッチの頂点の座標値を推定する頂点位置推定手段と、
   該頂点位置推定手段にて推定した補間画像のパッチと基準となる所定の多角形とから補間画像のパッチの形状変形の変換係数を求め、かつ参照フレームのパッチと基準となる所定の多角形とから形状変形の変換係数を求める第１の変換係数算出手段と、
   該変換係数算出手段にて求めた変換係数にて参照画像のパッチおよびそのパッチと輪郭との間の領域を正規化する正規化手段と、
   該正規化手段にて正規化したパッチおよび輪郭との間の領域からそれぞれのパッチの辺から輪郭までの距離を求め、その結果から補間画像でのパッチと輪郭との間の距離を推定する輪郭距離推定手段と、
   該輪郭距離推定手段にて推定した輪郭距離と正規化された補間画像の三角パッチとを前記第１の変換係数算出にて求めた変換係数にて変換して実際のフレームでの三角パッチと輪郭の座標値に変換する変換手段と、
   隣接フレームのパッチと補間画像のパッチとから形状変形の変換係数を算出する第２の変換係数算出手段と、
   該第２の変換係数算出手段にて求めた変換係数を用いて隣接するフレームの画像と補間画像のそれぞれの画素とを対応付け、その結果に基づいて補間画像の画素値を隣接するフレームの画素値から推定して補間画像のテクスチャを推定するテクスチャ推定手段とを含むことを特徴とする補間画像生成装置。
10. 請求項９に記載の装置において、
    前記第１の変換係数算出手段は、三角形のパッチにて分割した画像のパッチと基準となる直角二等辺三角形とからアフィン変換係数をそれぞれ求め、
    前記正規化手段は、第１の変換係数算出手段にて求めたアフィン変換係数にて参照画像のパッチおよび輪郭との間の領域をアフィン変換により正規化し、
    前記第２の変換係数算出手段は、それぞれ画像の三角形のパッチからアフィン変換係数を求め、
    前記テクスチャ推定手段は、第２の変換係数算出手段にて求めたアフィン変換係数を用いて補間画像の画素の座標値をアフィン変換して隣接フレームの対応の座標値を求めることを特徴とする補間画像生成装置。
11. 動画像を表わす複数のフレームからそれらの間の補間フレームをそれぞれ形成する補間画像生成装置において、該装置は、
    複数のオブジェクトを含むフレームの中からそれぞれのオブジェクトを検出するオブジェクト検出部と、
    該オブジェクト検出部にて検出したオブジェクトを多角形の領域に分割し、他のオブジェクトに隠れた隠蔽領域のパッチの頂点の座標値を他のフレームのパッチ群の頂点の座標値から推定する頂点位置推定部と、
    該頂点位置推定部からの座標値に基づいて隠蔽領域の範囲を推定する隠蔽領域推定部と、
    前記オブジェクト検出部にて検出したそれぞれのオブジェクトを前記隠蔽領域推定部にて推定した隠蔽領域を含む輪郭形状として表わす輪郭データ生成部と、
    該隠蔽領域補完部にて補完したオブジェクト画像に基づいて補間フレームのそれぞれのオブジェクト画像を生成するオブジェクト画像生成部と、
    該オブジェクト画像生成手段からのそれぞれのオブジェクト画像を合成して補間フレームを生成する補間画像合成部とを含むことを特徴とする補間画像生成装置。
12. 請求項11に記載の装置において、前記頂点位置推定部は、
    対象となるオブジェクトに隠蔽領域があるか否かをそのオブジェクトを多角形のパッチに分割した際のパッチのそれぞれの頂点の座標値から判定する判定手段と、
    オブジェクトに隠蔽領域がある場合にその隠蔽領域に対応するパッチの座標値が定義された他のフレームのパッチを検出する参照パッチ検出手段と、
    隠蔽領域のパッチの近辺に存在するパッチとこれに対応する他のフレームのパッチとから形状変換係数を求める変換係数算出手段と、
    該変換係数算出手段からの変換係数にて前記参照パッチ検出手段にて検出した他のフレームのパッチを変換して隠蔽領域のパッチの座標値を推定する座標値推定部とを含むことを特徴とする補間画像生成装置。
13. 請求項12に記載の装置において、前記変換係数算出手段は、それぞれ三角形のパッチに分割された隠蔽領域の近辺のパッチとこれに対応する他のフレームのパッチとからアフィン変換係数を求めることを特徴とする補間画像生成装置。
14. 請求項11に記載の装置において、前記隠蔽領域推定部は、
    隠蔽領域を含むフレームに隣接して隠蔽領域を含まない少なくとも２個のフレームを検出する参照フレーム検出手段と、
    該参照フレーム検出手段にて検出したフレームのパッチと隠蔽領域を含むフレームのパッチとの間にて形状変形の変換係数を求める変換係数算出手段と、
    該変換係数算出手段にて求めた変換係数を用いて隠蔽領域の画素に対応する参照フレームの画素の位置を算出する参照画素位置算出手段と、
    該算出手段にて算出された参照フレームの画素から対応の隠蔽領域の画素の値を求めて隠蔽領域のテクスチャを推定するテクスチャ推定部とを含むことを特徴とする補間画像生成装置。
15. 請求項14に記載の装置において、前記変換係数算出手段は、それぞれ三角形のパッチに分割された隠蔽領域のパッチとこれに対応する他のフレームの三角パッチとからアフィン変換係数を求めることを特徴とする補間画像生成装置。
16. 請求項11に記載の装置において、前記輪郭データ生成部は、
    オブジェクトを多角形の領域で分割して、分割したパッチと基準となる所定の多角形との間で形状変形の変換係数を求める変換係数算出手段と、
    分割したパッチ内部およびパッチとオブジェクトの輪郭との間の領域のそれぞれの座標値を前記変換係数算出手段にて求めた変換係数を用いて変換して正規化する正規化手段と、
    該正規化手段にて変換したパッチの辺から垂直にオブジェクトの輪郭までの距離を算出する輪郭距離検出手段と、
    該輪郭距離検出手段にて求めた値とパッチの頂点の座標値を用いて輪郭の形状を表わす輪郭データを形成する輪郭データ形成手段とを含むことを特徴とする補間画像生成装置。
17. 請求項16に記載の装置において、
    前記変換係数算出手段は、オブジェクトを三角形のパッチにて分割し、分割した三角パッチと基準となる直角二等辺三角形との間にてアフィン変換係数を求め、
    前記正規化手段は、三角パッチおよび輪郭との間の領域のそれぞれの座標値をアフィン変換して正規化することを特徴とする補間画像生成装置。
18. 請求項11に記載の装置において、前記オブジェクト画像生成部は、
    隣接するフレームのオブジェクトのパッチの頂点の座標値から補間画像のオブジェクトのパッチの頂点の座標値を推定する頂点位置推定手段と、
    該頂点位置推定手段にて推定した補間画像のパッチと基準となる所定の多角形とから補間画像のパッチの形状変形の変換係数を求め、かつ参照フレームのパッチと基準となる所定の多角形とから形状変形の変換係数を求める第１の変換係数算出手段と、
    該変換係数算出手段にて求めた変換係数にて参照画像のパッチおよびそのパッチと輪郭との間の領域を正規化する正規化手段と、
    該正規化手段にて正規化したパッチおよび輪郭との間の領域からそれぞれのパッチの辺から輪郭までの距離を求め、その結果から補間画像でのパッチと輪郭との間の距離を推定する輪郭距離推定手段と、
    隣接フレームのパッチと補間画像のパッチとから形状変形の変換係数を算出する第２の変換係数算出手段と、
    該第２の変換係数算出手段にて求めた変換係数を用いて隣接するフレームの画像と補間画像のそれぞれの画素とを対応付け、その結果に基づいて補間画像の画素値を隣接するフレームの画素値から推定して補間画像のテクスチャを推定するテクスチャ推定手段とを含むことを特徴とする補間画像生成装置。
19. 請求項18に記載の装置において、
    前記第１の変換係数算出手段は、三角形のパッチにて分割した画像のパッチと基準となる直角二等辺三角形とからアフィン変換係数をそれぞれ求め、
    前記正規化手段は、第１の変換係数算出手段にて求めたアフィン変換係数にて参照画像のパッチおよび輪郭との間の領域をアフィン変換により正規化し、
    前記第２の変換係数算出手段は、それぞれ画像の三角形のパッチからアフィン変換係数を求め、
    前記テクスチャ推定手段は、第２の変換係数算出手段にて求めたアフィン変換係数を用いて補間画像の画素の座標値をアフィン変換して隣接フレームの対応の座標値を求めることを特徴とする補間画像生成装置。
20. 動画像のそれぞれのフレームのオブジェクトが他のオブジェクトに隠れた領域を有する場合、その隠蔽領域を検出する隠蔽領域推定方法において、該方法は、
    オブジェクトを多角形のパッチに分割し、隠蔽領域のパッチの頂点の座標値を他のフレームの対応するパッチの頂点の座標値から推定する第１の工程と、
    該第１の工程にて推定した座標値に基づいて隠蔽領域の範囲を推定する第２の工程と、
    該第２の工程にて推定された隠蔽領域のそれぞれの点の画素値を他のフレームの対応するパッチの画素値から予測する第３の工程とを含むことを特徴とする隠蔽領域推定方法。
21. 請求項20に記載の方法において、前記第１の工程は、隠蔽領域のパッチの頂点の座標値を他のフレームの対応する頂点の座標値から推定することを特徴とする隠蔽領域推定方法。
22. 請求項20に記載の方法において、前記第１の工程は、
    隠蔽領域のパッチの近辺に存在するパッチと、そのパッチに対応する他のフレームのパッチとから形状変形の変換係数を求める工程と、
    他のフレームのパッチの頂点の座標値を求めた変換係数にて変換する工程と、
    その結果に基づいて隠蔽領域のパッチの頂点の座標値を推定する工程とを含むことを特徴とする隠蔽領域推定方法。
23. 請求項22に記載の方法において、前記第１の工程の変換係数は、三角形のパッチに分割されたオブジェクトのパッチから求めたアフィン変換係数であることを特徴とする隠蔽領域推定方法。
24. 請求項20に記載の方法において、前記第２の工程は、
    前記第１の工程にて推定した隠蔽領域のパッチおよび他のフレームの対応するパッチのそれぞれと基準となる所定の多角形とにて形状変換の変換係数を求める工程と、
    その変換係数を用いて隠蔽領域のパッチおよび他のフレームのパッチを正規化する工程と、
    正規化した他のフレームのパッチにてその辺から輪郭までの距離を算出する工程と、
    該工程にて求めた結果から隠蔽領域にて正規化したパッチの辺から輪郭までの距離を推定する工程と、
    正規化した隠蔽領域のパッチと画像上での隠蔽領域のパッチとから形状変形の変換係数を求める工程と、
    該工程にて求めた変換係数にて正規化したパッチおよびその辺と輪郭との間の領域を形状変換して、隠蔽領域の形状を推定する工程とを含むことを特徴とする隠蔽領域推定方法。
25. 請求項24に記載の方法において、前記第２の工程の正規化は、三角形のパッチに分割されたオブジェクトのパッチと直角二等辺三角形との間にて算出されたアフィン変換係数にてそれぞれのパッチをアフィン変換することを特徴とする隠蔽領域推定方法。
26. 請求項24に記載の方法において、前記第２の工程の形状変換は、隠蔽領域の正規化された三角パッチと予測した三角パッチとから求めたアフィン変換係数を用いて、正規化したパッチおよび輪郭との間の領域をアフィン変換することを特徴とする隠蔽領域推定方法。
27. 請求項20に記載の方法において、前記第３の工程は、
    隠蔽領域のパッチの頂点の座標値と他のフレームの対応するパッチの頂点の座標値とから形状変形の変換係数を求める工程と、
    該工程にて求めた変換係数を用いて隠蔽領域のパッチの画素と他のフレームの画素を対応付ける工程と、
    該工程にて対応付けた他のフレームの画素の値に基づいて隠蔽領域のパッチおよび輪郭との間の領域の画素値を推定することを特徴とする隠蔽領域推定方法。
28. 請求項27に記載の方法において、前記第３の工程は、隠蔽領域の三角パッチと他のフレームの三角パッチとからアフィン変換係数を求め、該変換係数にて隠蔽領域の画素の座標値をアフィン変換して他のフレームの対応の画素位置を求めることを特徴とする隠蔽領域推定方法。
29. 請求項28に記載の隠蔽領域推定方法を用いて推定されたそれぞれのフレームの画像から動画像の補間フレームを生成する補間画像生成方法であって、該方法は、
    隣接するフレームのオブジェクトのパッチの頂点の座標値から補間画像のオブジェクトのパッチの頂点の座標値を推定する第１の工程と、
    該工程にて推定した補間画像のパッチと基準となる所定の多角形とから補間画像のパッチの形状変形の変換係数を求め、かつ参照フレームのパッチと基準となる所定の多角形とから形状変形の変換係数を求める第２の工程と、
    該工程にて求めた変換係数にて参照画像のパッチおよびそのパッチと輪郭との間の領域を正規化する第３の工程と、
    該工程にて正規化したパッチおよび輪郭との間の領域からそれぞれのパッチの辺から輪郭までの距離を求め、その結果から補間画像でのパッチと輪郭との間の距離を推定する第４の工程と、
    隣接フレームのパッチと補間画像のパッチとから形状変形の変換係数を算出する第５の工程と、
    該工程にて求めた変換係数を用いて隣接するフレームの画像と補間画像のそれぞれの画素とを対応付け、その結果に基づいて補間画像の画素値を隣接するフレームの画素値から推定して補間画像のテクスチャを推定する第６の工程を含むことを特徴とする補間画像生成方法。
30. 請求項29に記載の補間画像生成方法において、該方法は、前記第１の工程ないし第６の工程にてそれぞれのオブジェクト毎に補間画像を生成し、それらオブジェクト画像を合成して補間フレームを生成することを特徴とする補間画像生成方法。

Images