JP2010212984A - 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】精度良く内挿画像を生成することが可能な画像補間装置および画像補間方法を提供する。
【解決手段】画像補間装置１は、周囲に参照方向作画領域に分類された内挿ブロックを含み、かつ、双方向作画領域に分類された内挿ブロックについて、当該内挿ブロックの内挿ベクトルと上記参照方向作画領域に分類された内挿ブロックの内挿ベクトルとの比較に基づき、当該内挿ブロックを改めて参照方向作画領域または双方向作画領域に分類するベクトル補正部７を備える。
【選択図】図１

Description

本発明は、原画像間に内挿画像を生成する画像補間装置および画像補間方法に関し、さらにテレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体に関するものである。

２４Ｈｚのフィルム素材を６０Ｈｚや１２０Ｈｚの表示装置に映す場合や、ＩＰ変換等で生成された６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に映す場合など原画像素材のフレーム数を変更する場合、時間的に連続した複数のフレームから動きベクトルを求め、動きベクトルに基づいて生成した内挿画像により画像信号のフレーム数を変換する技術が一般的に知られている。

図７は入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。例えば、６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合、時間ｔ−１における原画像７−１と時間ｔにおける原画像７−２とを用いて、時間的にちょうど半分（中間）の時刻において内挿画像７−３を作成して出力することにより、フレームレートを増やしている。なお、本明細書においては時間ｔ、ｔ−１の表記は時間的に隣り合う原画像７−１および原画像７−２の時間間隔によって規格化されており、例えば図７の場合では、時間ｔと時間ｔ−１との差（すなわち１）は、１／６０秒に相当する。

ここで、２枚の原画像から１枚の内挿画像を生成する一般的なプロセスについて説明する。まず、２枚の原画像のうち動きベクトルを求める基準となる原画像を決める。図７における時刻ｔの原画像をｆ（ｔ）とすると、ｆ（ｔ−１）とｆ（ｔ）とから内挿画像を生成する場合において、ｆ（ｔ−１）もしくはｆ（ｔ）のいずれかを基準画像とし、他方を参照画像とする。以下では、ｆ（ｔ−１）を基準画像とし、ｆ（ｔ）を参照画像とした場合について説明する。

図８は、ベクトルを算出するために基準画像をブロックに分割する例を示す図である。図８に示すとおり、基準画像であるｆ（ｔ−１）は、動きベクトルを算出するための複数のブロックに分割される。図８における箇所８−１のように、細い線で囲まれた部分は原画像のピクセル（画素）を意味し、この例では８ピクセル×８ピクセルの領域ごとに最小ブロック８−２を定義している。

次に、定義された最小ブロックごとにｆ（ｔ−１）とｆ（ｔ）との間の動きベクトルを求める。動きベクトルの求め方としては、ブロックマッチングや勾配法など一般的な方法を用いる。

このようにして基準画像においては最小ブロックごとにもっとも信頼性の高いと思われる動きベクトルが検出される。通常よく行われる処理としては、このようにして決定された動きベクトルに対して、メディアンフィルタ等のフィルタリングを行い、誤検出を防ぐようにする。

一方、内挿画像を生成して画像を補間する場合、「消える領域」および「現れる領域」が問題となる。例えば、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間において物体が移動する場合、物体の移動によって、ｆ（ｔ−１）では物体に隠れていないが、ｆ（ｔ）では物体に隠れている背景の領域を「消える領域（消失領域）」と呼び、ｆ（ｔ−１）では物体に隠れているが、ｆ（ｔ）では物体に隠れていない背景の領域を「現れる領域（出現領域）」と呼ぶ。そのため、「消える領域」の情報（背景領域の画像データ）はｆ（ｔ−１）にのみ存在し、「現れる領域」の情報（背景領域の画像データ）はｆ（ｔ）にのみ存在する。よって、「消える領域」についてはｆ（ｔ−１）からのみ作画する必要があり、「現れる領域」についてはｆ（ｔ）からのみ作画する必要がある。この「消える領域」、「現れる領域」を考慮してベクトルを補間し、原画像ｆ（ｔ−１）のみを用いて作画すべき領域または原画像ｆ（ｔ）のみを用いて作画すべき領域を判定する構成は、例えば、特許文献１〜３に開示されている。

次に、上記のようにして求められた動きベクトルを用いて内挿画像の各座標に対してベクトルの割付処理を行う。割付座標の単位は任意であるが、通常は基準画像のブロック単位より小さな領域が指定される。図８に示す例では、基準画像のブロックを８ピクセル×８ピクセルで定義したので、例えば内挿画像の４ピクセル×２ピクセルのような小さなブロック（内挿領域）ごとに、内挿座標に対してベクトルが割り付けられる。

内挿座標へのベクトルの割付について、簡略化のため、画像の水平方向の１次元処理として図９を用いて説明する。図９は、内挿座標へのベクトルの割付の例を示す図である。基準画像ｆ（ｔ−１）の座標ｘについて、矢印９−１で示す動きベクトルＶｘが求まったとすると、内挿画像を時間ｔ−１と時間ｔのちょうど真ん中に内挿画像を作成する場合、Ｖｘによって算出される内挿座標Ｎ（ｘ）は、Ｎ（ｘ）＝ｘ＋Ｖｘ／２となる。

このとき、Ｎ（ｘ）が含まれる内挿座標の小ブロックに対して、ベクトルＶｘが割り付けられる。この処理を基準画像のすべてのブロックについて実行することで、内挿座標の小ブロック上にベクトルを割り付けていく。結果、内挿座標の各小ブロックについては、ベクトルが複数割り付けられたり、全く割り付けられなかったりする箇所が発生するが、通常は複数割り付けられた場合は、割り付けられたベクトルのうち、そのベクトルを用いて計算したｆ（ｔ−１）およびｆ（ｔ）の特定領域の相関が最も高いもので代表する。また全く割り付けられなかった場合は、ゼロベクトルで代用する。よく知られている処理としては割り付けられたベクトルに対してメディアンフィルタ等のフィルタリング処理を施し、最終ベクトルとする。

最後に、最終的に求められた内挿座標上の割付ベクトルを用いて、ｆ（ｔ−１）もしくはｆ（ｔ）の座標を計算し、片方もしくは両方の原画像を用いて内挿画像を生成する。

特開平８−９３３９（１９９６年１月１２日） 特開平７−３３６６８８（１９９５年１２月２２日） 特開平９−２１４８９９（１９９７年８月１５日）

しかしながら、動き検出に用いる原画像は、空間的に一定の大きさのブロックに分割されるのが一般的であり、原画像を物体と背景とに分離して動き検出を行わない。したがって、物体と背景との境界を含むブロックが存在し、背景が一様な単一色のような特殊な場合を除いては、フレーム間で背景に対して物体が動いた場合、ｆ（ｔ−１）上で物体の境界が存在する背景とｆ（ｔ）上で物体の境界が存在する背景とは一般的に異なったパターンになる。また、背景に対して物体が動いている場合においては、内挿画を作成する内挿時刻の物体と背景とを組み合わせた境界領域の情報（すなわち、内挿時刻の物体と背景とを組み合わせた物体と背景との境界周辺の画像）は、原画のｆ（ｔ−１）およびｆ（ｔ）上のどこにも存在しないことがある。

図２（ａ）は、背景に対して物体Ａが移動する映像の原画像を示す図であり、時間的に過去の原画像ｆ（ｔ―１）を示す図である。図２（ｂ）は、図２（ａ）に対応する時間的に未来の原画像ｆ（ｔ）を示す図である。

図２（ａ）に示すとおり、原画像ｆ（ｔ−１）において、箇所２−１のように細い線で囲まれた部分は、１ピクセル（画素）を表している。また、原画像ｆ（ｔ−１）は、原画像上を一様に分割する８×８ピクセルの画素群ごとに、動きベクトルの検出単位である検出ブロック（検出領域）２−２〜２−１１を構成している。同様に、図２（ｂ）に示すとおり、原画像ｆ（ｔ）も、原画像上を一様に分割する８×８ピクセルの画素群ごとに、動きベクトルの検出単位である検出ブロック（検出領域）２−１４〜２−２３を構成している。図２（ａ）および図２（ｂ）において、検出ブロックは太い線で囲まれた領域である。原画像ｆ（ｔ−１）およびｆ（ｔ）における白抜きの画素群は、移動する物体Ａを表している。また、図２（ａ）および図２（ｂ）において、斜線等のハッチングが施された領域（白抜き以外の領域）は、物体Ａの背面にある背景を示す背景領域を表している。図２（ａ）および図２（ｂ）において、同一のハッチングで示されている領域は、同じ背景領域を表している。また、図２（ａ）の矢印２−１２は、時刻ｔ−１と時刻ｔとの間における物体Ａの動きベクトルを示しており、矢印２−１３は、時刻ｔ−１と時刻ｔとの間における背景領域の動きベクトルを示している。原画像ｆ（ｔ−１）に対して原画像ｆ（ｔ）では、物体Ａは図面右方向に８ピクセル移動し、背景は図面左方向に８ピクセル移動している。

図３は、内挿画像の作画処理を説明するための図である。ここで、時刻ｔの原画像をｆ（ｔ）とし、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の中間（時刻ｔ−１／２）に表示される内挿画像をｆｉ（ｔ−１／２）とする。説明を簡略にするため、図３においては、原画像ｆ（ｔ−１）、ｆ（ｔ）、内挿画像ｆｉ（ｔ）のそれぞれについて、図２（ａ）に示す原画像ｆ（ｔ−１）の、検出ブロック２−２〜２−６の中の物体Ａの動き方向に沿った１つの行の画素を抜き出して示してある。

図３において、太い線で囲まれた３−１〜３−７は、動きベクトルを求める単位領域である原画像ｆ（ｔ−１）上の検出ブロックを示す。また、太い線で囲まれた３−１１〜３−１７は、動きベクトルを求める単位領域である原画像ｆ（ｔ）上の検出ブロックを示す。太い線で囲まれた３−２１〜３−３４は、動きベクトルを割り当てる単位領域である内挿画像ｆｉ（ｔ−１／２）上の内挿ブロック（内挿領域）を示す。図２（ａ）の検出ブロック２−２〜２−６にはそれぞれ図３の検出ブロック３−１〜３−５が対応する。また、原画像ｆ（ｔ−１）の検出ブロック３−１〜３−７には、原画像ｆ（ｔ）の検出ブロック３−１１〜３−１７がそれぞれ対応する。内挿画像は原画像よりも小さい領域ごとに分割されており、内挿ブロックは検出ブロックより小さい。ここでは内挿ブロックは４×２ピクセルの領域とする。内挿ブロックは、図３に示す１行において４ピクセルである。また、原画像ｆ（ｔ−１）の各検出ブロックごとに検出される動きベクトルの一部を実線で示している。

図３では、内挿画像ｆｉ（ｔ−１／２）として理想的と考えられる内挿画像を示している。ここで、物体Ａの左側の境界に注目すると、内挿画像ｆｉ（ｔ−１／２）における理想的な物体Ａと背景との組み合わせは内挿ブロック３−２４、３−２５の組み合わせとなる。しかしながら、この組み合わせは、原画像ｆ（ｔ−１）および原画像ｆ（ｔ）のどこにも存在しない。したがって、１つのベクトルが複数の画素の動きを表現し、その複数の画素の中に物体と背景との境界が存在した場合、内挿時刻におけるその境界の情報がいずれの原画像上にも存在しないために、内挿画像において境界領域を正しく表現することは不可能となる。

具体例を図４を用いて説明する。図４は、内挿画像の作画処理を説明するための図であり、図３と同様の１次元表示をしている。

図４において、太い線で囲まれた４−１〜４−７は、動きベクトルを求める単位領域である原画像ｆ（ｔ−１）上の検出ブロックを示す。また、太い線で囲まれた４−１１〜４−１７は、動きベクトルを求める単位領域である原画像ｆ（ｔ）上の検出ブロックを示す。太い線で囲まれた４−２１〜４−３４は、動きベクトルを割り当てる単位領域である内挿画像ｆｉ（ｔ−１／２）上の内挿ブロック（内挿領域）を示す。ここで、内挿ブロックは検出ブロックより小さい画素群で構成されている。

基準画像である原画像ｆ（ｔ−１）において、例えば物体Ａと背景との境界は検出ブロック４−２に存在する。このとき、検出ブロック４−２の動きベクトルとして、参照画像の検出ブロック４−１１へ向かう背景の動きが検出されたものとする。この動きベクトルは内挿ブロック４−２２、４−２３に割り当てられる。そして、この動きベクトルにしたがって作画される内挿ブロック４−２２、４−２３は、基準画像のブロック４−２と参照画像のブロック４−１１とを元に作画され、基準画像のブロック４−２と参照画像のブロック４−１１とをブレンド（平均等）したものとなる（図においては、問題点を分かりやすくするためにブロック４−２の模様を付した）。また、内挿ブロック４−２４、４−２５は「現れる領域」として認識され、参照画像のブロック４−１２のみを元に作画される。また、内挿ブロック４−２６、４−２７は、物体Ａに対応する基準画像のブロック４−３および参照画像のブロック４−１４をブレンドしたものとなる。

この結果、基準画像の検出ブロック４−２に含まれる物体Ａの輪郭部が、同じブロックに含まれる背景と共に動くとして内挿画像を作画するため、理想的には物体Ａが表示されるべき内挿ブロック４−２５に背景が表示され、その左側の背景が表示されるべき内挿ブロック４−２３に物体Ａが表示される。すなわち、内挿画像ｆｉ（ｔ−１／２）において、物体Ａの一部に背景領域が食い込み、その外側に物体Ａの擬似輪郭が発生する。

また、他の例を図５を用いて説明する。図５は、内挿画像の作画処理を説明するための図であり、図３と同様の１次元表示をしている。

図４と同様に、図５において太い線で囲まれた５−１〜５−７は、動きベクトルを求める単位領域である原画像ｆ（ｔ−１）上の検出ブロックを示す。また、太い線で囲まれた５−１１〜５−１７は、動きベクトルを求める単位領域である原画像ｆ（ｔ）上の検出ブロックを示す。太い線で囲まれた５−２１〜５−３４は、動きベクトルを割り当てる単位領域である内挿画像ｆｉ（ｔ−１／２）上の内挿ブロック（内挿領域）を示す。

基準画像である原画像ｆ（ｔ−１）において、例えば物体Ａと背景との境界は検出ブロック５−２に存在する。このとき、検出ブロック５−２の動きベクトルとして、参照画像の検出ブロック５−１３へ向かう背景の動きが検出されたものとする。この動きベクトルは内挿ブロック５−２４、５−２５に割り当てられる。そして、この動きベクトルにしたがって作画される内挿ブロック５−２４、５−２５は、基準画像の検出ブロック５−２と参照画像の検出ブロック５−１３とを元に作画され、基準画像の検出ブロック５−２と参照画像の検出ブロック５−１３とをブレンド（平均等）したものとなる（図においては、問題点を分かりやすくするために検出ブロック５−２の模様を付した）。また、内挿ブロック５−２２、５−２３は「現れる領域」として認識され、参照画像の検出ブロック５−１１のみを元に作画される。

この結果、基準画像の検出ブロック５−２に含まれる背景が、同じブロックに含まれる物体Ａと共に動くとして内挿画像を作画するため、理想的にはブロック５−１２の背景が表示されるべき内挿ブロック５−２４にブロック５−２に含まれる背景が表示される。そのため、内挿画像ｆｉ（ｔ−１／２）において、物体Ａの境界領域の背景（内挿ブロック５−２２、５−２３、５−２４）として、実際には存在しない背景の組み合わせ（非連続な背景）が表示される。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、内挿画像の破綻を防止し、良質な内挿画像を生成することが可能な画像補間装置、および画像補間方法を提供することにある。

本発明に係る画像補間装置は、第１の時刻に対応する第１の原画像と第１の時刻より後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像を生成する画像補間装置であって、上記の課題を解決するために、第１の原画像および第２の原画像のいずれか一方を基準画像とし、他方を参照画像としたときに、上記内挿画像を複数の内挿領域に分割して、各内挿領域について該内挿領域の動きを表す内挿動きベクトルを求め、各内挿領域を、上記基準画像のみを用いて作画する第１の作画領域、上記参照画像のみを用いて作画する第２の作画領域、または上記基準画像と上記参照画像との両方を用いて作画する第３の作画領域に分類する内挿動きベクトル生成手段と、第３の作画領域に分類された内挿領域であり、かつ、第２の作画領域に分類された内挿領域の近傍にある内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルと当該第２の作画領域に分類された内挿領域の内挿動きベクトルとが略同一である場合、当該第３の作画領域に分類された内挿領域を第２の作画領域に分類し直す分類補正手段とを備えることを特徴としている。

上記の構成によれば、内挿動きベクトル生成手段は、内挿画像の各内挿領域の動きを表す内挿動きベクトルを求め、各内挿領域を基準画像のみを用いて作画する第１の作画領域、参照画像のみを用いて作画する第２の作画領域、または基準画像と参照画像との両方を用いて作画する第３の作画領域に分類する。

ここで、内挿領域の動きを代表して表す内挿動きベクトルが、基準画像または参照画像の複数の画素を含む領域に対応している場合、基準画像または参照画像の当該領域には上記内挿動きベクトルとは異なる動きベクトルで移動する画素が含まれていることがある。このような基準画像または参照画像の領域に対応する内挿領域について、基準画像および参照画像の両方を用いて作画すると、いわゆる「擬似輪郭」が存在する不自然な内挿画像を生成してしまう。第３の作画領域に分類されており、かつ、その近傍に第２の作画領域に分類された内挿領域が存在する内挿領域は、内挿動きベクトルによって上記の問題を含みうる基準画像または参照画像の領域に対応付けられる。

また、第２の作画領域に分類された内挿領域の内挿動きベクトルは、原画像におけるいわゆる「背景領域」の動きを表していると考えられる。

よって、第３の作画領域に分類された内挿領域の内挿動きベクトルと第２の作画領域に分類された内挿領域の内挿動きベクトルとの差が小さい場合、当該第３の作画領域に分類された内挿領域は背景領域であると考えられる。

上記の構成によれば、第３の作画領域に分類されており、かつ、その近傍に第２の作画領域に分類された内挿領域が存在する内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルとその近傍の第２の作画領域に分類された内挿領域の内挿動きベクトルとが略同一である場合、当該第３の作画領域に分類された内挿領域を第２の作画領域に分類し直す。

すなわち、当該第３の作画領域に分類された内挿領域の内挿動きベクトルとその近傍の第２の作画領域に分類された内挿領域の内挿動きベクトルとの差が小さい場合、当該第３の作画領域に分類された内挿領域を第２の作画領域に分類し直す。

ここで、２つのベクトルの差はベクトルで表されるので、２つのベクトルが略同一という条件について、例えば、その差分のベクトルの大きさ（絶対値）と閾値とを比較することにより、差分のベクトルの大きさが閾値以下である場合に２つのベクトルが略同一であると判定してもよい。または、差分のベクトルのある座標軸への射影成分と閾値とを比較することにより判定を行ってもよい。または、差分のベクトルのある座標軸への射影成分と閾値とを比較し、さらに差分のベクトルの別の座標軸への射影成分と別の閾値とを比較し、両方の比較において共に射影成分が閾値以下である場合に２つのベクトルの差が閾値以下であると判定してもよい。また、簡易的に画像の２つの方向、例えば水平方向および垂直方向のベクトルを独立に扱い、それぞれの差分が閾値以下、もしくは水平方向の差分と垂直方向の差分とを加えたものが閾値以下である場合と判定してもよい。

また、第２の作画領域に分類された内挿領域の近傍にある内挿領域とは、例えば当該第２の作画領域に分類された内挿領域に隣接する内挿領域を指す。ただし、これに限らず、当該第２の作画領域に分類された内挿領域の周囲の所定の範囲内にある内挿領域を指すものとしてもよい。例えば、上記隣接する内挿領域に加え、当該第２の作画領域に分類された内挿領域と頂点を共有する内挿領域をも含んでもよい。また、当該第２の作画領域に分類された内挿領域を中心とする所定の円内に含まれる内挿領域を指すものとしてもよい。または、例えば内挿画像が四角形の内挿領域に分割されている場合、Ｍ×Ｎの内挿領域を含む所定の四角形の領域に含まれる範囲を「近傍」としてもよい。この場合、当該第２の作画領域に分類された内挿領域は、必ずしも上記所定の四角形の領域の中心である必要はなく、上記所定の四角形の領域に含まれていればよい。

上記の構成によれば、第３の作画領域に分類された当該内挿領域について、いわゆる「物体」を含まない原画像の領域の画像に基づいて作画することができる。したがって、内挿動きベクトルが、基準画像において物体と背景とが混在する領域に対応し、当該内挿動きベクトルが、背景の動きを表す場合であっても、擬似輪郭のない良質な内挿画像を得ることができる。よって、基準画像の上記の問題を含みうる領域の画像を用いずに、他方の原画像の領域に基づいて内挿領域を作画することができる。したがって、内挿画像の破綻を防止し、良質な内挿画像を生成することができる。

本発明に係る画像補間方法は、第１の時刻に対応する第１の原画像と第１の時刻より後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像を生成する画像補間方法であって、第１の原画像および第２の原画像のいずれか一方を基準画像とし、他方を参照画像としたときに、上記内挿画像を複数の内挿領域に分割して、各内挿領域について該内挿領域の動きを表す内挿動きベクトルを求め、各内挿領域を、上記基準画像のみを用いて作画する第１の作画領域、上記参照画像のみを用いて作画する第２の作画領域、または上記基準画像と上記参照画像との両方を用いて作画する第３の作画領域に分類する内挿動きベクトル生成ステップと、第３の作画領域に分類された内挿領域であり、かつ、第２の作画領域に分類された内挿領域の近傍にある内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルと当該第２の作画領域に分類された内挿領域の内挿動きベクトルとが略同一である場合、当該第３の作画領域に分類された内挿領域を第２の作画領域に分類し直す分類補正ステップとを備えることを特徴としている。

上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。

また、上記分類補正手段は、第３の作画領域に分類された内挿領域であり、かつ、第２の作画領域に分類された内挿領域の近傍にある内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルと当該第２の作画領域に分類された内挿領域の内挿動きベクトルとの差が第１の閾値より大きい場合、当該第３の作画領域に分類された内挿領域を第４の作画領域に分類し直し、第１、第２、および第３の作画領域に分類された内挿領域について、上記内挿動きベクトルに基づいて作画を行い、第４の作画領域に分類された内挿領域について、当該内挿領域の周囲の作画された内挿画像からの面内補間によって作画を行う作画手段をさらに備えてもよい。

ここで、検出領域は複数の画素を含み、第１の動きベクトルは複数の画素の動きを代表して表すので、検出領域には第１の動きベクトルとは異なる動きベクトルで移動する画素が含まれていることがある。このような検出領域に対応する内挿領域について、基準画像および参照画像の両方を用いて作画すると、本来存在しない画像の組み合わせを内挿画像に作画してしまうという問題が生じる。第３の作画領域に分類されており、かつ、その近傍に第２の作画領域に分類された内挿領域が存在する内挿領域であって、当該第３の作画領域に分類された内挿領域の内挿動きベクトルとその近傍の第２の作画領域に分類された内挿領域の内挿動きベクトルとの差が大きい場合、当該第３の作画領域に分類された内挿領域は内挿ベクトルによって上記の問題を含みうる検出領域に対応付けられる。

ここで、２つのベクトルの差が閾値より大きい場合、２つのベクトルの差が大きいと判定している。２つのベクトルの差はベクトルで表されるので、２つのベクトルの差が閾値より大きいという上記判定は、例えば、その差分のベクトルの大きさ（絶対値）と閾値とを比較することにより行ってもよい。または、差分のベクトルのある座標軸への射影成分と閾値とを比較することにより判定を行ってもよい。または、差分のベクトルのある座標軸への射影成分と閾値とを比較し、さらに差分のベクトルの別の座標軸への射影成分と別の閾値とを比較し、いずれかの比較において射影成分が閾値より大きい場合に２つのベクトルの差が閾値より大きいと判定してもよい。

また、面内補間に用いる当該内挿領域の周囲の作画された内挿画像は、例えば、当該内挿領域に隣接する内挿画像の画素を指す。ただし、これに限らず、行う面内補間に応じて必要な範囲の周囲の画素から面内補間を行ってもよい。

上記分類補正手段は、当該第３の作画領域に分類された内挿領域の内挿動きベクトルとその近傍の第２の作画領域に分類された内挿領域の内挿動きベクトルとの差が大きい場合、当該第３の作画領域に分類された内挿領域を第４の作画領域に分類する。上記作画手段は、第４の作画領域に分類された内挿領域について、当該内挿領域の周囲の作画された内挿画像からの面内補間によって作画を行う。

したがって、基準画像において物体と背景とが混在する検出領域において検出された第１の動きベクトルが、物体の動きを表す場合であっても、本来存在しない組み合わせを内挿画像に作画することなく、良質な内挿画像を得ることができる。

また、上記分類補正手段は、第３の作画領域に分類された内挿領域であり、かつ、第２の作画領域に分類された内挿領域の近傍にある内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルと当該第２の作画領域に分類された内挿領域の内挿動きベクトルとの差が第２の閾値より大きい場合、当該第３の作画領域に分類された内挿領域を第５の作画領域に分類し直し、第１、第２、および第３の作画領域に分類された内挿領域について、上記内挿動きベクトルに基づいて作画を行い、第５の作画領域に分類された内挿領域について、当該内挿領域を複数の小補正領域に分割し、上記小補正領域の少なくとも１つを、当該内挿領域の内挿動きベクトルとは異なる動きベクトルに基づいて作画する作画手段をさらに備えてもよい。

内挿画像を内挿領域に分割して作画すると、作画が内挿領域の形状に依存するので、特に「物体」と「背景」との境界において、内挿領域の形状が視認されやすくなる。

上記の構成によれば、上記分類補正手段は、当該第３の作画領域に分類された内挿領域の内挿動きベクトルとその近傍の第２の作画領域に分類された内挿領域の内挿動きベクトルとの差が大きい場合、当該第３の作画領域に分類された内挿領域を第５の作画領域に分類する。上記作画手段は、第５の作画領域に分類された内挿領域について、当該内挿領域を複数の小補正領域に分割し、上記小補正領域の少なくとも１つを、当該内挿領域の内挿動きベクトルとは異なる動きベクトルに基づいて作画する。

よって、内挿画像において内挿領域の形状を細分化することができ、内挿領域の形状が視認されることを抑制することができる。したがって、基準画像において物体と背景とが混在する検出領域において検出された第１の動きベクトルが、物体の動きを表す場合であっても、細分化処理して周辺領域と混合することにより、良質な内挿画像を得ることができる。

また、上記作画手段は、第５の作画領域に分類された内挿領域について、当該内挿領域の周辺の複数の内挿領域の内挿動きベクトルを代表する代表内挿動きベクトルを求め、上記小補正領域の少なくとも１つを、当該内挿領域の内挿ベクトルに基づいて作画し、他の小補正領域を、上記代表内挿動きベクトルに基づいて作画してもよい。

ここで、当該内挿領域の周辺の複数の内挿領域とは、当該内挿領域に隣接する内挿領域を指す。ただし、これに限らず上述の「近傍」と同様に、当該内挿領域の周囲の所定の範囲内にある内挿領域を指すものとしてもよい。

上記の構成によれば、第５の作画領域に分類された内挿領域について、当該内挿領域の内挿ベクトルに基づいて作画する小補正領域と、周辺の複数の内挿領域の内挿動きベクトルを代表する代表内挿動きベクトルに基づいて作画する小補正領域とを混合して作画を行う。

よって、内挿画像において内挿領域の形状を細分化することができ、内挿領域の形状が視認されることを抑制することができる。したがって、基準画像において物体と背景とが混在する検出領域において検出された第１の動きベクトルが、物体の動きを表す場合であっても、細分化処理して周辺領域と混合することにより、良質な内挿画像を得ることができる。

また、上記内挿動きベクトル生成手段は、上記基準画像および上記参照画像をそれぞれ複数の検出領域に分割して、上記基準画像の上記検出領域と上記参照画像の上記検出領域との間の動きベクトルを第１の動きベクトルとして検出する第１の動きベクトル検出手段と、第１の動きベクトルに基づいて各内挿領域を、第１の作画領域、第２の作画領域、または第３の作画領域に分類する内挿領域分類手段と、第１の作画領域または第２の作画領域に分類された内挿領域について、第１の動きベクトルの分布の時間的変化に基づいて、当該内挿領域の動きを予測した第２の動きベクトルを求める第２の動きベクトル検出手段と、第１の動きベクトルおよび第２の動きベクトルから、各内挿領域について内挿動きベクトルを求める内挿動きベクトル割付手段とからなるものとしてもよい。

上記の構成によれば、内挿動きベクトル生成手段は、第１の動きベクトル検出手段によって上記基準画像および上記参照画像をそれぞれ複数の検出領域に分割して上記基準画像の上記検出領域と上記参照画像の上記検出領域との間の動きベクトルを第１の動きベクトルとして検出し、内挿領域分類手段によって内挿画像を各内挿領域に分割して各内挿領域を第１の作画領域、第２の作画領域、または第３の作画領域に分類し、第２の動きベクトル検出手段によって第１の作画領域または第２の作画領域に分類された内挿領域について、第１の動きベクトルの分布の時間的変化に基づいて、当該内挿領域の動きを予測した第２の動きベクトルを求め、内挿動きベクトル割付手段によって第１の動きベクトルおよび第２の動きベクトルから、各内挿領域について内挿動きベクトルを求めることができる。

また、上記基準画像と上記参照画像との間の第１の動きベクトルの分布を、第１の時刻に対応する第１の動きベクトルの分布としたときに、第２の動きベクトル検出手段は、第１の時刻に対応する第１の動きベクトルの所定の領域における分布と、第１の時刻より前の第３の時刻に対応する第１の動きベクトルの上記所定の領域に対応する領域における分布とを比較して、第１の動きベクトルの出現頻度の時間的増減に基づき、第２の動きベクトルを求めてもよい。

また、第２の動きベクトル検出手段は、第１の作画領域に分類された内挿領域の動きを予測した第２の動きベクトルとして、第１の動きベクトルの中で当該内挿領域の周辺の領域における出現頻度が最も減少した動きベクトルを求め、第２の作画領域に分類された内挿領域の動きを予測した第２の動きベクトルとして、第１の動きベクトルの中で当該内挿領域の周辺の領域における出現頻度が最も増加した動きベクトルを求めてもよい。

第１の作画領域に分類された内挿領域の周辺の領域における出現頻度が最も減少した動きベクトル、および第２の作画領域に分類された内挿領域の周辺の領域における出現頻度が最も増加した動きベクトルは、いわゆる背景の動きを表していると考えられる。

上記の構成によれば、第１の作画領域または第２の作画領域に分類された内挿領域の動きを予測した第２の動きベクトルとして、背景の動きを表す動きベクトルを求めることができる。

それゆえ、いわゆる「消える領域」または「現れる領域」に相当する内挿領域に対しても内挿動きベクトルを求めることができる。

また、本発明に係るテレビジョン受像装置は、上記画像補間装置を備えている。

また、本発明に係る映像再生装置は、上記画像補間装置を備えている。

なお、本発明に係る画像補間装置を、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明に係る画像補間装置は、第１の時刻に対応する第１の原画像と第１の時刻より後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像を生成する画像補間装置であって、第１の原画像および第２の原画像のいずれか一方を基準画像とし、他方を参照画像としたときに、上記基準画像および上記参照画像をそれぞれ複数の検出領域に分割して、上記基準画像の上記検出領域と上記参照画像の上記検出領域との間の動きベクトルを第１の動きベクトルとして検出する第１の動きベクトル検出手段と、上記内挿画像を複数の内挿領域に分割して、第１の動きベクトルに基づいて各内挿領域を、上記基準画像のみを用いて作画する第１の作画領域、上記参照画像のみを用いて作画する第２の作画領域、または上記基準画像と上記参照画像との両方を用いて作画する第３の作画領域に分類する内挿領域分類手段と、第１の作画領域または第２の作画領域に分類された内挿領域について、第１の動きベクトルの分布の時間的変化に基づいて、当該内挿領域の動きを予測した第２の動きベクトルを求める第２の動きベクトル検出手段と、第１の動きベクトルおよび第２の動きベクトルから、各内挿領域の動きを表す内挿動きベクトルを求める内挿動きベクトル割付手段と、第３の作画領域に分類された内挿領域であり、かつ、第２の作画領域に分類された内挿領域の近傍にある内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルと当該第２の作画領域に分類された内挿領域の内挿動きベクトルとが略同一である場合、当該第３の作画領域に分類された内挿領域を第２の作画領域に分類し直す分類補正手段とを備えることを特徴としている。

よって、いわゆる物体と背景とを含む検出領域において検出された動きベクトルが、物体および背景のいずれの動きを表すものであっても、問題を含みうる検出領域の画像を用いずに、他方の原画像の検出領域に基づいて内挿領域を作画することができる。したがって、内挿画像の破綻を防止し、良質な内挿画像を生成することができる。

本発明に係る画像補間装置の構成を示すブロック図である。 物体が移動する映像の原画像を示す図であり、（ａ）は、内挿画像に対して時間的に過去の原画像ｆ（ｔ―１）を示す図であり、（ｂ）は、内挿画像に対して時間的に未来の原画像ｆ（ｔ）を示す図である。 原画像および理想的な内挿画像を示す図である。 内挿画像の作画処理を説明するための図である。 内挿画像の作画処理を説明するための図である。 （ａ）は、内挿画像上の内挿ブロックを示す図であり、（ｂ）は、（ａ）の内挿ブロックの１つを細分化した図である。 入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。 動きベクトルを算出するために基準画像を検出ブロックに分割する例を示す図である。 内挿座標に動きベクトルを割り付ける例を示す図である。

〔実施の形態１〕
（画像補間装置１の概要）
図１は、本発明に係る画像補間装置１の構成を示すブロック図である。本発明に係る画像補間装置１は、遅延部（映像データ遅延手段）２とベクトル検出部（第１の動きベクトル検出手段）３と作画方向判定部（内挿領域分類手段）４と統計処理部（第２の動きベクトル検出手段）５とベクトル割付部（内挿動きベクトル割付手段）６とベクトル補正部（分類補正手段）７と作画部（作画手段）８とを備えている。また、統計処理部５は状態記憶部９を備える。また、ベクトル検出部３と作画方向判定部４と統計処理部５とベクトル割付部６とは、ベクトル生成部（内挿ベクトル生成手段）１０を構成している。

画像補間装置１は、外部から入力される映像信号に含まれる時刻ｔにおける原画像ｆ（ｔ）（第２の原画像、未来画像）と、１つ前の時刻ｔ−１における原画像ｆ（ｔ−１）（第１の原画像、過去画像）とから、内挿画像を生成する。画像補間装置１では、外部からの映像信号は、遅延部２、ベクトル検出部３および作画部８に入力される。以下では、外部から時刻ｔ−１における原画像ｆ（ｔ−１）を表す映像信号が入力されたときの処理について説明する。

遅延部２は、入力された外部からの映像信号を１フレーム分遅延させて、ベクトル検出部３および作画部８に供給する。外部から原画像ｆ（ｔ）を表す映像信号が入力されるタイミングで、遅延部２は、原画像ｆ（ｔ−１）を表す映像信号を出力する。遅延部２は、例えば、ＤＤＲなどのメモリによって構成される。

ベクトル生成部１０は、内挿画像の各領域について、その動きを表す内挿動きベクトルを求める。以下により詳細に説明する。

ベクトル検出部３は、原画像（過去画像）ｆ（ｔ−１）を基準画像とし、原画像（未来画像）ｆ（ｔ）を参照画像として基準画像と参照画像との間の動きベクトルを検出する。また、未来画像を基準画像とし過去画像を参照画像として動きベクトルを検出することもできる。また、ベクトル検出部３は、図２に示すように、基準画像および参照画像を複数の画素から成る複数の検出ブロック（検出領域）に分割し、検出ブロックごとに動きベクトルを検出する。ベクトル検出部３は、ブロックマッチングまたは勾配法等の一般的な方法によって動きベクトルを算出することができる。また、動きベクトルは他の方法によって算出されてもよい。ベクトル検出部３は、検出した動きベクトルを、作画方向判定部４および統計処理部５に出力する。この動きベクトルを始点となる時刻ｔ−１を基準に表記してＶ（ｔ−１）とする。

作画方向判定部４は、特許文献１に示されるような方法（ヒットボード技法）等によって、内挿画像を複数の内挿ブロック（内挿領域）に分割し、各内挿ブロックについて基準画像のみを用いて作画すべき領域（基準方向作画領域）、参照画像のみを用いて作画すべき領域（参照方向作画領域）、および基準画像と参照画像との両方を用いて作画すべき領域（双方向作画領域）のいずれであるかを判定し、各内挿ブロックを分類する。いずれの原画像から作画するかという方向を決める作画方向判定は他の方法によって行っても良い。作画方向判定部４は、各内挿ブロックの作画方向に関する上記の分類結果（作画方向の情報）を統計処理部５およびベクトル割付部６に出力する。

統計処理部５は、ベクトル検出部３からの動きベクトルの情報を統計データ（例えば、所定の領域の各動きベクトルの出現頻度を示すヒストグラム）として処理し、内挿画像の所定の内挿ブロックについて適切な動きベクトルを求める。例えば、内挿画像の「消える領域」に割り付ける動きベクトルとしては、背景の動きベクトルが適切である。ここで基準画像の「消える領域」を含む周辺の検出ブロックにおいて１フレーム前に検出された動きベクトルＶ（ｔ−２）に対して出現頻度が減少した動きベクトルが、基準画像の背景の動きベクトルに相当すると推測できる。内挿画像の「現れる領域」に割り付ける動きベクトルも、背景の動きベクトルが適切であり、参照画像の「現れる領域」を含む周辺の検出ブロックにおいて１フレーム前に検出された動きベクトルＶ（ｔ−２）に対して出現頻度が増加した動きベクトルが、参照画像の背景の動きベクトルに相当すると推測できる。統計処理部５は、状態記憶部９に記憶されている１フレーム前に検出された動きベクトルＶ（ｔ−２）のデータを読み出し、動きベクトルＶ（ｔ−２）、Ｖ（ｔ−１）を用いて上記の統計処理（出現頻度の比較）を行う。そして、基準画像の「消える領域」および参照画像の「現れる領域」等の検出ブロックについて、上記の統計処理によって適切な予測動きベクトルを抽出することができる。そして、この予測動きベクトルから、内挿画像の基準画像（過去画像）のみに基づき表現すべき領域（すなわち「消える領域」に対応する内挿ブロック）、および参照画像（未来画像）のみに基づき表現すべき領域（すなわち「現れる領域」に対応する内挿ブロック）に割り付けるべき動きベクトルを求めることができる。統計処理部５は、上記処理結果に基づき未来画像のみに基づき表現する内挿画像の領域に割り付けるべき動きベクトルｆＶ（ｔ−１）と、過去画像のみに基づき表現する内挿画像の領域に割り付けるべき動きベクトルｐＶ（ｔ−１）とをベクトル割付部６に出力する。また、統計処理部５は、検出された動きベクトルＶ（ｔ−１）を状態記憶部９に記憶させる。状態記憶部９は、動きベクトルＶ（ｔ−１）に加えてｆＶ（ｔ−１）およびｐＶ（ｔ−１）を記憶してもよい。この場合、統計処理に用いる１フレーム前の動きベクトルとしてｆＶ（ｔ−１）およびｐＶ（ｔ−１）をも使用することができる。

ベクトル割付部６は、ベクトル検出部３で検出された動きベクトルＶ（ｔ−１）の情報と、参照画像のみで表現する領域の情報およびその領域に割り付けるべき動きベクトルｆＶ（ｔ−１）の情報と、基準画像のみで表現する領域の情報およびその領域に割り付けるべき動きベクトルｐＶ（ｔ−１）の情報と、基準画像および参照画像において検出された動きベクトルＶ（ｔ−１）を動きベクトルｆＶ（ｔ−１）または動きベクトルｐＶ（ｔ−１）に置き換える領域の情報とを元に、内挿画像の各内挿ブロックの動きを表す内挿ベクトルＶｉ（ｔ−１／２）を求める。各内挿ブロックには、それぞれの動きを表す１つの内挿ベクトルＶｉ（ｔ−１／２）が割り付けられている。このように、内挿画像の全画素について個別に動きベクトルを算出するのではなく、内挿ブロック等の所定の領域ごとにその領域を代表する動きベクトルを算出することで、保持すべきデータ量を低減することが可能となる。ベクトル割付部６は、各内挿ブロックの内挿ベクトルＶｉ（ｔ−１／２）をベクトル補正部７に出力する。このとき、ベクトル割付部６は、各内挿ブロックに関する作画方向の情報もベクトル補正部７に出力する。

ベクトル補正部７は、内挿ベクトルＶｉ（ｔ−１／２）が割り付けられた各内挿ブロックについて、その作画方向を修正すべき補正対象ブロックに該当するかを判定する。作画方向判定部４において双方向作画領域に分類された内挿ブロックの内、基準方向作画領域または参照方向作画領域に分類された内挿ブロックに隣接する内挿ブロックを補正対象ブロックとする。すなわち、補正対象ブロックは、内挿画像の「消える領域」または「現れる領域」に隣接する。

補正対象ブロックに割り付けられた内挿ベクトルが、その補正対象ブロックに隣接する基準方向作画領域または参照方向作画領域に分類された内挿ブロックに割り付けられた内挿ベクトルと同じであるという条件１を満たす場合、その補正対象ブロックに割り付けられた内挿ベクトルは背景の動きを表していると考えられる。また、「消える領域」または「現れる領域」に隣接しているため、その内挿ベクトルの始点または終点として示される基準画像の検出ブロックおよび参照画像の検出ブロックのいずれかには、物体Ａの輪郭部分が含まれている可能性がある。それゆえ、このような補正対象ブロックに対し基準画像と参照画像との両方を用いて作画すると、背景が表示されるべき位置に物体Ａの一部が表示されてしまう。

そこで、補正対象ブロックの内挿ベクトルが上記条件１を満たす場合、その補正対象ブロックを基準画像および参照画像のいずれか一方からのみ作画するようにする。具体的には、補正対象ブロックの内挿ベクトルが隣接する基準方向作画領域に分類された内挿ブロックのベクトルと同じである場合、ベクトル補正部７はその補正対象ブロックを基準方向作画領域に改めて分類し直す。また、補正対象ブロックの内挿ベクトルが隣接する参照方向作画領域に分類された内挿ブロックのベクトルと同じである場合、ベクトル補正部７はその補正対象ブロックを参照方向作画領域に改めて分類し直す。実際の処理として、ベクトル補正部７は、補正対象ブロックについて参照（基準）画像のみから作画するように作画方向の指示子を付加してもよい。なお、補正対象ブロックの内挿ベクトルが上記条件１を満たさない場合、補正対象ブロックの分類は双方向作画領域のままである。

上記の２つの内挿ベクトルが同じであるという条件１は、２つの内挿ベクトルの差が所定の閾値以下であるという条件によって判定してもよい。

また、補正対象ブロックに割り付けられた内挿ベクトルが、その補正対象ブロックに隣接する基準方向作画領域または参照方向作画領域に分類された内挿ブロックに割り付けられた内挿ベクトルと差を有するという条件２を満たす場合、その補正対象ブロックに割り付けられた内挿ベクトルは物体Ａの動きを表していると考えられる。また、「消える領域」または「現れる領域」に隣接しているため、その補正対象ブロックは物体と背景との境界を含んでいる可能性があり、その境界における物体と背景との組み合わせに対応する画像領域は基準画像および参照画像のどちらにも存在せず、その補正対象ブロックは内挿画像を精度よく表現できない領域である可能性がある。

そこで、補正対象ブロックの内挿ベクトルが上記条件２を満たす場合、各内挿ベクトルに基づいて内挿画像を作成した後に、その補正対象ブロックについては画像を破棄し、補正対象ブロックの周囲の内挿画像の画素を用いて面内補間する。具体的には、ベクトル補正部７はその補正ブロックを面内補間する領域として分類する。実際の処理として、ベクトル補正部７は、補正対象ブロックについて内挿画像内で面内補間する指示子を付加してもよい。

上記の２つの内挿ベクトルに差があるという条件２は、２つの内挿ベクトルの差が所定の閾値より大きいという条件によって判定してもよい。

また、補正対象ブロックに隣接する基準（参照）方向作画領域に分類された内挿ブロックが複数ある場合、複数の内挿ブロックのそれぞれについて個別に判定し、いずれかの１つの判定結果によって補正対象ブロックを分類してもよいし、複数の判定結果によって補正対象ブロックを分類してもよい。または、複数の内挿ベクトルについて平均、メディアン等の処理を行い複数の内挿ブロックを代表する代表ベクトルを決定し、補正対象ブロックの内挿ベクトルと上記代表ベクトルとの比較に基づき補正対象ブロックを分類し直してもよい。

また、１つの内挿ブロックが複数の画素を含む場合、上記の面内補間に代わる処理として、以下のディザ処理を行ってもよい。補正対象ブロックの内挿ベクトルが上記条件２を満たす場合、その補正対象ブロックを複数の小補正ブロックに細分化し、小補正ブロックごとに異なる内挿ベクトルを適用する。具体的には、補正対象ブロックを１画素ラインの小補正ブロックに分割し、補正対象ブロックの内挿ベクトルを適用して作画する小補正ブロックと、別の内挿ベクトルを適用して作画する小補正ブロックとが交互に並ぶようにする。この別の内挿ベクトルは、補正対象ブロックの周囲の内挿ブロックの内挿ベクトルにメディアンフィルタまたはローパスフィルタ等のフィルタリング処理を施して得ることができる。この別の内挿ベクトルは、補正対象ブロックの周囲の複数の内挿ブロックの内挿ベクトルを代表するものである。実際の処理として、ベクトル補正部７は、補正対象ブロックについてディザ処理を行う指示子を付加してもよい。

上記の２つの内挿ベクトルに差があるという条件２を満たした場合に、面内補間処理を行うか、ディザ処理を行うかは２つの内挿ベクトルの差の大小に基づいて決定してもよい。

ベクトル補正部７は、内挿ベクトルの情報、補正後の作画方向の情報（指示子）、面内補間処理の情報（指示子）、およびディザ処理の情報（指示子）を作画部８に出力する。ここで、メディアンフィルタまたはローパスフィルタ等の内挿ベクトルのフィルタリング処理は作画部８にて作画時に行うことで、ベクトル補正部７から出力する情報量を低減することができる。ただし、情報量の増加を厭わないのであれば、小補正ブロックに適用するフィルタリング処理後の内挿ベクトルも合わせて作画部８に出力しても良い。

作画部８は、ベクトル補正部７からの内挿ベクトルの情報と作画方向の情報とに基づいて、基準画像および参照画像の映像信号から、内挿画像の各座標における映像信号を読み出し、内挿画像を生成する。また、作画部８は、面内補間処理の指示子およびディザ処理の指示子に基づいて、内挿画像の一部の領域に面内補間処理またはディザ処理を行う。

（画像補間処理）
以下に、本願発明に係る画像補間装置１の行う具体的な画像補間処理について説明する。

（１）動きベクトルの検出
図２（ａ）は、背景に対して物体Ａが移動する映像の原画像を示す図であり、時間的に過去（時刻ｔ−１）の原画像ｆ（ｔ―１）を示す図である。図２（ｂ）は、図２（ａ）に対応する時間的に未来（時刻ｔ）の原画像ｆ（ｔ）を示す図である。以下では、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の間に表示するための１つの内挿画像ｆｉ（ｔ−１／２）を生成する場合について具体的に説明する。内挿画像ｆｉ（ｔ−１／２）は、時刻ｔ−１と時刻ｔとの中間（時刻ｔ−１／２）に表示される。

図２（ａ）に示すとおり、原画像ｆ（ｔ−１）において、箇所２−１のように細い線で囲まれた部分は、１ピクセル（画素）を表している。また、原画像ｆ（ｔ−１）は、原画像上を８×８ピクセルの画素群ごとに分割されており、この画素群は動きベクトルの検出単位である検出ブロック（検出領域）２−２〜２−１１を構成している。同様に、図２（ｂ）に示すとおり、原画像ｆ（ｔ）も、原画像上を８×８ピクセルの画素群ごとに分割されており、この画素群は動きベクトルの検出単位である検出ブロック（検出領域）２−１４〜２−２３を構成している。図２（ａ）および図２（ｂ）において、検出ブロックは太い線で囲まれた領域である。原画像ｆ（ｔ−１）およびｆ（ｔ）における白抜きの画素群は、移動する物体Ａを表している。また、図２（ａ）および図２（ｂ）において、斜線等のハッチングが施された領域（白抜き以外の領域）は、物体Ａの背面にある背景を示す背景領域を表している。図２（ａ）および図２（ｂ）において、同一のハッチングで示されている領域は、同じ背景領域を表している。また、図２（ａ）の矢印２−１２は、時刻ｔ−１と時刻ｔとの間における物体Ａの動きベクトルを示しており、矢印２−１３は、時刻ｔ−１と時刻ｔとの間における背景領域の動きベクトルを示している。原画像ｆ（ｔ−１）に対して原画像ｆ（ｔ）では、物体Ａは図面右方向に８ピクセル移動し、背景は図面左方向に８ピクセル移動している。図２（ａ）、図２（ｂ）に示す例では、時刻ｔ−１と時刻ｔとの間で画像上での物体Ａおよび背景の大きさは変化せず、物体Ａは一様に図面右方向に、背景は一様に図面左方向に移動している。

本実施形態では、原画像を区分けする各検出ブロックは、時間によって変化せず、固定的に原画像を区切っている。すなわち、各検出ブロックは、原画像の中を移動する物体および背景等を区別せずに設定される。各検出ブロックの形状等は任意に設定できるが、原画像上で一様に区切った場合、動きベクトルの検出が容易になる。

図４は、内挿画像の作画処理を説明するための図である。説明を簡略にするため、図４においては、原画像ｆ（ｔ−１）について、図２（ａ）に示す原画像ｆ（ｔ−１）の、検出ブロック２−２〜２−６の中の物体Ａの動き方向に沿った１つの行の画素を抜き出して示してある。原画像ｆ（ｔ）、内挿画像ｆｉ（ｔ）についても同様に上記に対応する１行を抜き出して示してある。

図４において、太い線で囲まれた４−１〜４−７は、動きベクトルを求める単位領域である原画像ｆ（ｔ−１）上の検出ブロックを示す。また、太い線で囲まれた４−１１〜４−１７は、動きベクトルを求める単位領域である原画像ｆ（ｔ）上の検出ブロックを示す。太い線で囲まれた４−２１〜４−３４は、動きベクトルを割り当てる単位領域である内挿画像ｆｉ（ｔ−１／２）上の内挿ブロック（内挿領域）を示す。図２（ａ）の検出ブロック２−２〜２−６にはそれぞれ図４の検出ブロック４−１〜４−５が対応する。また、原画像ｆ（ｔ−１）の検出ブロック４−１〜４−７には、原画像ｆ（ｔ）の検出ブロック４−１１〜４−１７がそれぞれ対応する。内挿画像は原画像よりも小さい領域ごとに分割されており、内挿ブロックは検出ブロックより小さい。ここでは内挿ブロックは４×２ピクセルの領域とする。内挿ブロックは、図４に示す１行において４ピクセルである。

以下では、過去の原画像（過去画像）ｆ（ｔ−１）を基準画像とし、未来の原画像（未来画像）ｆ（ｔ）を参照画像として、基準画像の各検出ブロックから参照画像の各検出ブロックへの動きベクトルを求める。基準画像の各検出ブロックごとに検出される動きベクトルの一部を、基準画像の検出ブロックを始点とし、参照画像の検出ブロックを終点として、実線矢印で示している。動きベクトルは、ブロックマッチングまたは勾配法等によって検出することができる。

例えば、基準画像の検出ブロック４−３については、参照画像の検出ブロック４−１４への動きベクトルが検出される。図４を参照すると、この検出ブロック４−３を始点とする動きベクトルは、内挿画像の内挿ブロック４−２６、４−２７を通る（検出ブロック４−３を動きベクトルにしたがって時刻ｔ−１／２まで移動させると内挿ブロック４−２６、４−２７の位置に移動する）ので、内挿ブロック４−２６、４−２７の動きは検出ブロック４−３の動きベクトルにしたがっていると判断できる。そのため、内挿ブロック４−２６、４−２７については、この動きベクトルを用いて基準画像の検出ブロック４−３および参照画像の検出ブロック４−１４の画像情報から作画することができる。

しかしながら、動きベクトルの検出においては、「消える領域」、「現れる領域」が問題となる。例えば、基準画像の検出ブロック４−５に示されている背景領域の画像は、参照画像においては物体Ａによって隠されてしまい表示されない「消える領域」である。すなわち、基準画像ｆ（ｔ−１）の検出ブロック４−５に示されている背景領域の画像は、参照画像ｆ（ｔ）では移動した物体Ａによって隠される。このような「消える領域」の画像の情報は基準画像ｆ（ｔ−１）のみにしか存在しない。そのため、検出ブロック４−５の動きベクトルとして誤った動きベクトルが検出される。また、参照画像の検出ブロック４−１２の背景領域の画像は、基準画像においては物体Ａによって隠されている「現れる領域」である。このような「現れる領域」の画像の情報は参照画像ｆ（ｔ）のみにしか存在しない。そのため、参照画像ｆ（ｔ）の検出ブロック４−１２を終点とする動きベクトルは検出されない。

（２）作画方向の判定
検出ブロック４−５の「消える領域」については、検出ブロック４−５の画像に最も類似した参照画像の検出ブロックを終点とする動きベクトルが検出される。例えば、基準画像の検出ブロック４−５の動きベクトルとして、参照画像の検出ブロック４−１６を終点とする動きベクトルが検出される。ただし、参照画像の検出ブロックを終点とする動きベクトルは、基準画像の検出ブロック４−６、４−７においても同様に検出される。すなわち、基準画像の複数の検出ブロックの動きベクトルが、移動先として参照画像の同一の検出ブロックを指し示す。したがって、参照画像の同一の検出ブロックを指し示す動きベクトルが検出されれば、その基準画像の検出ブロックの中に「消える領域」が存在すると判定することができる。ここでは検出ブロック４−５、４−６、４−７が「消える領域」であると判定される。

この基準画像の「消える領域」の検出ブロックについては、誤った動きベクトルが検出されている可能性が高いため、内挿画像の内挿ブロック４−３０、４−３１等にこの誤った動きベクトルを適用する訳にはいかない。それゆえ、基準画像の「消える領域」に対応する内挿画像の「消える領域」の内挿ブロック４−３０、４−３１、４−３２、４−３３については、上で検出された動きベクトルに代えて、基準画像の「消える領域」の検出ブロックの動きを予測した予測動きベクトルを求め、それを「消える領域」の内挿ブロックに適用して作画する。予測動きベクトルについては後述する。このとき、予測動きベクトルを適用して作画する「消える領域」の内挿ブロックについては、基準画像の情報のみを用いて作画する。この段階では、参照画像において同一の終点を指し示す動きベクトルによって指し示される（動きベクトルが図４の時空間において通過する）内挿ブロック４−３０、４−３１、４−３２、４−３３を基準画像の情報のみを用いて作画する内挿ブロック（基準方向作画領域）として分類する。また、内挿ブロック４−３２、４−３３は背景領域であると推測される。これにより、例えば参照画像の検出ブロック４−１６に物体Ａの輪郭が存在する場合でも、内挿ブロック４−３２、４−３３は背景領域である基準画像の検出ブロック４−７のみに基づき作画されるので、双方から作画して物体Ａの擬似輪郭が生じることを防ぐことができる。

また、参照画像の検出ブロック４−１２、４−１３の「現れる領域」については、これを終点とする動きベクトルが検出されない。これに伴い、参照画像の「現れる領域」に対応する内挿画像の「現れる領域」の内挿ブロック４−２４等については、対応する動きベクトルが検出されない。それゆえ、内挿画像の「現れる領域」の内挿ブロック４−２４については、参照画像の「現れる領域」の検出ブロックの動きを予測した予測動きベクトルを求め、それを「現れる領域」の内挿ブロックに適用して作画する。ここで、例えば参照画像の「現れる領域」の検出ブロック４−１２の動きを予測した予測動きベクトルは、基準画像の検出ブロック４−３を始点とし、参照画像の検出ブロック４−１２を終点とする動きベクトルである。予測動きベクトルについては後述する。このとき、予測動きベクトルを適用して作画する「現れる領域」の内挿ブロックについては、参照画像の情報のみを用いて作画する。この段階では、指し示す動きベクトルが検出されない（いずれの動きベクトルも図４の時空間において通過しない）内挿ブロック４−２４、４−２５を参照画像の情報のみを用いて作画する内挿ブロック（参照方向作画領域）として分類する。

その他の内挿ブロックは、基準画像および参照画像の両方の情報を用いて作画する内挿ブロック（双方向作画領域）として分類する。

（３）予測動きベクトル
「消える領域」の予測動きベクトルは、物体Ａと背景とが過去の動きを継続するとして類推することができる。「消える領域」は背景に対する物体Ａの動きによって隠される背景領域であり、時間経過によって物体に浸食される背景領域でもある。そのため、対象領域付近での動きベクトルの発生頻度は時間経過によって減少すると考えられる。例えば、基準画像の「消える領域」を含む周辺の検出ブロックにおいて、１フレーム前（時刻ｔ−２からｔ−１の間）に検出された動きベクトルに対して出現頻度が減少した動きベクトルが、基準画像の背景の動きベクトルに相当すると推測できる。例えば、基準画像の検出ブロック４−５を中心とする５×５ブロックの動きベクトルの中で、出現頻度が最も減少した動きベクトルを検出ブロック４−５の予測動きベクトルとしてもよい。こうして検出ブロック４−５の予測動きベクトルとして、例えば検出ブロック４−７と同じ動きベクトルが求められる。

「現れる領域」の予測動きベクトルも同様に、物体Ａと背景とが過去の動きを継続するとして類推することができる。物体Ａによって隠されていた背景が、物体Ａが去ることにより出現する背景領域である。そのため、対象領域付近での動きベクトルの発生頻度は時間経過によって増加すると考えられる。例えば、参照画像の「現れる領域」を含む周辺の検出ブロックにおいて、１フレーム前（時刻ｔ−２からｔ−１の間）に検出された動きベクトルに対して出現頻度が増加した動きベクトルが、参照画像の背景の動きベクトルに相当すると推測できる。例えば、参照画像の検出ブロック４−１２を中心とする５×５ブロックの動きベクトルの中で、出現頻度が最も増加した動きベクトルを検出ブロック４−１２の予測動きベクトルとしてもよい。ここで上記出現頻度とは、画像に対応する２次元空間において同じ大きさおよび同じ方向を有する動きベクトルごとの出現頻度を意味する。誤差を考慮して、上記同じ大きさおよび同じ方向の判定には幅を持たせてもよい。こうして検出ブロック４−２の予測動きベクトルとして、例えば検出ブロック４−２と同じ動きベクトルが求められる。このようにして、求められた予測動きベクトルを点線矢印で図４に示す。

また特殊な場合として、画像上において物体が静止し、それに対して背景が移動していた場合、検出される動きベクトルの出現頻度に時間的な変化は発生しない。このような状態は、例えば動きベクトルとして所定の値以上のゼロベクトルが検出され、そのゼロベクトルの動きベクトルが増減しないという条件により識別可能である。この場合は、ゼロベクトル以外の最も発生頻度の高い動きベクトルを「消える領域」および「現れる領域」の予測動きベクトルとして用いる。

（４）動きベクトルの割付
以下に、内挿ブロックの動きを表す内挿ベクトルの生成について説明する。内挿ベクトルとしては、上で検出された動きベクトル、または予測動きベクトルを用いる。ここでは、ある内挿ブロックについて内挿ベクトルを決定することを、内挿ブロックに上記動きベクトルまたは予測動きベクトルを割り付けると表現する。

画像補間装置１は、上述のとおり、「消える領域」、「現れる領域」において検出された動きベクトルを、統計データに基づいて補正した（予測動きベクトルに置き換えた）上で、内挿ブロックへの動きベクトルの割付処理を行う。

図４では、基準画像ｆ（ｔ−１）を基準として参照画像ｆ（ｔ）に対して検出された動きベクトルが、内挿ブロックに割り付けられる様子が示されている。

検出ブロック４−２における動きベクトルとして、背景の動きを表す動きベクトル、すなわち検出ブロック４−１１への動きベクトルが検出される。検出ブロック４−２からこの動きベクトルによって指し示される内挿ブロック４−２２、４−２３には、検出ブロック４−２の動きベクトルが内挿ベクトルとして割り付けられる。なお、この段階では、内挿ブロック４−２２、４−２３は、双方向作画領域として分類されている。

検出ブロック４−３における動きベクトルとして、物体Ａの動きを表す動きベクトル、すなわち検出ブロック４−１４への動きベクトルが検出される。検出ブロック４−３からこの動きベクトルによって指し示される内挿ブロック４−２６、４−２７には、検出ブロック４−３の動きベクトルが内挿ベクトルとして割り付けられる。なお、この段階では、内挿ブロック４−２６、４−２７は、双方向作画領域として分類されている。

検出ブロック４−４における動きベクトルとして、物体Ａの動きを表す動きベクトル、すなわち検出ブロック４−１５への動きベクトルが検出される。検出ブロック４−４からこの動きベクトルによって指し示される内挿ブロック４−２８、４−２９には、検出ブロック４−４の動きベクトルが内挿ベクトルとして割り付けられる。なお、この段階では、内挿ブロック４−２８、４−２９は、双方向作画領域として分類されている。

また、検出ブロック４−５、４−６における動きベクトルとして、近傍の類似ブロック、すなわち検出ブロック４−１６への動きベクトルが最も近しい検出結果として検出される。また、検出ブロック４−７における動きベクトルとして、背景の動きを表す動きベクトル、すなわち検出ブロック４−１６への動きベクトルが検出される。これらの動きベクトルは同一の検出ブロック４−１６を終点としており、いずれか、または複数が誤ったベクトルである。そこで、検出ブロック４−５、４−６、４−７については、これらの検出された動きベクトルを破棄して、上で求めた予測動きベクトルを用いる。検出ブロック４−７については、正しい動きベクトルが求まっているが、予測動きベクトルと同じベクトルなので不都合はない。また、検出された動きベクトルと予測動きベクトルとの差が小さければ検出された動きベクトルを用いるようにしてもよい。検出ブロック４−６の予測動きベクトルによって指し示される内挿ブロック４−３０、４−３１には、検出ブロック４−６の予測動きベクトルが内挿ベクトルとして割り付けられる。なお、内挿ブロック４−３０、４−３１は、基準方向作画領域として分類されている。言い換えれば、基準方向作画領域に分類されている内挿ブロックについては、その内挿ブロックを指し示す予測動きベクトルを割り付ける。

また、検出ブロック４−５の予測動きベクトルは、内挿ブロック４−２８、４−２９を指し示すが、上記したようにこの内挿ブロック４−２８、４−２９は検出ブロック４−４からの動きベクトルによって指し示されている。この場合は、予測動きベクトルよりも検出された動きベクトルを優先して内挿ブロックに割り付ける。言い換えれば、双方向作画領域に分類されている内挿ブロックについては、予測動きベクトルよりも検出された動きベクトルを優先して割り付ける。

また、参照方向作画領域に分類されている内挿ブロック４−２４、４−２５には、その内挿ブロックを指し示す検出ブロック４−１２の予測動きベクトルを割り付ける。

以上により、各内挿ブロックの動きを表す内挿ベクトルが求められる。内挿画像の１つの内挿ブロックに含まれる各画素には、当該内挿ブロックに割り付けられた同じ内挿ベクトルが適用される。

（５）内挿画像の作画
次に、内挿ベクトルを用いた内挿画像の作画方法について説明する。図２（ａ）において、図面左上の座標を（０，０）、図面右方向をｘ座標の正の方向、図面下方向をｙ座標の正の方向とし、基準画像ｆ（ｔ−１）における座標（ｘ，ｙ）の画素値をＰｐ（ｘ，ｙ）、参照画像ｆ（ｔ）における座標（ｘ，ｙ）の画素値をＰｆ（ｘ，ｙ）と表す。また、内挿画像ｆｉ（ｔ−１／２）において、座標（ｘ，ｙ）に適用される内挿ベクトルを（Ｖｘ，Ｖｙ）、座標（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）とする。ここで、内挿画像ｆｉ（ｔ−１／２）は、基準画像ｆ（ｔ−１）と参照画像ｆ（ｔ）との中間（時刻ｔ−１／２）に作画されるものとする。

このとき、作画される内挿画像ｆｉ（ｔ−１）の画素値Ｐ（ｘ，ｙ）は、
Ｐ（ｘ，ｙ）＝α×Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）
＋（１−α）×Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）
となる。

ここで、Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）、Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）は、単一画素の画素値を示すのではなく、それぞれ基準画像、参照画像を代表する画素値を示す。原画像を代表する画素値とは、例えば、（ｘ−Ｖｘ×１／２）で示されるｘ座標の値が小数値を示す場合などにおいては、原画像の画素間をリニア補間した値または周辺画素をガウシアンフィルタによりフィルタリングした値などを意味する。また、αは基準画像および参照画像の混合比率であり、ブレンド率と呼ばれる。αの値としては、１／２に固定してもよいし、内挿画像を表示する時間的内分点の比率によって変動させてもよい。また、基準画像のみから作画する基準方向作画領域の作画ではαは１に、参照画像のみから作画する参照方向作画領域の作画ではαは０に設定される。

（物体境界の問題）
図４に示す例においては、検出ブロック４−２で示される物体Ａと背景とが混在し、その境界が存在する検出ブロック４−２において検出された動きベクトルは背景の動きを表している。しかしながら、この検出ブロック４−２は物体Ａの領域を含むために物体Ａの動きを表す動きベクトルが検出される可能性もある。この場合の例を図５に示した。以下では図５に示す例において、図４に示す例と異なる部分について説明する。

図５は、図４と同じ基準画像および参照画像の同じ箇所を示すものであるが、検出ブロック４−２に対応する検出ブロック５−２において、検出された動きベクトルが異なる。検出ブロック５−２においては、物体Ａの動きを表す、検出ブロック５−１３への動きベクトルが検出されている。そして、検出ブロック５−２において検出された動きベクトルは、内挿ブロック５−２４、５−２５に割り付けられる。なお、内挿ブロック５−２４、５−２５は双方向作画領域として分類される。

一方、参照画像の検出ブロック５−１１を終点とする予測動きベクトルが求められ、内挿ブロック５−２２、５−２３に割り付けられる。内挿ブロック５−２２、５−２３は参照方向作画領域として分類される。

ここで、図４および図５における内挿画像の物体Ａと背景との境界に注目する。図４の例においては、物体Ａの一部が同じ検出ブロック４−２に含まれる背景の動きとともに移動するため、物体Ａの一部が物体Ａの他の部分から切り離され内挿ブロック４−２３に表示されている。ここで、正確には内挿ブロック４−２３は基準画像の検出ブロック４−２と参照画像の検出ブロック４−１１とを用いて作画されるが、特に物体と背景と画素値の差が大きい場合には、内挿ブロック４−２３は、周囲の背景から不自然に目立って見える。すなわち物体Ａの不自然な擬似輪郭が表示される。

図５の例においては、物体Ａとの境界の背景領域が同じ検出ブロック５−２に含まれる物体の動きとともに移動するため、検出ブロック５−２に含まれる背景が内挿画像上に５−２４に表示される。ここで、内挿ブロック５−２２、５−２３、５−２４の並びの配置はいずれの原画像にも存在しない（本来の背景画像として存在しない）ものであり、背景の不自然な非連続領域が内挿ブロック５−２３、５−２４において発生する。特に内挿ブロック５−２３と５−２４との画素値の差が大きい場合には、不自然な表示となる。

図４の例および図５の例は、いずれも好ましい内挿画像を作成しているとは言えない。しかしながら、図３に示される理想的な内挿画像における内挿ブロック３−２３および３−２４の組み合わせは、基準画像および参照画像のいずれにも存在しない。

（内挿画像の作画方法の補正）
そこで、内挿画像の作画に先立って、問題を生じる可能性のある内挿ブロックの作画方向の分類を補正する。図４の例において、物体Ａの擬似輪郭が発生は、「現れる領域」の内挿ブロックと背景の動きベクトルで指し示される内挿ブロックとの間で起こる。また、「現れる領域」の内挿ブロックの内挿ベクトルは、背景の動きベクトルと同じである。そのため、「双方向作画領域に分類されて」おり、かつ、「所定の範囲内に参照方向作画領域に分類されている内挿ブロックが存在して」いる内挿ブロックの作画方向を補正する補正対象ブロックとする。所定の範囲内とは、隣接する内挿ブロックの範囲としてもよいし、２つ隣の内挿ブロックまで含む範囲としてもよい。本実施の形態では、２つ隣の内挿ブロックまで含む範囲に参照方向作画領域に分類されている内挿ブロックが存在している場合に、その内挿ブロックを補正対象ブロックとする。ここでは、内挿ブロック４−２２、４−２３、４−２６、４−２７等が補正対象ブロックである。

そして、補正対象ブロック４−２２、４−２３に割り付けられた内挿ベクトルは、所定の範囲内の参照方向作画領域に分類された内挿ブロック４−２４に割り付けられた内挿ベクトルと同じ（または差が小さい）であるという条件１を満たすので、補正対象ブロック４−２２、４−２３は背景を示すものであると考えられる。したがって、補正対象ブロック４−２２、４−２３を、物体Ａの輪郭を含む可能性のある基準画像の検出ブロック４−２の情報は用いずに、参照画像の検出ブロック４−１１のみに基づき作画する。すなわち、補正対象ブロック４−２２、４−２３を参照方向作画領域に改めて分類する。これにより、内挿ブロック４−２３に擬似輪郭が生じない良質な内挿画像を得ることができる。

また、補正対象ブロック４−２６、４−２７については、所定の範囲内の参照方向作画領域に分類された内挿ブロック４−２５に割り付けられた内挿ベクトルとの差が大きいので、補正対象ブロック４−２６、４−２７は、物体Ａを示すものであると考えられる。したがって、補正対象ブロック４−２６、４−２７の作画方向は変更せずに、双方向作画領域のままにしておく。

また、図５の例においては、内挿ブロック５−２１等が補正対象ブロックになる。同様に内挿ブロック５−２１は、参照方向作画領域に改めて分類される。ここで、内挿ブロック５−２１の内挿ベクトルに対応する、基準画像ｆ（ｔ−１）および参照画像ｆ（ｔ）の領域は、共に同じ背景領域を示しており、参照画像のみに基づき作画しても問題はない。

図５の例において、背景の非連続領域が発生するのは、「現れる領域」の内挿ブロックに隣接して、物体Ａの動きを表す内挿ベクトルが割り付けられた内挿ブロックである。「現れる領域」の内挿ブロックは背景の動きベクトルと同じである。そのため、上記と同様に、「双方向作画領域に分類されて」おり、かつ、「所定の範囲内に参照方向作画領域に分類されている内挿ブロックが存在して」いる内挿ブロックの作画方向を補正する補正対象ブロックとする。上で説明した内挿ブロック５−２１を除くと、内挿ブロック５−２４、５−２５が補正対象ブロックに該当する。

そして、補正対象ブロック５−２４、５−２５に割り付けられた内挿ベクトルは、所定の範囲内の参照方向作画領域に分類された内挿ブロック５−２３に割り付けられた内挿ベクトルとの差が大きいという条件２ａを満たすので、補正対象ブロック５−２４、５−２５において、物体Ａの動きに背景領域が従動し、周辺の背景領域に対して不連続な背景領域を作画する可能性がある。しかしながら、この領域の画像の組み合わせは原画像に存在しない可能性があるため、この補正対象ブロック５−２４、５−２５は原理的に正確に内挿画像を作成することが困難な領域である。

そこで、補正対象ブロック５−２４、５−２５については、作画された内挿画像の周辺の領域から面内補間によって作画する。補正対象ブロック５−２４、５−２５については、内挿ベクトルを用いて作画をせずに、まず周囲の内挿ブロックの作画を行う。その後、補正対象ブロック５−２４、５−２５の周囲の画素を用いてリニア補間またはバイリニア補間等を行い作画する。面内補間に用いる周囲の画素の範囲は任意である。これにより、背景領域の不自然な非連続領域を生じさせず、良質な内挿画像を得ることができる。

物体Ａの輪郭を含む基準画像の検出ブロック４−２、５−２の動きベクトルとして、物体Ａの動きベクトルになるか、背景の動きベクトルになるかは、物体と背景との組み合わせによって異なる。そして、どちらの動きベクトルが検出されるかにより、内挿画像における物体Ａの輪郭が、図４の内挿ブロック４−２６になるか、図５の内挿ブロック５−２５になるか結果が変わる。ここで、内挿ブロックは一般的に長方形で定義されるので、内挿画像における物体Ａの輪郭は内挿ブロックを単位に形成されやすい。そのため、内挿画像の物体Ａの形状に幾何学的な不自然が生じ、内挿画像において内挿ブロックの形状が視認されやすくなるという問題がある。

この問題に対しては、補正対象ブロックに上記の面内補間の処理に代わって、ディザ処理を行うことにより、人間にとってより自然な画像に視認される内挿画像を得ることができる。以下にディザ処理について説明する。

図４および図５の例では、内挿ブロックは４×２ピクセルのブロックであり、１つの内挿ベクトルは対応する内挿ブロックに含まれる画素の全ての作画に使用される。そのため、内挿画像に内挿ブロックの形状を反映した画像が作成されやすい。そこで、上記条件２ａを満たした補正対象ブロックについて、ディザ処理を行う。このような補正対象ブロックとしては、図５の例では内挿ブロック５−２４等が該当する。

図６（ａ）は、内挿画像上の内挿ブロックを示す図であり、図６（ｂ）は、図６（ａ）の内挿ブロックの１つを細分化した図である。内挿画像は４×２ピクセルの内挿ブロック６−１〜６−９を含んでいる。内挿ブロック６−１〜６−９の内挿ベクトルをそれぞれＶ１〜Ｖ９とし、内挿ブロック６−５が補正対象ブロックであるとする。この補正対象ブロック６−５を、図６（ｂ）に示す４×１ピクセルの２つの小補正ブロック６−５ａ、６−５ｂに分割する。一方の小補正ブロック６−５ａは、補正対象ブロック６−５の内挿ベクトルＶ５を用いて作画する。他方の小補正ブロック６−５ｂは、補正対象ブロック６−１〜６−４、６−６〜６−９の内挿ベクトルの平均、またはメディアン等を用いて作画する。小補正ブロック６−５ａ、６−５ｂに適用する補正後の内挿ベクトルをそれぞれＶ５ａ、Ｖ５ｂとすると、例えば、以下のようになる。
Ｖ５ａ＝Ｖ５
Ｖ５ｂ＝（Ｖ１＋Ｖ２＋Ｖ３＋Ｖ４＋Ｖ６＋Ｖ７＋Ｖ８＋Ｖ９）／８
もしくは、補正対象ブロックに接する上下左右の内挿ブロックの内挿ベクトルだけを用いて、
Ｖ５ｂ＝（Ｖ２＋Ｖ４＋Ｖ６＋Ｖ８）／４
としてもよい。また、周辺の内挿ブロックの内挿ベクトルの平均の代わりにメディアンを求めてＶ５ｂとしてもよい。また、Ｖ５ａおよびＶ５ｂを共に元の内挿ベクトルＶ５と異なるものとしてもよい。また、補正対象ブロック６−５を、１×２ピクセルの４つの小補正ブロックに分割してもよく、その場合は、元の内挿ベクトルＶ５を適用する小補正ブロックと平均処理等による補正後の内挿ベクトルＶ５ｂを適用する小補正ブロックとが交互に配置されるように作画することが好ましい。このように、物体Ａの境界を含む内挿ブロックをコーミング状の小補正ブロックに分割し、小補正ブロックごとに異なる動きベクトルを適用して内挿ブロックの作画を行うことにより、内挿ブロックの形状をぼかし、人間が視認した場合に物体Ａと背景との境界が不自然に感じられないようにすることができる。

図４の例では、補正対象ブロックは、内挿ブロック４−２６等が該当し、これに面内補間処理またはディザ処理等を行う。

ここまで、「現れる領域」付近に生じる問題について説明した。「消える領域」は背景であるため、「消える領域」の対応領域は参照画像に存在しない。そのため基準画像の検出ブロック４−４に背景領域が含まれていたとしても、内挿画像において物体Ａの一部が背景と共に移動して物体Ａから分離するような問題は一般的に起こらない。

ただし、物体Ａに隣接する背景が「消える領域」に隣接する検出ブロックに含まれており、背景が物体Ａと共に動くことにより背景領域の非連続領域が内挿画像上に発生する場合は生じる。この場合、「現れる領域」の非連続領域と同様に考える。つまり、内挿画像上の理想的な背景と物体Ａとの組み合わせは、基準画像ｆ（ｔ−１）および参照画像ｆ（ｔ）には存在しないので、面内補間処理またはディザ処理を行う必要がある。

この補正対象ブロックとなるのは、図４の例では内挿ブロック４−２９であり、図５の例では内挿ブロック５−２９である。内挿ブロック４−２９等を補正対象ブロックとして判定する条件は、「双方向作画領域に分類されて」おり、かつ、「所定の範囲内に基準方向作画領域に分類されている内挿ブロックが存在して」いるという条件である。そして、この補正対象ブロック４−２９に割り付けられた内挿ベクトルと、所定の範囲内の基準方向作画領域に分類された内挿ブロック（例えば４−３０）に割り付けられた内挿ベクトルとの差が大きいという条件２ｂを満たす場合に、補正対象ブロック４−２９に対して面内補間処理またはディザ処理等を行う。

上述のように、内挿ブロックについて、隣接する内挿ブロックが基準画像または参照画像の一方のみに基づき作画をする内挿ブロックであり、かつ、当該内挿ブロックの内挿ベクトルと差が小さい場合、隣接する内挿ブロックと同じ原画像のみに基づき作画することで、内挿画像の擬似輪郭を抑制することが可能となる。また、隣接する内挿ブロックが基準画像または参照画像の一方のみに基づき作画をする内挿ブロックであり、かつ、当該内挿ブロックの内挿ベクトルと差が大きい場合、内挿画像を作画した後に、対象の内挿ブロックの画素を、周囲の画素からリニア補間またはバイリニア補間した画素に置き換えることで、内挿画像上の非連続領域の発生を抑制することが可能となり、良質な内挿画像を得ることが可能となる。

また、本発明に係る画像補間装置１は、例えば、テレビジョン受像装置に備えられて、受信した放送信号に含まれる映像信号に基づいて表示される画像を補間する構成であってもよい。あるいは、本発明に係る画像補間装置１は、ＤＶＤ再生装置やビデオ再生装置等の映像再生装置に備えられて、記録媒体に記録されている映像データに基づいて再生される画像を補間する構成であってもよい。

〔実施の形態２〕
次に、実施の形態２の画像補間装置について説明する。尚、説明の便宜上、以下では、実施の形態１との相違点のみを説明する。実施の形態２では、ベクトル生成部１０によって内挿ブロックの各内挿ベクトルを求める処理方法が実施の形態１と異なる。

ベクトル検出部３は、実施の形態１と同様の方法によって、基準画像の各検出ブロックについて動きベクトルを検出する。

統計処理部５は、ベクトル検出部３で検出された動きベクトルに基づき、基準画像の検出ブロックの動きベクトルが、参照画像において同じ検出ブロック（図４に示す例では、検出ブロック４−１６）を終点とする場合、その基準画像の検出ブロック（図４に示す例では、検出ブロック４−５、４−６、４−７）について、実施の形態１と同様の方法によって予測動きベクトルを求める。また、統計処理部５は、終点となる動きベクトルが検出されていない参照画像の検出ブロック（図４に示す例では、検出ブロック４−１２、４−１３）について、実施の形態１と同様の方法によって予測動きベクトルを求める。なお、検出ブロック４−１３を終点とする予測動きベクトルとして、検出ブロック４−１２を終点とする予測動きベクトルと方向および大きさが同じものが求められる。統計処理部５は、求めた予測動きベクトルを、作画方向判定部４に出力する。

作画方向判定部４は、ベクトル検出部３で検出された動きベクトルおよび統計処理部５で求められた予測動きベクトルによって、内挿画像を作画すべき作画方向を判定する。すなわち、各動きベクトルについて、内挿画像を、基準画像のみを用いて作画すべきか、参照画像のみを用いて作画すべきか、基準画像および参照画像の両方を用いて作画すべきかの作画方向を判定する。例えば、図４に示す例では、作画方向判定部４は、検出ブロック４−１、４−２、４−３、４−４を始点とする動きベクトル（ベクトル検出部３で検出された動きベクトル：実線矢印）については、基準画像および参照画像の両方を用いて双方向から作画すると判定する。また、作画方向判定部４は、検出ブロック４−５、４−６、４−７を始点とする予測動きベクトル（点線矢印）については、基準画像のみを用いて作画すると判定する。なお、検出ブロック４−７の予測動きベクトルは、ベクトル検出部３で検出された動きベクトル（実線矢印）と同じである。また、作画方向判定部４は、参照画像の検出ブロック４−１２、４−１３を終点とする予測動きベクトル（点線矢印）については、参照画像のみを用いて作画すると判定する。作画方向判定部４は、検出された動きベクトルと、予測動きベクトルと、各動きベクトルの作画方向に関する上記の判定結果（作画方向の情報）とをベクトル割付部６に出力する。

ベクトル割付部６は、検出された動きベクトルと、予測動きベクトルと、各動きベクトルの作画方向の情報とに基づき、内挿画像の各内挿ブロックの動きを表す内挿ベクトルを求め、内挿ベクトルを各内挿ブロックに割り付ける。以後の処理は実施の形態１と同様に行うことができる。

以上では、作画方向判定部４は、各動きベクトルに作画方向の情報を付加したが、作画方向判定部４は、各検出ブロックについての作画方向の情報を各検出ブロックに付加してベクトル割付部６に出力してもよい。この場合、ベクトル割付部６は、基準画像の検出ブロック４−５、４−６、４−７の動きベクトルを予測動きベクトルに置き換える。そして、基準画像の検出ブロックおよび対応する動きベクトルと、参照画像の検出ブロックおよび対応する動きベクトルと、各検出ブロックについての作画方向の情報とに基づき、内挿画像の各内挿ブロックの動きを表す内挿ベクトルを求め、内挿ベクトルを各内挿ブロックに割り付けてもよい。

ベクトル生成部１０における処理では、以上の方法に限らず、内挿ブロックの各内挿ベクトルを求める一般的な処理方法を利用することができる。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像補間装置１の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像補間装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像補間装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像補間装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像補間装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明に係る画像補間装置は、映像信号に含まれる原画像から補間画像を精度良く生成することができるため、テレビジョン受像装置やＤＶＤ再生装置などにおいて好適に利用できる。

１ 画像補間装置
２ 遅延部（映像データ遅延手段）
３ ベクトル検出部（第１の動きベクトル検出手段）
４ 作画方向判定部（内挿領域分類手段）
５ 統計処理部（第２の動きベクトル検出手段）
６ ベクトル割付部（内挿動きベクトル割付手段）
７ ベクトル補正部（分類補正手段）
８ 作画部（作画手段）
９ 状態記憶部（状態記憶手段）
１０ ベクトル生成部（内挿動きベクトル生成手段）

Claims (12)

1. 第１の時刻に対応する第１の原画像と第１の時刻より後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像を生成する画像補間装置において、
   第１の原画像および第２の原画像のいずれか一方を基準画像とし、他方を参照画像としたときに、上記内挿画像を複数の内挿領域に分割して、各内挿領域について該内挿領域の動きを表す内挿動きベクトルを求め、各内挿領域を、上記基準画像のみを用いて作画する第１の作画領域、上記参照画像のみを用いて作画する第２の作画領域、または上記基準画像と上記参照画像との両方を用いて作画する第３の作画領域に分類する内挿動きベクトル生成手段と、
   第３の作画領域に分類された内挿領域であり、かつ、第２の作画領域に分類された内挿領域の近傍にある内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルと当該第２の作画領域に分類された内挿領域の内挿動きベクトルとが略同一である場合、当該第３の作画領域に分類された内挿領域を第２の作画領域に分類し直す分類補正手段とを備えることを特徴とする画像補間装置。
2. 上記分類補正手段は、第３の作画領域に分類された内挿領域であり、かつ、第２の作画領域に分類された内挿領域の近傍にある内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルと当該第２の作画領域に分類された内挿領域の内挿動きベクトルとの差が第１の閾値より大きい場合、当該第３の作画領域に分類された内挿領域を第４の作画領域に分類し直し、
   第１、第２、および第３の作画領域に分類された内挿領域について、上記内挿動きベクトルに基づいて作画を行い、第４の作画領域に分類された内挿領域について、当該内挿領域の周囲の作画された内挿画像からの面内補間によって作画を行う作画手段をさらに備えることを特徴とする請求項１に記載の画像補間装置。
3. 上記分類補正手段は、第３の作画領域に分類された内挿領域であり、かつ、第２の作画領域に分類された内挿領域の近傍にある内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルと当該第２の作画領域に分類された内挿領域の内挿動きベクトルとの差が第２の閾値より大きい場合、当該第３の作画領域に分類された内挿領域を第５の作画領域に分類し直し、
   第１、第２、および第３の作画領域に分類された内挿領域について、上記内挿動きベクトルに基づいて作画を行い、第５の作画領域に分類された内挿領域について、当該内挿領域を複数の小補正領域に分割し、上記小補正領域の少なくとも１つを、当該内挿領域の内挿動きベクトルとは異なる動きベクトルに基づいて作画する作画手段をさらに備えることを特徴とする請求項１に記載の画像補間装置。
4. 上記作画手段は、第５の作画領域に分類された内挿領域について、当該内挿領域の近傍の複数の内挿領域の内挿動きベクトルを代表する代表内挿動きベクトルを求め、上記小補正領域の少なくとも１つを、上記代表内挿動きベクトルに基づいて作画し、他の小補正領域を、当該内挿領域の内挿ベクトルに基づいて作画することを特徴とする請求項３に記載の画像補間装置。
5. 上記内挿動きベクトル生成手段は、
   上記基準画像および上記参照画像をそれぞれ複数の検出領域に分割して、上記基準画像の上記検出領域と上記参照画像の上記検出領域との間の動きベクトルを第１の動きベクトルとして検出する第１の動きベクトル検出手段と、
   第１の動きベクトルに基づいて各内挿領域を、第１の作画領域、第２の作画領域、または第３の作画領域に分類する内挿領域分類手段と、
   第１の作画領域または第２の作画領域に分類された内挿領域について、第１の動きベクトルの分布の時間的変化に基づいて、当該内挿領域の動きを予測した第２の動きベクトルを求める第２の動きベクトル検出手段と、
   第１の動きベクトルおよび第２の動きベクトルから、各内挿領域について内挿動きベクトルを求める内挿動きベクトル割付手段とからなることを特徴とする請求項１から４のいずれか一項に記載の画像補間装置。
6. 上記基準画像と上記参照画像との間の第１の動きベクトルの分布を、第１の時刻に対応する第１の動きベクトルの分布としたときに、
   第２の動きベクトル検出手段は、第１の時刻に対応する第１の動きベクトルの所定の領域における分布と、第１の時刻より前の第３の時刻に対応する第１の動きベクトルの上記所定の領域に対応する領域における分布とを比較して、第１の動きベクトルの出現頻度の時間的増減に基づき、第２の動きベクトルを求めることを特徴とする請求項５に記載の画像補間装置。
7. 第２の動きベクトル検出手段は、第１の作画領域に分類された内挿領域の動きを予測した第２の動きベクトルとして、第１の動きベクトルの中で当該内挿領域の周辺の領域における出現頻度が最も減少した動きベクトルを求め、第２の作画領域に分類された内挿領域の動きを予測した第２の動きベクトルとして、第１の動きベクトルの中で当該内挿領域の周辺の領域における出現頻度が最も増加した動きベクトルを求めることを特徴とする請求項６に記載の画像補間装置。
8. 請求項１から７のいずれか一項に記載の画像補間装置を備えていることを特徴とするテレビジョン受像装置。
9. 請求項１から７のいずれか一項に記載の画像補間装置を備えていることを特徴とする映像再生装置。
10. 第１の時刻に対応する第１の原画像と第１の時刻より後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像を生成する画像補間方法であって、
    第１の原画像および第２の原画像のいずれか一方を基準画像とし、他方を参照画像としたときに、上記内挿画像を複数の内挿領域に分割して、各内挿領域について該内挿領域の動きを表す内挿動きベクトルを求め、各内挿領域を、上記基準画像のみを用いて作画する第１の作画領域、上記参照画像のみを用いて作画する第２の作画領域、または上記基準画像と上記参照画像との両方を用いて作画する第３の作画領域に分類する内挿動きベクトル生成ステップと、
    第３の作画領域に分類された内挿領域であり、かつ、第２の作画領域に分類された内挿領域の近傍にある内挿領域について、当該第３の作画領域に分類された内挿領域の内挿動きベクトルと当該第２の作画領域に分類された内挿領域の内挿動きベクトルとが略同一である場合、当該第３の作画領域に分類された内挿領域を第２の作画領域に分類し直す分類補正ステップとを備えることを特徴とする画像補間方法。
11. 請求項１から７のいずれか一項に記載の画像補間装置を動作させる制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
12. 請求項１１に記載の制御プログラムを記録しているコンピュータ読み取り可能な記録媒体。

Images