JP2009118456A - 画像補間装置および方法 - Google Patents

Abstract

【課題】回路規模をいたずらに増大させることなく、信頼性の高いベクトルを決定することが可能な画像補間方法および装置を提供する。
【解決手段】時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間装置において、遅延回路７と、時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求める手段８と、第２の画像ｆ（ｔ）を小ブロックに分割し、第１の画像ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求める手段９と、前方向動きベクトルが指ししめす第２の画像ｆ（ｔ）の座標を計算し、後方向動きベクトルと前方向動きベクトルの相関を調べる手段１０と、第１の画像ｆ（ｔ−１）上の相関が高いブロックの前方向動きベクトルのみを用いて、内挿座標へのベクトル割付を行う手段１１を備えた。
【選択図】図７

Description

本発明は、時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成する画像補間装置および方法に関し、特に動きベクトルを求めて内挿画像を生成する技術に関わるものである。

２４Ｈｚのフィルム素材を６０Ｈｚや１２０Ｈｚの表示装置に写す場合や、ＩＰ変換等で生成された６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合など原画素材のフレーム数を変更する場合、時間的に連続した複数のフレームから動きベクトルを求め、内挿画像を生成する技術が一般的に知られている。
今６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合を例にとり、図１を用いて説明する。図１は入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像の関係を示す。例えば時間ｔ−１における原画像１と時間ｔにおける原画像２を用いて、時間的にちょうど半分（中間）の時刻において内挿画像３を作成して出力することにより、フレームレートを増やしている。

次に２枚の原画像から１枚の内挿画像を生成する一般的なプロセスを説明する。まず、２枚の画像のうち動きベクトルを求める基準となる原画像を決める。図１における時刻ｔの画像をｆ（ｔ）とすると、ｆ（ｔ−１）とｆ（ｔ）から内挿画像を生成する場合において、ｆ（ｔ−１）もしくはｆ（ｔ）のいずれかを基準原画像とする。今、仮にｆ（ｔ−１）を基準原画像とする。次に基準原画像であるｆ（ｔ−１）を図２のように動きベクトルを求めるためのブロック単位に分割する。図２における個所４のように、細い線で囲まれた部分は原画像のピクセルを意味し、この例では８ピクセル×８ピクセルの領域ごとに最小ブロック５を定義している。

次に定義された最小ブロックごとにｆ（ｔ−１）とｆ（ｔ）との間の動きベクトルを求める。動きベクトルの求め方としては、ブロックマッチングや勾配法など一般的な方法を用いる。このようにして基準原画像においては最小ブロックごとにもっとも信頼性の高いと思われる動きベクトルが検出される。通常よく行われる処理としては、このようにして決定された動きベクトルに対して、メディアンフィルタ等のフィルタリングを行い、誤検出を防ぐようにする。

次に、上記のようにして求められた動きベクトルを用いて内挿画像の各座標に対してベクトルの割付処理を行う。割付座標の単位は任意であるが、通常は基準画像のブロック単位より小さな領域が指定される。この例では図２のように基準原画像を８ピクセル×８ピクセルで定義したので、例えば４ピクセル×２ピクセルのような小さな領域ごとに、内挿座標に対してベクトルが割り付けられる。簡略化のために水平方向の１次元処理として図３を用いて説明する。今、基準原画像ｆ（ｔ−１）の座標ｘについて矢印６で示す動きベクトルＶｘが求まったとする。内挿画像を時間ｔ−１と時間ｔのちょうど真ん中に内挿画像を作成する場合、Ｖｘによって算出される内挿座標Ｎ（ｘ）は、
Ｎ（ｘ）＝ｘ＋Ｖｘ／２ （式１）
となる。このとき、Ｎ（ｘ）が含まれる内挿座標の小ブロックに対して、ベクトルＶｘが割付けられる。この処理を基準原画像のすべてのブロックについて実行することで、内挿座標の小ブロック上にベクトルを割り付けていく。結果、内挿座標の各小ブロックについては、ベクトルが複数割付けられたり、全く割付けられなかったりする箇所が発生するが、通常は複数割付けられた場合は、割付けられたベクトルのうち、そのベクトルを用いて計算したｆ（ｔ−１）とｆ（ｔ）の特定領域の相関が最も高いもので代表する。また全く割付けられなかった場合は、ゼロベクトルで代用する。よく知られている処理としては割付けられたベクトルに対してメディアンフィルタ等のフィルタリング処理を施し、最終ベクトルとする。

最後に、最終的に求められた内挿座標上の割付ベクトルを用いて、ｆ（ｔ−１）もしくはｆ（ｔ）の座標を計算し、片方もしくは両方の画像を用いて内挿画像を生成する。

以上が一般的な内挿画像を作成する処理であるが、さらに動きベクトルの信頼性を向上し、内挿画像におけるアーティファクトを減少させるため、双方向ベクトルを導入した処理が提案されている。双方向ベクトルとは、図３においてｆ（ｔ−１）を基準画像としてｆ（ｔ）の画像を参照することで前方向動きベクトルを求めるだけでなく、ｆ（ｔ）を基準画像としてｆ（ｔ−１）の画像を参照することで後方向動きベクトルを求めた、両方向のベクトルのことをいう。すでに提案された従来の技術としては、特許文献１のように内挿座標に対して、前方向動きベクトルのみを割付けたものと、後方向動きベクトルのみを割付けたものを用意し、それぞれ割付けられたベクトルをもとにｆ（ｔ−１）とｆ（ｔ）の特定領域に対する画像の相関が高いベクトルを最終ベクトルとして決定することで、ベクトルの信頼性を向上させる技術がある。さらに、特許文献２のように、双方向ベクトルを用いてアンカバー領域を指定し、特殊処理を行うことで内挿画像におけるアーティファクトを減少させる技術がある。
特開平８−１９１４４８号公報 特開平９−２１４８９９号公報

しかしながら従来の方法では、双方向ベクトルを用いることによって逆に生成する内挿画像のアーティファクトが増大する場合や、回路規模やデータ遅延が増大してしまう場合がある。例えば特許文献１に記載の技術においては、前方向動きベクトルで割付けた内挿ベクトルと後方向動きベクトルで割付けた割付ベクトルを利用する。前者を前方向割付ベクトル、後者を後方向割付ベクトルとする。図４を用いて説明すると、内挿座標Ｎ（ｘ）において、前方向割付ベクトルＶｘｆと後方向割付ベクトルＶｘｂが割付られている。ここで内挿座標Ｎ（ｘ）に対して最終ベクトルを決定する方法は、Ｖｘｆを用いて算出されるｆ（ｔ−１）の領域Ａとｆ（ｔ）の領域Ｄにおいて、対応する画素ごとに差分の絶対値を計算し加算した結果ＳＡＤＦと、Ｖｘｂを用いて算出されるｆ（ｔ−１）の領域Ｂとｆ（ｔ）の領域Ｃにおいて、対応する画素ごとに差分の絶対値を計算し加算した結果ＳＡＤＢを比較し、より小さい値を与えるベクトルを最終ベクトルとするものである。ここで、入力されるさまざまな原画像について考えると、同一平面上の画像はすべて独立した特長を有するものとは限らず、同じような形状の繰り返しによって形成されていることがある。例えば図５のように同じ柱が何本も等間隔で並んでいる場合もこの類である。ここで、図５の画像がｆ（ｔ−１）に対応しており、ｆ（ｔ）に対しても同じ画像が入力されたとする。このとき、似た形状の物体の繰り返しにより画像が形成されているため、求まる前方向動きベクトルは、図６のように止まっている場合Ｖｘ１もあれば、動いている場合Ｖｘ２も考えられる。これは後方向動きベクトルについても同じことである。よって割付けられたベクトルも、Ｖｘ１のように止まっているものもあれば、Ｖｘ２のように動いているものもありうる。今、前方向割付ベクトルと後方向割付ベクトルを用いて上記のように画像の相関から最終ベクトルを決定しようとした場合、前方向割付ベクトルがＶｘ１のように止まっていたとしても、後方向割付ベクトルがＶｘ２のように動いていて、ノイズや光の加減でたまたま動いているベクトルの相関の方が高いと判定されてしまえば、生成される内挿画像は、前方向割付けベクトルのみで処理していた場合にくらべてアーティファクトを増大させる結果となる。

また、特許文献２に記載の従来技術においては、内挿座標に対する最終ベクトルを決定するためには、少なくとも４枚の画像が必要となる。これは、フレームメモリの増加と遅延量の増加を意味する。さらに、原画ｆ（ｔ−１）、ｆ（ｔ）に対して、アンカバー領域を定義する回路が別途必要となるため、回路規模はさらに増大し、コストアップ要因となる。

本発明は、上記課題に鑑みてなされたものであり、回路規模をいたずらに増大させることなく、信頼性の高いベクトルを決定することが可能な画像補間方法および装置を提供するものである。

本願の第１の発明は、時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間装置において、遅延回路と、時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求める手段と、第２の画像ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の画像ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求める手段と、第１の画像ｆ（ｔ−１）の小ブロック単位で求まった前方向動きベクトルが指ししめす第２の画像ｆ（ｔ）の座標を計算し、その座標上の小ブロックが示す後方向動きベクトルと計算に利用した前方向動きベクトルの相関を調べる手段と、第１の画像ｆ（ｔ−１）上の小ブロックにおいて相関が高いブロックの前方向動きベクトルのみを用いて、内挿座標へのベクトル割付を行う手段を備えたことを特徴とする画像補間装置である。

本願の第２の発明は、時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間装置において、時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求める手段と、第２の原画ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の原画ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求める手段と、第２の原画ｆ（ｔ）の小ブロック単位で求まった後方向動きベクトルが指ししめす第１の原画ｆ（ｔ−１）の座標を計算し、その座標上の小ブロックが示す前方向動きベクトルと計算に利用した後方向動きベクトルの相関を調べる手段と、第２の原画ｆ（ｔ）上の小ブロックにおいて相関が高いブロックの後方向動きベクトルのみを用いて、内挿座標へのベクトル割付を行う手段を備えたことを特徴とする画像補間装置である。

本願の第３の発明は、時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間装置において、時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求める手段と、第２の原画ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の原画ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求める手段と、第１の原画ｆ（ｔ−１）の小ブロック単位で求まった前方向動きベクトルが指ししめす第２の原画ｆ（ｔ）の座標を計算し、その座標上の小ブロックが示す後方向動きベクトルと計算に利用した前方向動きベクトルの相関を調べる手段と、第１の原画ｆ（ｔ−１）上の小ブロックにおいて相関が高いブロックの前方向動きベクトルのみを用いて、内挿座標への前方向ベクトル割付を行う手段と、第２の原画ｆ（ｔ）の小ブロック単位で求まった後方向動きベクトルが指ししめす第１の原画ｆ（ｔ−１）の座標を計算し、その座標上の小ブロックが示す前方向動きベクトルと計算に利用した後方向動きベクトルの相関を調べる手段と、第２の原画ｆ（ｔ）上の小ブロックにおいて相関が高いブロックの後方向動きベクトルのみを用いて、内挿座標への後方向ベクトル割付を行う手段と、内挿座標において前方向ベクトル割付と後方向ベクトル割付がともに行われていて、ベクトルの相関値が異なる場合、割り付けられた前方向ベクトルと後方向ベクトルが指し示す第１の原画ｆ（ｔ−１）および第２の原画ｆ（ｔ）との領域について、特定領域分の相関を算出し、相関の高い方の割付ベクトルを採用する手段を備えたことを特徴とする画像補間装置である。

本願の第４の発明は、時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間装置において、時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求める手段と、第２の原画ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の原画ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求める手段と、第１の原画ｆ（ｔ−１）の小ブロック単位で求まった前方向動きベクトルが指ししめす第２の原画ｆ（ｔ）の座標を計算し、その座標上の小ブロックが示す後方向動きベクトルと計算に利用した前方向動きベクトルの相関を調べる手段と、第２の原画ｆ（ｔ）の小ブロック単位で求まった後方向動きベクトルが指ししめす第１の原画ｆ（ｔ−１）の座標を計算し、その座標上の小ブロックが示す前方向動きベクトルと計算に利用した後方向動きベクトルの相関を調べる手段と、内挿画像を生成する時間比率に応じて時間的に近い側の原画像における相関が高い方のベクトルを利用して割付を行う手段を備えたことを特徴とする画像補間装置である。

本願の第５の発明は、本願の第１から４のいずれか１つの発明の画像補間装置において、前方向ベクトルと後方向ベクトルの相関を求める際は、一方のベクトルが指し示す先の原画像が指す１つのベクトルだけでなく、その周辺の複数ベクトルを利用して相関を求める手段を備えたことを特徴とする画像補間装置である。

本願の第６の発明は、本願の第１から５のいずれか１つの発明の画像補間装置において、前方向ベクトルと後方向ベクトルの相関を求める際の閾値は、全画面または、対象ブロックを含む特定領域の統計的データにもとづいて動的に変更する手段を備えたことを特徴とする画像補間装置である。

本願の第７の発明は、本願の第１から６のいずれか１つの発明の画像補間装置において、前方向ベクトルと後方向ベクトルの相関を求める際は、基準画像の特徴量に応じて相関結果を利用しない手段を備えたことを特徴とする画像補間装置である。

本願の第８の発明は、本願の第１から７のいずれか１つの発明の画像補間装置において、最終的な内挿座標のベクトルの決定は、割付けられたベクトルを候補として、候補ベクトルから算出される第１の原画ｆ（ｔ−１）および第２の原画ｆ（ｔ）の特定領域における相関を求めることで決定する手段を備えたことを特徴とする画像補間装置である。

本願の第９の発明は、本願の第１から８のいずれか１つの発明の画像補間装置において、内挿座標上にベクトルが割付けられていないブロックについては、ゼロベクトルを割付けておく手段を備えたことを特徴とする画像補間装置である。

本願の第１０の発明は、本願の第１から８のいずれか１つの発明の画像補間装置において、内挿座標上にベクトルが割付けられていないブロックについては、全画面上もしくは、特定領域の統計的データにもとづくベクトルを割付けておく手段を備えたことを特徴とする画像補間装置である。

本願の第１１発明は、本願の第１から８のいずれか１つの発明の画像補間装置において、割付時間を示す信号Ｎ（ｔ）を入力する割付回路を有することを特徴とする画像補間装置である。

本願の第１２の発明は、時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間方法において、時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求めることと、第２の原画ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の原画ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求めることと、第１の原画ｆ（ｔ−１）の小ブロック単位で求まった前方向動きベクトルが指ししめす第２の原画ｆ（ｔ）の座標を計算し、その座標上の小ブロックが示す後方向動きベクトルと計算に利用した前方向動きベクトルの相関を調べることと、第２の原画ｆ（ｔ）の小ブロック単位で求まった後方向動きベクトルが指ししめす第１の原画ｆ（ｔ−１）の座標を計算し、その座標上の小ブロックが示す前方向動きベクトルと計算に利用した後方向動きベクトルの相関を調べることと、内挿画像を生成する時間比率に応じて時間的に近い側の原画像における相関が高い方のベクトルを利用して割付を行うことを含むことを特徴とする画像補間方法である。

本発明の画像補間方法および装置は、上記のような構成としているので、双方向ベクトル比較を内挿ベクトル生成処理の初期段階で実行し、信頼性の低いベクトルを排除することで、アーティファクトを生成につながる誤った候補ベクトルを追加することがない。また上記構成では、割付けたベクトルとゼロベクトルもしくは統計的ベクトルから最終的な内挿ベクトルを決定するため、フレームバッファの増加が必要なく、アンカバー領域の検出等の回路を追加せずに内挿画像を生成することができる。

本発明を実施するための最良の形態を説明する。
以下、本発明の第１実施形態を、図を用いて詳細に説明するが、上記従来例と同一部分には同一符号を付し、その説明は省略する。図７に本発明の第１実施形態のブロック図を示す。本ブロック図は、時間ｔにおいて入力される原画像ｆ（ｔ）と、遅延回路７より供給される、時間的に一つ前の原画像ｆ（ｔ−１）から内挿画像生成に使用する最終ベクトル１９を生成する回路を示す。以下、信号の流れにそって処理内容を説明する。ｆ（ｔ）、ｆ（ｔ−１）の２枚の原画像は、動きベクトル検出回路８、９に供給される。動きベクトル検出回路８では、ｆ（ｔ−１）を基準画像として図２のように、動きベクトルを求めるための基準ブロックに分割し、ｆ（ｔ）のエリアを参照することで前方向動きベクトル１５を出力する。同様に動きベクトル検出回路９では、ｆ（ｔ）を基準画像として図２のように、動きベクトルを求めるための基準ブロックに分割し、ｆ（ｔ−１）のエリアを参照することで後方向動きベクトル１６を出力する。前方向動きベクトル１５は統計データ算出回路３３に入力される。統計データ算出回路３３では、入力されたベクトルデータを用いて、平均ベクトル値算出や、ヒストグラム処理が行われ、統計データ３４として出力される。統計データ算出回路３３の入力信号として、ここでは前方向動きベクトル１５を入力しているが、後方向ベクトル１６や、最終ベクトル１９、フィルタ処理前の内挿ベクトル１８、双方向ベクトル比較回路１０の相関データ、動きベクトル検出回路８、９で動きベクトルを求める際に算出した画像相関データなどを入力しても構わない。さらに後述する画像特徴量検出回路の結果でもよい。また統計データとは１画面全体の統計値のみにかぎらず、１画面を小ブロックに分割した領域に対する統計や、数枚の画像に対して算出したデータを含む。

次に前方向動きベクトル１５、後方向動きベクトル１６が入力される双方向ベクトル比較回路１０の動作を説明する。あらかじめ前方向動きベクトルか後方向動きベクトルのどちらを基準とするか決めておく。ここで前方向動きベクトルを基準にする場合を考える。次に図８のように、基準にした前方向動きベクトルＶｆを求めた図２の８ピクセル×８ピクセル単位の領域３５が、Ｖｆ分移動したｆ（ｔ）上の領域３６を算出し、その領域３６がさす後方向動きベクトルＶｂを求める。次に、図７で双方向検出回路１０に入力されるＴｈを用いて、ＶｆとＶｂの相関を調べる。相関を調べる方法としては、例えばＴｈが水平方向のベクトル値と垂直方向のベクトル値に対する閾値の要素Ｖｘｔｈ、Ｖｙｔｈを持ち、ＶｆとＶｂの水平成分、垂直成分それぞれの差分の絶対値がともに上記閾値より小さい場合は相関あり（高い）と判断する。また、図８の例ではＶｆがさすｆ（ｔ）の１ブロック分の領域３６が持つＶｂとの相関を調べたが、図９のように領域３６を含む周囲９ブロックの各ブロックがそれぞれ持つＶｂを算出し、一つでも閾値の条件を満足する場合は相関ありとしてもよい。さらに、ＶｆとＶｆを算出したｆ（ｔ−１）の領域とから計算されるｆ（ｔ）上の座標の値によって、相関を確認するブロックの数を変更してもよい。ここで双方向ベクトルの相関を調べるために利用されるＴｈは固定値でもよいが、統計データ算出回路３３が出力する統計データ３４にもとづいて動的に変更してもよい。例えば、双方向ベクトルの相関結果にもとづく統計データを利用し、全画面で相関が高いベクトルが少なければ閾値を高くし、その後で用いる割付用のベクトルがあまり少なくならないように工夫することもできる。以上の処理をｆ（ｔ−１）でベクトルを求めたすべての基準ブロックについて行うことで、各基準ブロックの相関の有無を調べる。さらに相関のあるブロックのベクトルのみを割付用動きベクトル１７として出力する。なお今回は前方向動きベクトルを基準とした場合を説明したが、後方向動きベクトルを基準とした場合も、ｆ（ｔ）で後方向動きベクトルを算出したブロックごとに同様の処理を行えばよく、説明は省略する。

次に、双方向ベクトル比較回路１０での演算結果、使用可能となった割付用動きベクトル１７は割付回路１１に入力される。ここで本ベクトル１７は、双方向ベクトル比較回路１０で前方向動きベクトルを基準とした場合は、前方向動きベクトルのうち、有効な前方向動きベクトルのみを指し、後方向動きベクトルを基準とした場合は、後方向動きベクトルのうち、有効な後方向動きベクトルのみを指す。割付回路１１では、図３を用いて従来例で説明したような方法をとる。ここで既に説明したように、割付処理によって内挿画像のすべての座標に対してベクトルが割付けられるわけでなく、未割付けブロックが生じる。割付回路１１では、この未割付けブロックに対して、次の（１）〜（３）のいずれかの方法でベクトルを決定する。
（１）未割付けブロックの周囲にある１つまたは複数の割付ベクトルを用いてそのベクトルが指すｆ（ｔ−１）、ｆ（ｔ）の特定領域を算出し、その画像間の相関を調べることで、最も相関が高いベクトルを割付ける。
（２）ゼロベクトルとする。
（３）統計データ算出回路３３が示す全画面平均ベクトル等の統計データとする。
以上によって、全領域について割付けられた割付ベクトル１８を出力する。

最後に割付ベクトル１８はベクトルフィルタ回路１２に入力され、最終的な内挿ベクトル１９が、内挿画像の基準ブロックごとに求められる。ここでベクトルフィルタ回路１２はメディアンフィルタやローパスフィルタなどのフィルタ処理によって、誤ったベクトルを排除するものであるが、ローパスフィルタ等は正しいベクトルの値も変化させてしまう可能性をもつ。よってベクトルフィルタ回路１２は必須でなく、動きベクトルの性能等によって使用の有無を決める必要がある。場合によっては、使用の有無を統計データ３４にもとづいて決定することも可能である。

次に本発明の第２実施形態について説明する。図１０は第２実施形態を実現するためのブロック図である。図中ですでに述べられたものと同じ信号やブロックについては同じ符号を利用している。以下、第１実施形態との違いを中心に説明する。第１実施形態同様、動きベクトル検出回路８，９で求められた前方向動きベクトル１５と後方向動きベクトル１６は、双方向ベクトル比較回路２０、２１にそれぞれ入力される。第１実施形態では１つしかなかった双方向ベクトル比較回路が第２実施形態では２つに増えている。ここで、双方向ベクトル比較回路の一つである回路２０では、前方向動きベクトルを基準とし、第１実施形態で説明したように、後方向動きベクトルとの相関を調べることで前方向割付用動きベクトル２２を出力する。一方、もう一つの双方向ベクトル比較回路２１では、後方向動きベクトルを基準とし、第１実施形態で説明したように、前方向動きベクトルとの相関を調べることで後方向割付用動きベクトル２３を出力する。

第１実施形態と異なり割付回路２４，２５の２つを持ち、割付回路２４では第１実施形態で説明した方法で前方向割付用ベクトルを用いた割付が行われ、割付回路２５では後方向割付用ベクトルを用いた割付が行われる。ここで第１実施形態と異なるのは、この割付回路２４、２５の出力が内挿座標に応じた割付後の内挿ベクトルだけでなく、内挿ベクトルを算出する際に計算した画像の相関値も持っていることである。ここでいう画像の相関値の例については従来例で簡単に説明しているが、図１１を用いて再度説明を試みる。今、図１１における細い線で囲まれた領域が画像の１ピクセルを現すとして、内挿画像において、内挿ベクトルを求める単位を４ピクセル×２ピクセルとする。たとえば内挿画像の領域３８について前方向動きベクトルを割付けた結果、ＶｆＡＢが割付けられた場合、ＶｆＡＢを用いて内挿座標から算出されるｆ（ｔ−１）、ｆ（ｔ）の領域３７、３９において、各４ピクセル×２ピクセルの画素値を図１１のようにあらわす。ここでいう画素値とはＲ、Ｇ、Ｂのような値でも良いが、通常は輝度値Ｙを代表値として用いる。ここで、
ＳＡＤＦＡＢ＝Σ｜Ａｉ−Ｂｉ｜ （１≦ｉ≦８） （式２）
を画像の相関値とする。なお相関値の計算式は式２の限りではなく、例えばΣ（Ａｉ−Ｂｉ）^２とする場合もある。以上のように計算した相関値を前方向画像相関値２８として前方向割付ベクトル２６とともに出力する。一方、割付回路２５でも同様の計算が行われ、後方向画像相関値２９と後方向割付ベクトル２７が出力される。未割付けブロックについては第１実地形態同様の処理を行い、未割付けブロックの画像相関値は極端に大きい値にするなどで、識別可能としておく。

次に比較回路３０では、前方向画像相関値２８、前方向割付ベクトル２６、後方向画像相関値２９、後方向割付ベクトル２７を用いて最終ベクトルを決定する。具体的には、内挿座標における内挿ベクトル１８を決定する基準ブロックごとに、前方向割付ベクトル２６、後方向割付ベクトル２７の有無を判断し、両方とも割付いていない場合は、割付回路の未割付けブロック処理をそのまま適用し、前方向割付のみ行われている場合は、前方向割付ベクトル２６を適用し、後方向割付のみ行われている場合は後方向割付ベクトル２７を適用し、前方向割付と後方向割付がともに行われている場合は、前方向画像相関値２８と後方向画像相関値２９を比較して、相関が高い（相関値が小さい）方の割付ベクトルを適用する処理を行う。このようにして求められた内挿ベクトルを割付ベクトル１８として出力する。それ以降の処理は第１実施形態と変わらない。

ここで図１０においては、前方向動きベクトルか後方向動きベクトルのどちらかを基準として双方向ベクトルの相関を求める回路を２０、２１として２つ用いていたが、図１２のように１つの回路３１で求めることも可能である。具体的には図８のようにして前方向動きベクトルを基準としてベクトル相関を求めた場合、領域３５と領域３６に対して相関が有ると判断された場合、領域３５のベクトルを前方向割付用動きベクトル２２として出力するだけでなく、領域３６のベクトルを後方向割付用動きベクトル２３として出力することにより、一つの回路で２つの割付用ベクトルが出力可能となる。

次に本発明の第３実施形態を説明する。図１３は第３実施形態を実現するためのブロック図であり、第１実施形態、第２実施形態との違いをもとに説明する。図１３では、第２実施形態同様、双方向ベクトル比較回路２０，２１を備え、これらは図１０における第２実施形態と同様の処理を行う。第３実施形態について特徴的であるのは、双方向ベクトル比較回路２０，２１が出力する前方向割付用動きベクトル２２と後方向割付用動きベクトル２３が入力される割付回路３２である。いままでの説明例では主に内挿画像を時間的に原画が出力される半分の位置に対して出力する場合を述べてきたが、一般的にはどの位置に出力してもよい。例えば、図１４のようにｆ（ｔ−１）とｆ（ｔ）の間の１／４の時間に内挿画像を生成する場合も有りうる。ここで割付回路３２は生成する内挿画の時間位置に従って、より近いほうの原画の動きベクトルを基準として生成された割付用ベクトルを用いた割付処理を行う。図１４の例では、内挿画像はｆ（ｔ−１）の位置に近いため、前方向割付用動きベクトル２２を使用した割付処理が行われる。こうすることで、未割付けブロックが減り、全体的なベクトルの精度があがる。また複数の内挿画像を生成する場合は、アーティファクトを発生させるようなベクトルが分散されるため、エラー回避としても有効となる。なお、第２実施形態同様、双方向ベクトル比較回路２０，２１は一つにまとめることができ、図１５のようなブロック図とすることも可能である。

次に本発明の第４実施形態を説明する。図１６は第４実施形態を実現するためのブロック図であり、第３実施形態を説明するときに用いた図１３との違いをもとに説明する。第４実施形態において追加されているのが、特徴量検出回路４０，４１である。ここでは例えば動きベクトル検出回路８、９において動きベクトルを求める基準ブロックが８ピクセル×８ピクセルであった場合、基準ブロック中の画像の特徴量を調べ、特徴の有無を特徴量検出結果４２，４３として出力することとする。双方向ベクトル比較回路４４，４５では、その特徴の有無に従って動きベクトルを求めた基準ブロックごとに双方向ベクトル比較を行うか、行わないかの判断をする。例えば、原画像として雲のない青空が入力された場合、ｆ（ｔ−１）とｆ（ｔ）から動きベクトルを求める際に、実際に空が動いているのか静止しているのかを判断するのは非常に難しい。よってこのような画像について双方向ベクトル比較することは、正しいベクトルをなくしてしまうことになりかねない。例えば図１６における特徴量検出回路４０において、ｆ（ｔ）を動きベクトルを求めるブロックごとに分割し、ブロックごとに画像の特徴量として、平坦な画像なのか、急峻なエッジを含むような画像なのかを検出する。検出結果、平坦な画像と判断されれば、双方向ベクトル比較回路４４では、そのブロックで双方向ベクトルの相関をもとめずに、無条件で前方向割付用動きベクトル２２として出力する。後方向ベクトルについても同様の処理において、正しいベクトルの削除を防ぐことができる。

ここで上述した第１実施形態から第４実施形態は、時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成するものであり、図１に示す６０Ｈｚのプログレッシブ信号を１２０Ｈｚのプログレッシブ信号に変換する例のみならず、図１７に示すように、例えば２４Ｈｚのフィルム映像を１２０Ｈｚの信号に変換する場合にも適用される。これらの実現の際には、各実施形態における割付回路中のメモリに、内挿画像を生成する割付時間Ｎ（ｔ）が記憶されており、その値にもとづいて内挿ベクトルを生成する。

なお、割付時間Ｎ（ｔ）は外部回路から割付回路への入力信号として扱ってもよく、その場合の実施形態を図１８から図２３に示す。第１実施形態の変形例を実現するためのブロック図を図１８に、第２実施形態の変形例を実現するためのブロック図を図１９に、第２実施形態で双方向ベクトル比較回路を１つにした例のブロック図を図２０に、第３実施形態の変形例を実現するためのブロック図を図２１に、第３実施形態で双方向ベクトル比較回路を１つにした例のブロック図を図２２に、第４実施形態の変形例を実現するためのブロック図を図２３に、それぞれ示す。そして、これらの実施形態において、割付回路１１、２４、２５、３２に割付時間を示すＮ（ｔ）を入力信号として入力する。これにより、時間的に４等分して得た４つの時刻において内挿画像を作成して出力することができる。

６０Ｈｚのプログレッシブ信号を１２０Ｈｚのプログレッシブ信号に変換する例の説明図である。 基準原画像をベクトルを求めるブロックに分割する例の説明図である。 内挿座標へのベクトルの割付例の説明図である。 双方向割付けベクトルを用いた最終ベクトルの決定例の説明図である。 同一平面内に類似した形状をもつ画像の例の説明図である。 類似した形状をもつ画像についてベクトルを求める例の説明図である。 第１実施例を示すブロック図である。 双方向ベクトル比較回路の処理例１の説明図である。 双方向ベクトル比較回路の処理例２の説明図である。 第２実施例を示すブロック図である。 内挿座標における画像相関値算出の例の説明図である。 第２実施例で双方向ベクトル比較回路を１つにした例の説明図である。 第３実施例を示すブロック図である。 内挿画像を原画間の１／４の時間位置に出力する例の説明図である。 第３実施例で双方向ベクトル比較回路を１つにした例の説明図である。 第４実施例を示すブロック図である。 ２４Ｈｚのフィルム映像を１２０Ｈｚの信号に変換する例の説明図である。 第１実施形態の変形例を示すブロック図である。 第２実施形態の変形例を示すブロック図である。 第２実施例で双方向ベクトル比較回路を１つにした例の変形例の説明図である。 第３実施形態の変形例を示すブロック図である。 第３実施例で双方向ベクトル比較回路を１つにした例の変形例の説明図である。 第４実施形態の変形例を示すブロック図である。

符号の説明

１、２、１３、１４ 入力原画像
３ 内挿画像
４ １ピクセル
５、３５ 動きベクトルを求める基準ブロック
６、１５、１６ 動きベクトル
７ 遅延回路
８、９ 動きベクトル検出回路
１０、２０、２１、３１、４４、４５ 双方向ベクトル比較回路
１１、２４、２５、３２ 割付回路
１２ ベクトルフィルタ回路
１７、２２、２３ 割付用動きベクトル
１８、２６、２７、３８ 割付ベクトル
１９ 最終ベクトル
２８、２９ 画像相関値
３０ 比較回路
３３ 統計データ算出回路
３４ 統計データ
３６ 動きベクトルが指す対象ブロック
３７、３９ 割付ベクトルが指す対象ブロック
４０、４１ 特徴量検出回路
４２、４３ 特徴量検出結果
４４、４５ 双方向ベクトル比較回路

Claims (12)

1. 時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間装置において、
   遅延回路と、時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求める手段と、第２の画像ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の画像ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求める手段と、第１の画像ｆ（ｔ−１）の小ブロック単位で求まった前方向動きベクトルが指ししめす第２の画像ｆ（ｔ）の座標を計算し、その座標上の小ブロックが示す後方向動きベクトルと計算に利用した前方向動きベクトルの相関を調べる手段と、第１の画像ｆ（ｔ−１）上の小ブロックにおいて相関が高いブロックの前方向動きベクトルのみを用いて、内挿座標へのベクトル割付を行う手段を備えたことを特徴とする画像補間装置。
2. 時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間装置において、
   時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求める手段と、第２の原画ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の原画ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求める手段と、第２の原画ｆ（ｔ）の小ブロック単位で求まった後方向動きベクトルが指ししめす第１の原画ｆ（ｔ−１）の座標を計算し、その座標上の小ブロックが示す前方向動きベクトルと計算に利用した後方向動きベクトルの相関を調べる手段と、第２の原画ｆ（ｔ）上の小ブロックにおいて相関が高いブロックの後方向動きベクトルのみを用いて、内挿座標へのベクトル割付を行う手段を備えたことを特徴とする画像補間装置。
3. 時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間装置において、
   時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求める手段と、第２の原画ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の原画ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求める手段と、第１の原画ｆ（ｔ−１）の小ブロック単位で求まった前方向動きベクトルが指ししめす第２の原画ｆ（ｔ）の座標を計算し、その座標上の小ブロックが示す後方向動きベクトルと計算に利用した前方向動きベクトルの相関を調べる手段と、第１の原画ｆ（ｔ−１）上の小ブロックにおいて相関が高いブロックの前方向動きベクトルのみを用いて、内挿座標への前方向ベクトル割付を行う手段と、第２の原画ｆ（ｔ）の小ブロック単位で求まった後方向動きベクトルが指ししめす第１の原画ｆ（ｔ−１）の座標を計算し、その座標上の小ブロックが示す前方向動きベクトルと計算に利用した後方向動きベクトルの相関を調べる手段と、第２の原画ｆ（ｔ）上の小ブロックにおいて相関が高いブロックの後方向動きベクトルのみを用いて、内挿座標への後方向ベクトル割付を行う手段と、内挿座標において前方向ベクトル割付と後方向ベクトル割付がともに行われていて、ベクトルの相関値が異なる場合、割り付けられた前方向ベクトルと後方向ベクトルが指し示す第１の原画ｆ（ｔ−１）および第２の原画ｆ（ｔ）との領域について、特定領域分の相関を算出し、相関の高い方の割付ベクトルを採用する手段を備えたことを特徴とする画像補間装置。
4. 時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間装置において、
   時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求める手段と、第２の原画ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の原画ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求める手段と、第１の原画ｆ（ｔ−１）の小ブロック単位で求まった前方向動きベクトルが指ししめす第２の原画ｆ（ｔ）の座標を計算し、その座標上の小ブロックが示す後方向動きベクトルと計算に利用した前方向動きベクトルの相関を調べる手段と、第２の原画ｆ（ｔ）の小ブロック単位で求まった後方向動きベクトルが指ししめす第１の原画ｆ（ｔ−１）の座標を計算し、その座標上の小ブロックが示す前方向動きベクトルと計算に利用した後方向動きベクトルの相関を調べる手段と、内挿画像を生成する時間比率に応じて時間的に近い側の原画像における相関が高い方のベクトルを利用して割付を行う手段を備えたことを特徴とする画像補間装置。
5. 請求項１から４のいずれか１項に記載の画像補間装置において、
   前方向ベクトルと後方向ベクトルの相関を求める際は、一方のベクトルが指し示す先の原画像が指す１つのベクトルだけでなく、その周辺の複数ベクトルを利用して相関を求める手段を備えたことを特徴とする画像補間装置。
6. 請求項１から５のいずれか１項に記載の画像補間装置において、
   前方向ベクトルと後方向ベクトルの相関を求める際の閾値は、全画面または、対象ブロックを含む特定領域の統計的データにもとづいて動的に変更する手段を備えたことを特徴とする画像補間装置。
7. 請求項１から６のいずれか１項に記載の画像補間装置において、
   前方向ベクトルと後方向ベクトルの相関を求める際は、基準画像の特徴量に応じて相関結果を利用しない手段を備えたことを特徴とする画像補間装置。
8. 請求項１から７のいずれか１項に記載の画像補間装置において、
   最終的な内挿座標のベクトルの決定は、割付けられたベクトルを候補として、候補ベクトルから算出される第１の原画ｆ（ｔ−１）および第２の原画ｆ（ｔ）の特定領域における相関を求めることで決定する手段を備えたことを特徴とする画像補間装置。
9. 請求項１から８のいずれか１項に記載の画像補間装置において、
   内挿座標上にベクトルが割付けられていないブロックについては、ゼロベクトルを割付けておく手段を備えたことを特徴とする画像補間装置。
10. 請求項１から８のいずれか１項に記載の画像補間装置において、
    内挿座標上にベクトルが割付けられていないブロックについては、全画面上もしくは、特定領域の統計的データにもとづくベクトルを割付けておく手段を備えたことを特徴とする画像補間装置。
11. 請求項１から１０のいずれか１項に記載の画像補間装置において、
    割付時間を示す信号Ｎ（ｔ）を入力する割付回路を有することを特徴とする画像補間装置。
12. 時間的に異なる２枚の原画像の間に少なくとも１枚の画像を生成し内挿する画像補間方法において、
    時間的に過去画像に相当する第１の原画ｆ（ｔ−１）上を小ブロックに分割し、小ブロック単位で時間的に未来画像に相当する第２の原画ｆ（ｔ）のある領域を探索することで前方向動きベクトルを求めることと、第２の原画ｆ（ｔ）を小ブロックに分割し、小ブロック単位で第１の原画ｆ（ｔ−１）のある領域を探索することで後方向動きベクトルを求めることと、第１の原画ｆ（ｔ−１）の小ブロック単位で求まった前方向動きベクトルが指ししめす第２の原画ｆ（ｔ）の座標を計算し、その座標上の小ブロックが示す後方向動きベクトルと計算に利用した前方向動きベクトルの相関を調べることと、第２の原画ｆ（ｔ）の小ブロック単位で求まった後方向動きベクトルが指ししめす第１の原画ｆ（ｔ−１）の座標を計算し、その座標上の小ブロックが示す前方向動きベクトルと計算に利用した後方向動きベクトルの相関を調べることと、内挿画像を生成する時間比率に応じて時間的に近い側の原画像における相関が高い方のベクトルを利用して割付を行うことを含むことを特徴とする画像補間方法。