JP2003244659A - フレーム補間方法 - Google Patents
フレーム補間方法Info
- Publication number
- JP2003244659A JP2003244659A JP2002037357A JP2002037357A JP2003244659A JP 2003244659 A JP2003244659 A JP 2003244659A JP 2002037357 A JP2002037357 A JP 2002037357A JP 2002037357 A JP2002037357 A JP 2002037357A JP 2003244659 A JP2003244659 A JP 2003244659A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion vector
- block
- motion
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
Abstract
(57)【要約】
【課題】 隙間や重なりの部分が発生しない補間フレー
ムを作成することが簡易な方式によって実現できる補間
方法を提供する。 【解決手段】 “前方動き推定”、“後方動き推定”、
または、“双方向動き推定”のいずれかを用いて、動き
推定手段（１０３，２０３）によってフレーム間の動き
ベクトルを求め、補間スケール変換手段（１０４，２０
４，３０４）によって動きベクトルのスケール変換を行
い、画像ブロック抽出手段（１０５，２０５，３０５）
によって、動きベクトルの始点を固定し、スケール変換
された動きベクトルの終点が示す位置に対応する画像デ
ータブロックを抽出し、動き補償手段（１０６，２０
６，３０６）によって抽出された画像データブロックを
補間フレームに動き補償する。
ムを作成することが簡易な方式によって実現できる補間
方法を提供する。 【解決手段】 “前方動き推定”、“後方動き推定”、
または、“双方向動き推定”のいずれかを用いて、動き
推定手段（１０３，２０３）によってフレーム間の動き
ベクトルを求め、補間スケール変換手段（１０４，２０
４，３０４）によって動きベクトルのスケール変換を行
い、画像ブロック抽出手段（１０５，２０５，３０５）
によって、動きベクトルの始点を固定し、スケール変換
された動きベクトルの終点が示す位置に対応する画像デ
ータブロックを抽出し、動き補償手段（１０６，２０
６，３０６）によって抽出された画像データブロックを
補間フレームに動き補償する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像信号を再生
するための技術であって、再生動画像信号フレーム間に
フレームを効率的に補間するフレーム補間方法に関す
る。
するための技術であって、再生動画像信号フレーム間に
フレームを効率的に補間するフレーム補間方法に関す
る。
【０００２】
【従来の技術】フレーム補間方法とは、図８に模式した
ように、複数の実フレームからなる動画像信号に対し
て、その前後の実フレームから動き推定したフレームを
実フレーム間に補間することによって、時間あたりの表
示フレーム数を増大させることを目的とした方法であ
る。
ように、複数の実フレームからなる動画像信号に対し
て、その前後の実フレームから動き推定したフレームを
実フレーム間に補間することによって、時間あたりの表
示フレーム数を増大させることを目的とした方法であ
る。
【０００３】最近では、動き推定の基本的技術であるブ
ロックマッチング法を用いて動きベクトルを求め、その
動きベクトルを元に補間すべきフレームを作成するとい
う手法が一般的である。ここで、ブロックマッチング法
とは、基準とするフレームを小ブロックに分割し、それ
ら小ブロックに対して、参照フレームの画像領域から最
も相関度の高いブロックを探索し動きベクトルを求める
手法である。さらにその動きベクトルの使い方によっ
て、線形補間を行うものと、非線形補間を行うものの二
つの手法が存在する。
ロックマッチング法を用いて動きベクトルを求め、その
動きベクトルを元に補間すべきフレームを作成するとい
う手法が一般的である。ここで、ブロックマッチング法
とは、基準とするフレームを小ブロックに分割し、それ
ら小ブロックに対して、参照フレームの画像領域から最
も相関度の高いブロックを探索し動きベクトルを求める
手法である。さらにその動きベクトルの使い方によっ
て、線形補間を行うものと、非線形補間を行うものの二
つの手法が存在する。
【０００４】このような技術としては、例えば特開２０
００−２２４５９３号公報が知られている。この方法
は、ブロックマッチング法をベースにしながら、ブロッ
ク内で領域を分割することによって、精度の高いフレー
ム補間を行うというものである。
００−２２４５９３号公報が知られている。この方法
は、ブロックマッチング法をベースにしながら、ブロッ
ク内で領域を分割することによって、精度の高いフレー
ム補間を行うというものである。
【０００５】
【発明が解決しようとする課題】しかし従来の技術で
は、動き補償を行って補間フレームを作成する際に、動
きベクトルの終点を固定し、終点が指す画像データを始
点に対して動き補償する。しかし、補間を行うために動
きベクトルの操作が行われるため、始点の位置が本来の
位置と異なってしまい、図９に示すように作成される補
間フレームに隙間ができてしまったり、重なってしまう
部分ができてしまうという問題がある。これは線形補間
を行う場合でも、非線形補間を行う場合でも生じる問題
である。
は、動き補償を行って補間フレームを作成する際に、動
きベクトルの終点を固定し、終点が指す画像データを始
点に対して動き補償する。しかし、補間を行うために動
きベクトルの操作が行われるため、始点の位置が本来の
位置と異なってしまい、図９に示すように作成される補
間フレームに隙間ができてしまったり、重なってしまう
部分ができてしまうという問題がある。これは線形補間
を行う場合でも、非線形補間を行う場合でも生じる問題
である。
【０００６】本発明は上記のような従来技術の欠点を除
去し、隙間や重なりのできないようなフレームを作成す
る方法を、複雑な装置を用いることなく実現することを
目的とする。
去し、隙間や重なりのできないようなフレームを作成す
る方法を、複雑な装置を用いることなく実現することを
目的とする。
【０００７】
【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の特徴は、第１のフレームと第２のフ
レームを小ブロックに分割し、第１のフレーム上の第１
の小ブロックと最も相関度の高い第２のフレーム上の第
２の小ブロックを探索して、第１の動きベクトルを求
め、第１の動きベクトルの長さをｎ等分（ｎは２以上の
整数）した、第１のスケール変換された動きベクトルを
求め、第１のスケール変換された動きベクトルの第１の
フレーム上の始点を固定し、終点の示す補間フレーム上
の小ブロックの位置に対応する、第２のフレーム上の小
ブロックを抽出するフレーム補間方法を要旨とする。
に、本発明の第１の特徴は、第１のフレームと第２のフ
レームを小ブロックに分割し、第１のフレーム上の第１
の小ブロックと最も相関度の高い第２のフレーム上の第
２の小ブロックを探索して、第１の動きベクトルを求
め、第１の動きベクトルの長さをｎ等分（ｎは２以上の
整数）した、第１のスケール変換された動きベクトルを
求め、第１のスケール変換された動きベクトルの第１の
フレーム上の始点を固定し、終点の示す補間フレーム上
の小ブロックの位置に対応する、第２のフレーム上の小
ブロックを抽出するフレーム補間方法を要旨とする。
【０００８】さらに、本発明の第２の特徴は、第１のフ
レームと第２のフレームを小ブロックに分割し、第１の
フレーム上の第１の小ブロックと最も相関度の高い第２
のフレーム上の第２の小ブロックを探索して、第１の動
きベクトルを求め、第１の動きベクトルの長さをｎ等分
（ｎは２以上の整数）した、第１のスケール変換された
動きベクトルを求め、第２のフレーム上で、第１のフレ
ーム上の第１の小ブロックと同じ位置にある、第３の小
ブロックと最も相関度の高い第１のフレーム上の第４の
小ブロックを探索して、第２の動きベクトルを求め、第
２の動きベクトルの長さをｎ等分した、第２のスケール
変換された動きベクトルを求め、第１の動きベクトルと
第２の動きベクトルのうちで、より相関度の高い方のス
ケール変換された動きベクトルを選択し、選択された第
１又は第２のスケール変換された動きベクトルの始点を
固定し、終点の示す位置に対応する、始点を含むフレー
ムと対向するフレーム上の小ブロックを抽出するフレー
ム補間方法を要旨とする。
レームと第２のフレームを小ブロックに分割し、第１の
フレーム上の第１の小ブロックと最も相関度の高い第２
のフレーム上の第２の小ブロックを探索して、第１の動
きベクトルを求め、第１の動きベクトルの長さをｎ等分
（ｎは２以上の整数）した、第１のスケール変換された
動きベクトルを求め、第２のフレーム上で、第１のフレ
ーム上の第１の小ブロックと同じ位置にある、第３の小
ブロックと最も相関度の高い第１のフレーム上の第４の
小ブロックを探索して、第２の動きベクトルを求め、第
２の動きベクトルの長さをｎ等分した、第２のスケール
変換された動きベクトルを求め、第１の動きベクトルと
第２の動きベクトルのうちで、より相関度の高い方のス
ケール変換された動きベクトルを選択し、選択された第
１又は第２のスケール変換された動きベクトルの始点を
固定し、終点の示す位置に対応する、始点を含むフレー
ムと対向するフレーム上の小ブロックを抽出するフレー
ム補間方法を要旨とする。
【０００９】また、第１のフレームと第２のフレーム間
の時間ｔをｎ等分し、ｍ／ｎ倍（ｍは、１≦ｍ＜ｎの整
数）の第１又は第２のスケール変換された動きベクトル
に対応する抽出された小ブロックを、第１のフレーム上
の第１の小ブロックの位置に対応する、第１のフレーム
から（ｎ−ｍ）・ｔ／ｎ時間離れた時刻に内挿する補間
フレーム上の小ブロック位置に複写する。ここで、第１
のフレームと第２のフレーム間の画像の移動性と移動速
度から、スケール変換する比率を決定することも可能で
ある。
の時間ｔをｎ等分し、ｍ／ｎ倍（ｍは、１≦ｍ＜ｎの整
数）の第１又は第２のスケール変換された動きベクトル
に対応する抽出された小ブロックを、第１のフレーム上
の第１の小ブロックの位置に対応する、第１のフレーム
から（ｎ−ｍ）・ｔ／ｎ時間離れた時刻に内挿する補間
フレーム上の小ブロック位置に複写する。ここで、第１
のフレームと第２のフレーム間の画像の移動性と移動速
度から、スケール変換する比率を決定することも可能で
ある。
【００１０】
【発明の実施の形態】次に、図面を参照して、本発明の
第１から第３の実施の形態を説明する。以下の図面の記
載において、同一または類似の部分には同一または類似
の符号を付している。ただし、図面は模式的なものであ
ることに留意すべきである。
第１から第３の実施の形態を説明する。以下の図面の記
載において、同一または類似の部分には同一または類似
の符号を付している。ただし、図面は模式的なものであ
ることに留意すべきである。
【００１１】（第１の実施の形態）本発明の第１の実施
の形態に係るフレーム補間装置は、図１に示すように、
入力された動画像信号フレームを一旦蓄える第１のフレ
ームメモリ１０１と第２のフレームメモリ１０２と、画
像の動きを推定する動き推定手段１０３と、この動き推
定手段１０３で得られる動きベクトルの長さを２等分に
分割変換するスケール変換手段１０４と、第１のフレー
ムメモリ１０１に蓄えられた動画像信号フレーム中から
スケール変換手段１０４によって算出されるスケール変
換された動きベクトルに対応するブロックを抽出する画
像ブロック抽出手段１０５と、抽出したブロックにより
動き補償を行い補間フレーム画像を作成する動き補償手
段１０６とからなる。
の形態に係るフレーム補間装置は、図１に示すように、
入力された動画像信号フレームを一旦蓄える第１のフレ
ームメモリ１０１と第２のフレームメモリ１０２と、画
像の動きを推定する動き推定手段１０３と、この動き推
定手段１０３で得られる動きベクトルの長さを２等分に
分割変換するスケール変換手段１０４と、第１のフレー
ムメモリ１０１に蓄えられた動画像信号フレーム中から
スケール変換手段１０４によって算出されるスケール変
換された動きベクトルに対応するブロックを抽出する画
像ブロック抽出手段１０５と、抽出したブロックにより
動き補償を行い補間フレーム画像を作成する動き補償手
段１０６とからなる。
【００１２】第１の実施の形態においては、例示的に、
入力の動画像信号が６０Ｈｚのノンインタレース信号で
ある場合について説明する。すなわち、６０Ｈｚのノン
インタレース信号が入力されたときに、フレーム間の時
間的中央位置における補間フレームを作成し、それをフ
レーム間に内挿し、１２０Ｈｚのノンインタレース信号
に変換するフレーム補間方法について説明する。
入力の動画像信号が６０Ｈｚのノンインタレース信号で
ある場合について説明する。すなわち、６０Ｈｚのノン
インタレース信号が入力されたときに、フレーム間の時
間的中央位置における補間フレームを作成し、それをフ
レーム間に内挿し、１２０Ｈｚのノンインタレース信号
に変換するフレーム補間方法について説明する。
【００１３】入力された動画像信号を構成するフレーム
のうち、現フレームを参照フレーム１（ｐ１）と呼ぶ。
この参照フレーム１は、動き推定手段１０３に入力され
る。次に入力されるフレームは、第２のフレームメモリ
１０２を経由して第１のフレームメモリ１０１に蓄えら
れ、動き推定手段１０３に入力される。このフレームを
参照フレーム２（ｐ２）と呼ぶ。
のうち、現フレームを参照フレーム１（ｐ１）と呼ぶ。
この参照フレーム１は、動き推定手段１０３に入力され
る。次に入力されるフレームは、第２のフレームメモリ
１０２を経由して第１のフレームメモリ１０１に蓄えら
れ、動き推定手段１０３に入力される。このフレームを
参照フレーム２（ｐ２）と呼ぶ。
【００１４】ここでは、フレームメモリを２つとしてい
るが、必ずしも２つに限定されるものではなく、フレー
ムが表示されるまでの処理時間とフレームメモリに蓄積
する時間との関係が最適になるようにフレームメモリの
個数は調整してかまわない。
るが、必ずしも２つに限定されるものではなく、フレー
ムが表示されるまでの処理時間とフレームメモリに蓄積
する時間との関係が最適になるようにフレームメモリの
個数は調整してかまわない。
【００１５】動き推定手段１０３では、まず入力される
参照フレーム１を一様格子の小ブロックに分割し、続い
てフレームメモリ１０１を経由して入力される参照フレ
ーム２の画像領域から、それらの小ブロックに対して最
も相関度の高いブロックを探索し動きベクトルを求める
処理を行う。ここでは、例えばブロックマッチングアル
ゴリズムを使うことができる。相関度の尺度としては、
絶対値差分和（Sum ofAbsolute Difference、以下ＳＡ
Ｄという。）を用いることができる。このように、時間
的に前のフレームを始点として、時間的に後のフレーム
に対して動きベクトルを求めることを、“前方動き推
定”と呼ぶ。
参照フレーム１を一様格子の小ブロックに分割し、続い
てフレームメモリ１０１を経由して入力される参照フレ
ーム２の画像領域から、それらの小ブロックに対して最
も相関度の高いブロックを探索し動きベクトルを求める
処理を行う。ここでは、例えばブロックマッチングアル
ゴリズムを使うことができる。相関度の尺度としては、
絶対値差分和（Sum ofAbsolute Difference、以下ＳＡ
Ｄという。）を用いることができる。このように、時間
的に前のフレームを始点として、時間的に後のフレーム
に対して動きベクトルを求めることを、“前方動き推
定”と呼ぶ。
【００１６】一方、例えば、動き推定手段１０３の前に
簡単なスイッチを設けることによって、参照フレーム１
と参照フレーム２の入力を入れ替えることによって、参
照フレーム２から参照フレーム１への動きベクトルを求
めることも可能である。このように時間的に後のフレー
ムを始点として、時間的に前のフレームに対して動きベ
クトルを求めることを、“後方動き推定“と呼ぶ。
簡単なスイッチを設けることによって、参照フレーム１
と参照フレーム２の入力を入れ替えることによって、参
照フレーム２から参照フレーム１への動きベクトルを求
めることも可能である。このように時間的に後のフレー
ムを始点として、時間的に前のフレームに対して動きベ
クトルを求めることを、“後方動き推定“と呼ぶ。
【００１７】図２を参照しながら、“前方動き推定”を
用いて補間フレームを作成する手順について説明する： （イ）まず、動き推定手段１０３では、入力された参照
フレーム１を小ブロックに分割し、ブロックＡｘを得、
ＳＡＤによってブロックＡｘに最も相関度の高いブロッ
クＡｙを決定する。これにより、ブロックＡｘからブロ
ックＡｙへの動きベクトルｍｖを求める。
用いて補間フレームを作成する手順について説明する： （イ）まず、動き推定手段１０３では、入力された参照
フレーム１を小ブロックに分割し、ブロックＡｘを得、
ＳＡＤによってブロックＡｘに最も相関度の高いブロッ
クＡｙを決定する。これにより、ブロックＡｘからブロ
ックＡｙへの動きベクトルｍｖを求める。
【００１８】（ロ）次に、スケール変換手段１０４で
は、補間フレームを参照フレーム１と参照フレーム２の
間隔（ｔ）の時間的中央（ｔ／２）に内挿することを目
的とするため、動き推定手段１０３で得られた動きベク
トルｍｖの長さを１／２倍にする。具体的には、動き推
定手段１０３で得られた動きベクトルｍｖを（Ｖａｘ，
Ｖａｙ）とすると、スケール変換された動きベクトルｍ
ｖ’の（ｓＶａｘ，ｓＶａｙ）は、 ｓＶａｘ＝（１／２）＊Ｖａｘ ・・・・・・・・・・（１） ｓＶａｙ＝（１／２）＊Ｖａｙ ・・・・・・・・・・（２） で計算される。
は、補間フレームを参照フレーム１と参照フレーム２の
間隔（ｔ）の時間的中央（ｔ／２）に内挿することを目
的とするため、動き推定手段１０３で得られた動きベク
トルｍｖの長さを１／２倍にする。具体的には、動き推
定手段１０３で得られた動きベクトルｍｖを（Ｖａｘ，
Ｖａｙ）とすると、スケール変換された動きベクトルｍ
ｖ’の（ｓＶａｘ，ｓＶａｙ）は、 ｓＶａｘ＝（１／２）＊Ｖａｘ ・・・・・・・・・・（１） ｓＶａｙ＝（１／２）＊Ｖａｙ ・・・・・・・・・・（２） で計算される。
【００１９】（ハ）次に、画像ブロック抽出手段１０５
では、スケール変換手段１０４において長さを１／２倍
に変換された動きベクトルｍｖ’によって定まる補間フ
レーム上のブロックＡｉの位置に対応する、参照フレー
ム２上のブロックＢｙを参照ブロックとして出力する。
このブロックのサイズは動き推定手段１０３が参照フレ
ーム１上で分割した小ブロックのサイズと同じである。
では、スケール変換手段１０４において長さを１／２倍
に変換された動きベクトルｍｖ’によって定まる補間フ
レーム上のブロックＡｉの位置に対応する、参照フレー
ム２上のブロックＢｙを参照ブロックとして出力する。
このブロックのサイズは動き推定手段１０３が参照フレ
ーム１上で分割した小ブロックのサイズと同じである。
【００２０】（ニ）次に、動き補償手段１０６では、画
像ブロック抽出手段１０５において得られた参照ブロッ
クを用いて、動き補償を行い補間フレーム画像を作成す
る。実際には、参照フレーム２上のブロックＢｙを、補
間フレーム上の参照フレーム１のブロックＡｘの位置に
対応する位置ブロックＢｉに複写する。これは、ブロッ
クＡｉがｔ／２時間でブロックＡｙまで移動したと推定
できるので、ブロックＢｉも同様にブロックＢｙまで移
動したと推定できるため、逆にブロックＢｙをｔ／２時
間前のブロックＢｉの位置まで戻すことになる。このよ
うに、参照フレーム２上の各ブロックを動き補償して、
補間フレーム上の該当するブロック位置に複写する。こ
の（イ）から（ニ）の処理を、（イ）で分割してできた
小ブロック全てについて行うことで、補間フレームを完
成させる。
像ブロック抽出手段１０５において得られた参照ブロッ
クを用いて、動き補償を行い補間フレーム画像を作成す
る。実際には、参照フレーム２上のブロックＢｙを、補
間フレーム上の参照フレーム１のブロックＡｘの位置に
対応する位置ブロックＢｉに複写する。これは、ブロッ
クＡｉがｔ／２時間でブロックＡｙまで移動したと推定
できるので、ブロックＢｉも同様にブロックＢｙまで移
動したと推定できるため、逆にブロックＢｙをｔ／２時
間前のブロックＢｉの位置まで戻すことになる。このよ
うに、参照フレーム２上の各ブロックを動き補償して、
補間フレーム上の該当するブロック位置に複写する。こ
の（イ）から（ニ）の処理を、（イ）で分割してできた
小ブロック全てについて行うことで、補間フレームを完
成させる。
【００２１】本発明の第１の実施の形態の実施例とし
て、円が移動する動画像の場合について図３を用いて説
明する。ここでは、参照フレーム１の左上の位置にある
円の画像が、参照フレーム２の右下の位置（図３では、
参照フレーム１上に破線で示した円の位置）まで一定時
間で移動している。動き推定手段１０３では、参照フレ
ーム１を小ブロックに分割し、そのうちのブロック群Ａ
ｘを得て、このブロック群Ａｘに最も相関性のあるブロ
ック群をＳＡＤによって、参照フレーム２から決定す
る。それがブロック群Ａｙである。これによって、ブロ
ック群Ａｘからブロック群Ａｙまでの動きベクトルが決
定される。続いてスケール変換手段１０４では、これら
を１／２倍にスケール変換したベクトルを計算で求め
る。画像ブロック抽出手段１０５では、スケール変換さ
れた動きベクトルからブロック群Ａｉの位置を決め、そ
の位置に対応する参照フレーム２上の領域を抽出してく
る。そして、動き補償手段１０６は、これらのブロック
群を補間フレーム上のブロック群Ａｘの位置に対応する
ブロック群に動き補償する（複写する）ことによって、
円の動きが考慮された補間フレームを作成することがで
きる。
て、円が移動する動画像の場合について図３を用いて説
明する。ここでは、参照フレーム１の左上の位置にある
円の画像が、参照フレーム２の右下の位置（図３では、
参照フレーム１上に破線で示した円の位置）まで一定時
間で移動している。動き推定手段１０３では、参照フレ
ーム１を小ブロックに分割し、そのうちのブロック群Ａ
ｘを得て、このブロック群Ａｘに最も相関性のあるブロ
ック群をＳＡＤによって、参照フレーム２から決定す
る。それがブロック群Ａｙである。これによって、ブロ
ック群Ａｘからブロック群Ａｙまでの動きベクトルが決
定される。続いてスケール変換手段１０４では、これら
を１／２倍にスケール変換したベクトルを計算で求め
る。画像ブロック抽出手段１０５では、スケール変換さ
れた動きベクトルからブロック群Ａｉの位置を決め、そ
の位置に対応する参照フレーム２上の領域を抽出してく
る。そして、動き補償手段１０６は、これらのブロック
群を補間フレーム上のブロック群Ａｘの位置に対応する
ブロック群に動き補償する（複写する）ことによって、
円の動きが考慮された補間フレームを作成することがで
きる。
【００２２】前述したように、従来の技術では、動きベ
クトルの終点を固定し、終点が指す画像データを始点に
対して動き補償を行うために、始点の位置が本来の位置
と異なってしまうことが発生し、図９に示すように、作
成された補間フレームに、隙間の部分ができてしまった
り、重なり合ってしまう部分が発生するという問題があ
った。
クトルの終点を固定し、終点が指す画像データを始点に
対して動き補償を行うために、始点の位置が本来の位置
と異なってしまうことが発生し、図９に示すように、作
成された補間フレームに、隙間の部分ができてしまった
り、重なり合ってしまう部分が発生するという問題があ
った。
【００２３】しかし、本発明では、動きベクトルの始点
を移動させずに、動きベクトルの終点を移動させること
によって補間フレームを作成するようにし、補間フレー
ムも整然と並んだ一様な小ブロックで構成することによ
って作成しているので、このような問題が発生しなくな
る。
を移動させずに、動きベクトルの終点を移動させること
によって補間フレームを作成するようにし、補間フレー
ムも整然と並んだ一様な小ブロックで構成することによ
って作成しているので、このような問題が発生しなくな
る。
【００２４】（第２の実施の形態）次に本発明の第２の
実施の形態について説明する。第２の実施の形態に係る
フレーム補間装置は、図４に示すように、第１の実施の
形態に係るフレーム補間装置と同様の構造をしている。
第１の実施の形態に係るフレーム補間装置と異なる点
は、画像の動きを推定する動き推定手段２０３から２つ
の動きベクトルがスケール変換手段２０４に入力され、
そのスケール変換手段２０４では、この２つの動きベク
トルの各々の長さを２等分に分割変換した２つのスケー
ル変換された動きベクトルを出力し、画像ブロック抽出
手段２０５に、この２つのスケール変換された動きベク
トル、および参照フレーム１と参照フレーム２の両方が
入力されるように構成されているところである。
実施の形態について説明する。第２の実施の形態に係る
フレーム補間装置は、図４に示すように、第１の実施の
形態に係るフレーム補間装置と同様の構造をしている。
第１の実施の形態に係るフレーム補間装置と異なる点
は、画像の動きを推定する動き推定手段２０３から２つ
の動きベクトルがスケール変換手段２０４に入力され、
そのスケール変換手段２０４では、この２つの動きベク
トルの各々の長さを２等分に分割変換した２つのスケー
ル変換された動きベクトルを出力し、画像ブロック抽出
手段２０５に、この２つのスケール変換された動きベク
トル、および参照フレーム１と参照フレーム２の両方が
入力されるように構成されているところである。
【００２５】第２の実施の形態においては、例示的に、
入力の動画像信号が６０Ｈｚのノンインタレース信号で
ある場合について説明する。すなわち、この６０Ｈｚの
ノンインタレース信号が入力されたときに、各フレーム
間の時間的中央位置において、補間フレームを作成し、
それをフレーム間に内挿し、１２０Ｈｚのノンインタレ
ース信号に変換するフレーム補間方法について説明す
る。
入力の動画像信号が６０Ｈｚのノンインタレース信号で
ある場合について説明する。すなわち、この６０Ｈｚの
ノンインタレース信号が入力されたときに、各フレーム
間の時間的中央位置において、補間フレームを作成し、
それをフレーム間に内挿し、１２０Ｈｚのノンインタレ
ース信号に変換するフレーム補間方法について説明す
る。
【００２６】ここでは、“前方動き推定”と“後方動き
推定”を同時に行う、“双方向動き推定”を用いてお
り、図５を参照しながら、その補間フレームを作成する
手順について説明する： （イ）まず、動き推定手段２０３では、入力された参照
フレーム１を小ブロックに分割し、ブロックＡｘを得、
ＳＡＤによってブロックＡｘに最も相関度の高いブロッ
クＡｙを決定する（前方動き推定）。これにより、ブロ
ックＡｘからブロックＡｙへの動きベクトルｍｖ１を求
める。
推定”を同時に行う、“双方向動き推定”を用いてお
り、図５を参照しながら、その補間フレームを作成する
手順について説明する： （イ）まず、動き推定手段２０３では、入力された参照
フレーム１を小ブロックに分割し、ブロックＡｘを得、
ＳＡＤによってブロックＡｘに最も相関度の高いブロッ
クＡｙを決定する（前方動き推定）。これにより、ブロ
ックＡｘからブロックＡｙへの動きベクトルｍｖ１を求
める。
【００２７】（ロ）同時に、動き推定手段２０３では、
入力された参照フレーム２を小ブロックに分割し、ブロ
ックＡｘの位置に対応するブロックＣｙを得、ＳＡＤに
よってブロックＣｙに最も相関度の高いブロックＣｘを
決定する（後方動き推定）。これにより、ブロックＣｙ
からブロックＣｘへの動きベクトルｍｖ２を求める。
入力された参照フレーム２を小ブロックに分割し、ブロ
ックＡｘの位置に対応するブロックＣｙを得、ＳＡＤに
よってブロックＣｙに最も相関度の高いブロックＣｘを
決定する（後方動き推定）。これにより、ブロックＣｙ
からブロックＣｘへの動きベクトルｍｖ２を求める。
【００２８】（ハ）次に、スケール変換手段２０４で
は、補間フレームを参照フレーム１と参照フレーム２の
間隔（ｔ）の時間的中央（ｔ／２）に内挿することを目
的とするため、動き推定手段２０３で得られた動きベク
トルｍｖ１と動きベクトルｍｖ２の長さを１／２倍にす
る。具体的には、動き推定手段２０３で得られた動きベ
クトルｍｖ１を（Ｖａｘ，Ｖａｙ）とし、動きベクトル
ｍｖ２を（Ｖｃｘ，Ｖｃｙ）とすると、スケール変換さ
れた動きベクトルｍｖ１’の（ｓＶａｘ，ｓＶａｙ）は
前述の式（１）、（２）で計算される。また、動きベク
トルｍｖ２’の（ｓＶｃｘ，ｓＶｃｙ）は、 ｓＶｃｘ＝（１／２）＊Ｖｃｘ ・・・・・・・・・・（３） ｓＶｃｙ＝（１／２）＊Ｖｃｙ ・・・・・・・・・・（４） で計算される。
は、補間フレームを参照フレーム１と参照フレーム２の
間隔（ｔ）の時間的中央（ｔ／２）に内挿することを目
的とするため、動き推定手段２０３で得られた動きベク
トルｍｖ１と動きベクトルｍｖ２の長さを１／２倍にす
る。具体的には、動き推定手段２０３で得られた動きベ
クトルｍｖ１を（Ｖａｘ，Ｖａｙ）とし、動きベクトル
ｍｖ２を（Ｖｃｘ，Ｖｃｙ）とすると、スケール変換さ
れた動きベクトルｍｖ１’の（ｓＶａｘ，ｓＶａｙ）は
前述の式（１）、（２）で計算される。また、動きベク
トルｍｖ２’の（ｓＶｃｘ，ｓＶｃｙ）は、 ｓＶｃｘ＝（１／２）＊Ｖｃｘ ・・・・・・・・・・（３） ｓＶｃｙ＝（１／２）＊Ｖｃｙ ・・・・・・・・・・（４） で計算される。
【００２９】（ニ）次に、画像ブロック抽出手段２０５
では、スケール変換手段２０４において長さを１／２倍
に変換された動きベクトルｍｖ１’によって定まる補間
フレーム上のブロックＡｉの位置に対応する、参照フレ
ーム２上のブロックＢｙを参照ブロックとして出力する
か、または、動きベクトルｍｖ２’によって定まる補間
フレーム上のブロックＣｉの位置に対応する、参照フレ
ーム１上のブロックＤｘを参照ブロックとして出力する
かを、動きベクトルとして信頼度の高いほうを選択して
決定する。信頼度の高さの基準としては、動き推定の際
に使用されたＳＡＤを用いることができる。ＳＡＤがよ
り小さい方が信頼度が高いことになるので、ＳＡＤが小
さい動きベクトルの方を採用し、それに対応する参照ブ
ロックを出力するようにする。例えば、もし動きベクト
ルｍｖ１の方が信頼度が高いならば、スケール変換され
た動きベクトルｍｖ１’によって定まる参照フレーム２
上の参照ブロックＢｙを出力し、もし動きベクトルｍｖ
２の方が信頼度が高いならば、スケール変換された動き
ベクトルｍｖ２’によって定まる参照フレーム１上の参
照ブロックＤｘを出力する。
では、スケール変換手段２０４において長さを１／２倍
に変換された動きベクトルｍｖ１’によって定まる補間
フレーム上のブロックＡｉの位置に対応する、参照フレ
ーム２上のブロックＢｙを参照ブロックとして出力する
か、または、動きベクトルｍｖ２’によって定まる補間
フレーム上のブロックＣｉの位置に対応する、参照フレ
ーム１上のブロックＤｘを参照ブロックとして出力する
かを、動きベクトルとして信頼度の高いほうを選択して
決定する。信頼度の高さの基準としては、動き推定の際
に使用されたＳＡＤを用いることができる。ＳＡＤがよ
り小さい方が信頼度が高いことになるので、ＳＡＤが小
さい動きベクトルの方を採用し、それに対応する参照ブ
ロックを出力するようにする。例えば、もし動きベクト
ルｍｖ１の方が信頼度が高いならば、スケール変換され
た動きベクトルｍｖ１’によって定まる参照フレーム２
上の参照ブロックＢｙを出力し、もし動きベクトルｍｖ
２の方が信頼度が高いならば、スケール変換された動き
ベクトルｍｖ２’によって定まる参照フレーム１上の参
照ブロックＤｘを出力する。
【００３０】（ホ）次に、動き補償手段１０６では、画
像ブロック抽出手段２０５において得られた参照ブロッ
クを用いて、動き補償を行い補間フレーム画像を作成す
る。図５では、参照フレーム１上のブロックＤｘを、補
間フレーム上の参照フレーム１のブロックＡｘの位置に
対応する（参照フレーム２のブロックＣｙの位置にも対
応している）位置のブロックＤｉに複写している。これ
は、ブロックＣｉがｔ／２時間でブロックＣｙまで移動
したと推定する信頼度が高いと判断し、ブロックＤｘも
同様にブロックＤｉまで移動したと推定できるためであ
る。このように、参照フレーム１と参照フレーム２上の
各ブロックを動き補償して、補間フレーム上の該当する
ブロック位置に複写する。この（イ）から（ホ）の処理
を、（イ）で分割してできた小ブロック全てについて行
うことで、補間フレームを完成させる。
像ブロック抽出手段２０５において得られた参照ブロッ
クを用いて、動き補償を行い補間フレーム画像を作成す
る。図５では、参照フレーム１上のブロックＤｘを、補
間フレーム上の参照フレーム１のブロックＡｘの位置に
対応する（参照フレーム２のブロックＣｙの位置にも対
応している）位置のブロックＤｉに複写している。これ
は、ブロックＣｉがｔ／２時間でブロックＣｙまで移動
したと推定する信頼度が高いと判断し、ブロックＤｘも
同様にブロックＤｉまで移動したと推定できるためであ
る。このように、参照フレーム１と参照フレーム２上の
各ブロックを動き補償して、補間フレーム上の該当する
ブロック位置に複写する。この（イ）から（ホ）の処理
を、（イ）で分割してできた小ブロック全てについて行
うことで、補間フレームを完成させる。
【００３１】“前方動き推定”と“後方動き推定”の二
つの推定方法には、次のような特性がある。フェードイ
ンしてくる物体に関しては、前方動き推定によって動き
ベクトルを求めることができるが、後方動き推定では動
きベクトルを正確に求めることができないが、逆に、フ
ェードアウトする物体に関しては、後方動き推定によっ
て動きベクトルを求めることができるが、前方動き推定
では動きベクトルを正確に求めることができない。従っ
て、“双方向動き推定”では、この二つの推定方法の良
いところのみを使用することができるので、フェードイ
ンする画像や、フェードアウトする画像に対しても、最
適な補間フレームの作成を行うことが可能となってい
る。
つの推定方法には、次のような特性がある。フェードイ
ンしてくる物体に関しては、前方動き推定によって動き
ベクトルを求めることができるが、後方動き推定では動
きベクトルを正確に求めることができないが、逆に、フ
ェードアウトする物体に関しては、後方動き推定によっ
て動きベクトルを求めることができるが、前方動き推定
では動きベクトルを正確に求めることができない。従っ
て、“双方向動き推定”では、この二つの推定方法の良
いところのみを使用することができるので、フェードイ
ンする画像や、フェードアウトする画像に対しても、最
適な補間フレームの作成を行うことが可能となってい
る。
【００３２】（第３の実施の形態）次に本発明の第３の
実施の形態について説明する。第３の実施の形態に係る
フレーム補間装置は、図６に示すように、第１の実施の
形態に係るフレーム補間装置と同様の構造をしている。
第１の実施の形態に係るフレーム補間装置と異なる点
は、スケール変換手段３０４で、動き推定手段１０３か
ら入力される動きベクトルの長さを４等分に分割変換し
て得られる３つのスケール変換された動きベクトルを画
像ブロック抽出手段３０５に出力し、画像ブロック抽出
手段３０５では、これら３つのスケール変換された動き
ベクトルからそれぞれに対応する参照ブロックを出力
し、動き補償手段３０６では、参照フレーム間の時間を
４等分に分割して得た各時刻に内挿する補間フレーム
を、入力された参照ブロックから作成するように構成さ
れているところである。
実施の形態について説明する。第３の実施の形態に係る
フレーム補間装置は、図６に示すように、第１の実施の
形態に係るフレーム補間装置と同様の構造をしている。
第１の実施の形態に係るフレーム補間装置と異なる点
は、スケール変換手段３０４で、動き推定手段１０３か
ら入力される動きベクトルの長さを４等分に分割変換し
て得られる３つのスケール変換された動きベクトルを画
像ブロック抽出手段３０５に出力し、画像ブロック抽出
手段３０５では、これら３つのスケール変換された動き
ベクトルからそれぞれに対応する参照ブロックを出力
し、動き補償手段３０６では、参照フレーム間の時間を
４等分に分割して得た各時刻に内挿する補間フレーム
を、入力された参照ブロックから作成するように構成さ
れているところである。
【００３３】第３の実施の形態においては、例示的に、
入力の動画像信号が３０Ｈｚのノンインタレース信号で
ある場合について説明する。３０Ｈｚのノンインタレー
ス信号が入力されたときに、参照フレーム間を４等分し
た位置において、補間フレームを作成し、それをフレー
ム間に内挿し、１２０Ｈｚのノンインタレース信号に変
換するフレーム補間方法について説明する。
入力の動画像信号が３０Ｈｚのノンインタレース信号で
ある場合について説明する。３０Ｈｚのノンインタレー
ス信号が入力されたときに、参照フレーム間を４等分し
た位置において、補間フレームを作成し、それをフレー
ム間に内挿し、１２０Ｈｚのノンインタレース信号に変
換するフレーム補間方法について説明する。
【００３４】第１の実施の形態と同様に、例えば、動き
推定手段１０３の前に簡単なスイッチを設けることによ
って、参照フレーム１と参照フレーム２の入力を入れ替
えることによって、参照フレーム２から参照フレーム１
への動きベクトルを求める“後方動き推定”を用いるこ
とも可能である。また、第２の実施の形態のように“双
方向動き推定”を用いるようにすることも可能である。
推定手段１０３の前に簡単なスイッチを設けることによ
って、参照フレーム１と参照フレーム２の入力を入れ替
えることによって、参照フレーム２から参照フレーム１
への動きベクトルを求める“後方動き推定”を用いるこ
とも可能である。また、第２の実施の形態のように“双
方向動き推定”を用いるようにすることも可能である。
【００３５】ここでは、図７を参照しながら、“前方動
き推定”を用いて、その補間フレームを作成する手順に
ついて説明する： （イ）まず、第１の実施の形態と同様に、動き推定手段
１０３では、入力された参照フレーム１を小ブロックに
分割し、ブロックＡｘを得、ＳＡＤによってブロックＡ
ｘに最も相関度の高いブロックＡｙを決定する。これに
より、ブロックＡｘからブロックＡｙへの動きベクトル
ｍｖを求める。
き推定”を用いて、その補間フレームを作成する手順に
ついて説明する： （イ）まず、第１の実施の形態と同様に、動き推定手段
１０３では、入力された参照フレーム１を小ブロックに
分割し、ブロックＡｘを得、ＳＡＤによってブロックＡ
ｘに最も相関度の高いブロックＡｙを決定する。これに
より、ブロックＡｘからブロックＡｙへの動きベクトル
ｍｖを求める。
【００３６】（ロ）次に、スケール変換手段３０４で
は、３つの補間フレームを参照フレーム１と参照フレー
ム２の間隔（ｔ）を４等分した位置（ｔ／４、ｔ／２、
３ｔ／４）に内挿することを目的とするため、動き推定
手段１０３で得られた動きベクトルｍｖの長さを１／４
倍、１／２倍、３／４倍する。具体的には、動き推定手
段１０３で得られた動きベクトルｍｖを（Ｖａｘ，Ｖａ
ｙ）とすると、スケール変換された動きベクトルｍｖ
１’、ｍｖ２’、ｍｖ３’のそれぞれの（ｓＶａｘ１，
ｓＶａｙ１）、（ｓＶａｘ２，ｓＶａｙ２）、（ｓＶａ
ｘ３，ｓＶａｙ３）は、 ｓＶａｘ１＝（１／４）＊Ｖａｘ ・・・・・・・・・（５） ｓＶａｙ１＝（１／４）＊Ｖａｙ ・・・・・・・・・（６） ｓＶａｘ２＝（１／２）＊Ｖａｘ ・・・・・・・・・（７） ｓＶａｙ２＝（１／２）＊Ｖａｙ ・・・・・・・・・（８） ｓＶａｘ３＝（３／４）＊Ｖａｘ ・・・・・・・・・（９） ｓＶａｙ３＝（３／４）＊Ｖａｙ ・・・・・・・・・（１０） で計算される。
は、３つの補間フレームを参照フレーム１と参照フレー
ム２の間隔（ｔ）を４等分した位置（ｔ／４、ｔ／２、
３ｔ／４）に内挿することを目的とするため、動き推定
手段１０３で得られた動きベクトルｍｖの長さを１／４
倍、１／２倍、３／４倍する。具体的には、動き推定手
段１０３で得られた動きベクトルｍｖを（Ｖａｘ，Ｖａ
ｙ）とすると、スケール変換された動きベクトルｍｖ
１’、ｍｖ２’、ｍｖ３’のそれぞれの（ｓＶａｘ１，
ｓＶａｙ１）、（ｓＶａｘ２，ｓＶａｙ２）、（ｓＶａ
ｘ３，ｓＶａｙ３）は、 ｓＶａｘ１＝（１／４）＊Ｖａｘ ・・・・・・・・・（５） ｓＶａｙ１＝（１／４）＊Ｖａｙ ・・・・・・・・・（６） ｓＶａｘ２＝（１／２）＊Ｖａｘ ・・・・・・・・・（７） ｓＶａｙ２＝（１／２）＊Ｖａｙ ・・・・・・・・・（８） ｓＶａｘ３＝（３／４）＊Ｖａｘ ・・・・・・・・・（９） ｓＶａｙ３＝（３／４）＊Ｖａｙ ・・・・・・・・・（１０） で計算される。
【００３７】（ハ）次に、画像ブロック抽出手段３０５
では、スケール変換手段３０４において長さを１／４
倍、１／２倍、３／４倍に変換された動きベクトルｍｖ
１’、ｍｖ２’、ｍｖ３’によって定まる補間フレーム
上のブロックＡｉ１、Ａｉ２、Ａｉ３の位置に対応す
る、参照フレーム２上のブロックＢｙ、Ｃｙ、Ｄｙを参
照ブロックとして出力する。このブロックのサイズは動
き推定手段１０３が参照フレーム１上で分割した小ブロ
ックのサイズと同じである。
では、スケール変換手段３０４において長さを１／４
倍、１／２倍、３／４倍に変換された動きベクトルｍｖ
１’、ｍｖ２’、ｍｖ３’によって定まる補間フレーム
上のブロックＡｉ１、Ａｉ２、Ａｉ３の位置に対応す
る、参照フレーム２上のブロックＢｙ、Ｃｙ、Ｄｙを参
照ブロックとして出力する。このブロックのサイズは動
き推定手段１０３が参照フレーム１上で分割した小ブロ
ックのサイズと同じである。
【００３８】（ニ）次に、動き補償手段３０６では、画
像ブロック抽出手段３０５において得られた参照ブロッ
クを用いて動き補償を行い、３つの補間フレーム画像を
作成する。実際には、参照フレーム２上のブロックＤｙ
を、補間フレーム１上の参照フレーム１のブロックＡｘ
の位置に対応する位置ブロックＤｉに複写し、参照フレ
ーム２上のブロックＣｙを、補間フレーム２上の参照フ
レーム１のブロックＡｘの位置に対応する位置ブロック
Ｃｉに複写し、参照フレーム２上のブロックＢｙを、補
間フレーム３上の参照フレーム１のブロックＡｘの位置
に対応する位置ブロックＢｉに複写する。このように、
参照フレーム２上の各ブロックを動き補償して、補間フ
レーム１、補間フレーム２、補間フレーム３上の該当す
るブロック位置に複写する。この（イ）から（ニ）の処
理を、（イ）で分割してできた小ブロック全てについて
行うことで、３つの補間フレームを完成させる。
像ブロック抽出手段３０５において得られた参照ブロッ
クを用いて動き補償を行い、３つの補間フレーム画像を
作成する。実際には、参照フレーム２上のブロックＤｙ
を、補間フレーム１上の参照フレーム１のブロックＡｘ
の位置に対応する位置ブロックＤｉに複写し、参照フレ
ーム２上のブロックＣｙを、補間フレーム２上の参照フ
レーム１のブロックＡｘの位置に対応する位置ブロック
Ｃｉに複写し、参照フレーム２上のブロックＢｙを、補
間フレーム３上の参照フレーム１のブロックＡｘの位置
に対応する位置ブロックＢｉに複写する。このように、
参照フレーム２上の各ブロックを動き補償して、補間フ
レーム１、補間フレーム２、補間フレーム３上の該当す
るブロック位置に複写する。この（イ）から（ニ）の処
理を、（イ）で分割してできた小ブロック全てについて
行うことで、３つの補間フレームを完成させる。
【００３９】ここでは、説明のために補間する時間の間
隔を４等分する実施例を示したが、特に４等分に限るわ
けではなく、ｎ等分してｎ―１の補間フレームを内挿す
る動き補償を行うことも可能である。このように補間す
る時間の間隔を短くすることで、さらに参照フレーム間
の補間の効率を上げることができ、表示される動画像
を、動きが滑らかでより鮮明にすることができる。
隔を４等分する実施例を示したが、特に４等分に限るわ
けではなく、ｎ等分してｎ―１の補間フレームを内挿す
る動き補償を行うことも可能である。このように補間す
る時間の間隔を短くすることで、さらに参照フレーム間
の補間の効率を上げることができ、表示される動画像
を、動きが滑らかでより鮮明にすることができる。
【００４０】（その他の実施の形態）第１の実施の形態
と第３の実施の形態では、“前方動き推定”を用いた実
施例を示し、第２の実施の形態では、“双方向動き推
定”を用いた実施例を示した。ここで、その他の実施の
形態として、さらに動き推定方式選択手段を設けて、入
力される参照フレームの画像がフレームインしようとし
ているのか、逆にフレームアウトしようとしているのか
等の画像の移動性や移動速度から、“前方動き推定”、
“前方動き推定”、“双方向動き推定”のいずれの推定
方式を採用し、どれだけの間隔に分割して補間すれば最
も最適な画像が得られるかを決定し、それに従って他の
手段を制御する。こうすることで、種々の動画像に対し
て、自動で最適な動き補償をすることができるようにな
る。
と第３の実施の形態では、“前方動き推定”を用いた実
施例を示し、第２の実施の形態では、“双方向動き推
定”を用いた実施例を示した。ここで、その他の実施の
形態として、さらに動き推定方式選択手段を設けて、入
力される参照フレームの画像がフレームインしようとし
ているのか、逆にフレームアウトしようとしているのか
等の画像の移動性や移動速度から、“前方動き推定”、
“前方動き推定”、“双方向動き推定”のいずれの推定
方式を採用し、どれだけの間隔に分割して補間すれば最
も最適な画像が得られるかを決定し、それに従って他の
手段を制御する。こうすることで、種々の動画像に対し
て、自動で最適な動き補償をすることができるようにな
る。
【００４１】
【発明の効果】本発明によれば、“前方動き推定”、
“後方動き推定”、または、“双方向動き推定”のいず
れかによる動き推定を行ってフレーム間の動きベクトル
を求め、補間フレームをフレーム間の時間的にどの位置
に内挿するかによって、動きベクトルのスケール変換を
行い、その動きベクトルの始点を固定し、終点が指す画
像データを補間フレームに動き補償するので、隙間や重
なりの部分が発生しない補間フレームを作成することが
簡易な方式によって実現できる。
“後方動き推定”、または、“双方向動き推定”のいず
れかによる動き推定を行ってフレーム間の動きベクトル
を求め、補間フレームをフレーム間の時間的にどの位置
に内挿するかによって、動きベクトルのスケール変換を
行い、その動きベクトルの始点を固定し、終点が指す画
像データを補間フレームに動き補償するので、隙間や重
なりの部分が発生しない補間フレームを作成することが
簡易な方式によって実現できる。
【図１】本発明の第１の実施の形態に係るフレーム補間
装置の構成図である。
装置の構成図である。
【図２】本発明の第１の実施の形態のフレーム補間方法
の原理を説明した図である。
の原理を説明した図である。
【図３】本発明の第１の実施の形態に係るフレーム補間
方法による実施例の図である。
方法による実施例の図である。
【図４】本発明の第２の実施の形態に係るフレーム補間
装置の構成図である。
装置の構成図である。
【図５】本発明の第２の実施の形態のフレーム補間方法
の原理を説明した図である。
の原理を説明した図である。
【図６】本発明の第３の実施の形態に係るフレーム補間
装置の構成図である。
装置の構成図である。
【図７】本発明の第３の実施の形態のフレーム補間方法
の原理を説明した図である。
の原理を説明した図である。
【図８】フレーム補間方法を説明した図である。
【図９】従来のフレーム補間方法の実施例の図である。
１０１ 第１のフレームメモリ
１０２ 第２のフレームメモリ
１０３、２０３ 動き推定手段
１０４、２０４、３０４ スケール変換手段
１０５、２０５、３０５ 画像ブロック抽出手段
１０６、２０６，３０６ 動き補償手段
１０７ 表示装置
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 奥村 治彦
神奈川県川崎市幸区小向東芝町１番地 株
式会社東芝研究開発センター内
Ｆターム(参考） 5C063 AC01 BA08 CA05
Claims (4)
- 【請求項１】 第１のフレームと第２のフレームを小ブ
ロックに分割し、前記第１のフレーム上の第１の小ブロ
ックと最も相関度の高い前記第２のフレーム上の第２の
小ブロックを探索して、第１の動きベクトルを求め、 前記第１の動きベクトルの長さをｎ等分（ｎは２以上の
整数）した、第１のスケール変換された動きベクトルを
求め、 前記第１のスケール変換された動きベクトルの前記第１
のフレーム上の始点を固定し、終点の示す補間フレーム
上の小ブロックの位置に対応する、前記第２のフレーム
上の小ブロックを抽出することを含むことを特徴とする
フレーム補間方法。 - 【請求項２】 第１のフレームと第２のフレームを小ブ
ロックに分割し、前記第１のフレーム上の第１の小ブロ
ックと最も相関度の高い前記第２のフレーム上の第２の
小ブロックを探索して、第１の動きベクトルを求め、 前記第１の動きベクトルの長さをｎ等分（ｎは２以上の
整数）した、第１のスケール変換された動きベクトルを
求め、 前記第２のフレーム上で、前記第１のフレーム上の前記
第１の小ブロックと同じ位置にある、第３の小ブロック
と最も相関度の高い前記第１のフレーム上の第４の小ブ
ロックを探索して、第２の動きベクトルを求め、 前記第２の動きベクトルの長さをｎ等分した、第２のス
ケール変換された動きベクトルを求め、 前記第１の動きベクトルと前記第２の動きベクトルのう
ちで、相関度の高い方のスケール変換された動きベクト
ルを選択し、 選択された前記第１又は第２のスケール変換された動き
ベクトルの始点を固定し、終点の示す位置に対応する、
前記始点を含むフレームと対向するフレーム上の小ブロ
ックを抽出することを含むことを特徴とするフレーム補
間方法。 - 【請求項３】 前記第１のフレームと前記第２のフレー
ム間の時間ｔをｎ等分し、ｍ／ｎ倍（ｍは、１≦ｍ＜ｎ
の整数）の前記第１又は第２のスケール変換された動き
ベクトルに対応する前記抽出された小ブロックを、前記
第１のフレーム上の前記第１の小ブロックの位置に対応
する、前記第１のフレームから（ｎ−ｍ）・ｔ／ｎ時間
離れた時刻に内挿する前記補間フレーム上の小ブロック
位置に複写することをさらに含むことを特徴とする請求
項１又は請求項２に記載のフレーム補間方法。 - 【請求項４】 前記第１のフレームと前記第２のフレー
ム間の画像の移動性と移動速度から、スケール変換する
比率を決定することをさらに含むことを特徴とする請求
項３に記載のフレーム補間方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002037357A JP2003244659A (ja) | 2002-02-14 | 2002-02-14 | フレーム補間方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002037357A JP2003244659A (ja) | 2002-02-14 | 2002-02-14 | フレーム補間方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003244659A true JP2003244659A (ja) | 2003-08-29 |
Family
ID=27778979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002037357A Pending JP2003244659A (ja) | 2002-02-14 | 2002-02-14 | フレーム補間方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003244659A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005236634A (ja) * | 2004-02-19 | 2005-09-02 | Sony Corp | 画像処理装置および画像処理方法、プログラム、並びに記録媒体 |
| JP2007074306A (ja) * | 2005-09-06 | 2007-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 補足画素生成装置及び復号化システム及び復号化方法及び画像符号化通信システム及び復号化プログラム及びコンピュータ読み取り可能な記録媒体 |
| WO2008102826A1 (ja) * | 2007-02-20 | 2008-08-28 | Sony Corporation | 画像表示装置、映像信号処理装置および映像信号処理方法 |
| JP2009207128A (ja) * | 2008-01-29 | 2009-09-10 | Sanyo Electric Co Ltd | 表示装置及び表示方法 |
| CN101938663A (zh) * | 2009-06-30 | 2011-01-05 | 日立民用电子株式会社 | 记录再现装置和变换装置 |
| JP2011067279A (ja) * | 2009-09-24 | 2011-04-07 | Ziosoft Inc | 医療用画像処理装置及び医療用画像処理プログラム |
| JP2011092547A (ja) * | 2009-10-30 | 2011-05-12 | Ziosoft Inc | 医療用画像処理装置及び医療用画像処理プログラム |
| US8111297B2 (en) | 2004-09-22 | 2012-02-07 | Nikon Corporation | Image processing apparatus, program, and method for performing preprocessing for movie reproduction of still images |
| JP2014050753A (ja) * | 2013-12-06 | 2014-03-20 | Ziosoft Inc | 医療用画像処理装置及び医療用画像処理プログラム |
| US8711239B2 (en) | 2007-07-31 | 2014-04-29 | Nikon Corporation | Program recording medium, image processing apparatus, imaging apparatus, and image processing method |
-
2002
- 2002-02-14 JP JP2002037357A patent/JP2003244659A/ja active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4512978B2 (ja) * | 2004-02-19 | 2010-07-28 | ソニー株式会社 | 画像処理装置および画像処理方法、プログラム、並びに記録媒体 |
| JP2005236634A (ja) * | 2004-02-19 | 2005-09-02 | Sony Corp | 画像処理装置および画像処理方法、プログラム、並びに記録媒体 |
| US8289411B2 (en) | 2004-09-22 | 2012-10-16 | Nikon Corporation | Image processing apparatus, program, and method for performing preprocessing for movie reproduction of still images |
| US8111297B2 (en) | 2004-09-22 | 2012-02-07 | Nikon Corporation | Image processing apparatus, program, and method for performing preprocessing for movie reproduction of still images |
| JP2007074306A (ja) * | 2005-09-06 | 2007-03-22 | Nippon Telegr & Teleph Corp <Ntt> | 補足画素生成装置及び復号化システム及び復号化方法及び画像符号化通信システム及び復号化プログラム及びコンピュータ読み取り可能な記録媒体 |
| KR100988652B1 (ko) | 2007-02-20 | 2010-10-18 | 소니 주식회사 | 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법 |
| US8441468B2 (en) | 2007-02-20 | 2013-05-14 | Sony Corporation | Image display apparatus |
| KR101522736B1 (ko) * | 2007-02-20 | 2015-05-26 | 소니 주식회사 | 화상 표시 장치 |
| US8917767B2 (en) | 2007-02-20 | 2014-12-23 | Sony Corporation | Image display apparatus, video signal processor, and video signal processing method |
| WO2008102828A1 (ja) * | 2007-02-20 | 2008-08-28 | Sony Corporation | 画像表示装置 |
| CN101543065B (zh) * | 2007-02-20 | 2012-03-14 | 索尼株式会社 | 图像显示装置、视频信号处理器以及视频信号处理方法 |
| WO2008102826A1 (ja) * | 2007-02-20 | 2008-08-28 | Sony Corporation | 画像表示装置、映像信号処理装置および映像信号処理方法 |
| JP5187531B2 (ja) * | 2007-02-20 | 2013-04-24 | ソニー株式会社 | 画像表示装置 |
| US8711239B2 (en) | 2007-07-31 | 2014-04-29 | Nikon Corporation | Program recording medium, image processing apparatus, imaging apparatus, and image processing method |
| JP2009207128A (ja) * | 2008-01-29 | 2009-09-10 | Sanyo Electric Co Ltd | 表示装置及び表示方法 |
| CN101938663A (zh) * | 2009-06-30 | 2011-01-05 | 日立民用电子株式会社 | 记录再现装置和变换装置 |
| JP2011067279A (ja) * | 2009-09-24 | 2011-04-07 | Ziosoft Inc | 医療用画像処理装置及び医療用画像処理プログラム |
| JP2011092547A (ja) * | 2009-10-30 | 2011-05-12 | Ziosoft Inc | 医療用画像処理装置及び医療用画像処理プログラム |
| JP2014050753A (ja) * | 2013-12-06 | 2014-03-20 | Ziosoft Inc | 医療用画像処理装置及び医療用画像処理プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100287211B1 (ko) | 양방향 움직임 추정방법 및 장치 | |
| JP4514081B2 (ja) | ビデオ・シーケンスを符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）するための動きベクトルの外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ） | |
| US11070834B2 (en) | Low-complexity method for generating synthetic reference frames in video coding | |
| JP5877469B2 (ja) | 動き推定システムにおいてモーメント及び加速度ベクトルを使用するオブジェクト追跡 | |
| KR100441509B1 (ko) | 주사포맷변환장치 및 방법 | |
| JP2004297719A (ja) | フレーム補間方法及びこれを用いた画像表示システム | |
| KR101493325B1 (ko) | 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법 | |
| JP4080951B2 (ja) | フレーム補間方法及び装置並びに画像表示システム | |
| EP3104611B1 (en) | Motion estimation using collocated blocks | |
| JPH0644815B2 (ja) | 動物体の動き内挿装置 | |
| JP2003244659A (ja) | フレーム補間方法 | |
| JPH05507826A (ja) | ビデオ信号の画素に対する運動ベクトルの割当て方法および装置 | |
| JP2005506626A (ja) | 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置 | |
| JP2004519901A (ja) | 動き推定の容易化 | |
| JP2004128702A (ja) | フレーム補間方法 | |
| JP2005521977A (ja) | ビデオシーケンス内における後方動きベクトルの推定方法 | |
| JP2009239698A (ja) | 映像変換装置及び映像変換方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2004112229A (ja) | フレーム補間システム及びフレーム補間方法 | |
| JPH08205163A (ja) | 動き補償予測画像作成装置 | |
| KR20080032741A (ko) | 디스플레이장치 및 그 제어방법 | |
| JP3437381B2 (ja) | 動きベクトル検出装置 | |
| KR100448700B1 (ko) | 프레임속도변환의 크로스 페이드 보간 장치 및 방법 | |
| KR20050015189A (ko) | 위상 정정 필드를 이용한 적응적 디-인터레이싱 방법 및그 장치와, 이를 구현하기 위한 프로그램이 기록된 기록매체 | |
| JPH06296264A (ja) | ビデオ信号処理装置 |