JP2000324495A - フィールド周波数変換装置および変換方法 - Google Patents
フィールド周波数変換装置および変換方法Info
- Publication number
- JP2000324495A JP2000324495A JP12729299A JP12729299A JP2000324495A JP 2000324495 A JP2000324495 A JP 2000324495A JP 12729299 A JP12729299 A JP 12729299A JP 12729299 A JP12729299 A JP 12729299A JP 2000324495 A JP2000324495 A JP 2000324495A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- class
- image
- unit
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 入力画像の動き量が大きい場合にも、フィー
ルド周波数変換をより精度良く行う。 【解決手段】 動き推定部１１が入力画像内の動き量を
推定する。動き補償部１２は、動き量に基づいて入力画
像に動き補償処理を施す。動きクラス決定部１３は、動
き推定部１１の出力に基づいて動きクラスを決定する。
クラスタップ選択部１４、予測タップ選択部１５は、動
き補償部１２の出力から、動きクラスに応じた位置の画
素を、それぞれクラスタップ、予測タップとして抽出す
る。空間クラス決定部１６は、クラスタップのデータに
基づいて空間クラスを決定する。クラス決定部１７は、
空間クラス決定部１６の出力と、動きクラス決定部１３
の出力とに基づいて最終的なクラスを決定する。予測係
数選択部１８は、クラス決定部１７の出力に対応する予
測係数を出力する。積和演算部１９は、予測タップのデ
ータと、予測係数とに基づいて出力画像を生成する。
ルド周波数変換をより精度良く行う。 【解決手段】 動き推定部１１が入力画像内の動き量を
推定する。動き補償部１２は、動き量に基づいて入力画
像に動き補償処理を施す。動きクラス決定部１３は、動
き推定部１１の出力に基づいて動きクラスを決定する。
クラスタップ選択部１４、予測タップ選択部１５は、動
き補償部１２の出力から、動きクラスに応じた位置の画
素を、それぞれクラスタップ、予測タップとして抽出す
る。空間クラス決定部１６は、クラスタップのデータに
基づいて空間クラスを決定する。クラス決定部１７は、
空間クラス決定部１６の出力と、動きクラス決定部１３
の出力とに基づいて最終的なクラスを決定する。予測係
数選択部１８は、クラス決定部１７の出力に対応する予
測係数を出力する。積和演算部１９は、予測タップのデ
ータと、予測係数とに基づいて出力画像を生成する。
Description
【０００１】
【発明の属する技術分野】この発明は、入力画像に対し
て例えば解像度の向上等を目的とする画像情報変換を施
すフィールド周波数変換装置および変換方法に関する。
て例えば解像度の向上等を目的とする画像情報変換を施
すフィールド周波数変換装置および変換方法に関する。
【０００２】
【従来の技術】フィールド周波数を例えば５０Ｈｚから
６０Ｈｚに変換するフィールド周波数変換の方法とし
て、フィールド間の動きを推定し、推定した動き量を用
いてフィールド間に新しいフィールドを生成する処理が
知られている。しかし、かかる方法においては、動き推
定に失敗すると、処理結果に直接影響するという問題が
あった。また、かかる方法は、単なる補間処理であり、
時間的または空間的な解像度を向上させることはできな
い。
６０Ｈｚに変換するフィールド周波数変換の方法とし
て、フィールド間の動きを推定し、推定した動き量を用
いてフィールド間に新しいフィールドを生成する処理が
知られている。しかし、かかる方法においては、動き推
定に失敗すると、処理結果に直接影響するという問題が
あった。また、かかる方法は、単なる補間処理であり、
時間的または空間的な解像度を向上させることはできな
い。
【０００３】また、本願出願人は、元の画像中の複数個
のフィールドから抽出した画像データを使用して、クラ
ス分類適応処理によって新たなフィールドを生成するこ
とにより、フィールド周波数を変換する方法を先に提案
している。
のフィールドから抽出した画像データを使用して、クラ
ス分類適応処理によって新たなフィールドを生成するこ
とにより、フィールド周波数を変換する方法を先に提案
している。
【０００４】
【発明が解決しようとする課題】しかし、このような方
法では、入力画像の動き量が抽出される画像データの範
囲より大きい場合には、的確なクラス分類適応処理を行
うことができないので、正しいフィールドを生成するこ
とができない。
法では、入力画像の動き量が抽出される画像データの範
囲より大きい場合には、的確なクラス分類適応処理を行
うことができないので、正しいフィールドを生成するこ
とができない。
【０００５】従って、この発明の目的は、特に入力画像
の動き量が大きい場合等において、フィールド周波数変
換をより的確に行うことが可能なフィールド周波数変換
装置および変換方法を提供することにある。
の動き量が大きい場合等において、フィールド周波数変
換をより的確に行うことが可能なフィールド周波数変換
装置および変換方法を提供することにある。
【０００６】
【課題を解決するための手段】請求項１の発明は、入力
画像における動き量を推定する動き量推定手段と、動き
量推定手段の出力を参照して、入力画像に対する動き補
償処理を行う動き補償手段と、動き量推定手段の出力に
基づいて、動きクラスを決定する動きクラス決定手段
と、動き量推定手段の出力に基づいて、入力画像に対す
る動き補償処理を行う動き補償手段と、動き補償手段の
出力から、所定位置の画像データを切り出す第１の画像
切り出し手段と、第１の画像切り出し手段によって切り
出される画像データに基づいて時空間におけるレベル分
布のパターンを検出し、検出したパターンに基づいて各
画像データが属するクラスを決定するクラス決定手段
と、動き補償手段の出力から、所定位置の画像データを
切り出す第２の画像切り出し手段と、クラスに対応して
予め決定された予測係数を記憶し、記憶している予測係
数の内から、クラス決定手段の出力に対応するものを出
力する係数記憶手段と、第２の画像切り出し手段によっ
て切り出される画像データと、係数記憶手段から供給さ
れる予測係数とに基づいて予測演算を行う演算処理手段
とを有することを特徴とするフィールド周波数変換装置
である。
画像における動き量を推定する動き量推定手段と、動き
量推定手段の出力を参照して、入力画像に対する動き補
償処理を行う動き補償手段と、動き量推定手段の出力に
基づいて、動きクラスを決定する動きクラス決定手段
と、動き量推定手段の出力に基づいて、入力画像に対す
る動き補償処理を行う動き補償手段と、動き補償手段の
出力から、所定位置の画像データを切り出す第１の画像
切り出し手段と、第１の画像切り出し手段によって切り
出される画像データに基づいて時空間におけるレベル分
布のパターンを検出し、検出したパターンに基づいて各
画像データが属するクラスを決定するクラス決定手段
と、動き補償手段の出力から、所定位置の画像データを
切り出す第２の画像切り出し手段と、クラスに対応して
予め決定された予測係数を記憶し、記憶している予測係
数の内から、クラス決定手段の出力に対応するものを出
力する係数記憶手段と、第２の画像切り出し手段によっ
て切り出される画像データと、係数記憶手段から供給さ
れる予測係数とに基づいて予測演算を行う演算処理手段
とを有することを特徴とするフィールド周波数変換装置
である。
【０００７】請求項５の発明は、入力画像における動き
量を推定する動き量推定ステップと、動き量推定ステッ
プの結果を参照して、入力画像に対する動き補償処理を
行う動き補償ステップと、動き量推定ステップの結果に
基づいて、動きクラスを決定する動きクラス決定ステッ
プと、動き量推定ステップの結果に基づいて、入力画像
に対する動き補償処理を行う動き補償ステップと、動き
補償ステップによって生成される画像から、所定位置の
画像データを切り出す第１の画像切り出しステップと、
第１の画像切り出しステップによって切り出される画像
データに基づいて時空間におけるレベル分布のパターン
を検出し、検出したパターンに基づいて各画像データが
属するクラスを決定するクラス決定ステップと、動き補
償ステップによって生成される画像から、所定位置の画
像データを切り出す第２の画像切り出しステップと、ク
ラスに対応して予め決定された予測係数を記憶し、記憶
している予測係数の内から、クラス決定ステップの結果
に対応するものを出力する係数記憶ステップと、第２の
画像切り出しステップによって切り出される画像データ
と、係数記憶ステップによって供給される予測係数とに
基づいて予測演算を行う演算処理ステップとを有するこ
とを特徴とするフィールド周波数変換方法である。
量を推定する動き量推定ステップと、動き量推定ステッ
プの結果を参照して、入力画像に対する動き補償処理を
行う動き補償ステップと、動き量推定ステップの結果に
基づいて、動きクラスを決定する動きクラス決定ステッ
プと、動き量推定ステップの結果に基づいて、入力画像
に対する動き補償処理を行う動き補償ステップと、動き
補償ステップによって生成される画像から、所定位置の
画像データを切り出す第１の画像切り出しステップと、
第１の画像切り出しステップによって切り出される画像
データに基づいて時空間におけるレベル分布のパターン
を検出し、検出したパターンに基づいて各画像データが
属するクラスを決定するクラス決定ステップと、動き補
償ステップによって生成される画像から、所定位置の画
像データを切り出す第２の画像切り出しステップと、ク
ラスに対応して予め決定された予測係数を記憶し、記憶
している予測係数の内から、クラス決定ステップの結果
に対応するものを出力する係数記憶ステップと、第２の
画像切り出しステップによって切り出される画像データ
と、係数記憶ステップによって供給される予測係数とに
基づいて予測演算を行う演算処理ステップとを有するこ
とを特徴とするフィールド周波数変換方法である。
【０００８】以上のような発明によれば、クラス分類適
応処理を行うに際して、入力画像の動き量を反映させる
ことができる。
応処理を行うに際して、入力画像の動き量を反映させる
ことができる。
【０００９】
【発明の実施の形態】以下、適宜図面を参照してこの発
明の一実施形態について説明する。この発明の一実施形
態におけるマッピング、すなわちフィールド周波数を変
換する処理に係る構成の一例を図１に示す。かかる構成
は、例えば、５０Ｈｚの入力画像を６０Ｈｚの出力画像
に変換する処理を行うものである。入力画像が動き推定
部１１に供給される。動き推定部１１は、例えばブロッ
クマッチング等の方法によって、入力画像内の注目画素
の動きベクトルを推定し、推定した動きベクトルを動き
補償部１２および動きクラス決定部１３に供給する。動
き補償部１２は、供給される動きベクトルに基づいて入
力画像のフィールドをずらす動き補償処理を行う。動き
補償処理の結果として生成される画像がクラスタップ選
択部１４と予測タップ選択部１５とに供給される。
明の一実施形態について説明する。この発明の一実施形
態におけるマッピング、すなわちフィールド周波数を変
換する処理に係る構成の一例を図１に示す。かかる構成
は、例えば、５０Ｈｚの入力画像を６０Ｈｚの出力画像
に変換する処理を行うものである。入力画像が動き推定
部１１に供給される。動き推定部１１は、例えばブロッ
クマッチング等の方法によって、入力画像内の注目画素
の動きベクトルを推定し、推定した動きベクトルを動き
補償部１２および動きクラス決定部１３に供給する。動
き補償部１２は、供給される動きベクトルに基づいて入
力画像のフィールドをずらす動き補償処理を行う。動き
補償処理の結果として生成される画像がクラスタップ選
択部１４と予測タップ選択部１５とに供給される。
【００１０】一方、動きクラス決定部１３には、動きベ
クトルと共に、その信頼性を示す情報が動き推定部１１
から供給される。動きクラス決定部１３は、供給される
動きベクトルと信頼性を示す情報とに基づいて動きクラ
スを決定し、決定した動きクラスを示す情報をクラスタ
ップ選択部１４、予測タップ選択部１５およびクラス決
定部１７に供給する。クラスタップ選択部１４は、動き
クラスを参照して空間クラスの分類に用いる所定位置の
画素（クラスタップと称される）を選択的に抽出し、抽
出したクラスタップのデータを空間クラス決定部１６に
供給する。空間クラス決定部１６は、供給されるデータ
に基づいてＡＤＲＣ(Adaptive DynamicRange Coding)
等を含む処理を行うことによって空間クラスを決定し、
決定した空間クラスを示す情報をクラス決定部１７に供
給する。
クトルと共に、その信頼性を示す情報が動き推定部１１
から供給される。動きクラス決定部１３は、供給される
動きベクトルと信頼性を示す情報とに基づいて動きクラ
スを決定し、決定した動きクラスを示す情報をクラスタ
ップ選択部１４、予測タップ選択部１５およびクラス決
定部１７に供給する。クラスタップ選択部１４は、動き
クラスを参照して空間クラスの分類に用いる所定位置の
画素（クラスタップと称される）を選択的に抽出し、抽
出したクラスタップのデータを空間クラス決定部１６に
供給する。空間クラス決定部１６は、供給されるデータ
に基づいてＡＤＲＣ(Adaptive DynamicRange Coding)
等を含む処理を行うことによって空間クラスを決定し、
決定した空間クラスを示す情報をクラス決定部１７に供
給する。
【００１１】クラス決定部１７は、空間クラス決定部１
６から供給される空間クラスを示す情報と、上述したよ
うに動きクラス決定部１３から供給される動きクラスを
示す情報とに基づいて最終的なクラスを決定する。クラ
ス決定部１７は、決定した最終的なクラスを示す情報を
予測係数選択部１８に供給する。予測係数選択部１８
は、クラス決定部１７の出力を参照して、最終的なクラ
スに対応する予測係数を出力する。この予測係数が積和
演算部１９に供給される。なお、予測係数選択部１８
は、クラスに対応して後述するようにして予め決定され
た予測係数を供給され、供給される予測係数を保持する
メモリを有している。
６から供給される空間クラスを示す情報と、上述したよ
うに動きクラス決定部１３から供給される動きクラスを
示す情報とに基づいて最終的なクラスを決定する。クラ
ス決定部１７は、決定した最終的なクラスを示す情報を
予測係数選択部１８に供給する。予測係数選択部１８
は、クラス決定部１７の出力を参照して、最終的なクラ
スに対応する予測係数を出力する。この予測係数が積和
演算部１９に供給される。なお、予測係数選択部１８
は、クラスに対応して後述するようにして予め決定され
た予測係数を供給され、供給される予測係数を保持する
メモリを有している。
【００１２】一方、予測タップ選択部１５は、動きクラ
ス決定部１３から供給される動きクラスを参照して、動
き補償部１２の出力から所定の画素領域（予測タップと
称される）を選択的に抽出する。抽出された予測タップ
のデータが積和演算部１９に供給される。積和演算部１
９は、予測タップのデータと、予測係数選択部１８から
供給される予測係数とに基づいて、以下の式（１）に従
う積和演算を行うことにより、フィールド周波数が変換
された出力画像を生成する。
ス決定部１３から供給される動きクラスを参照して、動
き補償部１２の出力から所定の画素領域（予測タップと
称される）を選択的に抽出する。抽出された予測タップ
のデータが積和演算部１９に供給される。積和演算部１
９は、予測タップのデータと、予測係数選択部１８から
供給される予測係数とに基づいて、以下の式（１）に従
う積和演算を行うことにより、フィールド周波数が変換
された出力画像を生成する。
【００１３】 ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１） ここで、ｘ1 ，‥‥，ｘn が各予測タップの画素データ
であり、ｗ1 ，‥‥，ｗn が各予測係数である。
であり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００１４】次に、動き推定部１１の動作について詳細
に説明する。動き推定部１１は、例えばブロックマッチ
ング等の方法によってフレーム間の動きベクトルを推定
する。ブロックマッチングの概要について図２を参照し
て説明する。現在フレームＦ１内のｍ×ｎ画素からなる
参照ブロックＢ１内の画像と、過去フレームＦ２内に設
定したｓ×ｔ画素からなる探索範囲Ｓ１中のブロックＢ
１と同形の候補ブロックＢ２との間でマッチング演算を
行う。すなわち、参照ブロックＢ１と候補ブロックＢ２
との間で対応する位置の画素値の差分をとり、差分の絶
対値をブロックＢ２の全体に渡って累積する等の処理に
よって候補ブロックＢ２についての評価値を作成する。
に説明する。動き推定部１１は、例えばブロックマッチ
ング等の方法によってフレーム間の動きベクトルを推定
する。ブロックマッチングの概要について図２を参照し
て説明する。現在フレームＦ１内のｍ×ｎ画素からなる
参照ブロックＢ１内の画像と、過去フレームＦ２内に設
定したｓ×ｔ画素からなる探索範囲Ｓ１中のブロックＢ
１と同形の候補ブロックＢ２との間でマッチング演算を
行う。すなわち、参照ブロックＢ１と候補ブロックＢ２
との間で対応する位置の画素値の差分をとり、差分の絶
対値をブロックＢ２の全体に渡って累積する等の処理に
よって候補ブロックＢ２についての評価値を作成する。
【００１５】このような評価値を探索範囲Ｓ１中の全候
補ブロックについて作成し、評価値が最小となる候補ブ
ロックの位置を最もマッチングの良い候補ブロックの位
置として決定することにより、参照ブロックＢ１に対応
する動きベクトルを検出する。探索範囲Ｓ１内の候補ブ
ロックとして１画素ずつずれたブロックを用いる場合に
は、全部でｓ×ｔ個の候補ブロックを取扱うことにな
る。なお、参照ブロックを過去フレーム内にとり、探索
範囲を現在フレーム内に設定するようにしても良い。ブ
ロックマッチングについては、本願出願人の先の提案
（例えば特開昭５４−１２４９２７号公報参照）に詳細
に開示されている。参照ブロック、探索範囲の大きさ等
は動き推定の対象とされる画像の性質等の条件に応じて
適切に設定すれば良い。この発明の一実施形態では、例
えば、参照ブロックのブロックサイズが横６画素×縦３
画素とされ、また、探索範囲が水平方向のみに±１６画
素とされる。
補ブロックについて作成し、評価値が最小となる候補ブ
ロックの位置を最もマッチングの良い候補ブロックの位
置として決定することにより、参照ブロックＢ１に対応
する動きベクトルを検出する。探索範囲Ｓ１内の候補ブ
ロックとして１画素ずつずれたブロックを用いる場合に
は、全部でｓ×ｔ個の候補ブロックを取扱うことにな
る。なお、参照ブロックを過去フレーム内にとり、探索
範囲を現在フレーム内に設定するようにしても良い。ブ
ロックマッチングについては、本願出願人の先の提案
（例えば特開昭５４−１２４９２７号公報参照）に詳細
に開示されている。参照ブロック、探索範囲の大きさ等
は動き推定の対象とされる画像の性質等の条件に応じて
適切に設定すれば良い。この発明の一実施形態では、例
えば、参照ブロックのブロックサイズが横６画素×縦３
画素とされ、また、探索範囲が水平方向のみに±１６画
素とされる。
【００１６】また、この発明の一実施形態では、上述し
たようにして推定される動きベクトルの信頼性を以下の
ようにして判定する。すなわち、評価値の最小値が例え
ば１８０等の所定値以上となる場合に信頼性が低いと判
定し、動きベクトルを無効とする。動きベクトルが無効
とされる場合には、動きベクトルとして０が出力され
る。
たようにして推定される動きベクトルの信頼性を以下の
ようにして判定する。すなわち、評価値の最小値が例え
ば１８０等の所定値以上となる場合に信頼性が低いと判
定し、動きベクトルを無効とする。動きベクトルが無効
とされる場合には、動きベクトルとして０が出力され
る。
【００１７】動き補償部１２、クラスタップ選択部１４
および予測タップ選択部１５においては、入力画像内の
画素と出力画像内の画素との位置関係によって決まるモ
ードに応じた処理がなされる。まず、モードについて、
図３および図４を参照して説明する。入力画像内の画素
と出力画像内の画素との位置関係の一例を図３に説明す
る。図３において、水平方向は時間方向を示し、垂直方
向は画像内での垂直方向を示す。従って、垂直方向の画
素の並びがフィールドを表している。また、黒丸は入力
画像内の画素を示し、白丸は出力画像内の画素を示す。
図４から、入力画像内の画素と出力画像内の画素との間
に複数種類の位置関係があることがわかる。
および予測タップ選択部１５においては、入力画像内の
画素と出力画像内の画素との位置関係によって決まるモ
ードに応じた処理がなされる。まず、モードについて、
図３および図４を参照して説明する。入力画像内の画素
と出力画像内の画素との位置関係の一例を図３に説明す
る。図３において、水平方向は時間方向を示し、垂直方
向は画像内での垂直方向を示す。従って、垂直方向の画
素の並びがフィールドを表している。また、黒丸は入力
画像内の画素を示し、白丸は出力画像内の画素を示す。
図４から、入力画像内の画素と出力画像内の画素との間
に複数種類の位置関係があることがわかる。
【００１８】このような位置関係について図４により詳
細に示す。ここで、各モード毎に１個の出力画素を、代
表例として、薄墨を付して示した。出力画像内の画素が
入力画像内のフィールド上にある場合に、出力画像内の
画素が入力画像内の画素とが同一位置となるようなモー
ド（モード０）と、出力画像内の画素が入力画像内の画
素の間にあるようなモード（モード３）とがある。ま
た、出力画像内の画素が入力画像内のフィールドの間に
生成されるフィールド上にある場合に、当該フィールド
に対して時間的に直前に位置する入力画像内のフィール
ド上に出力画像内の画素と垂直方向の位置が一致する画
素があるようなモード（モード１）と、当該フィールド
に対して時間的に直後に位置する入力画像内のフィール
ド上に出力画像内の画素と垂直方向の位置が一致する画
素があるようなモード（モード２）とがある。
細に示す。ここで、各モード毎に１個の出力画素を、代
表例として、薄墨を付して示した。出力画像内の画素が
入力画像内のフィールド上にある場合に、出力画像内の
画素が入力画像内の画素とが同一位置となるようなモー
ド（モード０）と、出力画像内の画素が入力画像内の画
素の間にあるようなモード（モード３）とがある。ま
た、出力画像内の画素が入力画像内のフィールドの間に
生成されるフィールド上にある場合に、当該フィールド
に対して時間的に直前に位置する入力画像内のフィール
ド上に出力画像内の画素と垂直方向の位置が一致する画
素があるようなモード（モード１）と、当該フィールド
に対して時間的に直後に位置する入力画像内のフィール
ド上に出力画像内の画素と垂直方向の位置が一致する画
素があるようなモード（モード２）とがある。
【００１９】動き補償部１２は、出力画像内の画素が入
力画像内のフィールド上にある場合（モード０およびモ
ード３）と、出力画像内の画素が入力画像内のフィール
ドの間に生成されるフィールド上にある場合（モード１
およびモード２）とで異なる処理を行う。このような処
理について図５および図６を参照して説明する。図５に
モード０およびモード３における処理の一例を示す。こ
こで、縦方向が時間を示し、横方向が各フィールド内の
水平方向の位置を示す。また、生成すべきフィールドが
時点Ｎにおけるフィールドであるｆｉｅｌｄ（Ｎ）と同
一の時間位置にある場合を例として説明する。この場
合、正方形で示す入力画像内の画素の位置と、注目画素
（互いに交差する２本の斜線で示す）の位置とが一致し
ている。
力画像内のフィールド上にある場合（モード０およびモ
ード３）と、出力画像内の画素が入力画像内のフィール
ドの間に生成されるフィールド上にある場合（モード１
およびモード２）とで異なる処理を行う。このような処
理について図５および図６を参照して説明する。図５に
モード０およびモード３における処理の一例を示す。こ
こで、縦方向が時間を示し、横方向が各フィールド内の
水平方向の位置を示す。また、生成すべきフィールドが
時点Ｎにおけるフィールドであるｆｉｅｌｄ（Ｎ）と同
一の時間位置にある場合を例として説明する。この場
合、正方形で示す入力画像内の画素の位置と、注目画素
（互いに交差する２本の斜線で示す）の位置とが一致し
ている。
【００２０】また、図５では、ｆｉｅｌｄ（Ｎ）と、時
点Ｎ＋２におけるフィールドであるｆｉｅｌｄ（Ｎ＋
２）との間で推定された動きベクトルをｍｅ＿ｘと表記
する。この場合に、動き補償としてフィールド（Ｎ−
１）およびフィールド（Ｎ＋１）を水平方向にそれぞれ
ｍｅ＿ｘ／２、−ｍｅ＿ｘ／２だけ引き寄せる処理が行
われる。これにより、フィールド（Ｎ−１）およびフィ
ールド（Ｎ＋１）において、水平方向の動きが見かけ上
ほぼ打ち消された画像を得ることができる。
点Ｎ＋２におけるフィールドであるｆｉｅｌｄ（Ｎ＋
２）との間で推定された動きベクトルをｍｅ＿ｘと表記
する。この場合に、動き補償としてフィールド（Ｎ−
１）およびフィールド（Ｎ＋１）を水平方向にそれぞれ
ｍｅ＿ｘ／２、−ｍｅ＿ｘ／２だけ引き寄せる処理が行
われる。これにより、フィールド（Ｎ−１）およびフィ
ールド（Ｎ＋１）において、水平方向の動きが見かけ上
ほぼ打ち消された画像を得ることができる。
【００２１】一方、図６にモード１およびモード２にお
ける処理の一例を示す。ここで、縦方向が時間を示し、
横方向が各フィールド内の水平方向の位置を示す。ま
た、生成すべきフィールドが時点Ｎにおけるフィールド
であるｆｉｅｌｄ（Ｎ）と時点Ｎ＋１におけるフィール
ドであるｆｉｅｌｄ（Ｎ＋１）との間に位置する場合を
例として説明する。この場合、正方形で示す入力画像内
の画素と、注目画素の位置（互いに交差する２本の斜線
で示す）の位置とは異なる。
ける処理の一例を示す。ここで、縦方向が時間を示し、
横方向が各フィールド内の水平方向の位置を示す。ま
た、生成すべきフィールドが時点Ｎにおけるフィールド
であるｆｉｅｌｄ（Ｎ）と時点Ｎ＋１におけるフィール
ドであるｆｉｅｌｄ（Ｎ＋１）との間に位置する場合を
例として説明する。この場合、正方形で示す入力画像内
の画素と、注目画素の位置（互いに交差する２本の斜線
で示す）の位置とは異なる。
【００２２】図６においても、図５と同様に、ｆｉｅｌ
ｄ（Ｎ）と、時点Ｎ＋２におけるフィールドであるｆｉ
ｅｌｄ（Ｎ＋２）との間で推定された動きベクトルをｍ
ｅ＿ｘと表記する。この場合に、動き補償として、フィ
ールド（Ｎ−１）、ｆｉｅｌｄ（Ｎ）およびフィールド
（Ｎ＋１）を水平方向にそれぞれ、３×ｍｅ＿ｘ／４、
ｍｅ＿ｘ／４、および−ｍｅ＿ｘ／４、だけ引き寄せる
処理が行われる。このような処理によって、フィールド
（Ｎ−１）およびフィールド（Ｎ＋１）において水平方
向の動きが見かけ上ほぼ打ち消された画像を得ることが
できる。
ｄ（Ｎ）と、時点Ｎ＋２におけるフィールドであるｆｉ
ｅｌｄ（Ｎ＋２）との間で推定された動きベクトルをｍ
ｅ＿ｘと表記する。この場合に、動き補償として、フィ
ールド（Ｎ−１）、ｆｉｅｌｄ（Ｎ）およびフィールド
（Ｎ＋１）を水平方向にそれぞれ、３×ｍｅ＿ｘ／４、
ｍｅ＿ｘ／４、および−ｍｅ＿ｘ／４、だけ引き寄せる
処理が行われる。このような処理によって、フィールド
（Ｎ−１）およびフィールド（Ｎ＋１）において水平方
向の動きが見かけ上ほぼ打ち消された画像を得ることが
できる。
【００２３】次に、動きクラス決定部１３による処理に
ついて説明する。動きクラス決定部１３は、上述したよ
うに動き推定部１１から、動きベクトルと動きベクトル
の信頼性を示す情報とを供給される。これらに基づい
て、動きクラスを以下のように決定する。
ついて説明する。動きクラス決定部１３は、上述したよ
うに動き推定部１１から、動きベクトルと動きベクトル
の信頼性を示す情報とを供給される。これらに基づい
て、動きクラスを以下のように決定する。
【００２４】 動きクラス０：動きベクトルが有効で動きベクトル値が
０ 動きクラス１：動きベクトルが有効で動きベクトル値の
絶対値が６以下 動きクラス２：動きベクトルが有効で動きベクトル値の
絶対値が７以上 動きクラス３：動きベクトルが無効（この時は動きベク
トル値は０とされる） ここで、動きベクトルの信頼性が低いと判定される場合
（上述したようにブロックマッチングにおける評価値の
最小値が所定値以上となる場合）に動きベクトルが無効
とされ、それ以外の場合は動きベクトルが有効とされ
る。また、動きクラス１と動きクラス２を判定する際の
参照値とされている６、７等の値は一例であり、これに
限定されるものではない。一般的には探索範囲の大きさ
（例えば水平方向に±１６画素等）、入力画像の性質等
を考慮して適切な値を参照するようにすれば良い。な
お、動きクラス３は、信頼性の低い動きベクトルに基づ
いて不適切な動き補償が行われることを回避するための
ものである。
０ 動きクラス１：動きベクトルが有効で動きベクトル値の
絶対値が６以下 動きクラス２：動きベクトルが有効で動きベクトル値の
絶対値が７以上 動きクラス３：動きベクトルが無効（この時は動きベク
トル値は０とされる） ここで、動きベクトルの信頼性が低いと判定される場合
（上述したようにブロックマッチングにおける評価値の
最小値が所定値以上となる場合）に動きベクトルが無効
とされ、それ以外の場合は動きベクトルが有効とされ
る。また、動きクラス１と動きクラス２を判定する際の
参照値とされている６、７等の値は一例であり、これに
限定されるものではない。一般的には探索範囲の大きさ
（例えば水平方向に±１６画素等）、入力画像の性質等
を考慮して適切な値を参照するようにすれば良い。な
お、動きクラス３は、信頼性の低い動きベクトルに基づ
いて不適切な動き補償が行われることを回避するための
ものである。
【００２５】次に、クラスタップ選択部１４および予測
タップ選択部１５の動作について説明する。クラスタッ
プ選択部１４および予測タップ選択部１５は、モードと
動きクラスとに応じて所定位置の画素をクラスタップお
よび予測タップとして抽出する。モード０、１、２、３
に対応するタップ構造の一例を図７、図８、図９および
図１０に示す。図７〜図１０において、動きクラス０、
１の時にクラスタップまたは予測タップとして抽出され
る画素を黒丸で示し、動きクラス２、３の時にクラスタ
ップまたは予測タップとして抽出される画素を白丸で示
した。また、クラスタップまたは予測タップとして抽出
される画素以外の画素は、全て点線の丸で示した。
タップ選択部１５の動作について説明する。クラスタッ
プ選択部１４および予測タップ選択部１５は、モードと
動きクラスとに応じて所定位置の画素をクラスタップお
よび予測タップとして抽出する。モード０、１、２、３
に対応するタップ構造の一例を図７、図８、図９および
図１０に示す。図７〜図１０において、動きクラス０、
１の時にクラスタップまたは予測タップとして抽出され
る画素を黒丸で示し、動きクラス２、３の時にクラスタ
ップまたは予測タップとして抽出される画素を白丸で示
した。また、クラスタップまたは予測タップとして抽出
される画素以外の画素は、全て点線の丸で示した。
【００２６】モード０におけるタップ構造の一例を図７
に示す。図７Ａに示すように、動きクラス０、１と動き
クラス２、３とでクラスタップ構造が一致する。すなわ
ち、何れの動きクラスにおいても、現在フィールドから
５個、現在フィールドの１フィールド後のフィールドか
ら２個の計７個の画素がクラスタップとして抽出され
る。また、図７Ｂに示すように、予測タップ構造が動き
クラス０、１と動きクラス２、３とで一致する。すなわ
ち、現在フィールドから９個、現在フィールドの１フィ
ールド前および１フィールド後の各フィールドからそれ
ぞれ２個の計１３個の画素が予測タップとして抽出され
る。
に示す。図７Ａに示すように、動きクラス０、１と動き
クラス２、３とでクラスタップ構造が一致する。すなわ
ち、何れの動きクラスにおいても、現在フィールドから
５個、現在フィールドの１フィールド後のフィールドか
ら２個の計７個の画素がクラスタップとして抽出され
る。また、図７Ｂに示すように、予測タップ構造が動き
クラス０、１と動きクラス２、３とで一致する。すなわ
ち、現在フィールドから９個、現在フィールドの１フィ
ールド前および１フィールド後の各フィールドからそれ
ぞれ２個の計１３個の画素が予測タップとして抽出され
る。
【００２７】モード１におけるタップ構造の一例を図８
に示す。動きクラス０、１の場合には、図８Ａにて黒丸
で示す位置の画素（すなわち、現在フィールドから４
個、現在フィールドの１フィールド前および１フィール
ド後の各フィールドからそれぞれ１個および３個の計８
個）がクラスタップとして抽出される。また、動きクラ
ス２、３の場合には、図８Ａにて白丸で示す位置の画素
（現在フィールドから４個、現在フィールドの１フィー
ルド後の各フィールドから５個の計８個）がクラスタッ
プとして抽出される。一方、動きクラス０、１の場合、
図８Ｂにて黒丸で示す位置の画素（現在フィールドから
８個、現在フィールドの１フィールド前および１フィー
ルド後の各フィールドからそれぞれ３個の計１４個）が
予測タップとして抽出される。また、動きクラス２、３
の場合には、図８Ｂにて白丸で示す位置の画素（現在フ
ィールドから８個、現在フィールドの１フィールド後の
各フィールドから５個の計１３個）が予測タップとして
抽出される。
に示す。動きクラス０、１の場合には、図８Ａにて黒丸
で示す位置の画素（すなわち、現在フィールドから４
個、現在フィールドの１フィールド前および１フィール
ド後の各フィールドからそれぞれ１個および３個の計８
個）がクラスタップとして抽出される。また、動きクラ
ス２、３の場合には、図８Ａにて白丸で示す位置の画素
（現在フィールドから４個、現在フィールドの１フィー
ルド後の各フィールドから５個の計８個）がクラスタッ
プとして抽出される。一方、動きクラス０、１の場合、
図８Ｂにて黒丸で示す位置の画素（現在フィールドから
８個、現在フィールドの１フィールド前および１フィー
ルド後の各フィールドからそれぞれ３個の計１４個）が
予測タップとして抽出される。また、動きクラス２、３
の場合には、図８Ｂにて白丸で示す位置の画素（現在フ
ィールドから８個、現在フィールドの１フィールド後の
各フィールドから５個の計１３個）が予測タップとして
抽出される。
【００２８】モード２におけるタップ構造の一例を図９
に示す。図９Ａに示すように、動きクラス０、１と動き
クラス２、３とでクラスタップ構造が一致する。すなわ
ち、何れの動きクラスにおいても、現在フィールドから
５個、現在フィールドの１フィールド後のフィールドか
ら２個の計７個の画素がクラスタップとして抽出され
る。一方、動きクラス０、１の場合、図９Ｂにて黒丸で
示す位置の画素（現在フィールドから９個、現在フィー
ルドの１フィールド前および１フィールド後の各フィー
ルドからそれぞれ２個の計１３個）が予測タップとして
抽出される。また、動きクラス２、３の場合には、図８
Ｂにて白丸で示す位置の画素（現在フィールドから９
個、現在フィールドの１フィールド後のフィールドから
６個の計１５個）が予測タップとして抽出される。
に示す。図９Ａに示すように、動きクラス０、１と動き
クラス２、３とでクラスタップ構造が一致する。すなわ
ち、何れの動きクラスにおいても、現在フィールドから
５個、現在フィールドの１フィールド後のフィールドか
ら２個の計７個の画素がクラスタップとして抽出され
る。一方、動きクラス０、１の場合、図９Ｂにて黒丸で
示す位置の画素（現在フィールドから９個、現在フィー
ルドの１フィールド前および１フィールド後の各フィー
ルドからそれぞれ２個の計１３個）が予測タップとして
抽出される。また、動きクラス２、３の場合には、図８
Ｂにて白丸で示す位置の画素（現在フィールドから９
個、現在フィールドの１フィールド後のフィールドから
６個の計１５個）が予測タップとして抽出される。
【００２９】モード３におけるタップ構造の一例を図１
０に示す。動きクラス０、１の場合には、図１０Ａにて
黒丸で示す位置の画素（すなわち、現在フィールドから
２個、現在フィールドの１フィールド前および１フィー
ルド後の各フィールドからそれぞれ３個の計８個）がク
ラスタップとして抽出される。また、動きクラス２、３
の場合には、図８Ａにて白丸で示す位置の画素（現在フ
ィールドから６個、現在フィールドの１フィールド前お
よび１フィールド後の各フィールドから１個の計８個）
がクラスタップとして抽出される。一方、図１０Ｂに示
すように、動きクラス０、１と動きクラス２、３とで予
測タップ構造が一致する。すなわち、何れの動きクラス
においても、現在フィールドから８個、現在フィールド
の１フィールド前および１フィールド後の各フィールド
からそれぞれ３個の計１４個の画素がクラスタップとし
て抽出される。
０に示す。動きクラス０、１の場合には、図１０Ａにて
黒丸で示す位置の画素（すなわち、現在フィールドから
２個、現在フィールドの１フィールド前および１フィー
ルド後の各フィールドからそれぞれ３個の計８個）がク
ラスタップとして抽出される。また、動きクラス２、３
の場合には、図８Ａにて白丸で示す位置の画素（現在フ
ィールドから６個、現在フィールドの１フィールド前お
よび１フィールド後の各フィールドから１個の計８個）
がクラスタップとして抽出される。一方、図１０Ｂに示
すように、動きクラス０、１と動きクラス２、３とで予
測タップ構造が一致する。すなわち、何れの動きクラス
においても、現在フィールドから８個、現在フィールド
の１フィールド前および１フィールド後の各フィールド
からそれぞれ３個の計１４個の画素がクラスタップとし
て抽出される。
【００３０】次に、学習、すなわち上述したマッピング
を行うに際して使用される予測係数の算出について説明
する。図１における入力画像と同一の信号形式を有する
画像が生徒画像として動き推定部２１および動き補償部
２２に供給される。動き推定部２１は、図１中の動き推
定部１１と同様な処理を行う。すなわち、動き推定部２
１は、生徒画像内の注目画素の動きベクトルを推定し、
推定した動きベクトルを動き補償部２２に供給する。ま
た、動き推定部２１は、動きベクトルと共に、その信頼
性を示す情報を動きクラス決定部２３に供給する。一
方、動き補償部２２は、図１中の動き補償部１２と同様
な動き補償処理を行う。この動き補償処理の結果として
生成される画像がクラスタップ選択部２４と予測タップ
選択部２５とに供給される。
を行うに際して使用される予測係数の算出について説明
する。図１における入力画像と同一の信号形式を有する
画像が生徒画像として動き推定部２１および動き補償部
２２に供給される。動き推定部２１は、図１中の動き推
定部１１と同様な処理を行う。すなわち、動き推定部２
１は、生徒画像内の注目画素の動きベクトルを推定し、
推定した動きベクトルを動き補償部２２に供給する。ま
た、動き推定部２１は、動きベクトルと共に、その信頼
性を示す情報を動きクラス決定部２３に供給する。一
方、動き補償部２２は、図１中の動き補償部１２と同様
な動き補償処理を行う。この動き補償処理の結果として
生成される画像がクラスタップ選択部２４と予測タップ
選択部２５とに供給される。
【００３１】動きクラス決定部２３は、図１中の動きク
ラス決定部１３と同様な処理を行って動きクラスを決定
し、決定した動きクラスを示す情報をクラスタップ選択
部２４、予測タップ選択部２５およびクラス決定部２７
に供給する。クラスタップ選択部２４は、図１中のクラ
スタップ選択部１４と同一位置の画素をクラスタップと
して抽出し、抽出したクラスタップのデータを空間クラ
ス決定部２６に供給する。空間クラス決定部２６は、供
給されるデータに基づいて図１中の空間クラス決定部１
６と同様な処理を行うことによって空間クラスを決定
し、決定した空間クラスを示す情報をクラス決定部２７
に供給する。
ラス決定部１３と同様な処理を行って動きクラスを決定
し、決定した動きクラスを示す情報をクラスタップ選択
部２４、予測タップ選択部２５およびクラス決定部２７
に供給する。クラスタップ選択部２４は、図１中のクラ
スタップ選択部１４と同一位置の画素をクラスタップと
して抽出し、抽出したクラスタップのデータを空間クラ
ス決定部２６に供給する。空間クラス決定部２６は、供
給されるデータに基づいて図１中の空間クラス決定部１
６と同様な処理を行うことによって空間クラスを決定
し、決定した空間クラスを示す情報をクラス決定部２７
に供給する。
【００３２】クラス決定部２７は、図１中のクラス決定
部１７と同様な処理を行うことにより、最終的なクラス
を決定し、最終的なクラスを示す情報をマトリクス選択
部２８に供給する。マトリクス選択部２８は、最終的な
クラスに対応するマトリクスを選択し、選択したマトリ
クスに係るデータをマトリクス加算部２９に供給する。
部１７と同様な処理を行うことにより、最終的なクラス
を決定し、最終的なクラスを示す情報をマトリクス選択
部２８に供給する。マトリクス選択部２８は、最終的な
クラスに対応するマトリクスを選択し、選択したマトリ
クスに係るデータをマトリクス加算部２９に供給する。
【００３３】一方、予測タップ選択部２５は、図１中の
予測タップ選択部１５と同一位置の画素を予測タップと
して抽出し、抽出した予測タップのデータをマトリクス
加算部２９に供給する。マトリクス加算部２９には、さ
らに、図１における出力画像と同一の信号形式の画像が
教師画像として供給される。マトリクス加算部２９に
は、マトリクス選択部２８から供給されるデータに、予
測タップのデータおよび教師画像に基づく演算結果を足
し込む処理を行うことにより、正規方程式のデータを生
成する。正規方程式のデータは、マトリクス加算部２９
から係数決定部３０に供給される。係数決定部３０は、
正規方程式を解く演算を行うことにより、予測係数を算
出する。算出された予測係数は、例えば図示しないメモ
リに一旦記憶され、図１中の予測係数選択部内のメモリ
にロードされる等の方法により、図１を参照して上述し
た演算処理において使用されることが可能となる。
予測タップ選択部１５と同一位置の画素を予測タップと
して抽出し、抽出した予測タップのデータをマトリクス
加算部２９に供給する。マトリクス加算部２９には、さ
らに、図１における出力画像と同一の信号形式の画像が
教師画像として供給される。マトリクス加算部２９に
は、マトリクス選択部２８から供給されるデータに、予
測タップのデータおよび教師画像に基づく演算結果を足
し込む処理を行うことにより、正規方程式のデータを生
成する。正規方程式のデータは、マトリクス加算部２９
から係数決定部３０に供給される。係数決定部３０は、
正規方程式を解く演算を行うことにより、予測係数を算
出する。算出された予測係数は、例えば図示しないメモ
リに一旦記憶され、図１中の予測係数選択部内のメモリ
にロードされる等の方法により、図１を参照して上述し
た演算処理において使用されることが可能となる。
【００３４】次に、予測係数を算出するための演算につ
いて説明する。上述の式（１）において、学習前は予測
係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラ
ス毎に複数の教師画像を入力することによって行う。教
師画像の種類数をｍと表記する場合、式（１）から、以
下の式（２）が設定される。
いて説明する。上述の式（１）において、学習前は予測
係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラ
ス毎に複数の教師画像を入力することによって行う。教
師画像の種類数をｍと表記する場合、式（１）から、以
下の式（２）が設定される。
【００３５】 ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （２） （ｋ＝１，２，‥‥，ｍ） ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決ま
らないので、誤差ベクトルｅの要素ｅk を以下の式
（３）で定義して、式（４）によって定義される誤差ベ
クトルｅを最小とするように予測係数を定めるようにす
る。すなわち、いわゆる最小２乗法によって予測係数を
一意に定める。
らないので、誤差ベクトルｅの要素ｅk を以下の式
（３）で定義して、式（４）によって定義される誤差ベ
クトルｅを最小とするように予測係数を定めるようにす
る。すなわち、いわゆる最小２乗法によって予測係数を
一意に定める。
【００３６】 ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （３） （ｋ＝１，２，‥‥ｍ）
【００３７】
【数１】
【００３８】式（４）のｅ2 を最小とする予測係数を求
めるための実際的な計算方法としては、ｅ2 を予測係数
ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの各値に
ついて偏微分値が０となるように各予測係数ｗi を定め
れば良い。
めるための実際的な計算方法としては、ｅ2 を予測係数
ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの各値に
ついて偏微分値が０となるように各予測係数ｗi を定め
れば良い。
【００３９】
【数２】
【００４０】式（５）から各予測係数ｗi を定める具体
的な手順について説明する。式（６）、（７）のように
Ｘji，Ｙi を定義すると、式（５）は、式（８）の行列
式の形に書くことができる。
的な手順について説明する。式（６）、（７）のように
Ｘji，Ｙi を定義すると、式（５）は、式（８）の行列
式の形に書くことができる。
【００４１】
【数３】
【００４２】
【数４】
【００４３】
【数５】
【００４４】式（８）が一般に正規方程式と呼ばれるも
のである。マトリクス加算部２９は、正規方程式（８）
中のパラメータを算出する。係数決定部３０は、算出さ
れたパラメータに基づいて掃き出し法等の一般的な行列
解法に従って正規方程式（８）を解くことにより、予測
係数ｗi （ｉ＝１，２，‥‥，ｎ）を算出する。
のである。マトリクス加算部２９は、正規方程式（８）
中のパラメータを算出する。係数決定部３０は、算出さ
れたパラメータに基づいて掃き出し法等の一般的な行列
解法に従って正規方程式（８）を解くことにより、予測
係数ｗi （ｉ＝１，２，‥‥，ｎ）を算出する。
【００４５】上述したこの発明の一実施形態では、動き
推定部１１による処理結果として得られる動きベクトル
がクラスタップ選択、予測タップ選択およびクラス決定
回路１７におけるクラス分類にも反映するようになされ
ているが、フィールド周波数変換処理に対する動きベク
トルの反映のさせ方はこれに限定されるものではない。
例えば、動きベクトルを動き補償にのみ使用する構成、
動きベクトルを動き補償とクラスタップおよび／または
予測タップの選択に使用する構成、動きベクトルを動き
補償とクラス分類に使用する構成等によっても、入力画
像の動きが大きい場合にフィールド周波数変換に変換性
能をある程度向上させることが可能である。
推定部１１による処理結果として得られる動きベクトル
がクラスタップ選択、予測タップ選択およびクラス決定
回路１７におけるクラス分類にも反映するようになされ
ているが、フィールド周波数変換処理に対する動きベク
トルの反映のさせ方はこれに限定されるものではない。
例えば、動きベクトルを動き補償にのみ使用する構成、
動きベクトルを動き補償とクラスタップおよび／または
予測タップの選択に使用する構成、動きベクトルを動き
補償とクラス分類に使用する構成等によっても、入力画
像の動きが大きい場合にフィールド周波数変換に変換性
能をある程度向上させることが可能である。
【００４６】一般的に、より多くの構成要素の動作に動
きベクトルが反映されるように構成する程、入力画像の
動きが大きい場合の変換性能は良くなるが、回路構成は
大型化すると考えられる。従って、この発明の適用に際
しては、装置に要求される、変換性能、回路規模、コス
ト等の条件により適合する構成用いるようにすれば良
い。
きベクトルが反映されるように構成する程、入力画像の
動きが大きい場合の変換性能は良くなるが、回路構成は
大型化すると考えられる。従って、この発明の適用に際
しては、装置に要求される、変換性能、回路規模、コス
ト等の条件により適合する構成用いるようにすれば良
い。
【００４７】この発明は、上述したこの発明の一実施形
態に限定されるものでは無く、この発明の主旨を逸脱し
ない範囲内で様々な変形や応用が可能である。
態に限定されるものでは無く、この発明の主旨を逸脱し
ない範囲内で様々な変形や応用が可能である。
【００４８】
【発明の効果】この発明によれば、入力画像における動
き量に基づいて動き補償された画像に対してクラス分類
適応処理を適用することにより、フィールド周波数変換
がなされる。このため、動き量が大きい場合等において
も、変換処理の精度を向上させることができる。
き量に基づいて動き補償された画像に対してクラス分類
適応処理を適用することにより、フィールド周波数変換
がなされる。このため、動き量が大きい場合等において
も、変換処理の精度を向上させることができる。
【００４９】特に、クラス分類適応処理における演算に
使用される画像データを切り出す際に、動き量に応じた
処理を行うようにすれば、変換処理の精度をより向上さ
せることができる。
使用される画像データを切り出す際に、動き量に応じた
処理を行うようにすれば、変換処理の精度をより向上さ
せることができる。
【００５０】また、時空間における画像データのレベル
分布のパターンに加えて、動き量をも考慮してクラス分
類を行うようにすれば、変換処理の精度をより向上させ
ることができる。
分布のパターンに加えて、動き量をも考慮してクラス分
類を行うようにすれば、変換処理の精度をより向上させ
ることができる。
【図１】この発明の一実施形態における、フィールド周
波数変換処理に係る構成について説明するためのブロッ
ク図である。
波数変換処理に係る構成について説明するためのブロッ
ク図である。
【図２】ブロックマッチングについて説明するための略
線図である。
線図である。
【図３】入力画像内の画素と出力画像内の画素との位置
関係について説明するための略線図である。
関係について説明するための略線図である。
【図４】モードについて説明するための略線図である。
【図５】モード０およびモード３における動き補償処理
について説明するための略線図である。
について説明するための略線図である。
【図６】モード１およびモード２における動き補償処理
について説明するための略線図である。
について説明するための略線図である。
【図７】モード０におけるタップ構造について説明する
ための略線図である。
ための略線図である。
【図８】モード１におけるタップ構造について説明する
ための略線図である。
ための略線図である。
【図９】モード２におけるタップ構造について説明する
ための略線図である。
ための略線図である。
【図１０】モード３におけるタップ構造について説明す
るための略線図である。
るための略線図である。
【図１１】この発明の一実施形態における、学習に係る
処理について説明するためのブロック図である。
処理について説明するためのブロック図である。
１１・・・動き推定部、１２・・・動き補償部、２１・
・・動き推定部、２２・・・動き補償部
・・動き推定部、２２・・・動き補償部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 内田 真史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 服部 正明 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 宮井 岳志 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK00 LA06 LB13 LB15 LB16 MA02 MA03 MA19 MA34 NN01 NN28 UA18 UA38
Claims (5)
- 【請求項１】 入力画像における動き量を推定する動き
量推定手段と、 上記動き量推定手段の出力を参照して、上記入力画像に
対する動き補償処理を行う動き補償手段と、 上記動き量推定手段の出力に基づいて、動きクラスを決
定する動きクラス決定手段と、 上記動き量推定手段の出力に基づいて、上記入力画像に
対する動き補償処理を行う動き補償手段と、 上記動き補償手段の出力から、所定位置の画像データを
切り出す第１の画像切り出し手段と、 上記第１の画像切り出し手段によって切り出される画像
データに基づいて時空間におけるレベル分布のパターン
を検出し、検出したパターンに基づいて各画像データが
属するクラスを決定するクラス決定手段と、 上記動き補償手段の出力から、所定位置の画像データを
切り出す第２の画像切り出し手段と、 上記クラスに対応して予め決定された予測係数を記憶
し、記憶している予測係数の内から、上記クラス決定手
段の出力に対応するものを出力する係数記憶手段と、 上記第２の画像切り出し手段によって切り出される画像
データと、上記係数記憶手段から供給される予測係数と
に基づいて予測演算を行う演算処理手段とを有すること
を特徴とするフィールド周波数変換装置。 - 【請求項２】 請求項１において、 上記第１の画像切り出し手段は、 上記動き量推定手段の出力に応じた処理を行うことを特
徴とするフィールド周波数変換装置。 - 【請求項３】 請求項１において、 上記第２の画像切り出し手段は、 上記動き量推定手段の出力に応じた処理を行うことを特
徴とするフィールド周波数変換装置。 - 【請求項４】 請求項１において、 上記動き量推定手段の出力に基づいて動きクラスを決定
する動きクラス決定手段をさらに有し、 上記クラス決定手段は、 上記動きクラス決定手段の出力に基づく処理を行うこと
を特徴とするフィールド周波数変換装置。 - 【請求項５】 入力画像における動き量を推定する動き
量推定ステップと、 上記動き量推定ステップの結果を参照して、上記入力画
像に対する動き補償処理を行う動き補償ステップと、 上記動き量推定ステップの結果に基づいて、動きクラス
を決定する動きクラス決定ステップと、 上記動き量推定ステップの結果に基づいて、上記入力画
像に対する動き補償処理を行う動き補償ステップと、 上記動き補償ステップによって生成される画像から、所
定位置の画像データを切り出す第１の画像切り出しステ
ップと、 上記第１の画像切り出しステップによって切り出される
画像データに基づいて時空間におけるレベル分布のパタ
ーンを検出し、検出したパターンに基づいて各画像デー
タが属するクラスを決定するクラス決定ステップと、 上記動き補償ステップによって生成される画像から、所
定位置の画像データを切り出す第２の画像切り出しステ
ップと、 上記クラスに対応して予め決定された予測係数を記憶
し、記憶している予測係数の内から、上記クラス決定ス
テップの結果に対応するものを出力する係数記憶ステッ
プと、 上記第２の画像切り出しステップによって切り出される
画像データと、上記係数記憶ステップによって供給され
る予測係数とに基づいて予測演算を行う演算処理ステッ
プとを有することを特徴とするフィールド周波数変換方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12729299A JP4250806B2 (ja) | 1999-05-07 | 1999-05-07 | フィールド周波数変換装置および変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12729299A JP4250806B2 (ja) | 1999-05-07 | 1999-05-07 | フィールド周波数変換装置および変換方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000324495A true JP2000324495A (ja) | 2000-11-24 |
| JP2000324495A5 JP2000324495A5 (ja) | 2006-04-06 |
| JP4250806B2 JP4250806B2 (ja) | 2009-04-08 |
Family
ID=14956363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12729299A Expired - Fee Related JP4250806B2 (ja) | 1999-05-07 | 1999-05-07 | フィールド周波数変換装置および変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4250806B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004047454A1 (ja) * | 2002-11-20 | 2004-06-03 | Sony Corporation | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
| JP2006238372A (ja) * | 2005-02-28 | 2006-09-07 | Sony Corp | 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム |
| JP2007300678A (ja) * | 2007-07-24 | 2007-11-15 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP2010087867A (ja) * | 2008-09-30 | 2010-04-15 | Sony Corp | フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置 |
-
1999
- 1999-05-07 JP JP12729299A patent/JP4250806B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004047454A1 (ja) * | 2002-11-20 | 2004-06-03 | Sony Corporation | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 |
| US7729558B2 (en) | 2002-11-20 | 2010-06-01 | Sony Corporation | Image signal, processing device and processing method, coefficient data generation device and generation method used for the same, program for executing the methods and computer readable medium containing the program |
| JP2006238372A (ja) * | 2005-02-28 | 2006-09-07 | Sony Corp | 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム |
| JP4591767B2 (ja) * | 2005-02-28 | 2010-12-01 | ソニー株式会社 | 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム |
| JP2007300678A (ja) * | 2007-07-24 | 2007-11-15 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP2010087867A (ja) * | 2008-09-30 | 2010-04-15 | Sony Corp | フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4250806B2 (ja) | 2009-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100604394B1 (ko) | 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템 | |
| JP2738325B2 (ja) | 動き補償フレーム間予測装置 | |
| US6380986B1 (en) | Motion vector search method and apparatus | |
| CN100438609C (zh) | 带有降质的图像处理单元 | |
| KR20030070278A (ko) | 적응형 움직임 추정장치 및 추정 방법 | |
| US8610826B2 (en) | Method and apparatus for integrated motion compensated noise reduction and frame rate conversion | |
| US8630338B2 (en) | Method and device for image interpolation systems based on motion estimation and compensation | |
| US20100080299A1 (en) | Frame frequency conversion apparatus, frame frequency conversion method, program for achieving the method, computer readable recording medium recording the program, motion vector detection apparatus, and prediction coefficient generation apparatus | |
| JP2005505841A (ja) | 動き推定のための装置及び方法 | |
| JP2005506626A (ja) | 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置 | |
| US6160917A (en) | Method of calculating motion vectors | |
| US7522748B2 (en) | Method and apparatus for processing image data and semiconductor storage device | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP2000324495A (ja) | フィールド周波数変換装置および変換方法 | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP2861971B2 (ja) | 動ベクトル予測装置 | |
| JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
| JP3941900B2 (ja) | 動きベクトル検出装置 | |
| WO1999038331A1 (en) | Device and method for detecting moving vector | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JP2003271970A (ja) | テロップ領域抽出回路、テロップ領域抽出方法、その方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体、並びに画像信号処理回路 | |
| JP2006279890A (ja) | 相関追尾方法および相関追尾装置 | |
| JP3171249B2 (ja) | 動画像符号化の動きベクトル探索方法 | |
| JP4196462B2 (ja) | 画像情報変換装置および変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060216 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140130 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |