JP2000341609A - 画像情報変換装置および変換方法 - Google Patents

Abstract

(57)【要約】 【課題】 入力画像から折り返し歪みを除去する。 【解決手段】 動きベクトル検出部１１は、入力画像と
蓄積メモリ１６の出力とに基づいて動きベクトルを検出
する。予測係数メモリ１２は、予め決定された予測係数
データを記憶しており、動きベクトル検出部１１の出力
に適応する予測係数データを出力する。予測演算部１５
は、予測係数メモリ１２の出力を使用して、領域切り出
し部１３、１４から供給されるデータに基づく予測演算
を行う。蓄積メモリ１６は、予測演算部１５の出力を保
存し、ビデオカメラの通常の出力画像に対して例えば垂
直方向に４倍の画素密度の画像情報が蓄積される毎に出
力する。画サイズ変換部１７は、出力画像内に折り返し
が生じないように、予測演算部１５の出力信号サイズを
出力画像の信号サイズに変換する処理、および帯域フィ
ルタ処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、入力画像内の折
り返し歪みを軽減する画像情報変換装置および変換方法
に関する。

【０００２】

【従来の技術】テレビジョン受像機において受信された
画像や、ＶＴＲ(Video Tape Recorder) 、ビデオＣＤ
（Compact Disk) プレイヤー、ＤＶＤ(Digital Versati
le Disk)プレイヤー等で再生された画像等は、左から右
に走査が繰り返されることによって、例えばＣＲＴ(Cat
hod-Ray Tube) 等の表示部に表示される。

【０００３】すなわち、画像に対応するビームがＣＲＴ
の蛍光面に照射されることによって蛍光面の各点が発光
し、蛍光面の全体によって画像が表示される。従って、
表示画像は、画素、すなわち蛍光面上の各点の集合とい
うことができる。このため、表示画像は、アナログ信号
としての原画像を、画素の位置でサンプリングすること
によって得られるディジタル信号と考えることができ
る。

【０００４】従って、表示画像においても、サンプリン
グの定理が満たされない場合には折り返し歪みが生じ
る。ここで、サンプリングの定理とは、アナログ信号を
サンプリングすることによって得られるディジタル信号
から元のアナログ信号を再生するに際しては、アナログ
信号の最高周波数の２倍以上の周波数でサンプリングを
行う必要がある、という定理である。

【０００５】

【発明が解決しようとする課題】上述したような、左か
ら右への走査の繰り返しによって形成される画像におい
ては、走査線の方向、すなわち水平方向にはサンプリン
グの定理を満たすようにプリフィルタがかけられること
が多い。しかし、走査線と直行する方向、すなわち垂直
方向には、従来、プリフィルタをかける等の処理が施さ
れておらず、表示画像に垂直方向の折り返し歪みが生じ
るという問題があった。

【０００６】かかる問題について図１５を参照して説明
する。図１５は、時間方向に連続する２個のフレーム、
すなわち第Ｎフレーム、第Ｎ＋１フレームにおけるレベ
ル変動の一例を示す。第Ｎフレーム、および第Ｎ＋１フ
レームの各々については、水平方向がレベルを示し、垂
直方向が画像内の垂直方向を示す。また、画素位置（垂
直方向に走査線の間隔毎に並んでいる）を丸で示す。原
画像における垂直方向のレベル変動（実線の曲線で示
す）が垂直方向の画素間隔よりも小さい範囲で変動す
る、すなわち、１ライン（水平走査期間）に対応する周
波数の１／２よりも高い周波数の信号成分を有する場
合、サンプリングの定理を満たさないので折り返し歪み
が生じる。

【０００７】例えば第Ｎフレームでは、実線の曲線で示
した元の画像信号が折り返し歪みによって点線で示され
るような信号となる。このような折り返し歪みは、例え
ばＹ／Ｃ分離やノイズ除去、画質改善のための信号処理
等に悪影響を及ぼすおそれがあった。

【０００８】また、折り返し歪みによって例えば第Ｎフ
レームで実線で示したような画像信号が点線で示したよ
うな画像信号となっても、視覚的には、解像度が低下す
るだけであり、視聴者にさほど大きな違和感を感じさせ
ることはない。但し、例えば葉の生い茂った木が風に吹
かれている風景等についての原画像は、第Ｎフレーム、
第Ｎ＋１フレームにそれぞれ実線で示すような画像とな
る。このように、折り返し歪みが生じている信号が変化
すると、表示画像に、いわゆる画面のざわざわ感が感じ
られ、これは視聴者に大きな違和感を感じさせる。

【０００９】一方、ある１フレームに注目した場合に、
折り返し歪みを有する画像は、例えば第Ｎフレームの点
線で示すように垂直方向の折り返しを含む。このため、
１フレームの画像信号のみから高周波成分を含む元の信
号を再生することはサンプリングの定理から困難であ
る。また、既に垂直方向の折り返しを有する画像に、垂
直方向のプリフィルタをかけて折り返しを除去すること
も困難である。

【００１０】従って、この発明の目的は、折り返し歪み
の影響を除去することが可能な画像情報変換装置および
変換方法を提供することにある。

【００１１】

【課題を解決するための手段】請求項１の発明は、第１
の画像から第２の画像を生成する画像情報変換装置にお
いて、第１の画像の現画像に対して時間方向に異なる画
像を記憶する記憶手段と、現画像と、現画像に対して時
間的に異なる画像とを合成して第２の画像を生成する合
成手段と、第１の画像と第２の画像との相対的な動き
を、第２の画像を構成する画素と同等若しくはより細か
い単位で検出する動き検出手段とを有することを特徴と
する画像情報変換装置である。

【００１２】請求項７の発明は、第１の画像から第２の
画像を生成する画像情報変換装置において、第１の画像
の現画像に対して時間方向に異なる画像を記憶する記憶
手段と、現画像と、現画像に対して時間的に異なる画像
とを合成して、第２の画像以上の画素数を有する第３の
画像を生成する合成手段と、第３の画像と、入力する第
１の画像との相対的な動きを、第１の画像を構成する画
素より細かい単位で検出する動き検出手段と、第３の画
像を第２の画像に変換する画像変換手段とを有すること
を特徴とする画像情報変換装置である。

【００１３】請求項１３の発明は、第１の画像から第２
の画像を生成する画像情報変換方法において、第１の画
像の現画像に対して時間方向に異なる画像を記憶する記
憶ステップと、現画像と、現画像に対して時間的に異な
る画像とを合成して第２の画像を生成する合成ステップ
と、第１の画像と第２の画像との相対的な動きを、第２
の画像を構成する画素と同等若しくはより細かい単位で
検出する動き検出ステップとを有することを特徴とする
画像情報変換方法である。

【００１４】請求項１４の発明は、第１の画像から第２
の画像を生成する画像情報変換方法において、第１の画
像の現画像に対して時間方向に異なる画像を記憶する記
憶方法と、現画像と、現画像に対して時間的に異なる画
像とを合成して、第２の画像以上の画素数を有する第３
の画像を生成する合成方法と、第３の画像と、入力する
第１の画像との相対的な動きを、第１の画像を構成する
画素より細かい単位で検出する動き検出方法と、第３の
画像を第２の画像に変換する画像変換方法とを有するこ
とを特徴とする画像情報変換方法である。

【００１５】以上のような発明によれば、第１の画像と
第１の画像を複数フレーム分蓄積してなる第２の画像と
の間の相対的な動きに応じてなされるクラス分類の結果
に基づいてなされる演算処理によって、後続する第２の
画像を生成することができる。

【００１６】

【発明の実施の形態】この発明をテレビジョン受像機に
適用した、この発明の一実施形態について以下に説明す
る。この発明の一実施形態の構成の一例を図１に示す。
チューナー１は、図示しないアンテナによって受信され
た受信信号から、所定のチャンネルのテレビジョン放送
信号を検波、復調する。チューナー１の出力の内、画像
信号がＬＰＦ（Low Pass Filter)２に供給される。な
お、音声信号の処理に係る構成については、この発明と
直接的な関係を有しないため、図示および説明を省略す
る。ＬＰＦ２は、供給される信号をサンプリングの定理
を満たすようフィルタリング処理するプリフィルタであ
る。ＬＰＦ２の出力は、Ａ／Ｄ変換部３に供給される。
Ａ／Ｄ変換部３は、ＬＰＦ２の出力に対してサンプリン
グ処理を行うことによってディジタル画像信号を生成
し、生成したディジタル画像信号を歪み補正部４に供給
する。

【００１７】歪み補正部４は、Ａ／Ｄ変換部３の出力に
対して、折り返し歪みを除去若しくは低減する処理を施
す。歪み補正部４の出力は、Ｄ／Ａ変換部５に供給され
る。Ｄ／Ａ変換部５は、歪み補正部４の出力をＤ／Ａ変
換することによってアナログ画像信号に変換する。Ｄ／
Ａ変換部５の出力がＣＲＴ６に出力される。ＣＲＴ６
は、Ｄ／Ａ変換部５の出力に対応した画像を表示する。
また、図示せずも、チューナー１とＬＰＦ２の間、また
は歪み補正部４とＤ／Ａ変換部５との間等に、Ｙ／Ｃ分
離等の画像処理を行う構成が設けられている。

【００１８】なお、Ｙ／Ｃ分離前のコンポジット信号を
供給される位置にＡ／Ｄ変換部３が設けられる場合に
は、Ａ／Ｄ変換部３は、例えばサブキャリアの周波数で
サンプリングを行うように構成される。また、Ｙ／Ｃ分
離後のコンポーネント信号を供給される位置にＡ／Ｄ変
換部３が設けられる場合には、Ａ／Ｄ変換部３は、例え
ば１３．５ＭＨｚ等の周波数でサンプリングを行うよう
に構成される。

【００１９】歪み補正部４による処理について説明す
る。歪み補正部４は、垂直方向の折り返し歪みを含む画
像から、高周波成分を含む元の画像を再生する。歪み補
正部４は、さらに、再生した元の画像に垂直方向のプリ
フィルタをかけることにより、垂直方向の高周波成分を
カットして、画像に含まれていた折り返し歪みを除去す
る処理を行う。このフィルタ処理の結果として、折り返
し歪みが除去された画像を最終的に得ることができる。

【００２０】高周波成分を含む元の画像を再生する処理
について、図２を参照して詳細に説明する。時間方向に
連続する５個のフレーム、すなわち第Ｎフレーム，第Ｎ
＋１フレーム，第Ｎ＋２フレーム，第Ｎ＋３フレーム，
第Ｎ＋４フレームをそれぞれ、図２Ａ，図２Ｂ，図２
Ｃ，図２Ｄ，図２Ｅに示す。図２Ａ〜図２Ｅの各々にお
いて、垂直方向が画像における垂直方向を示し、水平方
向に画像信号レベルをとる。また、各フレームにおける
水平線は走査線を示す。さらに、原画像の一例を、各フ
レームにおける実線の折れ線で示した。かかる原画像の
一例は、各フレームにおいて垂直方向のレベル変化の周
波数が水平走査期間に対する周波数の１／２よりも高い
周波数で変化し、その位相が時間と共に垂直方向にずれ
ていく三角波となる場合を示すものである。

【００２１】ここで、第Ｎフレームに注目すると、原画
像を走査線上でサンプリングすることによって得られる
サンプル値（丸で示す）を結ぶことにより、点線で示す
ような歪み画像が得られる。この歪み画像は原画像とは
全く異なっている。次に、第Ｎ＋１フレームに注目した
場合にも、原画像を走査線上でサンプリングすることに
よって得られるサンプル値を結べば、原画像とは全く異
なる歪み画像が得られる。但し、歪み画像の位相が時間
と共に垂直方向にずれていくので、第Ｎ＋１フレームの
サンプリング位置は第Ｎフレームのサンプリング位置と
は異なる。

【００２２】そこで、第Ｎフレームにおけるサンプル値
のサンプリング点を、歪み画像の位相の変化に対応する
位置に移動し、移動後のサンプリング点におけるサンプ
ル値と、第Ｎ＋１フレームにおける走査線上のサンプル
値とを結ぶことにより、図２Ｂで点線で示すような、図
２Ａの点線で示した歪み画像に比べて、より元の画像に
近い波形を得ることができる。さらに、第Ｎ＋１フレー
ムにおけるサンプル値のサンプリング点を、歪み画像の
位相の変化に対応する位置に移動し、移動後のサンプリ
ング点におけるサンプル値と、第Ｎ＋２フレームにおけ
る走査線上のサンプル値とを結ぶことにより、図２Ｃで
点線で示すような、図２Ａ，図２Ｂの点線で示した歪み
画像に比べて、より元の画像に近い波形が得られる。

【００２３】以下、同様にして、過去のフレームのサン
プリング点を歪み画像の動きに対応した位置に移動し
て、移動後のサンプリング点における過去のフレームの
サンプル値と、現フレームにおける走査線上のサンプリ
ング点でのサンプル値とを結ぶことによって、図２Ｃ，
図２Ｄ，図２Ｅに示すように、元の画像により近い画像
を、時間経過と共に順次得ることができる。このような
手順を充分なフレーム数に渡って行うことにより、元の
画像を充分な精度で再生することができる。

【００２４】すなわち、歪み画像の動きに対応する位置
に画素を想定してサンプリング処理を行うことによっ
て、垂直方向の画素数を増加させることができる。これ
によってサンプリングの定理が満たされるので、元の画
像を再生できることになる。図３に、この様子を概念的
に示す。図３Ａには、通常の処理における、Ｎ，Ｎ＋
１，Ｎ＋２，Ｎ＋３の各フレームにおける垂直方向のサ
ンプリング位置をそれぞれ、実線、細い点線、中太の点
線、太い点線によって示した。また、図３Ｂには、上述
したような処理を行う場合の各フレームにおける垂直方
向のサンプリング位置を示した。垂直方向でサンプリン
グされる画素数が時間経過と共に増加することがわか
る。これにより、折り返し歪みの無い、若しくは削減さ
れた画像が生成される。

【００２５】次に、動きベクトルに基づくクラス分類適
応処理を行って予測演算を行う、歪み補正部４について
より詳細に説明する。理解を容易とするためにクラス分
類適応処理についてまず説明する。クラス分類適応処理
を用いた予測演算に係る一般的な構成の一例を図４に示
す。入力画像が領域切り出し部１０１、１０２に供給さ
れる。領域切り出し部１０１は、入力画像から所定の画
像領域（クラスタップと称される）を抽出し、クラスタ
ップのデータをＡＤＲＣ(Adoptive Dynamic Range Codi
ng) 部１０３に供給する。ＡＤＲＣ部１０３は、供給さ
れるデータにＡＤＲＣ処理を施すことにより、再量子化
コードを生成する。

【００２６】ＡＤＲＣ処理について以下に説明する。Ａ
ＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高
能率符号化のために開発された適応的再量子化法である
が、信号レベルの局所的なパターンを短い語調で効率的
に表現できるという特徴を有する。このため、クラス分
類のコードを発生するための、画像信号の時空間内での
パターンの検出に使用することができる。ＡＤＲＣ部１
０３では、以下の式（１）により、クラスタップとして
切り出される領域内の最大値ＭＡＸと最小値ＭＩＮとの
間を指定されたビット数で均等に分割して再量子化す
る。

【００２７】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２ⁿ ／ＤＲ〕 （１） ここで、ＤＲは領域内のダイナミックレンジである。ま
た、ｎはビット割り当て数であり、例えばｎ＝２とする
ことができる。また、Ｌは領域内画素のデータレベルで
あり、Ｑが再量子化コードである。但し、大かっこ
（〔‥‥〕）は切り捨て処理を意味する。

【００２８】これにより、１画素当たり例えば８ビット
からなるクラスタップの画素データが例えば２ビットの
再量子化コード値に変換される。このようにして生成さ
れる再量子化コード値により、クラスタップのデータに
おけるレベル分布のパターンがより少ない情報量によっ
て表現される。例えば７画素からなるクラスタップのタ
ップ構造を用いる場合、上述したような処理により、各
画素に対応する７個の再量子化コードｑ₁ 〜ｑ₇ が生成
される。かかる出力に基づいてクラスコード発生回路４
が発生するクラスコードclass は、次の式（２）のよう
なものである。

【００２９】

【数１】

【００３０】ここで、ｎはクラスタップとして切り出さ
れる画素の数である。また、ｐの値としては、例えばｐ
＝２とすることができる。

【００３１】クラスコードclass は、時空間内での画像
データのレベル分布のパターンを分類してなるクラスを
表現している。クラスコードclass は、予測係数メモリ
１０４に供給される。予測係数メモリ１０４は、後述す
るようにして予め決定されたクラス毎の予測係数を記憶
しており、供給される再量子化コードによって表現され
るクラスの予測係数を出力する。一方、領域切り出し部
１０２は、入力画像から所定の画像領域（予測タップと
称される）を抽出し、予測タップのデータを予測演算部
１０５に供給する。予測演算部１０５は、領域切り出し
部１０２の出力と、予測係数メモリ１０４から供給され
る予測係数とに基づいて以下の式（１）のような演算を
行うことにより、出力画像ｙを生成する。

【００３２】 ｙ＝ｗ₁ ×ｘ₁ ＋ｗ₂ ×ｘ₂ ＋‥‥＋ｗ_n ×ｘ_n （３） ここで、ｘ₁ ，‥‥，ｘ_n が各予測タップの画素データ
であり、ｗ₁ ，‥‥，ｗ_n が各予測係数である。

【００３３】次に、予測係数の決定に係る一般的な処理
について図５を参照して説明する。出力画像と同一の画
像信号形式を有するＨＤ(High Definition) 画像がＨＤ
−ＳＤ変換部２０１に供給される。ＨＤ−ＳＤ変換部２
０１は、間引き処理等を行うことにより、ＨＤ画像を入
力画像と同一の画像信号形式を有するＳＤ(StandardDef
inition) 画像に変換する。このＳＤ画像が領域切り出
し部２０２、２０３に供給される。領域切り出し部２０
２は、図４中の領域切り出し部１０１と同様に、ＳＤ画
像からクラスタップを切り出し、クラスタップのデータ
をＡＤＲＣ部２０４に供給する。

【００３４】ＡＤＲＣ部２０４は、図４中のＡＤＲＣ部
１０３と同様なＡＤＲＣ処理を行い、供給されるデータ
に基づく再量子化コードを生成する。再量子化コード
は、クラスコード生成部２０５に供給される。クラスコ
ード生成部２０５は、供給される再量子化コードに対応
するクラスを示すクラスコードを生成し、クラスコード
を正規方程式加算部２０６に供給する。一方、領域切り
出し部２０３は、図４中の領域切り出し部１０２と同様
に、供給されるＳＤ画像から予測タップを切り出し、切
り出した予測タップのデータを正規方程式加算部２０６
に供給する。

【００３５】正規方程式加算部２０６は、領域切り出し
部２０３から供給されるデータを、クラスコード生成部
２０５から供給される。クラスコードに対応させて加算
し、加算したデータを予測係数決定部２０７に供給す
る。予測係数決定部２０７は、供給されるデータに基づ
いて予測係数を決定する。

【００３６】予測係数を決定するための演算について説
明する。図５に示したような構成に対し、ＨＤ画像とし
て複数種類の画像データが供給される。これらの画像デ
ータの種類数をｍと表記する場合、式（３）から、以下
の式（４）が設定される。

【００３７】 ｙ_k ＝ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋‥‥＋ｗ_n ×ｘ_kn （４） （ｋ＝１，２，‥‥，ｍ） ｍ＞ｎの場合には、ｗ₁ ，‥‥，ｗ_n は一意に決まらな
いので、誤差ベクトルｅの要素ｅ_k を以下の式（５）で
定義して、式（６）によって定義される誤差ベクトルｅ
の２乗を最小とするように予測係数を定めるようにす
る。すなわち、いわゆる最小２乗法によって予測係数を
一意に定める。

【００３８】 ｅ_k ＝ｙ_k −｛ｗ₁ ×ｘ_k1＋ｗ₂ ×ｘ_k2＋‥‥＋ｗ_n ×ｘ_kn｝ （５） （ｋ＝１，２，‥‥ｍ）

【００３９】

【数２】

【００４０】式（６）のｅ² を最小とする予測係数を求
めるための実際的な計算方法としては、ｅ² を予測係数
ｗ_i (i=1,2‥‥）で偏微分し（式（７））、ｉの各値に
ついて偏微分値が０となるように各予測係数ｗ_i を決定
すれば良い。

【００４１】

【数３】

【００４２】式（７）から各予測係数ｗ_i を決定する具
体的な手順について説明する。式（８）、（９）のよう
にＸ_ji，Ｙ_i を定義すると、式（７）は、式（１０）の
行列式の形に書くことができる。

【００４３】

【数４】

【００４４】

【数５】

【００４５】

【数６】

【００４６】式（１０）が一般に正規方程式と呼ばれる
ものである。正規方程式加算部２０５は、供給されるデ
ータに基づいて式（８）、（９）に示すような演算を行
うことにより、Ｘ_ji，Ｙ_i （ｉ＝１，２，‥‥，ｎ）を
それぞれ計算する。予測係数決定部２０７は、掃き出し
法等の一般的な行列解法に従って正規方程式（１０）を
解くことにより、予測係数ｗ_i （ｉ＝１，２，‥‥，
ｎ）を算出する。

【００４７】上述したようなクラス分類適応処理は、入
力画像から切り出した画像領域のデータに基づいてクラ
ス分類を行うものであるが、入力画像における動きベク
トルを検出し、検出した動きベクトルに基づいてクラス
分類適応処理を行うことも同様な演算処理によって実現
することができる。この発明の一実施形態は、動きベク
トルに基づいてクラス分類適応処理を行う。歪み補正部
４の構成の一例を図６に示す。以下の説明は、ビデオカ
メラをパンやチルトすることによって風景を撮影する等
の操作によって得られる、全画面が同一の動きをする歪
み画像が入力される場合を前提として行う。また、かか
る一例においては、ビデオカメラの通常の出力画像に対
して垂直方向に４倍の情報密度（画素密度）の画像情報
を蓄積し、また、垂直方向に２倍の情報密度の画像情報
を出力するものとする。図１中のＡ／Ｄ変換器３の出力
である、折り返し歪みを含む入力画像が動きベクトル検
出部１１と、領域切り出し部１３とに供給される。

【００４８】後述するような蓄積メモリ１６から出力さ
れる画像信号が動きベクトル検出部１１と、領域切り出
し部１４とに供給される。動きベクトル検出部１１は、
入力画像と蓄積メモリ１６から供給される蓄積画像とに
基づいて動きベクトルを検出し、検出した動きベクトル
を予測係数メモリ１２に供給する。ここで、入力画像と
蓄積画像とは情報密度が異なるため、単純にマッチング
を行うことはできない。このような場合に、例えば本願
出願人の先の提案（特願平１１−０３４８１４号参照）
に係る動きベクトル検出処理等を行うことにより、蓄積
画像の密度と同等若しくはより細かい精度で動きベクト
ルを検出することができる。

【００４９】この方法の概要について、図７Ａに示すよ
うな、１枚の画像（基準画像）Ｐｓと、この画像Ｐｓに
対して垂直方向に４倍の密度の画像Ｐｈとの間で動きベ
クトルを検出しようとする場合を例として説明する。図
７Ａにおいて、実線のラインは画素が実際に存在してい
るラインを示し、破線のラインは実際には画素が存在し
ないラインを示す。画像Ｐｈは、ライン位置が基準画素
Ｐｓと一致する画像と、ライン位置を１ラインずつずら
した３枚の画像との、計４枚の１倍密画像Ｐｈ１、Ｐｈ
２、Ｐｈ３、Ｐｈ４として扱うことができる。

【００５０】最初に、図７Ｂに示すように、同一の大き
さで同一の形の基準ブロックＢｓおよび参照ブロックＢ
ｈ１（図７Ｂでは、５×５のブロックが示されている）
を画像ＰｓおよびＰｈ１〜Ｐｈ４の間の１枚の画像例え
ばＰｈ１の空間的に対応する位置に設定する。そして、
図８に示すように、基準ブロックＢｓと同一の位置に存
在する画素の画素値どうしの差分の絶対値を求め、この
絶対値を１ブロックに渡って集計し、絶対値和を計算す
る。次に、図８において点線で示すように、参照ブロッ
クＢｈ１を１倍速密画像の画素単位で種々の位置に移動
し、移動後の位置で絶対値和をそれぞれ計算する。計算
した絶対値和を絶対値和のテーブルに格納する。

【００５１】移動範囲は、探索範囲として規定される。
例えば、水平方向に１画素ずつずれた５個の参照ブロッ
クと、垂直方向に１画素ずつずれた３個の参照ブロック
との合計５×３個の参照ブロックに関して絶対値和が計
算される。このような場合には、図９Ａに示すように、
５×３個の絶対値和テーブルＴ１が得られる。５×３の
範囲の中央位置が原点Ｏである。原点Ｏは、基準ブロッ
クＢｓおよび参照ブロックＢｈ１の空間的な中心と一致
する。最終的な絶対値和テービルＴ０の中で、最小値を
与える参照ブロックの位置が原点にある時は、動きベク
トルが０である。

【００５２】次に、参照ブロックＢｈ１と同様の大きさ
で同一の形の参照ブロックＢｈ２を、画像Ｂｈ２の空間
的に同一の位置に設定する。参照ブロックＢｈ１の場合
と同様に、基準ブロックＢｓと参照ブロックＢｈ２の間
の差分の絶対値和を計算し、絶対値和のテーブルＴ２を
得る。このテーブルＴ２は、空間的には、テーブルＴ１
より４倍密画像の１ライン下側の位置のものである。さ
らに、参照ブロックＢｈ３およびＢｈ４についても、参
照ブロックＢｈ１，Ｂｈ２と同様に基準ブロックＢｓと
の差分の絶対値和を計算し、絶対値和のテーブルＴ３お
よびＴ４を得る。

【００５３】そして、図９Ｂに示すように、４個のテー
ブルを４倍密画像から４枚の１倍密画像を得る場合と逆
の関係でもって合成し、最終的な絶対値和のテーブルＴ
０を作成する。テーブルＴ０は、５×４×３の絶対値の
分布を示すものである。このテーブルＴ０の中で、最小
値を検出する。原点Ｏから最小値を与える参照ブロック
の位置へのベクトルが動きベクトルとして検出される。
以上のようにして、動きベクトル検出を４倍密度の画像
の精度で行うことができる。

【００５４】図６に戻り、予測係数メモリ１２は、動き
ベクトル検出部１１から供給される動きベクトルに適応
する予測係数データを予測演算部１５に供給する。ここ
で、予測係数メモリ１２は、動きベクトルに基づいて分
類されるクラスに対応して予め決定された予測係数デー
タを記憶している。領域切り出し部１３、１４は、それ
ぞれ、入力画像、蓄積画像から所定の画像領域を切り出
し、切り出した画像領域のデータを予測演算部１５に供
給する。予測演算部１５は、予測係数メモリ１２から供
給される係数データを使用して、領域切り出し部１３、
１４から供給されるデータに基づく予測演算を行う。予
測演算の結果が蓄積メモリ１６と画サイズ変換部１７に
供給される。

【００５５】ここで、クラスの分類は、動きベクトル検
出部１１による動きベクトルの検出精度に応じて行えば
良く、従って、動きベクトルの検出精度を蓄積メモリ１
６の出力における画素精度と同等とする場合には、蓄積
メモリ１６の出力における画素精度に対応するクラスを
予め決定し、決定したクラスを予測係数メモリ１２に記
憶させておけば良い。但し、動きベクトルの検出精度を
蓄積メモリ１６の出力における画素精度以上とし、その
ような動きベクトルの検出精度に対応するクラスに対応
する予測係数を予め決定して予測係数メモリ１２に記憶
させておくようにすれば、より高精度な予測演算を行う
ことができる。

【００５６】蓄積メモリ１６は、予測演算部１５の出力
を過去の出力画像として保存する。そして、ビデオカメ
ラの通常の出力画像に対して垂直方向に４倍の情報密度
（画素密度）の画像情報が蓄積される毎に、蓄積された
画像情報を動きベクトル１１、領域切り出し部１４に出
力する。画サイズ変換部１７は、予測演算部１５の出力
信号サイズから出力画像の信号サイズへの変換を行う場
合に、出力画像内に折り返しが生じないように、帯域フ
ィルタ処理および画サイズ変換処理を行うことにより、
出力画像を生成する。

【００５７】次に、予測係数データを生成する処理につ
いて、図１０を参照して説明する。蓄積メモリ１６の出
力である画像の解像度と同等の解像度を有する、ＨＤ画
像がディレイ部２１に供給される。ディレイ部２１は、
供給されるＨＤ画像を１シーケンス分ディレイさせる。
ディレイ部２１の出力は、ＨＤ−ＳＤ変換部２２に供給
される。ＨＤ−ＳＤ変換部２２は、供給されるＨＤ画像
をフィルタ処理することにより、入力画像と同一の画素
位置、画素サイズを有するＳＤ画像を生成する。ＳＤ画
像は、動きベクトル検出部２３と領域切り出し部２４と
に供給される。動きベクトル検出部２３は、図６中の動
きベクトル検出部１１と同様の動作を行うことにより、
ＨＤ画像の画素レベルと同等若しくはそれ以下の精度で
ＨＤ画像の動きベクトルを検出する。動きベクトルはク
ラスコード生成部２６に供給される。

【００５８】クラスコード生成部２６は、動きベクトル
に基づいて分類されるクラスを表現するクラスコードを
生成し、生成したクラスコードを正規方程式加算部２７
に供給する。一方、領域切り出し部２４は、供給される
ＳＤ画像から予測演算において用いられる所定の画像領
域を切り出し、切り出した画像領域のデータを切り出
し、切り出した画像データを正規方程式加算部２７に供
給する。また、領域切り出し部２５は、供給されるＨＤ
画像から予測演算において用いられる画像データを切り
出し、切り出した画像データを正規方程式加算部２７に
供給する。

【００５９】正規方程式加算部２７は、クラスコード生
成部２６から供給されるクラスコードに応じて、領域切
り出し２４、２５から供給される画像データを加算し、
加算したデータを予測係数決定部２８に供給する。予測
係数決定部２８は、供給されるデータに基づいて正規方
程式を解く演算を行うことにより、予測係数を決定す
る。

【００６０】画サイズ変換部１７による処理について説
明する。入力画像、蓄積画像および出力画像における画
素位置の関係の一例を図１１に示す。図１１において、
入力画像内の画素を斜線を付した丸で示し、蓄積画像内
の画素を黒丸で示す。また、出力画像内の画素を白丸で
示す。この一例では、入力画像サイズに対して、蓄積画
像サイズが８倍とされ、出力画像サイズが蓄積画像サイ
ズの１／２とされている。この一例は、蓄積画像サイズ
が出力画像サイズの２倍であり、画サイズ変換部１７に
おいて蓄積画像を出力画像に変換するための処理が行わ
れるが、蓄積画像サイズを出力画像サイズと同一とし、
蓄積画像について画サイズ変換処理を行わないように構
成しても良い。

【００６１】上述したこの発明の一実施形態は、動きベ
クトルを検出し、検出した動きベクトルに基づいて分類
されるクラスに対応する予測係数を用いて予測演算を行
うものである。これに対して、入力画像にＡＤＲＣ等の
処理を施すことによって得られる再量子化コードを動き
ベクトルと共に用いることによってクラス分類を行うよ
うにした、この発明の他の実施形態も可能である。

【００６２】この発明の他の実施形態について以下に説
明する。この発明の他の実施形態の全体的な構成は、図
１を参照して上述したこの発明の一実施形態と同様であ
る。この発明の他の実施形態における歪み補正部４の構
成の一例を図１２に示す。入力画像は、領域切り出し部
３１、動きベクトル検出部３４および領域切り出し部３
７に供給される。領域切り出し部３１は、入力画像から
所定の画像領域を切り出し、切り出した画像領域のデー
タをＡＤＲＣ部３２に供給する。ＡＤＲＣ部３２は、供
給されるデータにＡＤＲＣ処理を施して再量子化コード
を生成し、生成した再量子化コードを予測係数メモリ３
３に供給する。

【００６３】一方、動きベクトル検出部３４は、入力画
像と蓄積メモリ３９の出力とに基づいて動きベクトルを
検出し、検出した動きベクトルを予測係数メモリ３３に
供給する。また、領域切り出し部３６、３７は、それぞ
れ、入力画像、蓄積メモリ３９から供給される画像信号
から所定の画像領域を切り出し、切り出した画像領域の
データを予測演算部３５に供給する。また、予測係数メ
モリ３３は、ＡＤＲＣ部３２から供給される再量子化コ
ードと動きベクトル検出部３４から供給される動きベク
トルとに適応する予測係数データを予測演算部３５に供
給する。

【００６４】ここで、予測係数メモリ３３は、再量子化
コードと動きベクトルとに基づいて分類されるクラスに
対応して、後述するようにして予め決定された予測係数
データを記憶している。予測演算部３５は、予測係数メ
モリ３３から供給される係数データを使用して、領域切
り出し部３６、３７から供給される画像領域のデータに
基づく予測演算を行う。予測演算の結果が蓄積メモリ３
９と画サイズ変換部３８に供給される。

【００６５】蓄積メモリ３９は、予測演算部３５の出力
を過去の出力画像として保存する。そして、ビデオカメ
ラの通常の出力画像に対して垂直方向に例えば４倍の情
報密度（画素密度）の画像情報が蓄積される毎に、蓄積
された画像情報を領域切り出し部３１と、動きベクトル
３４とに出力する。画サイズ変換部３８は、予測演算部
３５の出力信号サイズから出力画像の信号サイズにした
場合に折り返しが生じないように、帯域フィルタ処理お
よび画サイズ変換処理を行うことにより、出力画像を生
成する。

【００６６】次に、予測係数データを生成する処理につ
いて、図１３を参照して説明する。図１２中の蓄積メモ
リ３９の出力である蓄積画像と同等の解像度を有するＨ
Ｄ画像がディレイ部４１に供給される。ディレイ部４１
は、供給されるＨＤ画像を１シーケンス分ディレイさせ
る。ディレイ部４１の出力は、ＨＤ−ＳＤ変換部４２に
供給される。ＨＤ−ＳＤ変換部４２は、供給されるＨＤ
画像をフィルタ処理することにより、入力画像と同一の
画素位置、画素サイズを有するＳＤ画像を生成する。Ｓ
Ｄ画像は、領域切り出し部４３，動きベクトル検出部４
４および領域切り出し部４５に供給される。

【００６７】領域切り出し部４３は、供給されるＳＤ画
像から所定の領域を切り出し、切り出した領域のデータ
をＡＤＲＣ部５０に供給する。ＡＤＲＣ部５０は、供給
するデータに基づいて図１２中のＡＤＲＣ部３２と同様
なＡＤＲＣ処理を行い、再量子化コードを生成する。生
成される再量子化コードは，クラスコード生成部４７に
供給される。また、動きベクトル検出部４４は、供給さ
れるＳＤ画像から，図１２中の動きベクトル検出部３４
と同様の動作を行うことにより、ＨＤ画像の画素レベル
と同等若しくはそれ以下の精度で動きベクトルを検出す
る。動きベクトルはクラスコード生成部４７に供給され
る。クラスコード生成部４７は、再量子化コードと動き
ベクトルとに基づいて、分類されるクラスを表現するク
ラスコードを生成し、生成したクラスコードを正規方程
式加算部４８に供給する。

【００６８】一方、領域切り出し部４５は、供給される
ＳＤ画像から予測演算において用いられる所定の画像領
域を切り出し、切り出した画像領域のデータを正規方程
式加算部４８に供給する。また、領域切り出し部４６
は、供給されるＨＤ画像から予測演算において用いられ
る画像データを切り出し、切り出した画像データを正規
方程式加算部４８に供給する。正規方程式加算部４８
は、クラスコード生成部４７から供給されるクラスコー
ドに応じて、領域切り出し４５、４６から供給される画
像データを加算し、加算したデータを予測係数決定部４
９に供給する。予測係数決定部４９は、供給されるデー
タに基づいて正規方程式を解く演算を行うことにより、
予測係数を決定する。

【００６９】図１１に示した、入力画像、蓄積画像およ
び出力画像における画素位置の関係の一例を前提とし
て、この発明の他の実施形態において予測タップとして
用いられる画素配置の一例を図１４に示す。出力画像内
の画素を薄墨を付した丸で示す。また、入力画像内の画
素を斜線を付した丸で示す。また、蓄積画像内の画素を
白丸で示す。さらに、出力画像内の画素の内で、黒丸を
付した画素を予測しようとする場合に予測タップとして
用いられる画素に楕円を付して示した。すなわち、蓄積
画像内の７個の画素と、入力画像内の２個の画素とが予
測タップとして使用される。

【００７０】上述したこの発明の一実施形態、およびこ
の発明の他の実施形態においては、テレビジョン受像機
における画像処理にこの発明を適用したものであるが、
この発明は、折り返し歪みを有する画像を取扱うあらゆ
る装置に対して適用することができる。例えば、ＶＴ
Ｒ、ビデオＣＤプレイヤー、ＤＶＤプレイヤー等で再生
された画像に対して折り返し歪みを除去若しくは低減す
る処理において、この発明を適用することができる。

【００７１】また、上述したこの発明の一実施形態等
は、垂直方向の折り返し歪みを除去するものであるが、
水平方向の折り返し歪みについても、同様にして取り除
くことができる。

【００７２】また、上述したこの発明の一実施形態等で
は、原画像に対して、蓄積画像が垂直方向に４倍の情報
密度を有するものとしたが、画像の累積解像度は、これ
に限定されるものではない。また、この発明の一実施形
態等では、出力画像が垂直方向に２倍の情報密度、すな
わち累積解像度の１／２の解像度を有するものとした
が、出力画像の情報密度は、累積解像度に対して、例え
ば１／３等、１／２以外の比率としても良い。また、画
素以下の精度での画サイズも可能である。

【００７３】また、上述したこの発明の一実施形態等で
は、動きベクトルは画素単位で検出するものとしたが、
例えば背景等の広い画像部分に対応する処理として、１
枚の画像を単位として動きベクトルを検出するようにし
ても良い。また、画像内の所定の画素領域、例えばブロ
ック等を単位として、動きベクトルを検出するようにし
ても良い。

【００７４】この発明は、上述したこの発明の一実施形
態に限定されるものでは無く、この発明の主旨を逸脱し
ない範囲内で様々な変形や応用が可能である。

【００７５】

【発明の効果】この発明によれば、入力画像と、入力画
像に基づくクラス分類適応処理によって生成される画像
との相対的な動きに対応して、サンプリング位置を順次
ずらしながら、入力画像中の複数個のフレームからのサ
ンプリングデータを積算する処理が行われる。

【００７６】これにより、入力画像内の各フレームには
含まれない、元の画像における高周波成分を含む、より
画素数の大きいフレームを有する画像を得ることができ
る。このような画像に帯域フィルタをかける等の処理を
施すことによって、折り返し歪みの無い高密度画像を得
ることができる。

【図面の簡単な説明】

【図１】この発明の一実施形態の全体的な構成について
説明するためのブロック図である。

【図２】高周波成分を含む画像を再生する処理について
説明するための略線図である。

【図３】この発明における、入力画像内の画素位置と、
出力画像内の画素位置との関係について説明するための
略線図である。

【図４】一般的なクラス分類適応処理における、予測推
定に係る構成について説明するためのブロック図であ
る。

【図５】一般的なクラス分類適応処理における、学習に
係る構成について説明するためのブロック図である。

【図６】この発明の一実施形態における、予測推定に係
る構成について説明するためのブロック図である。

【図７】この発明の一実施形態における動きベクトル検
出方法について説明するための略線図である。

【図８】この発明の一実施形態における動きベクトル検
出方法について説明するための略線図である。

【図９】この発明の一実施形態における動きベクトル検
出方法について説明するための略線図である。

【図１０】この発明の一実施形態における、学習に係る
構成について説明するためのブロック図である。

【図１１】この発明の一実施形態における、入力画像、
蓄積画像および出力画像における画素位置の関係の一例
を示す略線図である。

【図１２】この発明の他の実施形態における、予測推定
に係る構成について説明するためのブロック図である。

【図１３】この発明の他の実施形態における、学習に係
る構成について説明するためのブロック図である。

【図１４】この発明の他の実施形態において予測タップ
として用いられる画素配置の一例を示す略線図である。

【図１５】従来技術の問題点について説明するためのブ
ロック図である。

【符号の説明】

４・・・歪み補正部、１１・・・動きベクトル検出部、
１６・・・蓄積メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤原 孝芳 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C025 AA17 AA20 5C058 AA01 BA12 BB06 BB11 BB19 BB25 5C059 KK01 KK37 LA06 LB02 MA03 MA05 MA19 MA28 NN14 NN27 NN28 NN29 PP28 SS05 SS11 SS13 TA06 TA09 TB07 TC13 UA12 UA38

Claims (14)

【特許請求の範囲】
1. 【請求項１】 第１の画像から第２の画像を生成する画
   像情報変換装置において、 第１の画像の現画像に対して時間方向に異なる画像を記
   憶する記憶手段と、 上記現画像と、上記現画像に対して時間的に異なる上記
   画像とを合成して上記第２の画像を生成する合成手段
   と、 上記第１の画像と上記第２の画像との相対的な動きを、
   上記第２の画像を構成する画素と同等若しくはより細か
   い単位で検出する動き検出手段とを有することを特徴と
   する画像情報変換装置。
2. 【請求項２】 請求項１において、 上記合成手段は、 上記動き検出手段の出力に対応する係数データを用い
   て、上記第１の画像内の画像データと上記第２の画像内
   の画像データとに基づく演算処理を行うことを特徴とす
   る画像情報変換装置。
3. 【請求項３】 請求項２において、 上記合成手段は、 予め決定された複数種類の係数データを記憶しており、
   記憶している係数データの内で、上記動き検出手段の出
   力に対応するものを出力する係数メモリを有することを
   特徴とする画像情報変換装置。
4. 【請求項４】 請求項１において、 上記合成手段は、 上記動き検出手段の出力と上記第１の画像内の画像デー
   タに係る特徴量とに対応する係数データを用いて、上記
   第１の画像内の画像データと上記第２の画像内の画像デ
   ータとに基づく演算処理を行うことを特徴とする画像情
   報変換装置。
5. 【請求項５】 請求項４において、 上記第１の画像から所定の画像データを切り出し、切り
   出した上記所定の画像データに係る特徴量を抽出する特
   徴量抽出手段をさらに有し、 上記合成手段は、 上記動き検出手段の出力と、上記特徴量抽出手段の手段
   とに対応する係数データを用いた演算処理を行うことを
   特徴とする画像情報変換装置。
6. 【請求項６】 請求項６において、 上記特徴量抽出手段は、 ＡＤＲＣを行う手段を有することを特徴とする画像情報
   変換装置。
7. 【請求項７】 第１の画像から第２の画像を生成する画
   像情報変換装置において、 第１の画像の現画像に対して時間方向に異なる画像を記
   憶する記憶手段と、 上記現画像と、上記現画像に対して時間的に異なる上記
   画像とを合成して、第２の画像以上の画素数を有する第
   ３の画像を生成する合成手段と、 上記第３の画像と、入力する第１の画像との相対的な動
   きを、上記第１の画像を構成する画素より細かい単位で
   検出する動き検出手段と、 上記第３の画像を上記第２の画像に変換する画像変換手
   段とを有することを特徴とする画像情報変換装置。
8. 【請求項８】 請求項７において、 上記合成手段は、 上記動き検出手段の出力に対応する係数データを用い
   て、上記第１の画像内の画像データと上記第３の画像内
   の画像データとに基づく演算処理を行うことを特徴とす
   る画像情報変換装置。
9. 【請求項９】 請求項８において、 上記合成手段は、 予め決定された複数種類の係数データを記憶しており、
   記憶している係数データの内で、上記動き検出手段の出
   力に対応するものを出力する係数メモリを有することを
   特徴とする画像情報変換装置。
10. 【請求項１０】 請求項７において、 上記合成手段は、 上記動き検出手段の出力と上記第１の画像内の画像デー
    タに係る特徴量とに対応する係数データを用いて、上記
    第１の画像内の画像データと上記第３の画像内の画像デ
    ータとに基づく演算処理を行うことを特徴とする画像情
    報変換装置。
11. 【請求項１１】 請求項１０において、 上記第１の画像から所定の画像データを切り出し、切り
    出した上記所定の画像データに係る特徴量を抽出する特
    徴量抽出手段をさらに有し、 上記合成手段は、 上記動き検出手段の出力と、上記特徴量抽出手段の出力
    とに対応する係数データを用いた演算処理を行うことを
    特徴とする画像情報変換装置。
12. 【請求項１２】 請求項１１において、 上記特徴量抽出手段は、 ＡＤＲＣを行う手段を有することを特徴とする画像情報
    変換装置。
13. 【請求項１３】 第１の画像から第２の画像を生成する
    画像情報変換方法において、 第１の画像の現画像に対して時間方向に異なる画像を記
    憶する記憶ステップと、 上記現画像と、上記現画像に対して時間的に異なる上記
    画像とを合成して上記第２の画像を生成する合成ステッ
    プと、 上記第１の画像と上記第２の画像との相対的な動きを、
    上記第２の画像を構成する画素と同等若しくはより細か
    い単位で検出する動き検出ステップとを有することを特
    徴とする画像情報変換方法。
14. 【請求項１４】 第１の画像から第２の画像を生成する
    画像情報変換方法において、 第１の画像の現画像に対して時間方向に異なる画像を記
    憶する記憶方法と、 上記現画像と、上記現画像に対して時間的に異なる上記
    画像とを合成して、第２の画像以上の画素数を有する第
    ３の画像を生成する合成方法と、 上記第３の画像と、入力する第１の画像との相対的な動
    きを、上記第１の画像を構成する画素より細かい単位で
    検出する動き検出方法と、 上記第３の画像を上記第２の画像に変換する画像変換方
    法とを有することを特徴とする画像情報変換方法。