JP2000152250A

JP2000152250A - 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体

Info

Publication number: JP2000152250A
Application number: JP31920498A
Authority: JP
Inventors: Nobutaka Miyake; 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-11-10
Filing date: 1998-11-10
Publication date: 2000-05-30
Anticipated expiration: 2018-11-10
Also published as: JP4250237B2

Abstract

(57)【要約】【課題】画素間距離よりも細かい分解能を持つことに
より、複数の低解像度静止画が一枚の高解像静止画に変
換する。【解決手段】動きベクトル手段１０２は、ｍフレーム
目の第１の画像とｍ＋１フレーム目の第２の画像をブロ
ック化した後、第１の画像のブロックとこれに類似する
第２の画像のブロック間の直交変換係数を比較すること
により動きベクトルを求める。配置手段１０２、１０３
はメモリ上に第１の画像を配置すると共に、第２の画像
を上記動きベクトルに応じた座標に配置し、合成手段１
０５は上記配置された各画像を合成することにより、一
枚の高解像度の静止画を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、特に入力した画像
情報を拡大変倍して出力するプリンタ等の画像出力装置
や、解像度の異なる機種通信で、低解像情報から高解像
情報に解像度変換する画像処理装置、方法及びそれらに
用いるコンピュータ読み取り可能な記憶媒体に関する。

【０００２】

【従来の技術】従来より、入力した低解像情報を高解像
情報に解像度変換する方法として、様々な方法が提案さ
れている。提案されている従来方法は、対象となる画像
の種類（例えば、各画素ごとに階調情報の持つ多値画
像、擬似中間調により２値化された２値画像、固定閾値
により２値化された２値画像、文字画像等）によって、
その変換処理方法が異なっている。

【０００３】従来の内挿方法としては、図１２に示すよ
うな、内挿点Ｅに最も近い同じ画素値を配列する最近接
内挿方法、図１３に示すような、内挿点Ｅを囲む４点
（４点の画素値をＡ、Ｂ、Ｃ、Ｄとする）の距離によ
り、以下の演算によって画素値Ｅを決定する共１次内挿
法等が一般的に用いられている。Ｅ＝（１−ｉ）（１−ｊ）Ａ＋ｉ−（１−ｊ）Ｂ＋ｊ・（１−ｉ）Ｃ＋ｉｊＤ ………（１）（但し、画素間距離を１とした場合に、Ａから横方向に
ｉ、縦方向にｊの距離があるとする。（ｉ≦１、ｊ≦
１））

【０００４】また、古くからサンプリング定理で表され
ているように、サンプリングされた離散信号を連続信号
に変換する手段として、ＳＩＮＣ関数で表現できる理想
低域ろ波器を通過することによって再現することができ
る。ＳＩＮＣ関数を演算するのは処理時間がかかること
などから、ＳＩＮＣ関数で表現される補間関数を近似し
て、簡単な積和演算のみで補間値を算出する方法があ
る。

【０００５】「画像解析ハンドブック：高本幹雄、下田
陽久監修東京大学出版会」によると、３次たたみ込み
内挿法（ＣｕｂｉｃＣｏｎｖｏｌｕｔｉｏｎｉｎｔ
ｅｒｐｏｌａｎｔｉｏｎ）において、補間関数の近似が
実現できる。内挿したい点の周囲の観測点１６点の画像
データを用いて、求める画像データを次の式で示される
３次たたみ込み関数を用いて内挿する。

【０００６】

【数１】

【０００７】

【数２】

【０００８】

【数３】

【０００９】Ｐ１１〜Ｐ４４は周辺画素値を示し、図１
４に配置を示す。しかし、上述した３種の従来例では、
いずれも補間時に補間によるボケ、及び入力低解像に依
存したブロック状のジャギーの発生が生じ、高画質の高
解像情報が作成できなかった。

【００１０】そこで、本出願人は、低解像情報から高解
像情報の作成において、補間処理による補間ぼけもな
く、また、ジャギーが発生することなく解像度変換がで
きる方法を、特開平７−９３５３１号公報、特開平７−
１０７２６８号公報、特開平７−１０５３５９号公報に
より提案した。

【００１１】この提案の基本的な考え方は、入力した原
情報から解像度依存成分を除去し、除去した状態で、画
素数を出力解像度相当まで増加させ、増加させた状態の
中で新たな解像度に見合う情報を推測し作成する方法で
ある。入力解像度の依存性を取り除く手段としては、Ｌ
ＰＦによる平滑化、画素数の増加は線形補間により実現
可能である。高解像情報の推測は補間後の情報を単純２
値化して、“１”に分類された画素とをそれぞれ異なる
処理を行うことにより、出力する画素値を算出する。

【００１２】また、特開平９−２５２４００号公報で提
案したように、画素値の連続性が保たれた良好なエッジ
を作成する方法もある。この公報では、低解像度注目画
素の周辺画素よりｍ点（ｍ≧１）の画素（ただし、ｍ点
中の観測点ｎにおける画素値をＰ（ｎ）とする）を検出
し、注目画素を複数画素分に補間した各補間点ｋにおけ
る前記補間値Ｃ（ｋ）を基に、出力値ｈ（ｋ）を以下の
式により演算している。

【００１３】

【数４】

【００１４】

【発明が解決しようとする課題】しかしながら、上記従
来例では以下に述べるような欠点があった。即ち、いく
ら高解像情報の作成を行っても、高画質化には限度があ
るという点である。当然、サンプリング定理より明らか
なように、入力解像度のナイキスト限界以上の情報は入
力画像には存在しないため、ナイキスト周波数以上の情
報作成は全て推測によるものになる。そのため、あまり
複雑ではないＣＧ画像、イラスト画像、アニメーション
画像の様な平坦な人工的画像をジャギーレスに変換する
ことは容易であるが、自然画像のナイキスト限界以上の
情報推測による高画質化は難しい。即ち、いかなる方法
を用いたとしても、低解像情報を入力して高解像に変換
した画像は、もともと高解像情報を入力した画像と比較
すると明らかに画質は低くなる。

【００１５】一方、近年、デジタルビデオカメラ等の普
及により、撮影した動画像を連続した１フレーム単位に
コンピュータに入力できる手段が増えてきている。た
だ、プリンタの出力解像度は年々増加しているが、撮像
系の入力解像度は増加傾向にあるとはいっても、プリン
タ解像度に比べるとまだまだ低いのが現状である。

【００１６】そこで、従来の技術で述べたような、１枚
の低解像静止画から１枚の高解像静止画を作成するので
はなく、動画から取り込んだ連続した複数の低解像静止
画から、１枚の高解像静止画を作成する技術が新たに提
案されている。複数の静止画から、より広範囲のパノラ
マ画像を作成するには「動画像のパニングを考慮した背
景画像の合成：吉沢、花村、富永、信学春季全大予稿集
７−５」（１９９０）」、及び「分割撮像によるパノラ
マ画像の生成法：中村、金子、林、信学春季全大予稿集
７−１６５（１９９１）」等による提案がある。しか
し、１枚の静止画よりも撮像範囲を拡大したパノラマ画
像の作成の技術ではなく、撮像範囲は同一でかつ複数の
静止画の情報を合成して内挿により画像の解像度を向上
させる技術の提案は数少ない。

【００１７】このような低解像の動画から高解像の静止
画作成の技術は、特開平５−２６０２６４号公報に提案
がある。この提案は、連続した画像同士を比較して、２
種類の差異からアフィン変換、及び平行移動のパラメー
タを検出して、２種画像を合成するものである。上記公
報の第２の実施例には合成を補間に利用する例について
述べられている。

【００１８】しかし、この提案では以下の問題点があ
る。即ち、上記第２の実施例に記載された方法は、前述
した図１２から図１４に示した補間方法により拡大した
連続画像同士を比較することにより、前述したパラメー
タを算出して補間位置を決定し、合成していくものであ
る。補間演算自体が新たな高解像情報を作成するもので
はないため、合成する座標の正確な決定も困難である。
補間するということは、画素間を内挿するということで
ある。前記方法では、連続画像同士を比較する時に入力
解像度の画素間の情報がない。簡単に言い換えると、２
種の画像を画像Ａ、画像Ｂと仮定すると、画像Ａの画素
間のどの位置に画像Ｂの画素を内挿するかという決定
が、単なる拡大画像間の比較では困難である。

【００１９】これは、動きベクトルのベクトル量の最小
単位が画素単位であり、画素間距離よりも細かい分解能
がないという点が起因している。即ち、ベクトルの分解
能が画素間以下の精度を持たなければ、複数の静止画を
用いて補間する効果は薄れ、従来例に記載した１枚の低
解像静止画から１枚の高解像静止画への作成と、画質的
にほとんど変わりなくなる。

【００２０】本発明は、上記課題を解決するために成さ
れたもので、画素間距離も細かい分解能を持つことによ
り、複数の低解像静止画から１枚の高解像静止画へ変換
できるようにすることを目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するため
に、本発明による画像処理装置においては、連続する画
像信号におけるｍフレーム目とｍ＋ｎフレーム目との２
つのフレーム間の直交変換係数同しを比較することによ
り、上記２つのフレーム間の動きベクトルを算出する動
きベクトル演算手段と、上記ｍフレーム目の画像信号を
メモリ上に配置すると共に、上記ｍ＋ｎフレーム目の画
像信号を上記算出された動きベクトルに応じて上記メモ
リ上に配置することにより上記２つの画像信号を合成す
る合成手段とを設けている。

【００２２】また、本発明による画像処理方法において
は、連続する画像信号におけるｍフレーム目とｍ＋ｎフ
レーム目との２つのフレーム間の直交変換係数同しを比
較することにより、上記２つのフレーム間の動きベクト
ルを算出する動きベクトル演算手順と、上記ｍフレーム
目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎ
フレーム目の画像信号を上記算出された動きベクトルに
応じて上記メモリ上に配置することにより上記２つの画
像信号を合成する合成手順とを設けている。

【００２３】さらに、本発明による記憶媒体において
は、連続する画像信号におけるｍフレーム目とｍ＋ｎフ
レーム目との２つのフレーム間の直交変換係数同しを比
較することにより、上記２つのフレーム間の動きベクト
ルを算出する動きベクトル演算処理と、上記ｍフレーム
目の画像信号をメモリ上に配置すると共に、上記ｍ＋ｎ
フレーム目の画像信号を上記算出された動きベクトルに
応じて上記メモリ上に配置することにより上記２つの画
像信号を合成する合成処理とを実行するためのプログラ
ムを記憶している。

【００２４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。尚、本実施の形態における画像処
理装置は、主として、動画像を撮像するアナログビデオ
カメラやデジタルビデオカメラの内部、もしくはビデオ
カメラと直接あるいはコンピュータを介して接続される
プリンタやビデオプリンタ等の画像出力装置内部に具備
することが効果的であるが、ビデオカメラとプリンタと
の接続で中間アダプタとなる画像処理装置、またはホス
トコンピュータ内のアプリケーションソフト、またプリ
ンタに出力するためのプリンタドライバソフトとして内
蔵することも可能である。

【００２５】図１のブロック図に沿って第１の実施の形
態の構成及び動作手順を説明する。図中１００はビデオ
カメラで撮像された動画像が入力される入力端子を示し
ている。本実施の形態では、デジタルビデオカメラで撮
像した画像をコンピュータに送信して、コンピュータ内
のアプリケーションソフトによりプリンタ相当の解像度
まで変換する例について述べる。

【００２６】デジタルビデオで撮影した動画像を記録媒
体から再生して、ユーザは自分の欲するシーンで画像の
取り込み命令を送る。この取り込み命令に同期して、コ
ンピュータ内の格納手段１０１に取り込み命令直後の連
続した複数フレームの画像情報を格納する。１０２は動
きベクトル演算手段を示し、連続した２種画像の差異を
基に、部分的に移動した移動量をベクトルとして計測す
る手段である。

【００２７】１０３は配置手段Ａを示し、撮像した画像
をメモリ内に配置させる手段である。また、１０４は配
置手段Ｂを示し、動きベクトル演算手段１０２で算出し
たベクトル量に応じて同一メモリ内に配置させる手段で
ある。１０５は合成手段であり、配置した両者の画像を
合成させる。１０６は合成した画像がまだ、所望の解像
度までの内挿点の情報が埋まっていない場合に、埋まっ
ていない内挿点の情報を補間演算により算出する補間手
段である。１０７は出力端子を示し、高解像度化した画
像情報がプリンタ等に送信される。

【００２８】次に、本発明の特徴である動きベクトル演
算手段１０２について説明する。動きベクトルを算出す
る方法は古くから様々な方法が提案されているが、従来
方法では画素間距離以下のベクトルの分解能がないため
に、合成、補間を施して低解像の動画を高解像度の静止
画に変換する用途には適さない。

【００２９】本実施の形態の動きベクトル演算手段１０
２の詳細ブロックを図２に示す。図１の格納手段１０１
から動きベクトル演算手段１０２に送信される２種の画
像は、１種は、ユーザが取り込み命令をかけた直後の画
像（時刻ｍフレーム）、またもう１種は、時刻ｍフレー
ム目から１フレーム後の画像（（ｍ＋１）フレームとす
る）とする。

【００３０】図２において、２０１はｍフレーム目の画
像をＮ×Ｎ画素単位にブロック化するブロック化手段で
ある。Ｎの値は様々考えられるが、例としてＮ＝８を想
定する。いま、この作成した８×８画素の注目ブロック
を仮にブロックＡと称する。次に、直交変換手段２０２
において、ブロックＡの直交変換を演算する。直交変換
の種類は限定しないが、容易に高速で演算できるアダマ
ール変換、及びＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒ
ａｆｉｃＥｘｐｅｒｔＧｒｏｕｐ）で採用されてい
るＤＣＴ（離散コサイン変換）等が一般的である。

【００３１】いま、ＤＣＴを例にすると、Ｎ×Ｎ画素の
二次元ＤＣＴの変換係数は、

【００３２】

【数５】

【００３３】で求められる。

【００３４】一方、（ｍ＋１）フレーム目はブロック化
手段２０３により、Ｍ×Ｍ′画素単位にブロック化され
る。この時、Ｍ×Ｍ′画素単位にブロックは、（ｍ＋
１）フレーム目内の、ブロックＡと同一座標のＮ×Ｎ画
素のブロックを包括し、大小関係は、Ｍ≧Ｎ、かつ、
Ｍ′≧Ｎ（但し、Ｍ＝Ｍ′＝Ｎの場合を除く）になる。
いま、Ｍ＝Ｍ′＝２０と仮定する。すなわち、ブロック
Ａと同一座標を含む２０×２０のブロックを（ｍ＋１）
フレーム目内に用意することになる。

【００３５】次にブロック化手段２０４により２０×２
０画素のブロック内で、ｍフレーム目と同サイズのＮ×
Ｎ画素のブロックを作成する。ブロックの作成は、ブロ
ックＡの同一座標からスタートしても良いし、また、Ｍ
×Ｍ′ブロックの端から順に初めても構わない。いま、
（ｍ＋１）フレーム目内で作成したＮ×Ｎ画素のブロッ
クを仮にブロックＢと称する。

【００３６】２０５は、作成したブロックＢをブロック
Ａと同様に直交変換する直交変換手段である。当然、直
交変換手段２０２、２０５の直交変換は同一の変換手段
でなくてはならない。２０６は、ブロックＡ、ブロック
Ｂの直交変換係数を基に、その変換係数の類似性を評価
する変換係数評価手段である。類似性の評価は、ブロッ
クのＤＣ（直流）成分と、ＡＣ（交流）成分の主に低周
波域の成分とを基に、それぞれの係数の差分に、成分に
応じた重み付け係数を乗じた値の和で評価する。

【００３７】いま、説明を容易にするために、ブロック
の座標をブロックを形成する左上の画素の座標で管理す
ることにする（以下、この画素の座標をブロックの管理
座標と称する）。即ち、図３に示したように、ブロック
Ｂの管理座標を（ａ，ｂ）とすると、ブロックＡとブロ
ックＢとの類似性の評価関数は、

【００３８】

【数６】

【００３９】で算出する。

【００４０】高周波域になるほど、隣接ブロック間の変
換係数の相関が低くなるため、高周波域ほど重み付け係
数Ｗ（ｕ，ｖ）の値を小さく設定する。座標が空間的に
近いブロック同士の低周波域の変換係数は非常に相関が
高いため、式（７）では、ブロック同士の空間的な位置
関係を変換係数の類似性に置き換えて評価している。ま
た、式（７）では絶対値に用いているが、差分の二乗で
も同様の評価は可能である。

【００４１】２０７は、ブロック制御手段を示し、ブロ
ックＢの管理座標（ａ，ｂ）を１画素移動して、新たに
ブロックを作成し、同様の処理を繰り返す制御を行う。
即ち、Ｎ＝８、Ｍ＝Ｍ′＝２０を例にすると、８×８画
素のブロックは２０×２０画素のブロック中に１３×１
３個作成できるので、そのブロック数分に対して繰り返
し類似性を演算することになる。

【００４２】（ｍ＋１）フレーム目内において、全てブ
ロックＢの走査を終了すると、前述の評価関数であるＲ
（ａ，ｂ）が最小になる座標（ａ′，ｂ′）を判定す
る。即ち、類似性Ｒ（ａ，ｂ）はブロックＡＢ間の誤差
成分と見なせるので、Ｒ（ａ，ｂ）が最小値をとる時の
ブロックＢ（この時のブロックをブロックＢ′と称
す。）が空間的にもブロックＡと最も近いブロックと見
なし、ブロックＡの移動した先に判断する。ただ、これ
だけでは従来例と同様、動きベクトルの分解能は１画素
単位であり、画素間距離以下のベクトルが判定できな
い。

【００４３】そこで本実施の形態では、画素間距離より
も短い分解能で動きベクトルを推測する。以下にベクト
ルの推測方法を説明する。前述の方法において、ｍフレ
ーム目の注目ブロックであるブロックＡの管理座標を
（ａ０，ｂ０）とし、また、前述したＲ（ａ，ｂ）の最
小値をとる（ｍ＋１）フレーム目のブロックＢ′の管理
座標を（ａ′，ｂ′）とする。変換係数評価手段２０６
において、ブロックＢ′の検索は大まかな画素単位の検
索であったが、今度はブロックＢ′周辺に絞った細かい
距離の推測をする。即ち、変換係数評価手段２０６で
は、まず、空間的に最も近いと思われるブロックＢ′の
検索、次に、求めたブロックＢ′からの微小なずれ量の
推測という、２段階の構成の異なる評価を実施すること
になる。

【００４４】図４に２段階目の推測の動作手順を示すフ
ローチャートを示す。Ｓ４０１では、ブロックＢ′の１
画素左に作成したブロックと１画素右に作成したブロッ
クとの式（７）による評価関数結果をそれぞれ比較す
る。即ち、ブロックＢ′の管理座標は（ａ′，ｂ′）で
あるため、Ｒ（ａ′＋１，ｂ′）とＲ（ａ′−１，
ｂ′）との大小を評価する。このＲ（ａ′＋１，
ｂ′）、Ｒ（ａ′−１，ｂ′）については、第１段階の
類似性評価に際に算出しているので、演算結果を記憶、
保持しておくのが好ましい。

【００４５】次に、Ｓ４０１においても、もし、Ｒ
（ａ′＋１，ｂ′）が小さいと評価されるとＳ４０２
に、また否と評価されるとＳ４０３に移動する。Ｓ４０
２では管理座標（ａ′＋１，ｂ′）より構成されるブロ
ックをブロックＣと設定し、また、Ｓ４０３では管理座
標（ａ′−１，ｂ′）より構成されるブロックをブロッ
クＣと設定する。それと同時に、Ｓ４０２では変数ｃを
ｃ＝１と設定し、また、Ｓ４０３ではｃ＝−１と設定す
る。

【００４６】次にＳ４０４において、今度はブロック
Ｂ′の１画素上に作成したブロックと１画素下に作成し
たブロックとの式（７）による評価関数結果をそれぞれ
比較する。即ち、ブロックＢ′の管理座標は（ａ′，
ｂ′）であるので、Ｒ（ａ′，ｂ′＋１）とＲ（ａ′，
ｂ′−１）との大小を評価する。この類似性の評価関数
に関しても、第１段階の類似性評価に際に算出している
ので、演算結果を記憶、保持しておくのが好ましい。

【００４７】Ｓ４０４において、もし、Ｒ（ａ′ｂ′＋
１）が小さいと評価されるとＳ４０５に、また否と評価
されるとＳ４０６に移動する。Ｓ４０５では、管理座標
（ａ′，ｂ′＋１）より構成されるブロックをブロック
Ｄと設定し、また、Ｓ４０６では管理座標（ａ′，ｂ′
−１）より構成されるブロックをブロックＤと設定す
る。それと同時に、Ｓ４０５では変数ｄをｄ＝１と設定
し、また、Ｓ４０６ではｄ＝−１と設定する。

【００４８】次にＳ４０７では、ブロックＡの直交変換
係数中の横方向のＡＣ基本波成分であるＦ_A（１，０）
と、ブロックＢ′及びブロックＣの直交変換係数中の横
方向のＡＣ基本波成分であるＦ_B（１，０）、Ｆ
_C（１，０）の３種の値の大小関係を評価する。即ち、
Ｆ_A（１，０）の値が、Ｆ_B′（１，０）の値とＦ
_C（１，）の値との間に存在するか否かを判断する。も
し、存在していれば、Ｓ４０８へ、否ならＳ４０９へ移
動する。Ｓ４０８では、変数ｘが以下の式で算出され
る。ｘ＝｛Ｆ_A（１，０）−Ｆ_B′（１，０）｝／｛Ｆ_C（１，０）−Ｆ_B′（１，０）｝ ………（８）また、Ｓ４０９では、変数ｘはｘ＝０と設定される。

【００４９】同様に、Ｓ４１０では、ブロックＡの直交
変換係数中の縦方向のＡＣ基本波成分であるＦ_A（１，
０）と、ブロックＢ′及びブロックＤの直交変換係数中
の横方向のＡＣ基本波成分であるＦ_B（０，１）、Ｆ_D
（０，１）の３種の値の大小関係を評価する。即ち、Ｆ
_A（０，１）の値が、Ｆ_B′（０，１）の値とＦ
_D（０，１）の値との間に存在するか否かを判断する。
もし、存在していれば、Ｓ４１１へ、否ならＳ４１２へ
移動する。Ｓ４１１では、変数ｙが以下の式で算出され
る。ｙ＝｛Ｆ_A（０，１）−Ｆ_B′（０，１）｝／｛Ｆ_D（０，１）−Ｆ_B′（０，１）｝ ………（９）また、Ｓ４１２では、変数ｙはｙ＝０と設定される。

【００５０】Ｓ４１３では式（８）、式（９）により算
出したｘ，ｙを基に、ブロックＡから真に移動したと判
断されるブロック（ブロックＢ′′と称す。）への動き
ベクトルを以下のように設定して終了する。

【００５１】

【数７】

【００５２】即ち、ブロックＡからブロックＢ′への動
きベクトルは、

【００５３】

【数８】

【００５４】となるので、式（１０）のｃ×ｘ、及びｄ
×ｙの項が画素間距離よりも分解能の高いベクトル成分
となっている。

【００５５】以上のフローについて、図５から図１０を
基にしてさらに詳細を説明する。図５はブロックＡとブ
ロックＢ′との相対関係を示した図である。ブロックＡ
の管理座標が（ａ０，ｂ０）、ブロックＢ′の管理座標
が（ａ′，ｂ′）であることは前述したとおりである。
いま、第１段階の類似性評価によりブロックＡからブロ
ックＢ′への大まかなベクトルが算出されている。

【００５６】図６はブロックＢ′とブロックＢ′周辺に
作成したブロックとの相対関係を示した図である。図６
（ａ）は横方向の周辺ブロックを示し、管理座標が
（ａ′，ｂ′）であるブロックＢ′を中心に、１画素づ
つ左右に管理座標をずらした２種のブロックを示してい
る。但し、図６（ａ）では、各ブロックを若干縦方向に
ずらしているが、これはブロックの相対関係をわかりや
すく表現するためであり、実際には縦方向にはずれてい
ない。図中、斜線で示した画素が各々の管理座標の画素
になる。前述したように、これらのいずれかのブロック
が、ブロックＣと設定される。

【００５７】同様に、図６（ｂ）では、縦方向の周辺ブ
ロックを示し、管理座標が（ａ′，ｂ′）であるブロッ
クＢ′を中心に、１画素づつ上下に管理座標をずらした
２種のブロックを示している。但し、図６（ｂ）では、
各ブロックを若干横方向にずらしているが、これはブロ
ックの相対関係をわかりやすく表現するためであり、実
際には横方向にはずれていない。同様に、これらのいず
れかのブロックが、ブロックＤと設定される。ブロック
Ｃ、及びブロックＤの設定は前述したように、どのブロ
ックがブロックＡとの直交変換係数の類似性が高いかと
いう判断によって行う。

【００５８】図７、図８、図９は、それぞれ実際の自然
画像中のブロックＡ、ブロックＢ′、ブロックＣの画素
値、及び式（６）で算出したＤＣＴ変換係数の様子を示
したものである。図７の７０１はｍフレーム中の注目ブ
ロックであるブロックＡの画像データである。今、ブロ
ックサイズを８×８画素とする。７０２はブロックＡの
ＤＣＴ変換係数を示す。この変換係数７０２を基に、
（ｍ＋１）フレーム中のブロックＢ′の検索を行う。

【００５９】図８の８０１は、検索した結果、最も類似
性が高いと評価されたブロックＢ′の画素値を示す。８
０２は、検索に使用されたブロックＢ′のＤＣＴ変換係
数である。７０２、８０２から明らかなように、類似性
が高いことがわかる。

【００６０】図９の９０１はブロックＢ′の管理座標が
１画素右方向に移動したブロックＣを示す。これは、管
理座標が１画素左方向に移動したブロックよりも類似性
が高いと評価されて選択されたものである。９０２はブ
ロックＣのＤＣＴ変換係数を示している。当然、ブロッ
クＣ（９０２）とブロックＡ（７０２）との類似性は、
ブロックＢ′（８０２）とブロックＡ（７０２）との類
似性よりも低い（誤差が大きい）。

【００６１】ここで、ブロックＢ′と１画素ずれたブロ
ックＣとの画素間空間にブロックＡを合成させるため
に、画素間距離以内での配置位置を決定しなくてはなら
ない。そこで、図４のフローで述べたように、７０２、
８０２、９０２のＤＣＴ変換係数の横方向ＡＣ基本波成
分に着目する。いま、７０２の横方向ＡＣ基本波成分は
“３６．３７”、８０２では、“３５．５０”、９０２
では“４１．４６”であるので、これらの相互比較によ
って位置を推測する。即ち、空間的な距離に比例して基
本波成分が線形に推移するものと仮定するわけである。

【００６２】ここで実際の値を式（８）に当てはめて、
ブロックＢ′から横方向の距離を算出すると、ｘ＝（３６．３７−３５．５０）／（４１．４６−３
５．５０）≒０．１５になる。即ち、ブロックＢ′の管理座標よりもブロック
Ｂ′′の管理座標は、０．１５画素分右方向に位置する
ものと判断する。

【００６３】ただ、図４でのフローにて述べたように、
ブロックＢ′、ブロックＡ、ブロックＣの横方向基本波
成分が単調増加、もしくは単調減少になっていない場合
には、横方向に関してはブロックＢ′の座標と同位置で
あると判断する。同様に縦方向に関しても、縦方向基本
波成分の変化比率に線形的に配置されるものとしてブロ
ックＢ′からの縦方向の距離ｙを演算する。

【００６４】図１０にブロックＢ′の管理座標からの
ｘ，ｙの位置関係の例を示す。ｘ，ｙともに１画素以内
の距離になる。図１０ではブロックＢ′よりも右方向、
及び下方向に位置している例である。●印は（ｍ＋１）
フレームの画素位置を示している。前述したフローによ
って、ｘ，ｙの値が算出されると、（ａ′，ｂ′）の位
置から横方向にｘ、縦方向にｙだけ移動した×印の位置
がブロックＡの合成する管理座標の位置になる。ブロッ
クＡから真の移動位置であるブロックＢ′′への動きベ
クトルは式（１０）で示した通りになる。

【００６５】以上、画素間距離以内の分解能を有す動き
ベクトルの推測について述べてきたが、連続したフレー
ム毎に前述した動きベクトルの推測を繰り返すことによ
り、合成するフレーム数が増加して、より高解像の静止
画像を作成できる。その際、所望の内挿点に合成情報が
位置しないときには、補間手段により内挿点の画素値を
補間する。この際の補間手段は図１２から図１４に示し
た方法で十分である。

【００６６】また、本実施の形態では、ブロックＣ及び
ブロックＤの設定を類似性評価によって行ったが、これ
に限るものではなく、ブロックＣ及びブロックＤの設定
も単独の変換係数の比較でも良い。

【００６７】図１１は本発明の第２の実施の形態を示す
ブロック図である。これは、図１の動きベクトル演算手
段１０２の内容が図２と異なっているだけであり、全体
のブロック構成は図１と同一である。図１１において、
図２と同一部分には同一番号を付して説明する。２０１
は図２と同様、ｍフレーム目の画像情報をＮ×Ｎ画素単
位にブロック化するブロック手段である。２０３は（ｍ
＋１）フレーム目の画像情報をＭ×Ｍ′画素単位にブロ
ック化するブロック手段、２０４はＭ×Ｍ′画素単位の
ブロック内でＮ×Ｎ画素単位にブロック化するブロック
手段である。この時、Ｎ、Ｍ、Ｍ′の関係は全て図２の
場合と同一である。

【００６８】図２の場合は、ｍフレーム目のＮ×Ｎ画素
のブロック、及び（ｍ＋１）フレーム目のＮ×Ｎ画素の
ブロックの、各々の直交変換係数の比較によりブロック
の類似性を評価していた。しかし、直交変換係数を比較
するとなると、各ブロックにおいて直交変換の処理が必
要になり、処理時間がかかってしまう。

【００６９】そこで、本実施の形態では、実空間での検
索と直交変換係数での比較とを混在して使用することに
特徴がある。即ち、ブロックＢ′を決定するまでは実空
間での画素値の演算で評価し、画素間距離内での微小な
ずれ量の推定を直交変換係数に基づいて実行するもので
ある。

【００７０】図１１において、１１０１は差分評価手段
を示し、ブロックＢの管理座標を（ａ，ｂ）とすると、

【００７１】

【数９】

【００７２】の演算が行われる。

【００７３】ブロック制御手段１１０２は、図２のブロ
ック制御手段２０７と同様、Ｍ×Ｍ′画素のブロック内
を１画素単位で走査し、新たにブロックを作成して差分
を評価するという一連の動作を繰り返す。そして、全て
走査が終了した時に前述のＲ（ａ，ｂ）の値が最小とな
るブロックＢをブロックＢ′として決定する。

【００７４】この実空間での動きベクトルの検出法は、
一般的にテンプレートマッチングと呼ばれているもので
ある。「画像解析ハンドブック：高木幹雄、下田陽久監
修東京大学出版会」には、テンプレートマッチングの中
の残差逐次検定法（ＳＳＤＡ法）について紹介されてい
るが、ＳＳＤＡ法のように、誤差の発生が多いブロック
では、ブロック途中で演算を打ち切る方法も、処理速度
向上には有効である。

【００７５】ブロックＢ′の決定が実空間上で終了する
と、今度はブロックＢ′の周囲での微小なずれ量の推定
である。２０２は直交変換手段を示し、ブロックＡの直
交変換を施す手段である。また、２０５も同様に直交変
換手段を示し、ブロックＢ′及びブロックＢ′の管理座
標から１画素分左右、上下にずれた各ブロックの直交変
換手段を施す手段である。変換係数評価手段１１０３で
は、上記の各ブロックの変換係数を基に図４のフローチ
ャートにより画素間距離内での動きベクトルを算出す
る。

【００７６】前述したように、本実施の形態では、２段
階必要な動きベクトルの推定のうち、第１段階を実空間
により推測し、第２段階を直交変換係数にて推測するこ
とにより高速化が実現できる。

【００７７】以上説明した直交変換を用いた動きベクト
ルの演算について、本発明では低解像の動画から高解像
の静止画作成について述べたが、当然この技術を動き補
償に用いることも可能である。

【００７８】また、画素間距離ｘ，ｙの推定を、基本波
成分の比率のみで算出した例を示したが、これに限るも
のではない。当然、他のＡＣ成分を用いて複合的に距離
を判断しても良いし、ＤＣ成分を用いることも可能であ
る。

【００７９】また、前述した各実施の形態では、全てｍ
フレームと（ｍ＋１）フレームの連続画像について説明
してきたが、連続、非連続は限定しない。当然、ｍフレ
ームと（ｍ＋ｎ）フレーム（但し、ｎ≧１）間の動きベ
クトルを本発明の技術を用いて合成することも可能であ
る。さらに、本発明は、複数の機器から構成されるシス
テムに適用しても１つの機器から成る装置に適用しても
良い。

【００８０】尚、図１、図２、図１１の各機能ブロック
によるシステムは、ハード的に構成してもよく、また、
ＣＰＵやメモリ等から成るコンピュータシステムに構成
してもよい。コンピュータシステムに構成する場合、上
記メモリは本発明による記憶媒体を構成する。この記憶
媒体には、図４のフローチャート等について前述した動
作を制御するための処理手順を実行するためのプログラ
ムが記憶される。

【００８１】また、この記憶媒体としては、ＲＯＭ、Ｒ
ＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、
磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロ
ッピィディスク、磁気媒体、磁気カード、不揮発性メモ
リカード等に構成して用いてよい。

【００８２】従って、この記憶媒体を図１、図２、図１
１に示したシステム以外の他のシステムあるいは装置で
用い、そのシステムあるいはコンピュータがこの記憶媒
体に格納されたプログラムコードを読み出し、実行する
ことによっても、前述した各実施の形態と同等の機能を
実現できると共に、同等の効果を得ることができ、本発
明の目的を達成することができる。

【００８３】また、コンピュータ上で稼働しているＯＳ
等が処理の一部又は全部を行う場合、あるいは、記憶媒
体から読み出されたプログラムコードが、コンピュータ
に挿入された拡張機能ボードやコンピュータに接続され
た拡張機能ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づいて、上記拡張機能
ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一
部又は全部を行う場合にも、各実施の形態と同等の機能
を実現できると共に、同等の効果を得ることができ、本
発明の目的を達成することができる。

【００８４】

【発明の効果】以上説明したように、フレーム間の対象
となるブロック間の直交変換係数を比較することによ
り、連続フレームの動きベクトル量の分解能を１画素単
位よりも細かく設定することができる。１画素よりも細
かい分解能で複数フレームを合成することにより、高解
像情報の作成が可能になる。また、実空間上でマッチン
グ処理と組み合わせることにより、処理速度の向上が見
込まれ、高速で処理が実行できる。

【００８５】従来提案されていた、１枚の低解像静止画
からの高解像静止画作成の内挿、補間技術に比べて格段
に高画質化した画像情報が作成できる。さらに、ビデオ
カメラにて撮影した低解像静止画像から１枚の高解像静
止画情報が容易に作成できるため、入出力の解像度の異
なる機種間通信や、拡大変倍して高画質な画像を出力す
るビデオカメラ、プリンタ等が提供できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】図１の動きベクトル演算手段を示すブロック図
である。

【図３】動きベクトルを説明する構成図である。

【図４】変換係数評価手段の動作手順を示すフローチャ
ートである。

【図５】動きベクトルを説明する構成図である。

【図６】動きベクトルを説明する構成図である。

【図７】ブロック化された画素値とＤＣＴ変換係数の例
を示す構成図である。

【図８】ブロック化された画素値とＤＣＴ変換係数の例
を示す構成図である。

【図９】ブロック化された画素値とＤＣＴ変換係数の例
を示す構成図である。

【図１０】動きベクトルを説明する構成図である。

【図１１】本発明の第２の実施の形態の動きベクトル演
算手段を示すブロック図である。

【図１２】従来例である最接近内挿法を説明する構成図
である。

【図１３】従来例である共１次内挿法を説明する構成図
である。

【図１４】従来例である３次たたみ込み内挿法を説明す
る構成図である。

【符号の説明】

１０２動きベクトル演算手段１０３配置手段Ａ１０４配置手段Ｂ１０５合成手段２０１、２０３、２０４、ブロック化手段２０２、２０５直交変換手段２０６変換係数評価手段２０７ブロック制御手段１１０２差分評価手段

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C023 AA01 AA40 CA01 DA02 DA03 5C059 KK01 KK47 MA00 MA22 MA23 NN01 NN08 NN28 NN41 PP01 PP04 SS14 SS15 SS20 SS28 UA02 UA31 5C073 AA02 CE01 CE04 CE06 5C076 AA12 AA19 AA21 BA03 BA06

Claims

【特許請求の範囲】

【請求項１】連続する画像信号におけるｍフレーム目
とｍ＋ｎフレーム目との２つのフレーム間の直交変換係
数同士を比較することにより、上記２つのフレーム間の
動きベクトルを算出する動きベクトル演算手段と、上記ｍフレーム目の画像信号をメモリ上に配置すると共
に、上記ｍ＋ｎフレーム目の画像信号を上記算出された
動きベクトルに応じて上記メモリ上に配置することによ
り上記２つの画像信号を合成する合成手段とを設けたこ
とを特徴とする画像処理装置。
【請求項２】上記動きベクトル演算手段は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロ
ック化して第１のブロックを出力する第１のブロック化
手段と、上記ｍ＋ｎフレーム目内を１画素単位に開始位置をずら
してＮ×Ｎ画素単位にブロック化して第２のブロックを
出力する第２のブロック化手段と、上記第１のブロックを直交変換する第１の直交変換手段
と、上記第２のブロックを直交変換する第２の直交変換手段
と、上記第１、第２の直交変換手段からそれぞれ得られる直
交変換係数に基づいて上記第１、第２のブロックの類似
性を評価する評価手段と、上記第２のブロックから第１のブロックと最も類似する
ブロックを第３のブロックとして抽出すると共に、この
第３のブロックと最も類似する縦方向又は横方向の隣接
ブロックを第４のブロックとして抽出し、上記第３、第
４のブロックの直交変換係数と上記第１のブロックの直
交変換とに基づいて動きベクトルを算出する演算手段と
を有することを特徴とする請求項１記載の画像処理装
置。
【請求項３】上記評価手段は、上記第１、第２のブロ
ックの各直交変換係数の差分に基づいて評価を行うこと
を特徴とする請求項２記載の画像処理装置。
【請求項４】上記評価手段は、上記第１、第２のブロ
ックの各画素値に基づいて評価を行うことを特徴とする
請求項２記載の画像処理装置。
【請求項５】上記演算手段は、上記第１、第３、第４
のブロックの各所定成分の直交変換係数の比率に基づい
て動きベクトルを算出することを特徴とする請求項２記
載の画像処理装置。
【請求項６】上記合成手段は、上記第１のブロックの
画素値を上記メモリ上の上記比率に応じた座標に配置す
ることを特徴とする請求項５記載の画像処理装置。
【請求項７】上記所定成分は、上記隣接ブロックが縦
方向の場合には、縦方向のＡＣ基本成分であることを特
徴とする請求項５記載の画像処理装置。
【請求項８】上記所定成分は、上記隣接ブロックが横
方向の場合には、横方向のＡＣ基本成分であることを特
徴とする請求項５記載の画像処理装置。
【請求項９】連続する画像信号におけるｍフレーム目
とｍ＋ｎフレーム目との２つのフレーム間の直交変換係
数同士を比較することにより、上記２つのフレーム間の
動きベクトルを算出する動きベクトル演算手順と、上記ｍフレーム目の画像信号をメモリ上に配置すると共
に、上記ｍ＋ｎフレーム目の画像信号を上記算出された
動きベクトルに応じて上記メモリ上に配置することによ
り上記２つの画像信号を合成する合成手順とを設けたこ
とを特徴とする画像処理方法。
【請求項１０】上記動きベクトル演算手順は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロ
ック化して第１のブロックを出力する第１のブロック化
手順と、上記ｍ＋ｎフレーム目内を１画素単位に開始位置をずら
してＮ×Ｎ画素単位にブロック化して第２のブロックを
出力する第２のブロック化手順と、上記第１のブロックを直交変換する第１の直交変換手順
と、上記第２のブロックを直交変換する第２の直交変換手順
と、上記第１、第２の直交変換手段からそれぞれ得られる直
交変換係数に基づいて上記第１、第２のブロックの類似
性を評価する評価手順と、上記第２のブロックから第１のブロックと最も類似する
ブロックを第３のブロックとして抽出すると共に、この
第３のブロックと最も類似する縦方向又は横方向の隣接
ブロックを第４のブロックとして抽出し、上記第３、第
４のブロックの直交変換係数と上記第１のブロックの直
交変換とに基づいて動きベクトルを算出する演算手順と
を有することを特徴とする請求項９記載の画像処理方
法。
【請求項１１】上記評価手順は、上記第１、第２のブ
ロックの各直交変換係数の差分に基づいて評価を行うこ
とを特徴とする請求項１０記載の画像処理方法。
【請求項１２】上記評価手順は、上記第１、第２のブ
ロックの各画素値に基づいて評価を行うことを特徴とす
る請求項１０記載の画像処理方法。
【請求項１３】上記演算手順は、上記第１、第３、第
４のブロックの各所定成分の直交変換係数の比率に基づ
いて動きベクトルを算出することを特徴とする請求項１
０記載の画像処理方法。
【請求項１４】上記合成手順は、上記第１のブロック
の画素値を上記メモリ上の上記比率に応じた座標に配置
することを特徴とする請求項１３記載の画像処理方法。
【請求項１５】上記所定成分は、上記隣接ブロックが
縦方向の場合には、縦方向のＡＣ基本成分であることを
特徴とする請求項１３記載の画像処理方法。
【請求項１６】上記所定成分は、上記隣接ブロックが
横方向の場合には、横方向のＡＣ基本成分であることを
特徴とする請求項１３記載の画像処理方法。
【請求項１７】連続する画像信号におけるｍフレーム
目とｍ＋ｎフレーム目との２つのフレーム間の直交変換
係数同士を比較することにより、上記２つのフレーム間
の動きベクトルを算出する動きベクトル演算処理と、上記ｍフレーム目の画像信号をメモリ上に配置すると共
に、上記ｍ＋ｎフレーム目の画像信号を上記算出された
動きベクトルに応じて上記メモリ上に配置することによ
り上記２つの画像信号を合成する合成処理とを実行する
ためのプログラムを記憶したコンピュータ読み取り可能
な記憶媒体。
【請求項１８】上記動きベクトル演算処理は、上記ｍフレーム目内をＮ×Ｎ画素単位（Ｎ≧２）にブロ
ック化して第１のブロックを出力する第１のブロック化
処理と、上記ｍ＋ｎフレーム目内を１画素単位に開始位置をずら
してＮ×Ｎ画素単位にブロック化して第２のブロックを
出力する第２のブロック化処理と、上記第１のブロックを直交変換する第１の直交変換処理
と、上記第２のブロックを直交変換する第２の直交変換処理
と、上記第１、第２の直交変換手段からそれぞれ得られる直
交変換係数に基づいて上記第１、第２のブロックの類似
性を評価する評価処理と、上記第２のブロックから第１のブロックと最も類似する
ブロックを第３のブロックとして抽出すると共に、この
第３のブロックと最も類似する縦方向又は横方向の隣接
ブロックを第４のブロックとして抽出し、上記第３、第
４のブロックの直交変換係数と上記第１のブロックの直
交変換とに基づいて動きベクトルを算出する演算処理と
を有することを特徴とする請求項１７記載のコンピュー
タ読み取り可能な記憶媒体。
【請求項１９】上記評価処理は、上記係数の差分に基
づいて評価を行うことを特徴とする請求項１８記載のコ
ンピュータ読み取り可能な記憶媒体。
【請求項２０】上記評価処理は、上記第１、第２のブ
ロックの各画素値に基づいて評価を行うことを特徴とす
る請求項１８記載のコンピュータ読み取り可能な記憶媒
体。
【請求項２１】上記演算処理は、上記第１、第３、第
４のブロックの各所定成分の直交変換係数の比率に基づ
いて動きベクトルを算出することを特徴とする請求項１
８記載のコンピュータ読み取り可能な記憶媒体。
【請求項２２】上記合成処理は、上記第１のブロック
の画素値を上記メモリ上の上記比率に応じた座標に配置
することを特徴とする請求項２１記載のコンピュータ読
み取り可能な記憶媒体。
【請求項２３】上記所定成分は、上記隣接ブロックが
縦方向の場合には、縦方向のＡＣ基本成分であることを
特徴とする請求項２１記載のコンピュータ読み取り可能
な記憶媒体。
【請求項２４】上記所定成分は、上記隣接ブロックが
横方向の場合には、横方向のＡＣ基本成分であることを
特徴とする請求項２１記載のコンピュータ読み取り可能
な記憶媒体。