JP2000215305A

JP2000215305A - 画像拡大装置

Info

Publication number: JP2000215305A
Application number: JP11017069A
Authority: JP
Inventors: Hisanori Mukai; 寿典向井; Kengo Takahama; 健吾高濱
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-01-26
Filing date: 1999-01-26
Publication date: 2000-08-04
Anticipated expiration: 2019-01-26
Also published as: JP3625145B2

Abstract

(57)【要約】【課題】動画像を拡大する時、小規模回路でリアルタイ
ムに解像度を補償し、高解像度のフレーム画像を出力す
る画像拡大装置の提供。【解決手段】スケール解像度次数ｎの入力信号を直交ウ
ェーブレット変換し、スケール解像度次数ｎ＋１のウェ
ーブレット成分およびスケール解像度次数ｎ＋１の縮小
画像成分を算出する手段と、前記スケール解像度次数ｎ
＋１の縮小画像成分および該縮小画像成分の画像位置に
対応するスケール解像度次数ｎ＋１のウェーブレット成
分の近傍成分から、スケール解像度次数ｎにおけるウェ
ーブレット成分を予測する手段と、前記入力画像信号と
前記予測したスケール解像度次数ｎにおけるウェーブレ
ット成分を所定時間だけ遅延させて遅延ウェーブレット
成分を出力する遅延調整手段と、前記ウェーブレット成
分をウェーブレット逆変換し、スケール解像度次数ｎ−
１における拡大画像を生成する手段によって、高精細の
変換画像を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を拡大する際
に、高精度な画像成分を補償するようにした画像拡大装
置に関する。

【０００２】

【従来の技術】従来の画像拡大方法としては、異なる解
像度間の画像変換に線形補間や３次補間などを用いるこ
とが良く知られている。近年のＬＳＩの進展により演算
処理能力が向上し、折り返しの少ない多タップのディジ
タルフィルタ構成による画像の拡大縮小方法も提案さ
れ、実用化されている。前記の線形補間も３次補間によ
る手法も、多タップのディジタルフィルタのタップ数が
２あるいは３に特化したものとして考えることができ
る。これらのディジタルフィルタ構成による画像の拡大
縮小法は、タップ数が多いほど解像度変換時の折り返し
歪みを少なくすることができる。

【０００３】また、特開平７−１５２９０７に記載され
ているように、ウェーブレット変換を用いた方法も提案
されている。画像を拡大する際に、前記の多タップフィ
ルタを用いる方法では、サンプリング定理によって、最
初に与えられた画像に含まれる周波数以下の成分のみし
か拡大されないので、拡大後の画像がぼけてしまうとい
う欠点があった。ウェーブレット変換を用いた手法は、
このボケを回避するために、最初に与えられた画像に含
まれる周波数以下の成分から、高周波成分を予測して画
像情報を増やし、見た目のボケを防いでいる。

【０００４】

【発明が解決しようとする課題】しかしながら、このウ
ェーブレット変換を用いた手法では、ｎ＋１、ｎ＋２、
ｎ＋３次の３回のウェーブレット変換が必要になり、し
かもこれらのウェーブレット変換成分からニューラルネ
ットに入力してｎ次のウェーブレット成分を予測する方
法は、膨大な演算量を必要とするため、リアルタイムな
動画に適用するには非現実的である。例えば、６４０×
４８０画素の画像の場合、スケール解像度ｎのウェーブ
レット成分を算出するために、６４０×４８０＝３０７
２０もの入力をもつニューラルネットが、画像の水平方
向と垂直方向の高周波成分用の３セット必要になり、こ
のような大規模のニューラルネットをリアルタイムに演
算する方法は現実にはない。また、ウェーブレットを三
段階に変換する必要があるため、演算量やそれに必要な
遅延線あるいはメモリサイズがすこぶる大きくなってし
まうという問題があった。

【０００５】また、前記のウェーブレット変換を用いた
方法によると、スケール解像度ｎのウェーブレット成分
を算出するための学習法としてニューラルネットを用い
たものを提案しているが、逆誤差伝播法を改良した方法
でも、正確な学習を行うためには膨大な計算と学習デー
タを必要とし、学習させたニューラルネットのパラメー
タを記憶させるメモリも膨大なサイズとなるため、実現
するための回路規模が極めて大きなものになってしまう
という問題があった。

【０００６】

【課題を解決するための手段】今、スケール解像度次数
ｎ−１の元画像をウェーブレット変換してスケール解像
度次数ｎの画像およびウェーブレット変換成分を導出
し、さらに前記スケール解像度次数ｎの画像をウェーブ
レット変換してスケール解像度次数ｎ＋１の画像とウェ
ーブレット変換成分を得たとする。この場合、スケール
解像度次数ｎ−１の元画像を図１１に示すように縦線の
画像とすると、ウェーブレット変換画像は図１２に示す
ようになる。図１２の変換画像では、左上の小さいブロ
ックは、スケール画像度次数ｎ＋１の画像、その右、右
下および真下の小さいブロックはスケール解像度ｎ＋１
のウェーブレット変換成分、変換画像の右上、右下およ
び左下の大きなブロックはスケール解像度ｎのウェーブ
レット変換成分である。

【０００７】この図１２において、縦線のパターンのウ
ェーブレット変換画像をみると、縦線を反映したウェー
ブレット成分のブロックの縦線の位置に対応するウェー
ブレット変換成分だけが値を持っていることが分かる。
図１３は横線画像の場合であり、同様にウェーブレット
変換した変換画像を図１４に、また、図１５に示す斜め
線画像をウェーブレット変換したものを図１６に示す。
図１１〜図１６で分かるように、図１１、図１３および
図１５に示すスケール解像度次数ｎ−１の画像の線成分
は、スケール解像度ｎおよびｎ−１のウェーブレット変
換成分の対応する位置の近傍の値だけが相関を持つこと
になる。

【０００８】本発明は、この特性を利用して前記従来技
術の問題を解決するものであり、請求項１の画像拡大装
置は、スケール解像度次数ｎの入力信号を直交ウェーブ
レット変換し、スケール解像度次数ｎ＋１のウェーブレ
ット成分およびスケール解像度次数ｎ＋１の縮小画像成
分を算出するウェーブレット変換手段と、前記スケール
解像度次数ｎ＋１の縮小画像成分および前記縮小画像成
分の画像位置に対応するスケール解像度次数ｎ＋１のウ
ェーブレット成分の近傍成分から、スケール解像度次数
ｎにおけるウェーブレット成分を予測する高解像度予測
手段と、前記入力画像信号と前記予測したスケール解像
度次数ｎにおけるウェーブレット成分を所定時間だけ遅
延させて遅延ウェーブレット成分を出力する遅延調整手
段と、前記遅延ウェーブレット成分をウェーブレット逆
変換し、スケール解像度次数ｎ−１における拡大画像を
生成するウェーブレット逆変換手段と、を含むことを特
徴とする。

【０００９】また、請求項２の画像拡大装置は、請求項
１に記載する画像拡大装置において、スケール画像度次
数ｎにおけるウェーブレット成分を予測する高解像度予
測手段は、前記スケール解像度次数ｎ＋１の縮小画像成
分および前記縮小画像成分の画像位置に対応するスケー
ル解像度次数ｎ＋１のウェーブレット成分の近傍成分の
線形加算手段で構成することを特徴とする。

【００１０】また、請求項３の画像拡大装置は、請求項
１に記載する画像拡大装置において、スケール解像度次
数ｎにおけるウェーブレット成分を予測する高解像度予
測手段は、前記スケール解像度次数ｎ＋１の縮小画像成
分および前記縮小画像成分の画像位置に対応するスケー
ル解像度次数ｎ＋１のウェーブレット成分の近傍成分の
ｎ乗成分の線形加算手段で構成することを特徴とする。

【００１１】従って、スケール解像度次数ｎの入力信号
は直交ウェーブレット変換され、ウェーブレット変換手
段よりスケール解像度次数ｎ＋１のウェーブレット成分
とスケール解像度次数ｎ＋１の縮小画像成分を算出す
る。そして、ウェーブレット変換手段により前記スケー
ル解像度次数ｎ＋１の縮小画像成分と該縮小画像成分の
画像位置に対応するスケール解像度次数ｎ＋１のウェー
ブレット成分の近傍成分から、スケール解像度次数ｎに
おけるウェーブレット成分を予測する。このようにして
予測したスケール解像度次数ｎにおけるウェーブレット
成分と前記入力画像信号を遅延調整手段で所定時間遅延
させて遅延ウェーブレット成分を導出し、この遅延ウェ
ーブレット成分を変換手段によりウェーブレット逆変換
してスケール解像度次数ｎ−１の拡大高精細フレーム画
像データを生成し、解像度の高い拡大変換画像を得るこ
とができる。

【００１２】この場合、前記の高解像度予測手段に線形
加算を用いることにより、前記のスケール解像度次数ｎ
＋１の縮小画像成分と、該縮小画像成分の画像位置に対
応するスケール解像度次数ｎ＋１のウェーブレット成分
の近傍成分とを線形加算あるいは前記近傍成分のｎ乗成
分の線形加算する簡単な演算でスケール解像度次数ｎに
おけるウェーブレット成分を予測することができる。

【００１３】従って、この画像拡大装置によると、入力
画像を１回だけウェーブレット変換するだけで済み、ま
たスケール解像度次数ｎのウェーブレット変換成分を予
測するのに対応する近傍情報しか利用しないので、計算
量を極端に減らすことができる。

【００１４】また、請求項４の画像拡大装置は、請求項
１に記載する画像拡大装置において、スケール解像度次
数ｎ＋１のウェーブレット成分の近傍成分は、スケール
解像度次数ｎ＋１の縮小画像成分の画像位置に対応する
スケール解像度次数ｎ＋１のウェーブレット成分の９近
傍成分の内の５成分とすることを特徴とする。

【００１５】この構成によると、近傍情報である３×３
の情報の内、縦線成分や横線成分を予測する場合は、対
応するスケール解像度次数ｎ＋１のウェーブレット変換
成分と上近傍、下近傍、右近傍、左近傍の５つの成分か
ら行い、斜め線成分を予測する場合は、対応するスケー
ル解像度次数ｎ＋１のウェーブレット変換成分と上右近
傍、上左近傍、下右近傍、下左近傍の５つの成分から予
測しているので、従来法に比較して極端に少ない演算量
で、予測回路を構成することができる。

【００１６】また、スケール解像度次数ｎのウェーブレ
ット変換成分を予測するために線形加算手段やせいぜい
２〜３乗の線形加算手段しか用いないので、その重み付
け係数を記憶するメモリや回路規模も小さくて済み、計
算量が少ないので、１秒間に６０枚といった動画像にた
いしてもリアルタイムに拡大演算できる回路を小規模で
構成することが可能になる。

【００１７】また、請求項５の画像拡大装置は、請求項
２あるいは３に記載する画像拡大装置において、線形加
算手段の重み付け係数は、前記スケール解像度次数ｎ−
１の元画像をウェーブレット変換したスケール解像度次
数ｎのウェーブレット成分を教師データとし、ウェーブ
レット成分を予測する高解像度予測手段から出力される
スケール解像度次数ｎのウェーブレット成分との２乗誤
差が最小になるように決定されることを特徴とする。

【００１８】従って、線形加算手段の重み付け係数は、
線形加算と最小２乗法をベースにして決定されるので、
重み付け係数の決定が簡単なマトリクス演算で行わせる
ことができ、学習が容易で且つ高速のインプリメントを
容易に行わせることができる。

【００１９】

【発明の実施の形態】以下、本発明の画像拡大方法およ
びその装置に関する発明の実施の形態を図面に基づいて
説明する。図１は本発明のウェーブレット画像変換装置
の実施形態の全体構造を示すブロック図である。１は入
力フレーム画像データＶｎの入力端子、２は入力フレー
ム画像データＶｎを直交ウェーブレット変換してウェー
ブレット成分を出力するウェーブレット変換部、３は前
記ウェーブレット変換部２から出力されるスケール解像
度次数ｎ＋１（以下ｎ＋１次と略称する。ｎ次について
も同じ）の縮小画像成分ＬＬの信号、４は前記ウェーブ
レット変換部２から出力されるｎ＋１次のウェーブレッ
ト成分のＬＨ信号、５は前記ウェーブレット変換部２か
ら出力されるｎ＋１のウェーブレット成分ＨＬの信号、
６は前記ウェーブレット変換部２から出力されるｎ＋１
のウェーブレット成分ＨＨの信号である。ここで、Ｗの
添字のＬは低域成分を意味し、Ｈは高域成分を意味する
（以下同じ）。

【００２０】また、７は前記ｎ＋１次の縮小画像成分Ｌ
Ｌとウェーブレット成分ＬＨ、ＨＬ、ＨＨの信号を入力
しｎ次のウェーブレット成分を予測する高解像度予測
部、８、９、１０、１１は高解像度予測部７から出力さ
れるｎ次のウェーブレット成分ＬＨのそれぞれ（２ｉ，
２ｊ）、（２ｉ＋１，２ｊ）、（２ｉ，２ｊ＋１）、
（２ｉ＋１，２ｊ＋１）座標成分の信号、１２、１３、
１４、１５は高解像度予測部７から出力されるｎ次のウ
ェーブレット成分ＨＬのそれぞれ（２ｉ，２ｊ）、（２
ｉ＋１，２ｊ）、（２ｉ，２ｊ＋１）、（２ｉ＋１，２
ｊ＋１）座標成分の信号、１６、１７、１８、１９は高
解像度予測部７から出力されるｎ次のウェーブレット成
分ＨＨのそれぞれ（２ｉ，２ｊ）、（２ｉ＋１，２
ｊ）、（２ｉ，２ｊ＋１）、（２ｉ＋１，２ｊ＋１）座
標成分の信号である。

【００２１】ここで、ｎ＋１次の画像成分のサイズをａ
×ｂとして（ｉ，ｊ）の位置に対応するｎ次のウェーブ
レット成分は（２ｉ，２ｊ）、（２ｉ＋１，２ｊ）、
（２ｉ，２ｊ＋１）、（２ｉ＋１，２ｊ＋１）で表現し
ている。

【００２２】２０は高解像度予測部７から出力されたｎ
次のウェーブレット成分８、９、１０、１１、１２、１
３、１４、１５、１６、１７、１８、１９と入力端子１
から入力したフレーム画像データＶｎに適当な遅延を与
え、同時に周波数を倍変換してｎ次のウェーブレット成
分ＬＨ、ＨＬ、ＨＨ、ＬＬの信号２１、２２、２３、２
４を出力する遅延調整部、２５は該遅延調整部２０から
出力されたｎ次の遅延ウェーブレット成分の信号２１、
２２、２３、２４をウェーブレット逆変換するウェーブ
レット逆変換部、２６はウェーブレット逆変換部２５か
ら出力される拡大高精細フレーム画像データＶｎ−１で
ある。

【００２３】従って、入力フレーム画像データ１（Ｖ
ｎ）はウェーブレット変換部２へ入力され、ｎ＋１次の
縮小画像成分ＬＬとウェーブレット成分ＬＨ、ＨＬ、Ｈ
Ｈの各信号を出力する。ｎ＋１次の縮小画像成分及びウ
ェーブレット成分の信号３、４、５、６は高解像度予測
部７へ入力され、ｎ次のウェーブレット成分の各信号
８、９、１０、１１、１２、１３、１４、１５、１６、
１７、１８、１９を出力する。このｎ次のウェーブレッ
ト成分の各信号８、９、１０、１１、１２、１３、１
４、１５、１６、１７、１８、１９と入力フレーム画像
データＶｎは遅延調整部２０に入力され、遅延調整と周
波数変換が行われ、ｎ次の遅延ウェーブレット成分の信
号２１、２２、２３、２４を出力する。そして、このｎ
次の遅延ウェーブレット成分の信号２１、２２、２３、
２４はウェーブレット逆変換部２５へ入力され、ここで
ウェーブレット逆変換されて、拡大高精細フレーム画像
データ２６（Ｖｎ−１）を出力する。

【００２４】図２は、図１に示す本発明の画像拡大装置
における高解像度予測部７の詳細構成例を示す回路ブロ
ック図である。図２のおいて、１０１は前記ウェーブレ
ット変換部２から出力されるｎ＋１次のウェーブレット
成分ＬＨの信号４の水平・垂直方向における５近傍デー
タを抽出する近傍データ抽出回路、１０６は前記ウェー
ブレット変換部２から出力されるｎ＋１次の縮小画像成
分ＬＬの信号３を遅延する遅延回路、１０２、１０３、
１０４、１０５はそれぞれ前記近傍データ抽出回路１０
１および遅延回路１０６からの各出力信号を線形加算す
る線形加算回路である。

【００２５】また、１１１は前記ウェーブレット変換部
２から出力されるｎ＋１次のウェーブレット成分ＨＬの
信号５の水平・垂直方向における５近傍データを抽出す
る近傍データ抽出回路、１１６は前記信号３を遅延する
遅延回路、１１２、１１３、１１４、１１５はそれぞれ
前記近傍データ抽出回路１１１および遅延回路１１６か
らの各出力信号を線形加算する線形加算回路である。

【００２６】更に、１２１は前記ウェーブレット変換部
２から出力されるｎ＋１次のウェーブレット成分ＨＨの
信号６の斜め５近傍データを抽出する近傍データ抽出回
路、１２６は前記信号３を遅延する遅延回路、１２２、
１２３、１２４、１２５はそれぞれ前記近傍データ抽出
回路１２１および遅延回路１２６からの各出力信号を線
形加算する線形加算回路である。

【００２７】前記ウェーブレット変換部２から出力され
るｎ＋１次のウェーブレット変換成分Ｗ LH n+1の信号
４は近傍データ抽出回路１０１によって図１７に示すよ
うに、注目データと注目データの上、下、左、右の５個
の近傍データが抽出される。抽出された５個の近傍デー
タはそれぞれ線形加算回路１０２、１０３、１０４、１
０５に入力される。一方、ウェーブレット変換部２から
出力されたｎ＋１次の縮小画像成分Ｗ LL n+1の信号３
は遅延回路１０６でタイミングを合わせるために遅延さ
れてそれぞれ線形加算回路１０２、１０３、１０４、１
０５に入力される。線形加算回路１０２では入力された
Ｗ LH n+1の５近傍データとＷ LL n+1の遅延によりタイ
ミングが合わされた信号が線形加算され、ｎ次のウェー
ブレット成分の予測データＷ LH n(2i,2j)である信号８
を出力する。同時に線形加算回路１０３では入力された
Ｗ LH n+1の５近傍データとＷ LL n+1の遅延によりタイ
ミングが合わされた信号が線形加算され、ｎ次のウェー
ブレット成分の予測データＷ LH n(2i+1,2j)である信号
９を出力する。線形加算回路１０４、１０５についても
上記と同様に線形加算が行われ、それぞれ、信号１０と
してｎ次のウェーブレット成分の予測データＷ LH n(2
i,2j+1)が、また信号１１として、ｎ次のウェーブレッ
ト成分の予測データＷ LH n(2i+1,2j+1)が出力される。

【００２８】前記ウェーブレット変換部２から出力され
るｎ＋１次のウェーブレット変換成分Ｗ HL n+1の信号
５は近傍データ抽出回路１１１によって図１７に示すよ
うに、注目データと注目データの上、下、左、右の５個
の近傍データが抽出される。抽出された５個の近傍デー
タはそれぞれ線形加算回路１１２、１１３、１１４、１
１５に入力される。一方、ウェーブレット変換部２から
出力されたｎ＋１次の縮小画像成分Ｗ LL n+1の信号３
は遅延回路１１６でタイミングを合わせるために遅延さ
せて、それぞれ線形加算回路１１２、１１３、１１４、
１１５に入力される。線形加算回路１１２では入力され
たＷ HL n+1の５近傍データとＷ LL n+1の遅延によりタ
イミングが合わされた信号が線形加算され、ｎ次のウェ
ーブレット成分の予測データＷ HL n(2i,2j)である信号
１２を出力する。同時に線形加算回路１１３では入力さ
れたＷ HL n+1の５近傍データとＷ LL n+1の遅延により
タイミングが合わされた信号が線形加算され、ｎ次のウ
ェーブレット成分の予測データＷ HL n(2i+1,2j)である
信号１３を出力する。線形加算回路１１４、１１５につ
いても上記と同様に線形加算が行われ、それぞれ、信号
１４としてｎ次のウェーブレット成分の予測データＷ H
L n(2i,2j+1)が、また、信号１５としてｎ次のウェーブ
レット成分の予測データＷ HL n(2i+1,2j+1)が出力され
る。

【００２９】前記ウェーブレット変換部２から出力され
るｎ＋１次のウェーブレット変換成分Ｗ HH n+1の信号
６は、近傍データ抽出回路１２１によって図１７に示す
ように、注目データと注目データの左上、右上、左下、
右下の５個の近傍データが抽出される。抽出された５個
の近傍データはそれぞれ線形加算回路１２２、１２３、
１２４、１２５に入力される。一方、ウェーブレット変
換部２から出力されたｎ＋１次の縮小画像成分Ｗ LL n+
1の信号３は遅延回路１２６でタイミングを合わせるた
めに遅延させてそれぞれ線形加算回路１２２、１２３、
１２４、１２５に入力される。線形加算回路１２２では
入力されたＷ HH n+1の５近傍データとＷ LL n+1の遅延
によりタイミングが合わされた信号が線形加算され、ｎ
次のウェーブレット成分の予測データＷ HH n(2i,2j)で
ある信号１６を出力する。同時に線形加算回路１２３で
は入力されたＷ HH n+1の５近傍データとＷ LL n+1の遅
延によりタイミングが合わされた信号が線形加算され、
ｎ次のウェーブレット成分の予測データＷ HH n(2i+1,2
j)である信号１７を出力する。線形加算回路１２４、１
２５についても上記と同様に線形加算が行われ、それぞ
れ信号１８としてｎ次のウェーブレット成分の予測デー
タＷ HH n(2i,2j+1)が、また、信号１９としてｎ次のウ
ェーブレット成分の予測データＷ HH n(2i+1,2j+1)が出
力される。

【００３０】このように、スケール解像度次数ｎ＋１の
縮小画像データ成分および前記縮小画像成分の画像位置
に対応するスケール解像度次数ｎ＋１のウェーブレット
成分の近傍成分から線形加算手段によってスケール解像
度次数ｎの成分を予測する。

【００３１】図２における近傍データ抽出回路１０１、
線形加算回路１０２、１０３、１０４、１０５の詳細構
成例を図３を用いて説明する。近傍データ抽出回路１０
１はフリップフロップ１３１、１３２、１３３、１３４
と１Ｈ遅延回路１３５、１３６から構成される。これら
の回路の動作については、画像処理の基本回路であり、
自明であるので省略する。線形加算回路１０２はそれぞ
れ重み係数α112i,2j、α212i,2j、α312i,2j、α412i,
2j、α512i,2j、α612i,2jを乗算して加算器１３７で加
算し、ｎ次のウェーブレット成分の予測データＷ HL n
(2i,2j)である信号８を出力する。線形加算回路１０
３、１０４、１０５の構成については線形加算回路１０
２と同じで重み係数が異なる。線形加算回路１０３の重
み係数はα112i+1,2j、α212i+1,2j、α312i+1,2j、α4
12i+1,2j、α512i+1,2j、α612i+1,2j、線形加算回路１
０４の重み係数はα112i,2j+1、α212i,2j+1、α312i,2
j+1、α412i,2j+1、α512i,2j+1、α612i,2j+1である。

【００３２】また、図２における近傍データ抽出回路１
１１と線形加算回路１１２、１１３、１１４、１１５と
選択回路１１６より成るｎ次のウェーブレット成分Ｗ H
Lの予測回路１１０および近傍データ抽出回路１２１と
線形加算回路１２２、１２３、１２４、１２５と遅延回
路１２６より成るｎ次のウェーブレット成分Ｗ HHの予
測回路１２０の構成は、前記図３に示すｎ次のウェーブ
レット成分Ｗ LHの予測回路１００の構成と同様であ
り、前記の各線形加算回路１１２、１１３、１１４、１
１５、１２２、１２３、１２４、１２５の重み係数が異
なるのみである。

【００３３】図４は前記ｎ次のウェーブレット成分Ｗ H
Hの予測回路１２０の構成を示している。図４における
近傍データ抽出回路１２１の構成は図３に示す近傍デー
タ抽出回路１０１の構成と全く同一であり、フリップフ
ロップＤと１Ｈ遅延線Ｈを用いて、斜め方向の近傍デー
タを抽出するように構成している。また、線形加算回路
１２２〜１２５の構成も図３に示す線形加算回路１０２
〜１０５の構成と同様で、重み係数が異なるのみであ
る。すなわち、図３に示す線形加算回路１０２〜１０５
の各重み係数α112i,2j、α212i,2j、α312i,2j、α412
i,2j、α512i,2j、α612i,2j、α112i+1,2j…α612i+1,
2j、α112i,2j+1…α612i,2j+1、α112i+1,2j+1…α612
i+1,2j+1にそれぞれ対応して図４に示す線形加算回路１
２２〜１２５の各重み係数はα132i,2j、α232i,2j、α
332i,2j、α432i,2j、α532i,2j、α632i,2j、α132i+
1,2j…α632i+1,2j、α132i,2j+1…α632i,2j+1、α132
i+1,2j+1…α632i+1,2j+1に設定されている。

【００３４】また、前記ｎ次のウェーブレット成分Ｗ H
Lの予測回路１１０の構成は図示していないが、線形加
算回路１１２〜１１５の重み係数が異なるのみであり、
図３に示す線形加算回路１０２〜１０５の前記の各重み
係数に対応してそれぞれα122i,2j、α222i,2j、α322
i,2j、α422i,2j、α522i,2j、α622i,2j、α122i+1,2j
…α622i+1,2j、α122i,2j+1…α622i,2j+1、α122i+1,
2j+1…α622i+1,2j+1に設定されている。即ち、図２に
示す線形加算回路１０２〜１０５、１１２〜１１５、１
２２〜１２５では合計７２個の重み係数αを用いてい
る。

【００３５】次に、本実施形態の全体の動作を図５に示
す概念図を用いて説明する。入力端子１より入力した入
力フレーム画像データＶｎはウェーブレット変換部２で
ウェーブレット変換され、ｎ＋１次の縮小画像成分Ｗn+
1 LLとｎ＋１次のウェーブレット成分Ｗn+1 LH、Ｗn+1
HL、Ｗn+1 HHを生成する。生成されたｎ＋１次の縮小画
像とウェーブレット成分より高解像度予測部７でｎ次ウ
ェーブレット成分ＷnLH、Ｗn HL、Ｗn HHが予測され、
このｎ次ウェーブレット成分と入力フレーム画像データ
Ｖｎは遅延調整部２０で適宜遅延させると共に周波数を
倍変換して合成され、ウェーブレット逆変換部２５に導
かれて、ここで拡大高精細フレーム画像Ｖｎ−１を生成
する。

【００３６】図６はウェーブレット変換部２の詳細な構
成を示すブロック図である。図中２００〜２０２はフリ
ップフロップ、２０３〜２１４は乗算器、Ｃ０、Ｃ１、
Ｃ２、Ｃ３はDaubechiesの基底関数｛Ｃ０、Ｃ１、Ｃ
２、Ｃ３｝＝｛0.48296、0.83651、0.22143、-0.1294
0｝、２１５〜２２０はインバータアレイ、２２１、２
２２は水平方向ダウンサンプラー、２２３〜２２６は
垂直方向ダウンサンプラー、２２７〜２３２は加算器、
２３３〜２３８は１Ｈ遅延線である。

【００３７】この構成は特段新規なものではないので細
部の動作説明は省略するが、入力端子１に入力した入力
フレーム画像データＶｎはｎ＋１次の縮小画像成分とウ
ェーブレット成分Ｗ LL、Ｗ LH、Ｗ HL、Ｗ HHに変換さ
れた信号３、４、５、６として出力される。

【００３８】図２において、ウェーブレット変換部２で
生成されたｎ＋１次の縮小画像成分とウェーブレット成
分の信号３、４、５、６は高解像度予測部７に入力さ
れ、高解像度予測部７はｎ次ウェーブレット成分ＷnL
H、ＷnHL、ＷnHHのそれぞれ（ｉ，ｊ）、（ｉ＋１，
ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）座標成分を
予測した信号８〜１９に出力する。高解像度予測部７で
予測されたｎ次ウェーブレット成分ＷnLH、ＷnHL、ＷnH
Hは遅延調整部２０に入力されるが、同時に入力フレー
ム画像データＶｎも遅延調整部２０に入力され、適当な
遅延が与えられ、また時系列に変換し、入力と同じクロ
ックに同期して、ｎ次の遅延したウェーブレット成分Ｗ
nLH、ＷnHL、ＷnHH、ＷnLLの信号２１、２２、２３、２
４を出力する。

【００３９】図７は遅延調整部２０の構成を示すブロッ
ク図である。図７において、２７、２８、２９、は時系
列変換器、３０は遅延器である。この各時系列変換器２
７、２８、２９の詳細な構成は図８のようになってお
り、フリップフロップ１４０、１４３、セレクタ１４
１、１４２、１４４、１Ｈ遅延線１４５から構成され
る。前記高解像度予測部７は、ウェーブレット変換部２
のダウンサンプラによって入力フレーム画像データＶｎ
のクロックＣＫの半分のクロックレートのクロックＨＣ
Ｈで動作しており、ｎ次の予測データであるウェーブレ
ット成分ＷnLH、ＷnHL、ＷnHHのそれぞれ（ｉ，ｊ），
（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）
座標成分もクロックＨＣＫのクロックレートで出力され
ている。

【００４０】図９は図８に示す時系列変換器のタイミン
グチャートである。フリップフロップ１４０は入力ラス
ター画像データＶｎのクロックＣＫで動作しており、入
力されるウェーブレット成分Ｗn(i+1,j)、Ｗn(i+1,j+1)
をクロックＣＫ分遅延させる。セレクタ１４１の制御端
子には前記クロックＨＣＫが供給されており、”Ｈ”レ
ベルの時ａ端子が、”Ｌ”レベルの時ｂ端子が選択され
る。その結果、セレクタ１４１の出力端子にはＷn(i,
j)，Ｗn(i+1,j)が交互に時系列に出力される。一方フリ
ップフロップ１４３とセレクタ１４４も時系列変換回路
を形成しており、同様にしてセレクタ１４４の出力端子
にはＷn(i,j+1)、Ｗn(i+1,j+1)が時系列信号となって交
互に出力される。セレクタ１４４の出力は１Ｈ遅延回路
１４５で１Ｈ分遅延され、セレクタ１４２に供給され
る。セレクタ１４２では、１Ｈの周期でセレクタ１４１
の出力か１Ｈ遅延回路１４５の出力かが選択され、セレ
クタ１４２の出力端子に出力される。

【００４１】すなわち、４個のｎ次のウェーブレット成
分Ｗn(i,j)、Ｗn(i+1,j)、Ｗn(i,j+1)、Ｗn(i+1,j+1)は
時系列に変換されて時系列変換器２７、２８、２９の出
力端子に出力される。このように、図７に示す時系列変
換器２７、２８、２９は８〜１９に入力されたｎ次のウ
ェーブレット成分ＷnLH、ＷnHL、ＷnHH成分の信号８〜
１９をそれぞれ時系列信号に変換してクロックレートＣ
Ｋでｎ次の遅延ウェーブレット成分の信号２１、２２、
２３を出力する。

【００４２】一方、図７において、入力フレーム画像デ
ータＶｎは入力端子１を介して遅延器３０に供給され、
この遅延器３０によって、前記の遅延ウェーブレット成
分ＷnLH、ＷnHL、ＷnHHの信号２１、２２、２３と同期
するように遅延量があたえられて、ｎ次のウェーブレッ
ト成分ＷnLLの信号２４として同じクロックレートで出
力される。

【００４３】図１０は、ウェーブレット逆変換部２５の
詳細な構成を示すブロック図である。この構成例では、
前記ウェーブレット変換部２の構成例と同じくDaubechi
esの基底関数｛Ｃ０、Ｃ１、Ｃ２、Ｃ３｝＝｛0.4829
6、0.83651、0.22143、-0.12940｝を用いている。ウェ
ーブレット逆変換部２５は、フリップフロップ１５０〜
１５３、１８１、１８２、インバータ１５４〜１５８、
１８５、１８６、セレクタ１７９、１８０、１９９、１
Ｈ遅延線１８３、１８４、乗算器１５９〜１７４、１８
７〜１９４、加算器１７５〜１７８、１９５、１９６、
１Ｈデュアルポートメモリ１９７、１９８から構成され
る。

【００４４】ウェーブレット逆変換部２に入力されたｎ
次の遅延ウェーブレット成分ＷnLL、ＷnHL、ＷnLH、Ｗn
HHの信号２１〜２４は、まず画像の水平方向にウェーブ
レット逆変換がなされ、その後垂直方向にウェーブレッ
ト逆変換がなされる。加算器１９５の出力は１ライン目
の復号化データが、加算器１９６の出力には２ライン目
の復号化データが同時に出力されるが、両信号とも一旦
２ＣＫのクロックレートで１Ｈの期間だけ１Ｈデュアル
ポートメモリ１９７と１９８に記憶されて行く。複号デ
ータがメモリ１９７と１９８に記憶された後、まず１９
７のメモリの内容である１Ｈ分の復号データが４ＣＫ
（入力フレーム画像データＶｎのクロックの４倍のクロ
ックレート）で読み出され、その後、１Ｈデュアルポー
トメモリ１９８の内容である１Ｈ分の復号データが４Ｃ
Ｋで読み出されて、端子２６に高精細フレーム画像デー
タ２６（Ｖｎ−１）として出力される。

【００４５】すなわち、図１に示す画像拡大装置は入力
フレーム画像データＶｎを画素数が４倍の高精細フレー
ム画像Ｖｎ−１に変換して出力する。なお、上述したウ
ェーブレット変換マトリクスは下記行列で表され逆ウェーブレット変換は上記マトリクスの転置行列であ
る。

【００４６】また、高解像度予測部７の線形加算回路１
０２〜１０５、１１２〜１１５、１２２〜１２５におけ
る図３および図４で記載した乗算器の係数α112i,2j、
α212i,2j、α312i,2j、α412i,2j、α512i,2j、α612
i,2j・・・α612i+1,2j+1、・・・・α632i+1,2j+1の７
２個の重み係数は次のようにして学習させる。元の高精
細フレーム画像をＦｎ−１とし画像サイズを４ｎ×４ｍ
とする（ｎ、ｍは整数）。この高精細フレーム画像Ｆｎ
−１のウェーブレット変換成分をＷ0nLL(k,l)、Ｗ0nLH
(k,l)、Ｗ0nHL(k,l)、Ｗ0nHH(k,l)とし（１≦ｋ≦２
ｎ、１≦ｌ≦２ｍ）、また、低域成分であるＷ0nLL(k,
l)をさらにウェーブレット変換したｎ＋１次のウェーブ
レット変換成分をＷn+1LL(i,j)、Ｗn+1LH(i,j)、Ｗn+1H
L(i,j)、Ｗn+1HH(i,j)とし、更にｎ＋１次のウェーブレ
ット変換成分Ｗn+1LL(i,j)、Ｗn+1LH(i,j)、Ｗn+1HL(i,
j)、Ｗn+1HH(i,j)から予測したｎ次のウェーブレット変
換成分をＷnLH(k,l)、ＷnHL(k,l)、ＷnHH(k,l)とする
と、

【００４７】

【数１】が最小となるように７２個の係数αを定める。学習させ
る画像はｄ種類としている。

【００４８】予測成分はＷnLH(2i,2j)＝α11(2i,2j)×Ｗn+1LH(i,j-1)＋α21(2
i,2j)×Ｗn+1LH(i+1,j+1)＋α31(2i,2j)×Ｗn+1LH(i,j)
＋α41(2i,2j)×Ｗn+1LH(i-1,j)＋α51(2i,2j)×Ｗn+1L
H(i,j+1)×α61(2i,2j)×Ｗn+1LL(i,j) ＷnLH(2i+1,2j)＝α11(2i+1,2j)×Ｗn+1LH(i,j-1)＋α2
1(2i+1,2j)×Ｗn+1LH(i+1,j+1)＋α31(2i+1,2j)×Ｗn+1
LH(i,j)＋α41(2i+1,2j)×Ｗn+1LH(i-1,j)＋α51(2i+1,
2j)×Ｗn+1LH(i,j+1)＋α61(2i+1,2j)×Ｗn+1LL(i,j) ＷnHH(2i+1,2j+1)＝α13(2i+1,2j+1)×Ｗn+1HH(i,j-1)
＋α23(2i+1,2j+1)×Ｗn+1HH(i+1,j+1)＋α33(2i+1,2j+
1)×Ｗn+1HH(i,j)＋α43(2i+1,2j+1)×Ｗn+1HH(i-1,j)
＋α53(2i+1,2j+1)×Ｗn+1HH(i,j+1)＋α63(2i+1,2j+1)
×Ｗn+1LL(i,j) で定義されるので、Ｓを各αで偏微分したものを０とし
た７２個の一次方程式より、各αを求めると容易に求ま
る。αを求めるには、コンピュータシミュレーションな
どで学習するとよい。

【００４９】また、本実施形態ではｎ＋１次のウェーブ
レット成分からｎ次のウェーブレット成分を予測する際
に、ｎ＋１次のウェーブレット成分とα係数による線形
結合を用いたが、ｎ＋１次ウェーブレット成分の２乗値
や３乗値や定数とα係数による線形結合を用いると、計
算量は多くなるが精度の高い予測が可能になる。

【００５０】

【発明の効果】以上説明したように、この発明の画像拡
大装置では、スケール解像度次数ｎの入力信号を直交ウ
ェーブレット変換し、スケール解像度次数ｎ＋１のウェ
ーブレット成分およびスケール解像度次数ｎ＋１の縮小
画像成分を求め、スケール解像度次数ｎ＋１の縮小画像
成分および前記縮小画像成分の画像位置に対応するスケ
ール解像度次数ｎ＋１のウェーブレット成分の近傍成分
だけから、スケール解像度次数ｎにおけるウェーブレッ
ト成分を予測し、前記スケール解像度次数ｎにおけるウ
ェーブレット成分と前記スケール解像度次数ｎの入力信
号とをウェーブレット逆変換し、スケール解像度次数ｎ
−１における拡大画像を生成しているので、計算量を極
端に減らして、小規模な回路構成で、動画のようなリア
ルタイムな画像の高精細化が可能になる。

【００５１】また、予測にあたり演算量の小さい線形結
合によって高解像度のウェーブレット成分を求めるの
で、小規模な回路構成で、動画のようなリアルタイムな
画像の高精細化が可能になる。更にまた、学習の際に一
次方程式で係数αを求めるため、学習が容易で高速にイ
ンプリメントが可能である。

【図面の簡単な説明】

【図１】本発明の一実施形態の全体の構成を示すブロッ
ク図である。

【図２】図１における高解像度予測部の構成例を示すブ
ロック図である。

【図３】図２における近傍画素抽出部１０１と線形加算
回路１０２の詳細構成例を示すブロック図である。

【図４】図２における近傍画素抽出部１２１と線形加算
回路１２２の詳細構成例を示すブロック図である。

【図５】図１の全体の動作を説明する概念図である。

【図６】図１におけるウェーブレット変換部の構成例を
示すブロック図である。

【図７】図１における遅延調整部の構成例を示すブロッ
ク図である。

【図８】図７における時系列変換器の構成例を示すブロ
ック図である。

【図９】図８の動作を示すタイミングチャートである。

【図１０】図１におけるウェーブレット逆変換部の構成
例を示すブロック図である。

【図１１〜図１６】縦線、横線、斜線画像のウェーブレ
ット変換例を示す図である。

【図１７】ｎ＋１次のウェーブレット変換成分の座標
と、近傍成分の配置を示す図である。

【符号の説明】

１…入力端子２…ウェーブレット変換部３…ｎ＋１次の縮小画像成分の信号４〜６…ｎ＋１次のウェーブレット成分の信号７…高解像度予測部８〜１９…ｎ次のウェーブレット成分の信号２０…遅延調整部２１〜２４…ｎ次の遅延ウェーブレット成分の信号２５…ウェーブレット逆変換部２６…拡大高精細フレーム画像データ１０１、１１１、１２１…近傍データ抽出回路１０２〜１０５、１１２〜１１５、１２２〜１２５…線
形加算回路１０６、１１６、１２６…遅延回路

フロントページの続きＦターム(参考） 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC02 CD05 CH08 5C082 BA41 CA21 CA22 CA33 CA84 CA85 CB01 MM04 MM10

Claims

【特許請求の範囲】

【請求項１】スケール解像度次数ｎの入力信号を直交
ウェーブレット変換し、スケール解像度次数ｎ＋１のウ
ェーブレット成分およびスケール解像度次数ｎ＋１の縮
小画像成分を算出するウェーブレット変換手段と、前記
スケール解像度次数ｎ＋１の縮小画像成分および前記縮
小画像成分の画像位置に対応するスケール解像度次数ｎ
＋１のウェーブレット成分の近傍成分から、スケール解
像度次数ｎにおけるウェーブレット成分を予測する高解
像度予測手段と、前記入力画像信号と前記予測したスケ
ール解像度次数ｎにおけるウェーブレット成分を所定時
間だけ遅延させて遅延ウェーブレット成分を出力する遅
延調整手段と、前記遅延ウェーブレット成分をウェーブ
レット逆変換し、スケール解像度次数ｎ−１における拡
大画像を生成するウェーブレット逆変換手段と、を含む
ことを特徴とする画像拡大装置。
【請求項２】請求項１において、スケール解像度次数
ｎにおけるウェーブレット成分を予測する高解像度予測
手段は、前記スケール解像度次数ｎ＋１の縮小画像成分
および前記縮小画像成分の画像位置に対応するスケール
解像度次数ｎ＋１のウェーブレット成分の近傍成分の線
形加算手段で構成することを特徴とする画像拡大装置。
【請求項３】請求項１において、スケール解像度次数
ｎにおけるウェーブレット成分を予測する高解像度予測
手段は、前記スケール解像度次数ｎ＋１の縮小画像成分
および前記縮小画像成分の画像位置に対応するスケール
解像度次数ｎ＋１のウェーブレット成分の近傍成分のｎ
乗成分の線形加算手段で構成することを特徴とする画像
拡大装置。
【請求項４】請求項１において、スケール解像度次数
ｎ＋１のウェーブレット成分の近傍成分は、スケール解
像度次数ｎ＋１の縮小画像成分の画像位置に対応するス
ケール解像度次数ｎ＋１のウェーブレット成分の９近傍
成分の内の５成分とすることを特徴とする画像拡大装
置。
【請求項５】請求項２あるいは３における線形加算手
段の重み付け係数は、前記スケール解像度次数ｎ−１の
元画像をウェーブレット変換したスケール解像度次数ｎ
のウェーブレット成分を教師データとし、前記高解像度
予測手段から出力されるスケール解像度次数ｎのウェー
ブレット成分との２乗誤差が最小になるように決定され
ることを特徴とする画像拡大装置。