JP2009044460A - 映像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 簡単な処理で、例えばホールド型表示装置では、動きぼけを小さくすることが可能であり、インパルス型表示装置においてはフリッカーを減少させることを可能にする。
【解決手段】 ＬＰＦ１は、入力したフレームの画像データＡ［ｉ］をフィルタリングし、低周波画像データＬを生成する。減算器２及び加算器３により、高周波画像データＳＨが生成される。また、加算器６は、遅延回路５からの低周波画像データＬとその後の低周波画像データとを加算し、除算器７で１／２にすることで低周波平均画像データＳＬを生成する。スイッチ８は、１フレームの画像データを入力する毎に、高周波画像データＳＨ、低周波画像データＳＬを交互に出力することで、入力画像データのフレームレートの２倍の出力画像データを得る。
【選択図】 図１

Description

本発明は、動画像データをフレームレートをより高いレートに変換する画像変換技術に関するものである。

従来、テレビジョン等の動画表示装置といえば、ＣＲＴがその代名詞とも言えるものであったが、近年では、所謂、液晶ディスプレイ、プラズマディスプレイ、ＦＥＤディスプレイなどが実用化され、様々なタイプのディスプレイが混在する状況となった。

それぞれのタイプは、表示方法が異なる。例えば、液晶デバイスに基づく表示装置（直視型液晶表示装置、液晶リアプロジェクター、液晶フロントプロジェクター等）におけるスキャンの方法は幾つもある。しかし、何れの場合も、夫々の画素部分ごとに光が出力される期間は、１フレームの表示期間の大半を占める。それ故、このような表示装置はホールド型表示装置と言われる。

一方、例えばＣＲＴやＦＥＤなどにおいては、夫々の画素部分ごとに光が出力されるのは、１フレーム中一回でかつ発光時間はフレームの長さに比べて十分短く、通常はおよそ２ｍｓｅｃ以内である。それ故、これらの表示装置はインパルス型表示装置と言われる。

さらには、所謂プラズマディスプレイ、フィールドシーケンシャルディスプレイなど前記の分類とは異なるタイプの表示装置もある。

夫々のタイプの表示方法は、次に示すような特徴をもっている。

（１）ホールド型表示装置
このタイプの表示装置は、フレーム時間内のほとんどの時間において発光する。そのため光強度の時間的偏りが少ない。このためフリッカーがほとんど観測されない。また、追従視（動画像において、動く部分を視線で追いかける見方）を行うと、フレーム内で発光期間の長さに応じて動きぼけが相対的に大きく観測される。なお、ここで言う「動きぼけ」は、表示デバイスの応答特性に起因するものとは異なるものである。

（２）インパルス型表示装置
このタイプの表示装置は、フレーム期間内で発光する時間が非常に短いので、光強度の時間的偏りが大きい。このためフレームに同期したフリッカーが観測される。しかし、追従視における動きぼけは、ほとんど観測されず、静止している部分とあまり差の無い解像度が得られる。

一般に表示装置における発光の期間は表示方式、表示デバイスごとに異なり上記（１）、（２）は発光期間の長い短いで両極端に位置付けられる。また、それぞれの方式における発光期間（前記ホールド時間に相当）が長いほど、追従視における動きぼけは大きく、発光期間が短いほどに動きぼけは少ない。つまり、発光期間と動きぼけの大きさは概ね比例する。一方、フレームに同期したフリッカーに関しては前記発光期間が長いほど小さく、発光期間が短いほど大きく観測されるものである。すなわちこの両者の要因は、トレードオフの関係にあると言える。

これら２つの課題を同時に解決する方法が、フレーム周波数をＮ倍化することである。実際には多くの場合、Ｎ＝２すなわち倍速化である。フレーム周波数を倍速化することにより、それぞれの倍速フレームにおける発光時間は半分になる。従って動きぼけも約半分になる。一方、フリッカーに関しても例えばもとのフレーム周波数が仮に６０Ｈｚの場合、倍速化して１２０Ｈｚにすることにより、フリッカーの周波数を人間の目の応答特性の範囲外に追いやることができフリッカーは観測されない。

このようにフレーム周波数の倍速化（一般化するとＮ倍化）の効果は大きいのであるが、新たな問題がある。

例えば、もとの画像信号のフレーム周波数が６０Ｈｚの場合、画像の情報は１／６０秒単位に画像が更新される。従って、これを倍速化して１２０Ｈｚの表示を行う場合、必要とする画像の情報が一枚おきに欠落した状態となる。その対策としてまず考えられるのは、例えば倍速であれば同一の画像を２回ずつ表示することである。しかしながら、これではフリッカーは解決できるが、動きぼけに関してはもとの画像と同じである。また、インパルス型の場合は追従視にともなって２重の画像が見えてしまう（以下、この現象を「２重ぼけ」という）。

上記動きぼけや二重ぼけを軽減し、かつフリッカーを発生させないために、フレーム周波数を倍速化する方法は主なものとして二つある。

第１の方法は、もとの画像のオブジェクトの動きを検出して２つのフレーム間の画像を推定算出する方法である。一般に動き補償による中間画像作成方法などと言われる。この第１の方法は特定の条件において推定を間違うという問題がある。また、計算量が膨大になるなどの問題もある。

第２の方法は、先ず、入力画像に対してフレーム毎にフィルタ処理を行い、動きぼけに大きく関与する空間的高周波成分と、フリッカーに大きく関与する空間的低周波数成分を分離する。そして、前記空間的高周波成分を一方のサブフレーム（元のフレームに対応する２つの倍速フレームの一方）に集中させ、空間的低周波成分を両方のサブフレーム（元のフレームに対応する２つの倍速フレームの両方）に分配して表示する方法である。

本明細書においてはこの方式を「画像を空間周波数で分離してサブフレームに分配して表示する方式」と表現する。

この「画像を空間周波数で分離してサブフレームに分配して表示する方式」としては、特許文献１、２、３として知られている。
特開平６−７０２８８号公報 特開２００２−３５１３８２号公報 ＵＳ２００６／０２２７２４９Ａ１

本発明は、比較的処理の負担の少ない後者（第２の方法）を、更に改善するものである。

ここで、「画像を空間周波数で分離してサブフレームに分配して表示する方式」について考察すると、２つの課題がある。

第１の課題は、実際に追従視したときの表示画像に歪が生ずる点である。そして、第２の課題は、表示装置のもつダイナミックレンジを100％生かしきれないという事である。

第１の課題は、入力画像からフレーム毎に作成した空間的高周波成分と空間的低周波成分のサブフレームへの分配により、それぞれの成分の表示の時間的重心がずれてしまう事に起因すると考えられる。

追従視を行うと、それぞれの像の表示時間が、追従視で観測される像の空間的位置に対応するので、前記時間的重心がずれると追従視して観測される像において空間的重心がずれてしまうこととなる。追従視画像においても通常の画像と同じように空間的高周波成分と空間的低周波成分の空間的重心がずれるとゴーストや尾引きなどの歪のある画像となる。

特許文献１は、元の画像を倍速化して一方のサブフレーム（対応する２つの倍速フレームの一方）の空間的高周波成分を制限し、画像の動きに応じてその制限の有無を制御するというものである。従って、前記高周波成分を制限した場合、その成分の時間的重心は高周波成分が制限されていないサブフレーム側にシフトすることとなる。その結果、入力画像の高周波成分と低周波成分の時間的重心がずれた表示が成されることになり、追従視においてゴーストや尾引きが観測される可能性がある。

特許文献２は、元の画像を倍速化して、２つの倍速フレーム（入力画像のフレームに対する２つのサブフレーム）の空間的高周波成分を動きに応じてそれぞれ増やしたり減らしたりする、というものである。この場合も、空間的高周波成分の時間的重心は高周波成分を増やした側のサブフレーム寄りにシフトすることとなり、上記同様に、追従視においてゴーストや尾引きが観測される可能性がある。

そして、特許文献３は、元の画像を倍速化して、一方のサブフレームの空間的高周波成分を増やし、同じだけ他方のサブフレームの空間的高周波成分を減らすというものである。この場合も空間的高周波成分の時間的重心は高周波成分を増やした側のサブフレーム寄りにシフトすることとなり、上記同様に、追従視においてゴーストや尾引きが観測される可能性がある。

また、第２の課題、すなわち、表示装置のダイナミックレンジを100％は生かしきれない問題は次の通りである。

一方のサブフレームの表示レベルを他方のサブフレームに移動させるとと、表示レベルが増大した方のサブフレームに対して最大表示強度の制限がかかる。このとき、もう一方の表示レベルが減少した方のサブフレームは最大値に達していない。このため、２つのサブフレームのダイナミックレンジを最大に使い切ることが出来ない。

本発明は係る問題に鑑みなされたものであり、簡単な構成により、少なくとも上記第１、第２の課題を解決する技術を提供しようとするものである。

例えば第１の課題を解決する本発明は以下の構成を備える。すなわち、
単位時間当たりｍ個のフレームの入力動画像データを、単位時間当たりＮ（Ｎ≧２）倍したＮ×ｍ個のフレームの出力動画像データとして出力する画像処理装置であって、
前記入力動画像データのうち、着目したフレームの画像を、空間的な高周波成分画像データと空間的な低周波成分画像データとに分離するフィルタ手段と、
前記フィルタ手段で得られた各空間な周波数成分の画像データを一時的に記憶する記憶手段と、
前記記憶手段に記憶された前記高周波成分画像データ、及び、前記低周波成分画像データをＮ回読み出す読み込み手段と、
前記Ｎ回の読込みにおいて、前記高周波成分画像データと前記低周波成分画像データの時間的重心が一致し、かつ、前記高周波成分画像データの時間的分散が前記低周波成分画像データの時間的分散よりも小さくなるように設定された所定の乗算係数を前記高周波成分画像データと前記低周波成分画像データに乗算する乗算手段と、
前記読み込み手段で前記高周波成分画像データ、及び、前記低周波成分画像データを読み込む度に、前記乗算手段による乗算後の高周波成分画像データと前記低周波成分画像データとを加算する加算手段と、
前記加算手段による加算した画像データを出力する出力手段とを備える。

本発明によれば、簡単な処理で、例えばホールド型表示装置では、動きぼけを小さくすることが可能であり、インパルス型表示装置においてはフリッカーを減少させることが可能となる。また、追従視におけるゴーストや尾引きなどの歪みの発生を抑制することも可能になる。更に、他の発明によれば、輝度の低下、あるいは一方のサブフレームのレベルが飽和することによる画質的な弊害が起こらないようにすることも可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

先ず、本発明の実施形態の理解を容易にするため、図４乃至図６を参照し、従来技術を説明する。

図４に示す従来例においては、入力されるフィールド画像を切り替えながら２つのフィールドメモリに一時的に保存することにより倍速化し、これをスイッチＳＷ０によって倍速で交互に切り替えることにより、元の信号を倍速化する。このときに一方のサブフレームに対して空間周波数の高周波成分を抑圧する。その結果、前記サブフレーム（図中ＳＬで表現）は相対的に空間的高周波成分が少なく、また他方のサブフレーム（図中ＳＨで表現）には相対的に空間的高周波成分が多いこととなる。この結果、出力画像において一方のサブフレームに空間的高周波成分が局在することとなり、動きぼけを改善することができる。

図５に示す従来例においては、入力される画像をフレームコンバータで倍速化し、さらにフィルタＬＰＦ／ＨＰＦによって空間的低周波成分Lowと空間的高周波成分Highとに分離する。さらに前記Highを倍速フレームごとに（または入力画像のフレームから見ると一方のサブフレームごとに）所定のゲインαをかける。特に一方の倍速フレームにおいてαを正とし他方の倍速フレームにおいてαを負とし倍速フレームごとにαの極性が変わるようにする。また、さらに画像の動きが大きいと判断される時にαの絶対値を大きくする場合もある。このようにすることにより一方の倍速フレーム（または入力画像から見ると一方サブフレーム）ＳＨに空間的高周波成分が局在することとなり、動きぼけを改善することができる。

図６に示す従来例は、入力画像にフィルタＨＰＦをかけて空間的高周波成分データＨ［ｉ］を生成する。さらに入力画像に空間的高周波成分データＨ［ｉ］を加算した高周波強調画像データＳＨ［ｉ］と、入力画像Ａ［ｉ］から空間的高周波成分データＨ［ｉ］を減算した低周波画像データＳＬ［ｉ］を生成する。そして、これらをスイッチＳＷ０によって入力画像のフレーム周波数の倍の頻度で切り替えることにより、一方の倍速フレーム（入力画像のフレームから見ると一方のサブフレーム）に空間的高周波成分を集中させた倍速画像を出力する。これによって動きぼけを改善することが出来る。

ここで、これらの従来例においては、対応する２つの倍速フレーム（または入力画像から見ると一方のサブフレーム）、すなわちフレームＳＨ、ＳＬはいずれも入力した１フレームを元に作成されている。従って、例えばフレームＳＨを先に、フレームＳＬを後に表示した場合、入力画像の一つのフレームのうちの空間的高周波成分はフレームSHに多く含まれるために、空間的高周波成分は時間的に前にシフトする。一方、空間的低周波成分はＳＨ、ＳＬ両者に分配されるため時間的なシフトは無い。従って前記空間的高周波成分は空間的低周波成分に対して相対的に時間的に前方にシフトすることとなる。

動画において画像の移動部分に対して追従視を行った場合、前記時間的に前にシフトすることは、追従視を行って観測される像においては移動方向に空間的にシフトすることに対応する。従って、この場合は追従視によって観測される像における空間的高周波成分が空間的低周波成分に対して移動方向に少しずれた像となる。このような場合、ゴーストや尾引きがある像として観測される。

＜第１の実施形態＞
本第１の実施形態では、先に示した第１の課題を解決するものである。すなわち、本第１の実施形態においては、空間的高周波成分画像データと空間的低周波成分画像データの表示（出力）における相対的時間的ずれを無くすことができる。これにより、本第１の実施形態では、追従視を行ったときに観測される像においてゴーストや尾引きが発生しない、もしくはそれを軽減するものである。

図１は第１の実施形態における画像処理装置のブロック構成図である。

同図は、動画像データをフレーム単位に入力し、１つのフレームの入力動画像データから２つのサブフレーム（２倍速の動画像データ）を生成するものである。ここで、１つのフレームの入力動画像データをＡ[ｉ]、入力動画像データＡ［ｉ］の空間的高周波成分データをＨ[ i ]（空間的高周波成データ）とする。また、空間的低周波成分データ（空間的低周波成分画像データ）をＬ[ i ]、交互に出力されて倍速画像を実現するところの倍速フレーム（またはサブフレーム)の一方をＳＨ[ i ]、他方をＳＬ[ i ]とする。いずれも[ｉ]は、入力画像におけるｉ番目にフレームに対応する番号である。

ローパスフィルタ１（以下、ＬＰＦ１）は２次元のローパスフィルタである。このフィルタは特に関数を規定するものではないが、例えばガウス関数でもよいし、移動平均あるいは重み付けした移動平均でもよい。以下説明のために、フィルタ係数の最大値の１／２になる実効的距離を「距離定数：ｄ」と定義する。距離定数ｄは、画像を空間周波数のフィルタで帯域制限するときのカットオフに相当する空間周波数に対応する波長の長さである。ｄの単位はｐｉｘｅｌである。

まず、ＬＰＦ１は、入力画像Ａ［ｉ］から、所定の定数で示される上限空間周波数をカットオフ（濾波）することで、空間的低周波成分データＬ［ｉ］を生成する。減算器２は、次式に従い、元の画像データＡ［ｉ］からＬ［ｉ］を差し引くことにより空間的高周波成分データＨ［ｉ］を算出する。
Ｈ［ｉ］＝Ａ［ｉ］−Ｌ［ｉ］
さらに加算器３は、高周波成分データＨ［ｉ］を、元のＡ［i]に加算することにより、空間的高周波成分の多いサブ画像データ（空間的高周波強調画像データ）ＳＨ［ｉ］を生成する。
ＳＨ［ｉ］＝Ａ［ｉ］＋Ｈ［ｉ］＝Ｌ［ｉ］＋２×Ｈ［ｉ］

フレーム遅延回路４，５は現フレームと次のフレームとの間で演算を行うために、現フレームを１フレーム遅らせるものである。フレーム遅延回路４はスイッチ８のａ側に入る信号とｂ側に入る信号のフレームのずれを解消する。

加算器６はＬＰＦ１で生成されて、１フレーム遅延された、空間的低周波成分データＬ［ｉ−１］（現フレーム）と次のフレームのＬ［ｉ］とを加算する。

除算器７は、加算器６からの画像データを“２”で除算することで、その平均値を算出し、低周波平均画像データＳＬ［ｉ−１］として出力する。
ＳＬ［ｉ−１］＝｛Ｌ［ｉ−１］＋Ｌ［ｉ］｝／２

また加算器３で計算されたＳＨ［ｉ］をＳＬ［ｉ−１］にあわせるため、ＳＨ［ｉ］はフレーム遅延回路４で１フレーム遅延されてＳＨ［ｉ−１］となる。

このように作成されたＳＨ［ｉ−１］とＳＬ［ｉ−１］をスイッチ８によって、入力される画像の倍の周波数で切り替えて順番に出力する。これに一方のフレームに空間的高周波成分を局在させた倍速画像信号を出力させることができる。この結果、動きぼけが少なくかつフリッカーの発生も少ない画像を実現することができる。

尚、本発明の実施形態における演算や定義は原則的に、表示される輝度（表示される光強度）に対しての概念として説明している。従って、本実施形態における画像の波形などを表す図は、全て縦軸を輝度として表現している。このため、本発明は、表示される輝度（表示される光強度）に比例するデータとして定義される画像データに対して適用する場合が、最も効果的である。しかしながら、本発明は、必ずしも、このような場合のみを限定しているわけではない。本発明は、一般的に使用される範囲の画像データ（表示輝度又は光強度とデータの値の間に若干の非線形性をもつ画像データ）に対して適用する場合も対象としている。このような場合でも、本発明の考え方が近似的に成り立ち、いずれの場合も十分効果的である。

さて、図１ではＬＰＦ１を用いる例を示したが、ハイパスフィルタ（ＨＰＦ）を用い、図１と等価の回路構成にした例を図２に示す。

図２における符号１１が、ハイパスフィルタ（以下、ＨＰＦ）である。図２は、図１のＬＰＦ１と図２のＨＰＦ１１との間でＡ［ｉ］＝Ｈ［ｉ］＋Ｌ［ｉ］ の関係が成り立っている事を条件とした回路構成である。図示の符号１２は減算器、１３及び１６は加算器、１４及び１５はフレーム遅延回路、１７は除算器、１８はスイッチである。各構成要素は、図示の配置から、十分に理解できるであろうから、その詳述は不要であろう。

図３は本第１の実施形態における、入力画像Ａ［ｉ］と、出力画像ＳＨ［ｉ］、ＳＬ［ｉ］との対応関係を表したものである。上から下に向かってフレームの順番（時間の流れ）を表現している。ただし、出力画像は対応する入力画像に対して時間的に少なくとも１フレーム遅れて出力される。

出力画像ＳＨ［ｉ−１］、ＳＨ［ｉ］、ＳＨ［ｉ＋１］は、それぞれ入力画像 Ａ［ｉ−１］ 、Ａ［ｉ］、Ａ［ｉ＋１］に対応している。構成する要素もすべて入力画像の対応するフレームから計算されている。一方、例えば出力画像ＳＬ［ｉ］の構成要素Ｌ［ｉ］、Ｌ［ｉ＋１］は、それぞれＡ［ｉ］、Ａ［ｉ＋１］から計算されたものであり、ＳＬ［ｉ］はその平均値となるようにしている。

このような関係にしておけば、Ａ［ｉ］の空間的低周波成分データであるＬ［ｉ］は、その１／２がＳＨ［ｉ］として出力（表示）され、さらにＳＬ［ｉ−１］とＳＬ［ｉ］で１／４ずつ表示されることとなる。

従って、Ｌ［ｉ］の表示の時間的重心は、ＳＬ［ｉ−１］ とＳＬ［ｉ］の中間、すなわちＳＨ［ｉ］が表示される期間の中央の時間となる。一方、Ａ［ｉ］の空間的高周波成分として計算されるＨ［ｉ］は、その全てがＳＨ［ｉ］で表示されるので、Ｈ［ｉ］の表示の時間的重心はＳＨ［ｉ］が表示される期間の中央の時間となる。その結果、Ｌ［ｉ］とＨ［ｉ］の表示の時間的重心が一致する。すなわち、追従視において観測される像においてゴーストや尾引き等の歪が発生することを防止するという目的を実現することができる。

＜ＳＨとＳＬの順番について＞
本実施形態においては、一つの入力データＡ［ｉ］に対応する，２つのサブフレームの信号ＳＨ［ｉ］ＳＬ［ｉ］について、ＳＨを先に表示し、ＳＬを後から表示するように出力することを前提に説明している。例えば図２８などもそのような順番を明示的に示した表である。しかしながら、本発明はこの順番をどちらか一方に限定するものではない。この順番は逆でもよく、この順番が逆の順番であっても本質的に同じであり、効果も同じである。

以下、本実施形態の説明で用いているようにＳＬが後から出力される場合の順番を「正の順番」、逆にＳＬが先に出力される場合の順番を「逆の順番」と呼ぶ。

「正の順番」の場合、ＳＬは着目フレームの低周波成分と一つ後のフレームの低周波成分を参照して平均値をとる。実際には、一つ後のフレームが入力されるまで１フレーム待って、一時保存されている現フレームと新規入力されたフレームの平均値をとることとなる。従って、出力される当該低周波画像は次式のように表現される。
ＳＬ［ｉ−１］＝（Ｌ［ｉ−１］ + Ｌ［ｉ］）／２
一方、「逆の順番」の場合は、ＳＬは着目フレームの低周波成分と一つ前のフレームの低周波成分を参照して平均値をとる。従って、出力される低周波画像は次式にように表現される。
ＳＬ［ｉ］＝（Ｌ［ｉ］ + Ｌ［ｉ‐１］）／２
上記、２つの式は出力のフレーム番号が１つだけ違うだけであり、形は同じである。

いずれにしても、一つの低周波画像データＳＬは、そのサブフレームを挟む両隣のサブフレームＳＨに反映される低周波成分画像の平均値である。

なお、従来例においては図９や図１１に示すように、追従視像に左右非対称の歪が発生することを説明した。この歪の形が、「正の順番」と「逆の順番」で異なる。具体的には左右を反転した関係となる、とくに尾引き歪については、その方向が、左右で反対方向となる。

＜第１の実施形態の詳細な動作説明＞
なお、本実施形態においては、Ｎ＝２であり、また、空間周波数の帯域も高周波Ｈと低周波Ｌの２帯域である。しかし、本発明は、入力される画像のフレーム周波数をＮ倍し（あるいはＮ個のサブフレームに分けて）、かつ、入力される画像を複数の空間周波数の帯域に分けても構わない。この場合、上記の複数の帯域のなかで空間周波数が高い方のものほど時間的に集中させ、空間周波数の低い方のものほど時間的に分散させ、なおかつ、時間的重心を一致させるようにすれば良い。よってＮは２以上でもよいし、入力される画像を複数の空間周波数の帯域に分けてもよい。

ここで、この空間的高周波成分Ｈと空間的低周波成分Ｌに対して上記のような条件を満たして、またＨを一つのサブフレームに集中させるなどするためには、分配するサブフレームの数は奇数でなければならず、最小で３である。本実施形態は、Ｎ＝２で、フレームを倍速化したことによるサブフレームによって表示するのであるが、一つの入力画像は、前記サブフレーム３つにまたがって分配されている。すなわち、分配するサブフレーム数をＮｄとするとＮｄ＝３である。本実施形態では入力画像において互いに隣接するフレームは、前記分配するサブフレームとして両端の一つを共有することによりこの関係（Ｎ＝２、Ｎｄ＝３）を両立させている。このように、Ｎが偶数のときには、奇数のＮｄ（Ｎｄ≧Ｎ）個に各成分を分配し、隣接するフレームと例えば一つのサブフレームを共有する。また、そのサブフレームの係数は、それぞれもとの分配の係数を加算した値とする。このようにすることにより、ＮとＮｄの不一致を解消する。また、この加算値が、同じ空間周波数成分の他のサブフレームの係数を超えないようにしなければならない。

図２８は、本実施形態における、それぞれの画像の相対関係を示す図である。すなわち図２８は図１の動作をフレームの推移に従って忠実に表現したものである。図の横方向はフレームの推移を表す。縦方向は、画像ないし画像成分の種類を表す。１行目は、左から順に一枠ごとに入力画像の１フレームを示す。２行目以降は左から順に１列ごとにサブフレームを表す。入力画像Ａに対して出力画像は１フレーム遅延しているので、本図においても１行目に対して２行目のｉの値は１だけ少なくなっている。

図２８の１行目は入力画像Ａ、２行目は出力されるサブフレームを表す。３行目から７行目はそれぞれのフレームの入力画像Ａに対して、フィルタで抽出した空間的高周波成分Ｈと空間的低周波成分Ｌとをそれぞれ係数をかけて示す。８行目は、２行目のサブフレームにおける合算出力の成分の内訳である。

図２８の１行目で示すＡ［ｉ］に対応する各周波数成分は５行目の４列〜６列である。この部分の詳細を図２９に示す。このように、それぞれのフレームの入力画像が、図２８のような係数で３つのサブフレームに分配（乗算）される。図２９では、ＧＬ１〜３を｛０．５，１，０．５｝、ＧＨ１〜３を｛０，２，０｝としている。

図３０に本実施形態の変形例を示す。図３０と図１は同一機能である。図１は本実施形態を最もシンプルな形で表したものであるのに対し、図３０は、図２８に従って入力画像Ａが、フレームごとに所定の比率で３つのサブフレームに分配される様子などがわかるように表したものである。また、図３０で、図中の乗算器の係数を所定の条件を守りつつ適宜変更することにより、図１とは異なる構成例を実現することができる。

図３０のブロック図を説明する。５０は入力されたフレーム同期信号（例えば６０Ｈｚ）を２逓倍して１２０Ｈｚの同期信号ｃｌｋ２を作る２逓倍回路である。５３は、入力画像を空間的高周波成分と空間的低周波成分に分けるフィルタであり、図１のＬＰＦ１と減算器２の組み合わせに相当する。スイッチ５１、５２は、Ａ［ｉ］のフレーム同期信号が入力されるごとに、出力端子（０）→（１）または（１）→（０）のように切り替える。

スイッチ５８乃至６１は、２逓倍回路５０の出力であるｃｌｋ２が入力されるごとに、その４つの出力端子を、（１）→（２）→（３）→（４）→（１）…の順に１ステップずつ切り替える。スイッチ５８とスイッチ５９は互いに同一の番号のチャンネルが接続される。スイッチ６０とスイッチ６１も同様に同一の番号のチャンネルが接続される。ただしスイッチ５８とスイッチ５９に対して、スイッチ６０とスイッチ６１は、２ステップ分異なる番号のチャンネルに接続される。それぞれのスイッチの出力端子（４）はタイミングを作るためのダミー接続である。これにより、図２８のように動作するために、それぞれのスイッチはｃｌｋ２に従って（１）→（２）→（３）→（４）→（１）→（２）…のように切り替わる。

スイッチ５８乃至スイッチ６１の各チャンネルには所定の係数の乗算器が接続される。それぞれの出力は加算器６２、６３、６４、６５で合算され、さらにそれらが加算器６６で合算される。

スイッチ５８とスイッチ６０の各乗算器の係数の組み合わせは同一である。同様にスイッチ５９とスイッチ６１の各乗算器の係数の組み合わせも同一である。

スイッチ５８とスイッチ６０の各乗算器の係数ＧＨ１〜３は空間的高周波成分に関する係数であって、図２９のＨ成分に示す係数である。スイッチ５９とスイッチ６１の各乗算器の係数ＧＬ１〜３は空間的低周波成分に関する係数であって、図２９のＬ成分に示す係数である。

次に、図３０について信号の流れを説明する。図３０は図２８の４列目のタイミング（すなわちサブフレームＳＬ［ｉ−１］に相当するタイミング）を示している。入力信号Ａ［ｉ］はフィルタ５３によって空間的高周波成分Ｈ［ｉ］と空間的低周波成分Ｌ［ｉ］とに分けられる。分けられた空間的高周波成分Ｈ［ｉ］と空間的低周波成分Ｌ［ｉ］はそれぞれスイッチ５１とスイッチ５２に送られ、それぞれのスイッチの出力端子（１）が選択され、それぞれフレームメモリ５６とフレームメモリ５７に一時保存される。

一方、スイッチ５１とスイッチ５２の出力端子（０）からは、１フレーム前のＨ［ｉ−１］、Ｌ［ｉ−１］がフレームメモリ５４、５５に出力され、これらフレームメモリに一時保存されている。

フレームメモリ５４、５５、５６、５７には、スイッチ５１とスイッチ５２が該当する側に接続されるたびに、新たなデータがフィルタ５３から送られ、内容が更新される。それぞれの保存データは入力画像における２フレームの期間分保持される。またスイッチ５８からスイッチ６１において、それぞれ接続が出力端子（４）から出力端子（１）に変わる直前に、該当するフレームメモリの内容が更新されるようになっている。

このような状態にあって、スイッチ５８からスイッチ６１が上記のように順番に切り替わり、ぞれぞれの出力を全て合算したものが、本実施形態の出力となる。ここで、例えばスイッチ５８、スイッチ５９が（１）→（２）→（３）のように順番に切り替わる場合、これは、図２８のＡ［ｉ−１］に対応する成分、すなわち、４行の２列→３列→４列の順に各空間周波数帯域成分を出力する事を意味する。同様にスイッチ６０，スイッチ６１が（１）→（２）→（３）のように順番に切り替わる場合、これは、図２８のＡ［ｉ］に対応する成分、すなわち、５行の４列→５列→６列の順に各空間周波数帯域成分を出力する事を意味する。

このようにして得られた本ブロック図の出力信号は、図２８の８行目（最下段）に相当する。図３０の中の各乗算器の係数ＧＬ１〜３、ＧＨ１〜３は図２９に示す係数を用いている。この係数を用いる限り図３０は図１と同一機能である。本発明の特徴を満たすには例えばＧＬ１〜３に関して１項目と３項目が等しく、かつ全体の合計が２で、さらに端部の係数の２倍が中央の係数を越えなければよい。従って、ＧＬ１〜３として例えば｛０．４，１．２，０．４｝、あるいは｛０．３，１．４，０．３｝などでも良い。図３０のＧＬ１〜３をこれらのような係数に置き換え場合、第１の実施形態と比較してフリッカーが少し発生するが、歪がさらに少ない実施形態を実現することができる。後者の係数はその傾向がさらに大きい。

以上の結果、第１の実施形態と同様に、動きぼけが少なく、かつ、フリッカーの発生も少ない画像を実現することができる。

＜尾引きの発生理由＞
以下、Ｌ［ｉ］とＨ［ｉ］とで時間的重心がずれると、なぜゴーストや尾引き波形が発生するのかを説明する。ここでは入力画像のフレーム周波数が６０Ｈｚの場合を例に説明する。

まず、図７（ａ）に示すような、輝度の走査ラインが矩形波形をなすような像が、１／６０秒あたりＶ（pixel）だけ移動する場合の追従視を考える。つまり、フレーム間でＶ（pixel）だけ移動するオブジェクトを有する動画像の場合である。

この場合、例えばパルス幅１／６０秒のホールド型表示装置（フレーム周波数６０Ｈｚ）の場合、Ｖ（pixel）幅の動きぼけが観測される（図７（ｂ）の傾斜部がそれに対応する）。

また、例えばパルス幅１／１２０秒のホールド型表示装置（フレーム周波数１２０Ｈｚ）の場合、Ｖ／２（pixel）幅の動きぼけが観測される（図７（ｃ）の傾斜部の幅がそれに対応する）。

インパルス駆動の場合はパルス幅が小さいので、比較的、静止時の波形に近い追従視像がえられる。図７（ｄ）にパルス幅（１／１２００秒）の場合を示す。何れの場合も、傾斜部分の幅で表される動きぼけは、パルス幅に近い値となり、少なくともこの値にはフレーム周波数は直接には関与しない。単にホールド型の場合に、パルス幅＝「１／フレーム周波数」と同じか近い値になると言うだけである。

入力画像ＡをＨＰＦまたはＬＰＦで空間的高周波成分と空間的低周波成分に分ける場合の波形を図８（ａ）乃至（ｃ）に示す。図８（ａ）は入力画像Ａの波形を示している。ＳＨ（＝Ｌ＋２Ｈ）とＳＬ（＝Ｌ）はそれぞれ同図（ｂ）、（ｃ）のような波形となる。ただし、この図８は追従視している場合の波形ではなく静止している像の波形である。したがって動きぼけの影響は無い。

図９（ａ）乃至（ｃ）は、図８（ｂ）、（ｃ）のＳＨ［ｉ］、ＳＬ［ｉ］に対して追従視を行った場合を想定した図である。

夫々の表示期間は１／１２０秒であるから、図７（ｃ）に示すパルス幅１／１２０秒に相当する動きぼけを示すような波形となる。ここで、従来例ではＳＨ［ｉ］はＳＬ［ｉ］と同一のフレームから作成しているため、それらは同一時間のものである。これに追従視を行った場合、ＳＬ[ｉ]がＳＨ［ｉ］に対してフレーム時間に移動する距離の半分（すなわちＶ／２）だけ像の移動方向と反対の方向にずれて形成される。

実際には図９（ａ）、（ｂ）のＳＨ［ｉ］とＳＬ［ｉ］は１／１２０秒ごとに交互に表示される。従って、実際に人間の視覚に認識されるときには、図９（ｃ）の合成波形が認識される。この波形は図７（ｃ）の波形に比較して、尾引きのある波形となっている。本実施形態は、この歪を改善するものである。

本実施形態においては、図３に示すように、例えば、ＳＨ[ i ] とＳＨ［ｉ＋１］の間で表示されるＳＬ［ｉ］ は、それぞれに対応する空間的低周波成分の平均値、すなわち ｛Ｌ［ｉ］＋Ｌ［ｉ＋１］｝／２で構成している。ここで図９と同様に、ＳＨ［ｉ］（＝Ｌ［ｉ］＋２×Ｈ［ｉ］）、ＳＬ［ｉ］（＝｛Ｌ［ｉ］＋Ｌ［ｉ＋１］｝／２）、及び、その追従視波形を図１０（ａ）乃至（ｃ）に示す。

ここまで述べてきたように、追従視を行った場合、Ｌ［ｉ］ は、１／１２０秒早く表示されるＳＨ［ｉ］と同じフレームの入力画像から作成しているので、フレーム当たりの移動距離の半分（Ｖ／２）だけ像の移動方向と反対の方向にずれて形成される。一方、Ｌ［ｉ＋１］は、１／１２０秒遅く表示されるＳＨ［ｉ＋１］と同じフレームの入力画像から作成しているので、フレームの移動距離の半分（Ｖ／２）だけ像の移動方向と反対方向にずれて形成される。従って、図１０（ｂ）に示すように、それらを足して、２で割った波形ＳＬ［ｉ］（＝｛Ｌ［ｉ］＋Ｌ［ｉ＋１］｝／２）は、時間的重心としてはほぼＳＨ［ｉ］と同じ位置にして形成される。

実際には図１０（ａ），（ｂ）のＳＨ［ｉ］とＳＬ［ｉ］は１／１２０秒ごとに交互に表示されるので、実際に人間には、その合成波形（図１０（ｃ））が視覚される。この波形は従来例の図９（ｃ）の波形に比較して左右対称で、尾引きの無い波形となっている。この尾引きの歪みが改善されることが本実施形態の効果である。

尚、ここまでは、パルス幅がフレーム周期に等しいホールド型表示装置でフレーム周波数６０Ｈｚの入力画像を倍速化して表示する場合を例に説明してきた。しかしながら、インパルス型でも従来例としての課題、本実施形態としての効果は同じである。

例えばインパル型表示装置でパルス幅がフレーム周期の１／１００の場合、すなわち入力画像がパルス幅１／６００秒（１．６７ｍｓｅｃ）で、フレーム周波数６０Ｈｚであるとする。これを倍速化したとき、そのパルス幅は、さらにその半分（１／１２００秒（＝０．８３ｍｓｅｃ））であるような場合を考える。

この場合、従来例の追従視波形は図１１（ａ）乃至（ｃ）、本実施形態の追従視波形は図１２（ａ）乃至（ｃ）のようになる。ここで、図１１（ａ）乃至（ｃ）は、図９（ａ）乃至（ｃ）に対応し、図１２（ａ）乃至（ｃ）は図１０（ａ）乃至（ｃ）に対応する。

図９（ａ）、図１０（ａ）のＶ／２は動きボケの要因であるパルス幅に対応する距離に相当するので、図１１（ａ）、図１２（ａ）ではＶ／２０に置き換えられる。図９（ｂ）、図１０（ｂ）のＶ／２は、フレームの時間差に対応する距離に相当するので図１１（ｂ）でも図１２（ｂ）でも同じＶ／２である。

＜第１の実施形態の変形例＞
上記第１の実施形態と等価の処理を、コンピュータプログラムで実現する例を説明する。このコンピュータプログラムを実行する装置は、パーソナルコンピュータ等の情報処理装置（以下、ＰＣという）で良い。ＰＣのハードウェアについては説明するまでもないであろう。但し、以下では、単位時間当たりｍ個のフレームの動画像データファイルはハードディスク等の記憶装置（もしくは記憶媒体）に既に格納されているものとする。そして、本変形例のアプリケーション（コンピュータプログラム）を実行するＣＰＵは、そのファイルから、単位時間当たり２倍の２ｍ個のフレームで再生すべき動画像データに変換し、その変換結果をハードディスクにファイルとして保存する例を説明する。また、変換対象動画像データは記憶装置に格納され、倍速変換後の動画像データも記憶装置に格納されるものであるから、本アプリケーションは倍速変換結果を表示する必要はない。つまり、ＣＰＵは、変換対象動画像データで表わされる動画像のフレームレートに同期して処理する必要もない点に注意されたい。また、変形例のアプリケーションは、やはりハードディスクに格納されており、ＣＰＵがＲＡＭにロードし、実行するものである。

図２７は、本アプリケーションの処理手順を示すフローチャートである。以下、同図に従って、ＣＰＵの実行処理手順を説明する。なお、以下の説明で、メモリ領域Ａ，Ｂとは、ＲＡＭに確保された領域である。

先ず、ステップＳ１において、ＣＰＵは変換対象の動画像データファイルから、１フレーム分の画像データＡ［ｉ］をＲＡＭに読込む。符号化されている場合には、対応する復号処理を行なう。

ステップＳ２では、ＣＰＵは、予め設定されたＬＰＦを用いて、入力した１フレームの着目画像データＡ［ｉ］のフィルタ処理を行ない、空間的低周波成分データＬ［ｉ］を生成する。

次いで、ステップＳ３に進み、ＣＰＵは空間的高周波成分データＨ［ｉ］を生成する。Ｈ［ｉ］＝Ａ［ｉ］−Ｌ［ｉ］

ステップＳ４では、ＣＰＵは高周波強調画像データＳＨ［ｉ］を生成し、それを一時的にＲＡＭに格納する。
ＳＨ［ｉ］＝Ａ［ｉ］＋Ｈ［ｉ］＝Ｌ［ｉ］＋２×Ｈ［ｉ］
ステップＳ５では１フレーム前のＳＨ［ｉ−１］を現フレームとしてメモリ領域Ａから読み出す。

ステップＳ６では次の入力フレームに対する処理に備え、ＳＨ［ｉ］をメモリ領域Ａに保存する。

ステップＳ７では１フレーム前のＬ［ｉ−１］を現フレームとしてメモリ領域Ｂから読み出す。

ステップＳ８では次の入力フレームに対する処理に備え、Ｌ［ｉ］をメモリ領域Ｂに保存する。

ステップＳ９では、ＣＰＵは、低周波平均画像データＳＬ［ｉ］を生成する。
ＳＬ［ｉ−１］＝｛Ｌ［ｉ−１］＋Ｌ［ｉ］｝／２
こうして、高周波強調画像データＳＨ、低周波平均画像データＳＬが生成されると、ＣＰＵはステップＳ１０に処理を進める。このステップＳ１０では、ＣＰＵは、生成された２つの画像データ（サブフレーム）を出力動画像データとして出力する。

先のステップＳ５で利用したＳＨ［ｉ−１］は、前回のステップＳ６の処理結果を利用していることになる。先のステップＳ７で利用したＬ［ｉ−１］は、前回のステップＳ８の処理結果を利用していることになる。なお、最初のフレームの画像データを倍速変換する場合、それ以前のフレームの低周波画像データは存在しない。その際には、適当な画素値であるものと見なして処理を行なうものとする。

この後、ステップＳ１１にて、ＣＰＵは、変換対象の動画像データファイルの全フレームについて変換したか否かを判定する。この判定は、変換対象の動画像データファイルのファイルエンドを検出したか否かで良いであろう。

ステップＳ１１にて、Ｎｏと判定した場合には、変数ｉを“１”だけインクリメントし、ステップＳ１以降の処理を繰り返す。

一方、ステップＳ１１にて、Ｙｅｓと判定した場合には、一連の倍速変換処理を終了する。

以上説明したように、第１の実施形態と比較し、変換処理速度はＣＰＵに依存したものとなるものの、第１の実施形態と同等の作用効果を奏する倍速動画像データファイルを作成することが可能になる。

＜第２の実施形態＞
本第２の実施形態は先に示した第２の課題を解決する例を説明する。図１７は第２の実施形態における画像処理装置のブロック構成図である。図１と同等の構成については、同符号を付し、その説明は省略する。

第２の課題は、入力画像に対してフレーム毎にフィルタ処理を行い、動きぼけに関与する空間的高周波成分と、フリッカーに関与する空間的低周波成分を分離した場合の問題である。すなわち、空間的高周波成分を一方のサブフレームに集中させ、前記空間的低周波成分を両方のサブフレームに分配して表示する方法の場合、その表示装置のもつダイナミックレンジを100％生かせないという問題である。

ここで、上記一方のサブフレームとは入力画像のフレームに対応する２つの倍速フレームの一方のことであり、上記両方のサブフレームとは入力画像のフレームに対応する２つの倍速フレームの両方のことである。

このような表示方法では、図１３のホールド型、図１４のインパルス型などのように空間的高周波成分（斜線部）を一方のサブフレームに集中させる。従って、例えば輝度の大きい画像を表示する場合、ＳＨ［ｉ］を表示しているサブフレームにおいて先に飽和が起こる。一方、ＳＬ［ｉ］を表示するサブフレームは前者が飽和しても、まだ飽和に至らないレベルにあることとなる。このため、フレーム全体が同時に飽和レベルになり、通常の表示方法（図１５、図１６）に比較して最大表示輝度が小さくなる。従って、実際に飽和を回避するためには、もとの画像信号に対して１より小さい比率をかけ算しなければならない。以下、この比率をｋ（０．５≦ｋ≦１）とする。なお、先に説明した第１の実施形態では、飽和を考慮しない例であり、見方を変えればｋ＝１の場合とした例とも言える。

輝度の低下を防ぐには、ｋをできるだけ“１”に近い値にとる必要がある。そのためには、図１３、図１４の斜線の部分の絶対値をできるだけ小さくして輝度の偏りを小さくする必要がある。なお、図１３、図１４の斜線の部分は正である場合もあるし、負である場合もある。図１３、図１４では、簡単のために正の場合を表現した。

このためには、ＬＰＦまたはＨＰＦの距離定数ｄをできるだけ小さくする。すなわち空間的低周波成分と空間的高周波成分を切り分ける空間周波数を高く、換言すれば、フィルタの距離定数を小さくして、高周波成分の絶対値を小さくする必要がある。

一方、この距離定数ｄを小さくし過ぎると、図９（ｃ）や図１０（ｃ）に見られるオーバーシュートの部分が目立つようになる。ｄが十分大きい場合、図１０（ｃ）の波形は、図７（ｃ）の波形に近くなる。また、このオーバーシュートは、追従視する対象となる像の動きの速さが大きいほど目立つようになる。すなわち、波形を再現するうえで必要最低限のｄの値というのは、入力画像において、どの程度の速さのものまで追従視の対象として考えるということでもある。

第２の実施形態では、入力画像の中の動きの速い部分に対しては、距離定数ｄの値を大きく設定し、動きの遅い部分に対しては距離定数ｄの値を小さく設定する。すなわち本第２の実施形態では、距離定数ｄを入力画像の空間周波数分布と、個々の部分の移動速度を考慮して、画像の領域ごとに適応的に決めると言うものである。

図１７に示すように、本第２の実施形態では、適応型多段階ローパスフィルタ２０を用いる。この適応型多段階ローパスフィルタの具体的な構成を図１９に示す。この適応型多段階ローパスフィルタ２０は、段階構造を成す複数のＬＰＦから構成される。

図１９は、段数＝４の例で、現フレームに対して、フィルタ処理を行なう４つのローパスフィルタを示している。図示の如く、４つのＬＰＦ２３、ＬＰＦ２６、ＬＰＦ２９、ＬＰＦ３１が数珠繋ぎになっている。これら複数のＬＰＦ（２３、２６、２９、３１）が第１のフィルタ部として機能する。同様に、前フレームに対しても３つのＬＰＦ２２、２４、２８が数珠繋ぎになっている。これら複数のＬＰＦ（２２、２４、２８）が第２のフィルタ部として機能する。ローパスフィルタＬＰＦ２２とＬＰＦ２３は同じ距離定数を用いる。ＬＰＦ２４とＬＰＦ２６も同じ距離定数を用いるように設定されている。そして、ＬＰＦ２８とＬＰＦ２９についても同じ距離定数が設定されている。各ローパスフィルタＬＰＦｎ（ｎ＝１、２、３、４）の距離定数を、その添え番号順にｄｎ（ｎ＝１、２、３、４）と定義したとき、その添え字の番号が進むほど距離定数は大きい値に設定する。つまり、添え字の番号順、つまり、数珠繋ぎの下流に位置するフィルタほど、濾波する周波数範囲の上限空間周波数が低くなる。従って、この距離定数は、フィルタリングする際の上限空間周波数を特定する情報とも言える。

ここでまず、図１９中の各ブロックの機能を説明する。

遅延回路（以下、ＤＬ）２１は、１フレーム分だけ、入力した画像データを遅延し、出力する。実際、このＤＬ２１は、１フレーム分の画像データを格納するＦＩＦＯメモリで構成すればよい。従って、適応型多段階ローパスフィルタ２０が入力する現フレームの画像データをＡ［ｉ］としたとき、ＤＬ２１から出力されるのは前フレームの画像データＡ［ｉ−１］となる。

ＬＰＦ２２、２３は、距離定数ｄ１に従って、入力した画像データのフィルタリング処理を行なう。

ＬＰＦ２４、２６はそれぞれ上流のＬＰＦ２２、２３からの信号Ｌ１［ｉ-１］とＬ１［ｉ］、および差分比較器２５から出力される領域データＡＲＥＡ１を入力データとして受け付ける。また、予め距離定数ｄ２が設定されている。ＬＰＦ２４、２６では、それぞれ前記Ｌ１［ｉ-１］とＬ１［ｉ］に対して、前記領域データＡＲＥＡ１で示される領域の画素に対して、距離定数ｄ２に従ってフィルタリング処理を行う。ここで、フィルタリング処理の対象となるのは前記領域であるが、この処理により画像データが変化する範囲は前記領域よりも距離定数ｄ２の分だけ広がった領域となる。このようなフィルタリング処理を行った結果をそれぞれＬ２［ｉ-1］とＬ２［ｉ］として出力する。

ＬＰＦ２８、２９はそれぞれＬＰＦ２４、２６からの信号Ｌ２［ｉ-１］とＬ２［ｉ］、および差分比較器２７から出力される領域データＡＲＥＡ２を入力データとして受け付ける。また、予め距離定数ｄ３が設定されている。ＬＰＦ２８、２９では、それぞれ前記Ｌ２［ｉ-１］とＬ２［ｉ］に対して、前記領域データＡＲＥＡ２で示される領域の画素に対して、距離定数ｄ３に従ってフィルタリング処理を行う。ここで、フィルタリング処理の対象となるのは前記領域であるが、この処理により画像データが変化する範囲は前記領域よりも距離定数ｄ３の分だけ広がった領域となる。このようなフィルタリング処理を行った結果をそれぞれＬ３［ｉ-1］とＬ３［ｉ］として出力する。

ＬＰＦ３１はそれぞれＬＰＦ２９からの信号Ｌ３［ｉ］、および差分比較器３０から送られる領域データＡＲＥＡ３を入力データとして受け付ける。また、予め距離定数ｄ４が設定されている。ＬＰＦ３１では、それぞれ前記Ｌ３［ｉ-1］とＬ３［ｉ］に対して、前記領域データＡＲＥＡ３で示される領域の画素に対して、距離定数ｄ４に従ってフィルタリング処理を行う。ここで、フィルタリング処理の対象となるのは前記領域であるが、この処理により画像データが変化する範囲は前記領域よりも距離定数ｄ４の分だけ広がった領域となる。このようなフィルタリング処理を行った結果を、適応型多段階ローパスフィルタ２０の最終結果Ｌ［ｉ］として出力する。

差分比較器２５はＬ１［ｉ−１］，Ｌ１［ｉ］を入力してその差分の絶対値を画素ごとに計算し、その結果に基づいて領域データＡＲＥＡ１を算出する。また、判定のための定数Ｃ１が予め設定されている。前記ＡＲＥＡ１は前記Ｌ１と同じ形の配列データであり、画素ごとに、前記差分の絶対値が前記Ｃ１より大きい画素に対応するデータを“１”、前記差分値の絶対値が前記Ｃ１より小さい画素に対応するデータを“０”としたものである。
すなわち、画素（ｘ、ｙ）ごとに
｜Ｌ１[ｉ]（ｘ，ｙ）−Ｌ１[ｉ−１]（ｘ，ｙ））｜≧Ｃ１ の場合
ＡＲＥＡ１（ｘ，ｙ）＝“１”
｜Ｌ１[ｉ]（ｘ，ｙ）−Ｌ１[ｉ−１]（ｘ，ｙ））｜＜Ｃ１ の場合
ＡＲＥＡ１（ｘ，ｙ）＝“０”
このようにして定義される領域データＡＲＥＡ１を出力する。

差分比較器２７はＬ２［ｉ−１］，Ｌ２［ｉ］を入力してその差分の絶対値を画素ごとに計算し、その結果に基づいて領域データＡＲＥＡ２を算出する。また、判定のための定数Ｃ２が予め設定されている。前記、ＡＲＥＡ２は前記Ｌ２と同じ形の配列データであり、画素ごとに、前記差分の絶対値が前記Ｃ２より大きい画素に対応するデータを“１”、前記差分値の絶対値が前記Ｃ２より小さい画素に対応するデータを“０”としたものである。
すなわち、画素（ｘ、ｙ）ごとに
｜Ｌ２[ｉ]（ｘ，ｙ）−Ｌ２[ｉ−１]（ｘ，ｙ））｜≧Ｃ２ の場合
ＡＲＥＡ２（ｘ，ｙ）＝“１”
｜Ｌ２[ｉ]（ｘ，ｙ）−Ｌ２[ｉ−１]（ｘ，ｙ））｜＜Ｃ２ の場合
ＡＲＥＡ２（ｘ，ｙ）＝“０”
このようにして定義される領域データＡＲＥＡ２を出力する。

差分比較器３０はＬ３［ｉ−１］，Ｌ３［ｉ］を入力してその差分の絶対値を画素ごとに計算し、その結果に基づいて領域データＡＲＥＡ３を算出する。また、判定のための定数Ｃ３が予め設定されている。前記、ＡＲＥＡ３は前記Ｌ３と同じ形の配列データであり、画素ごとに、前記差分の絶対値が前記Ｃ３より大きい画素に対応するデータを“１”、前記差分値の絶対値が前記Ｃ３より小さい画素に対応するデータを“０”としたものである。
すなわち、画素（ｘ、ｙ）ごとに
｜Ｌ３[ｉ]（ｘ，ｙ）−Ｌ３[ｉ−１]（ｘ，ｙ））｜≧Ｃ３ の場合
ＡＲＥＡ３（ｘ，ｙ）＝“１”
｜Ｌ３[ｉ]（ｘ，ｙ）−Ｌ３[ｉ−１]（ｘ，ｙ））｜＜Ｃ３ の場合
ＡＲＥＡ３（ｘ，ｙ）＝“０”
このようにして定義される領域データＡＲＥＡ３を出力する。

以上の説明を踏まえて、図１９に示す、第２の実施形態の適応的多段階ＬＰＦ２０の動作を以下に説明する。

先ず、概要を簡単に説明すると、次の通りである。

ＬＰＦ２３は毎フレーム毎に必ずすべての領域に対してフィルタリング処理を行なう。そして、ＬＰＦ２３によるフィルタリング結果が不十分な領域がある場合、ＬＰＦ２６によるフィルタリング処理が行われる。更に、不十分な領域がある場合ＬＰＦ２９、ＬＰＦ３１とフィルタリング処理が行われる。

ＬＰＦによるフィルタリングが領域ごとに十分か不十分かの判定は次の通りである。

前フレームの画像データＡ［ｉ−１］についてＬＰＦ２２、ＬＰＦ２４、ＬＰＦ２８によるフィルタリング処理を行なう。そして、現フレームの画像データＡ［ｉ］のフィルタリング結果と、前フレームのフィルタリング処理結果との差分が閾値と比較し、差分が閾値を超える領域を、ＬＰＦによるフィルタリングが不十分である領域と判定する。逆に、差分が閾値以下の領域をＬＰＦによるフィルタリングが十分領域であると判定する。差分が不十分であると判断される領域を示す情報を次の段階のＬＰＦに送り、次の段階のＬＰＦではその領域に対してフィルタリング処理を施す。本実施形態における適応型多段階ＬＰＦ２０は４段階ＬＰＦである。従って、仮に最終的にフィルタリングが不十分であっても、ＬＰＦ３１によるフィルタリング結果が、適応型多段階ＬＰＦ２０の出力である画像データＬ[ｉ]として出力される。

以下、流れに従って本実施形態のフィルタリング処理を説明する。

まず、入力画像Ａ［ｉ］と１フレーム前の入力画像Ａ[ｉ−１]にＬＰＦ２２、２３を施す。すなわち
Ｌ１[ｉ]＝ＬＰＦ１（Ａ［ｉ］）
Ｌ１［ｉ−１］＝ＬＰＦ１（Ａ［ｉ−１］）
なお、実際には、Ｌ１［ｉ−１］は、既に一つ前のフレームの出力処理を行なっているときに算出されているので、それを保存しておきメモリからロードするようにしても構わない。

次に差分比較器２５は、Ｌ１［ｉ−１］とＬ１［ｉ］の差の絶対値を計算し、その絶対値と閾値定数Ｃとを画素（ｘ、ｙ）ごとに比較し、領域データＡＲＥＡ１を作成し、ＬＰＦ２４、２６に送る。

ＬＰＦ２４、２６では、上流から送られるデータＬ１［ｉ−１］とＬ１［ｉ］に対してＡＲＥＡ１で示される領域においてＬＰＦ２のフィルタリングを行う。この処理は例えば次式で示すことができる。
Ｌ２＝Ｌ１−（ＡＲＥＡ１*Ｌ１）＋ＬＰＦ２（（ＡＲＥＡ１*Ｌ１））

ここで（ＡＲＥＡ１*Ｌ１）はＡＲＥＡ１の成分が“１”である画素データは画像データＬ１のデータと同じにして、ＡＲＥＡ１の成分が“０”である画素データは“０”とするような画像データを出力する演算を意味する。このようにして得られたＬ２［ｉ］とＬ２［ｉ−１］をＬＰＦ２８、２９に送る。

ＬＰＦ２８、２９では、上流から送られるデータＬ２［ｉ−１］とＬ２［ｉ］に対してＡＲＥＡ２で示される領域においてＬＰＦ３のフィルタリング処理を行う。この処理は例えば次式で示すことができる。
Ｌ３＝Ｌ２−（ＡＲＥＡ２*Ｌ２）＋ＬＰＦ３（（ＡＲＥＡ２*Ｌ２））

ここで（ＡＲＥＡ２*Ｌ２）はＡＲＥＡ２の成分が“１”である画素データは画像データＬ２のデータと同じにして、ＡＲＥＡ２の成分が“０”である画素データは“０”とするような画像データを出力する演算を意味する。このようにして得られたＬ３［ｉ］とＬ３［ｉ−１］をＬＰＦ３１に送る。

ＬＰＦ３１では、送られるデータＬ３［ｉ］に対してＡＲＥＡ３で示される領域においてＬＰＦ４のフィルタリング処理を行う。この処理は例えば次式で示すことができる。
Ｌ４＝Ｌ３−（ＡＲＥＡ３*Ｌ３）＋ＬＰＦ４（（ＡＲＥＡ３*Ｌ３））
ここで（ＡＲＥＡ３*Ｌ３）はＡＲＥＡ３の成分が“１”である画素データは画像データＬ３のデータと同じにして、ＡＲＥＡ３の成分が“０”である画素データは“０”とするような画像データを作成する演算を意味する。

このようにして得られたＬ［ｉ］を適応型多段階ＬＰＦ２０の出力である画像データとして出力する。

上記は要するに、以下のように表現することができる。

本第２の実施形態における適応型多段階ＬＰＦ２０は、第１のフィルタ部（ＬＰＦ２３、２６、２９、３１）、第２のフィルタ部（ＬＰＦ２２、２４、２８）で構成されている。上流の段階から順番に、両者の対応関係にあるｎ番目のフィルタで得られた画像データどうしの差の絶対値を計算する。さらに、その差の絶対値が所定の閾値Ｃｎ以上の領域があるときに、その領域に対してのみ次の段階のＬＰＦを施す。このようにして最終的に、全領域で、前記差の絶対値が所定の未満となり、なおかつ、それぞれの領域に施されたフィルタリング処理が必要最小限度であるような画像データを作成できる。このような画像データを着目フレームの低周波画像データＬ［ｉ］として出力する。ここで本実施形態ではＣｎは段階ごとに設定できるような構成を例に説明しているが、すべてのＣｎを共通の一つの値Ｃとしてもよい。これは現実的な方法であり十分な効果も得られる。

本第２の実施形態では、図１７に示すように図１の第１の実施形態におけるＬＰＦ１の代わりに、適応型多段階ＬＰＦ２０を用いる例を説明した。しかしながら、図１８に示すように、図６の従来例のＨＰＦを用いる構成の代わりに、第２の実施形態と適応型多段階ＬＰＦと減算器を組み合わせてＨＰＦとすることによって構成することも出来る。

以上、本第２の実施形態では、４段階のＬＰＦを用いる例を説明したが、この段数については多い方が特性が向上する。しかしながら、実際には回路規模、計算負荷等を考慮して、バランスの良い段数に設定するのが望ましい。例えば、最も小規模な場合は、図２０に示すように段数＝２の場合であり、このような構成でも従来技術と比較して遥かに優れた作用効果を奏することが可能である。

なお、上記多段階ローパスフィルタは、画像の部分（例えば動きの速い部分や動きの遅い部分）に応じてフィルタリング処理を行うことが好ましいが、画像全体にフィルタリング処理を行ってもよい。

画像全体にフィルタリング処理をする例を図３１に示す。

ＤＬ２１は、１フレーム分だけ、入力した画像データを遅延し、出力する。実際、このＤＬ２１は、１フレーム分の画像データを格納するＦＩＦＯメモリで構成すればよい。従って、適応型多段階ＬＰＦ２０が入力する現フレームの画像データをＡ［ｉ］としたとき、ＤＬ２１から出力されるのは前フレームの画像データＡ［ｉ−１］となる。

ＬＰＦ２２、２３は、常時アクティブになっていて、距離定数ｄ１に従って、入力した画像データのフィルタリング処理を行なう。

また、ＬＰＦ２４、２６は、差分比較器２５からの判定信号ｄｉｆ＿１が“１”の場合に、アクティブになり、上流のＬＰＦ２２、２３からの画像データを距離定数ｄ２に用いてフィルタリングする。また、差分比較器２５からの判定信号ｄｉｆ＿１が“０”の場合、ＬＰＦ２４、２６は、フィルタリング処理を行なわない。

また、ＬＰＦ２８、２９は、差分比較器２７からの判定信号ｄｉｆ＿２が“１”の場合に、アクティブになり、上流のＬＰＦ２４、２２６からの画像データを距離定数ｄ３に用いてフィルタリングする。また、差分比較器２７からの判定信号ｄｉｆ＿２が“０”の場合、ＬＰＦ２８、２９は、フィルタリング処理を行なわない。

ＬＰＦ３１は、差分比較器３０からの判定信号ｄｉｆ＿３が“１”の場合に、アクティブになり、上流のＬＰＦ２４、２６からの画像データを距離定数ｄ３に用いてフィルタリングする。また、差分比較器３０からの判定信号ｄｉｆ＿３が“０”の場合、ＬＰＦ３１は、フィルタリング処理を行なわない。

差分比較器２５は、ＬＰＦ２２、２３から出力される各画素データをＸ１、Ｘ２としたとき、その差の絶対値｜Ｘ１−Ｘ２｜を算出し、その絶対値と閾値Ｃ１とを比較し、その比較結果を判定信号ｄｉｆ＿１として出力する。

具体的には、
｜Ｘ１−Ｘ２｜≦Ｃ１の条件を満たすとき、ｄｉｆ＿１＝“０”
｜Ｘ１−Ｘ２｜＞Ｃ１の条件を満たすとき、ｄｉｆ＿１＝“１”

差分比較器２７、３０も同様である。但し、差分比較器２７が用いる閾値はＣ２であり、その判定結果はｄｉｆ＿２として出力される。また、差分比較器３０が用いる閾値はＣ３であり、その判定結果はｄｉｆ＿３として出力される。

スイッチＳＷ１は、差分比較器２５からの判定信号ｄｉｆ＿１が“１”の場合に、端子“１”を選択し、判定信号ｄｉｆ＿１が“０”の場合に、端子“０”を選択する。スイッチＳＷ２乃至ＳＷ４も同様である。

以上の説明を踏まえて、図３１に示す、画像全体にフィルタリング処理をするＬＰＦ２０１の動作を以下に説明する。

先ず、概要を簡単に説明すると、次の通りである。

ＬＰＦ２３は毎フレーム毎に必ず処理を行なう。そして、ＬＰＦ２３によるフィルタリング結果が不十分な場合、ＬＰＦ２６によるフィルタリング処理が行われる。更に、不十分な場合はＬＰＦ２９、ＬＰＦ３１とフィルタ処理が行われる。

ＬＰＦによるフィルタリングが十分か不十分かの判定は次の通りである。

前フレームの画像データＡ［ｉ−１］についてＬＰＦ２２、ＬＰＦ２４、ＬＰＦ２８によるフィルタリング処理を行なう。そして、現フレームの画像データＡ［ｉ］のフィルタリング結果と、前フレームのフィルタリング処理結果との差分が閾値と比較し、差分が閾値を超えるとき、ＬＰＦによるフィルタリングが不十分であると判定する。逆に、差分が閾値以下の場合には、その段階でのＬＰＦによるフィルタリングが十分であると判定し、その段階でのフィルタリング処理結果を、適応型多段階ＬＰＦ２０の出力である画像データＬ[ｉ]として出力する。なお、適応型多段階ＬＰＦ２０は４段階ＬＰＦである。従って、最後の差分比較器３０の判定結果ｄｉｆ＿３が“１”の場合には、ＬＰＦ３１によるフィルタリング結果を、適応型多段階ＬＰＦ２０の出力である画像データＬ[ｉ]として出力する。

以下、流れに従って本実施形態のフィルタリング処理を説明する。

まず、入力画像Ａ［ｉ］と１フレーム前の入力画像Ａ［ｉ−１］にＬＰＦ２２、２３を施す。すなわち
Ｌ１[ｉ]＝ＬＰＦ１（Ａ［ｉ］）
Ｌ１［ｉ−１］＝ＬＰＦ１（Ａ［ｉ−１］）
なお、実際には、Ｌ１［ｉ−１］は、既に一つ前のフレームの出力処理を行なっているときに算出されているので、それを保存しておきメモリからロードするようにしても構わない。

次に差分比較器２５は、Ｌ１［ｉ］とＬ１［ｉ−１］の差の絶対値を計算し、その絶対値と閾値定数Ｃ１とを比較する。

｜Ｌ１[ｉ]−Ｌ１[ｉ−１]）｜＜Ｃ１の場合、現フレームのフィルタリング結果Ｌ１［ｉ］は十分であることになるので、差分比較器２５は判定信号ｄｉｆ＿１＝“０”を出力する。この結果、スイッチＳＷ１は出力端子“０”を選択するので、Ｌ１［ｉ］が、適応型多段階ＬＰＦ２０の出力Ｌ［ｉ］として出力される。なお、判定信号ｄｉｆ＿１＝“０”の場合、次段に位置する差分比較器２７は、その判定信号ｄｉｆ＿２を無条件に“０”にするものとする。これは、差分比較器３０も同様である。

一方、｜Ｌ１[ｉ]−Ｌ１[ｉ−１]）｜≧Ｃ２であった場合、現フレームのフィルタリング結果Ｌ１［ｉ］は不十分であることになるので、差分比較器２５は判定信号ｄｉｆ＿１＝“１”を出力する。この結果、ＬＰＦ２４、２６がアクティブになる。また、スイッチＳＷ１は出力端子“１”を選択する。従って、ＬＰＦ２４、２６は、Ｌ１［ｉ］、Ｌ１［ｉ−１］をそれぞれフィルタリング処理を行なうことになる。

次に差分比較器２７は、ＬＰＦ２４、２６からの出力Ｌ２［ｉ］とＬ２［ｉ−１］の差の絶対値を計算し、その絶対値と閾値定数Ｃ２とを比較する。

｜Ｌ２[ｉ]−Ｌ２[ｉ−１]）｜＜Ｃ２の場合、現フレームのフィルタリング結果Ｌ２［ｉ］は十分であることになるので、差分比較器２７は判定信号ｄｉｆ＿２＝“０”を出力する。この結果、スイッチＳＷ２は出力端子“０”を選択するので、Ｌ２［ｉ］が、適応型多段階ＬＰＦ２０の出力Ｌ[ｉ]として出力される。

一方、｜Ｌ２[ｉ]−Ｌ２[ｉ−１]）｜≧Ｃ２であった場合、現フレームの着目画素のフィルタリング結果Ｌ２［ｉ］は不十分であることになるので、差分比較器２７は判定信号ｄｉｆ＿２＝“１”を出力する。この結果、ＬＰＦ２８、２９がアクティブになる。また、スイッチＳＷ２は出力端子“１”を選択する。従って、ＬＰＦ２８、２９は、Ｌ２［ｉ］、Ｌ２［ｉ−１］をそれぞれフィルタリング処理を行なうことになる。

次に差分比較器３０は、ＬＰＦ２８、２９からの出力Ｌ３［ｉ］とＬ３［ｉ−１］の差の絶対値を計算し、その絶対値と閾値定数Ｃ３とを比較する。

｜Ｌ３[ｉ]−Ｌ３[ｉ−１]）｜＜Ｃ３の場合、現フレームのフィルタリング結果Ｌ３［ｉ］は十分であることになるので、差分比較器３０は判定信号ｄｉｆ＿３＝“０”を出力する。この結果、スイッチＳＷ３は出力端子“０”を選択するので、Ｌ３［ｉ］が、適応型多段階ＬＰＦ２０１の出力Ｌ[ｉ]として出力される。

一方、｜Ｌ３[ｉ]−Ｌ３[ｉ−１]）｜≧Ｃ３であった場合、現フレームのフィルタリング結果Ｌ３［ｉ］は不十分であることになるので、差分比較器２７は判定信号ｄｉｆ＿３＝“１”を出力する。この結果、ＬＰＦ３１がアクティブになる。また、スイッチＳＷ３及びＳＷ４は、それぞれ出力端子“１”を選択する。従って、ＬＰＦ３１によるフィルタリング処理結果Ｌ４［ｉ］が、適応型多段階ＬＰＦ２０の出力Ｌ[ｉ]として出力される。

以上の結果、ＬＰＦ２３、２６、２９、３１のいずれか１つのみの出力が、適応型多段階ＬＰＦ２０１の出力Ｌ[ｉ]として出力されることになる。

要するに、以下のように表現することができる。

本第２の実施形態における適応型多段階ＬＰＦ２０は、第１のフィルタ部（ＬＰＦ２３、２６、２９、３１）、第２のフィルタ部（ＬＰＦ２２、２４、２８）で構成されている。上流の段階から順番に、両者の対応関係にあるｎ番目のフィルタで得られた画像データどうしの差の絶対値を計算する。さらに、その差の絶対値と所定の閾値Ｃｎとを比較し、すべての領域で閾値Ｃｎ以下か否かを判定する。この判定が初めて成立したとき（すべての領域でＣｎより小さいと判定されたとき）第１のフィルタ部のｎ番目のフィルタで得られた画像データを、着目フレームの低周波画像データＬ［ｉ］として出力する。

以上が、図３１に示した、画像全体にフィルタリング処理をする多段階ＬＰＦの動作である。また、図２０同様に、係数＝２の場合の画像全体にフィルタリング処理をする多段階ＬＰＦのブロック図を図３２に示す。

以上説明したように本第２の実施形態によれば、第１、第２の課題を解決することが可能になる。

＜第３の実施形態＞
本第３の実施形態では、先に示した第２の課題の解決方法を説明するものである。

先に説明した第２の実施形態では、ＬＰＦの距離定数ｄを適切に制御することにより、高周波成分の比率が必要以上に大きくなることを抑制するものであった。つまり、これによって、表示の輝度レベルが飽和する事（すなわち計算上ＳＨ［ｉ］≧１００％、または、ＳＨ［ｉ］＜０になること）を抑制するものであった。

本第３の実施形態では、上記の処理によっても尚、表示の輝度レベルが飽和する事（すなわち、計算上ＳＨ［ｉ］≧１００％、又は、ＳＨ［ｉ］＜0になること）がおこった場合にも、画像として不具合が発生しないようにすることを提案するものである。すなわち一旦計算したＳＨ［ｉ］、ＳＬ［ｉ］を前記不具合が発生しないように再度補正しなおすものである。

本第３の実施形態では、図６の従来例に適用したものを図２１、図２２に示す。

ここで図６の従来例における、ＳＨ［ｉ］、ＳＬ［ｉ］は下記のように表現することができる。
Ｌ［ｉ］＝ＬＰＦ（Ａ［ｉ］）
Ｈ［ｉ］＝Ａ［ｉ］−Ｌ［ｉ］
ＳＨ［ｉ］＝Ｌ［ｉ］＋２Ｈ［ｉ］
ＳＬ［ｉ］＝Ｌ［ｉ］

本第３の実施形態では、ここまでの計算によって得られたＳＨ［ｉ］、ＳＬ［ｉ］に対し、後述する補正を行ない、その補正後の画像ＳＨ＿０［ｉ］、ＳＬ＿０［ｉ］を生成する。ＳＨ＿０［ｉ］とＳＬ＿０［ｉ］の値は実際に表示される輝度レベルを表すものである。すなわち、ＳＨ＿０［ｉ］とＳＬ＿０［ｉ］は、共に、０〜１００％の値を現実的にとるように補正されたものである。なお、画素値が８ビットで表わされるとしたとき、「１００％」とは、８ビットで表わすことができる上限値の“２５５”である。０％は、文字どおり８ビットの値の下限値“０”である。

まず、図２１、２４に表される各パラメータを定義する。空間的高周波画像データ中の或る画素の値が計算上１００％超える場合は、その超えている部分（超過分）を“ＳＨ＿Ｏｖｅｒ１００”と定義する。ＳＨが計算上負になる場合、すなわち、２Ｈが負の値となり、２Ｈの絶対値がＬより大きい場合、その下限値を下回っている負の部分のを“−ＳＨ＿Ｕｎｄｅｒ０”と定義する。

本第３の実施形態では、図２１に示すように、空間的高周波画像データ中の或る画素がＳＨ＿Ｏｖｅｒ１００を有するとき、その画素からＳＨ＿Ｏｖｅｒ１００を減じ、空間的低周波画像データ中の同一位置の画素にＳＨ＿Ｏｖｅｒ１００を加算する。すなわち、ＳＨ＿Ｏｖｅｒ１００を移動させる。同様に図２２に示すように、−ＳＨ＿Ｕｎｄｅｒ０を埋め合わせるために同じ値を第２サブフレームから第１サブフレームに移動する。

以下に、実際にこのような動作をC言語を例として表現する。
if ( S1＞100 ){
SH_over100 = SH-100 ; SH_under0 = 0 ; SH=100 ; }
else if( SH＜0 ){
SH_over100 = 0 ; SH_under0 = -SH ; SH= 0 ; }
else {
SH_over100 = 0 ; SH_under0 = 0 ; }
SH_0［ｉ］ = SH［ｉ］ - SH_over100 + SH_under0；
SL_0［ｉ］ = SL［ｉ］ + SH_over100 - SH_under0；
このようにすることにより、表示の輝度レベルが飽和した場合（すなわち、計算上ＳＨ［ｉ］≧１００％、または、ＳＨ［ｉ］＜０になった場合）、上記のように補正してＳＨ＿０［ｉ］，ＳＬ＿０［ｉ］に置き換えられる。従って、画像として不具合が発生しないようにすることができる。

本第３の実施形態で説明する方法を、図１の第１の実施形態に適用したものを図２３、図２４に示す。

ここで図１の第１の実施形態においてはＳＨ［ｉ］、ＳＬ［ｉ］は下記のように表現することができる。
Ｌ［ｉ］＝ＬＰＦ（Ａ［ｉ］）
Ｈ［ｉ］＝Ａ［ｉ］−Ｌ［ｉ］
ＳＨ［ｉ］＝Ｌ［ｉ］＋２Ｈ［ｉ］
ＳＬ［ｉ］＝｛Ｌ［ｉ］＋Ｌ［ｉ＋１］｝／２
本第３の実施形態では、ここまでの計算によって得られたＳＨ［ｉ］，ＳＬ［ｉ］に対し、補正処理を行ない、その結果をＳＨ＿０［ｉ］，ＳＬ＿０［ｉ］とする。ＳＨ＿０［ｉ］とＳＬ＿０［ｉ］の値は実際に表示される輝度レベルを表すものであり、０乃至１００％の値をとる。

まず、図２３、図２４に表される各パラメータを定義する。画像データＳＨ（＝Ｌ＋２Ｈ）が計算上１００％を超える場合は実際に超えている部分をＳＨ＿Ｏｖｅｒ１００と定義する。ＳＨが計算上負になる場合（２Ｈ負で、その絶対値がＬより大きい場合）、実際に負になっている部分のを−ＳＨ＿Ｕｎｄｅｒ０と定義する。

本第３の実施形態では、図２１に示すように、ＳＨ＿Ｏｖｅｒ１００の半分を第１サブフレームから第２サブフレームに移動する。また、また残りの半分を１フレーム前の第２サブフレームに移動する。

同様に図２４に示すように、−ＳＨ＿Ｕｎｄｅｒ０を埋め合わせるために、その半分に相当する値を第２サブフレームから着目第１サブフレームに移動し、残りの半分に相当する値を１フレーム前の第２サブフレームから着目第１サブフレームに移動する。

以下に、実際にこのような動作をＣ言語を例として表現する。
if ( S1＞100 ){
SH_over100 = SH-100 ; SH_under0 = 0 ; SH=100 ; }
else if( SH＜0 ){
SH_over100 = 0 ; SH_under0 = -SH ; SH= 0 ; }
else {
SH_over100 = 0 ; SH_under0 = 0 ; }
SH_0［ｉ］ = SH［ｉ］ - SH_over100 + SH_under0；
SL_0［ｉ］ = SL［ｉ］ + (1/2) * SH_over100 - (1/2) * SH_under0；
SL_0[i-1] = SL［ｉ］ + (1/2) * SH_over100 - (1/2) * SH_under0；
このようにすることにより、表示の輝度レベルが飽和した場合（計算上ＳＨ［ｉ］≧１００％、または、ＳＨ［ｉ］＜０になった場合）、上記のように補正してＳＨ＿０［ｉ］,ＳＬ＿０［ｉ］に置き換えらえる。この結果、画像として不具合が発生しないようにすることができる。また、本実施形態で説明する方法を適用しても、空間的高周波成分と空間的低周波成分の時間的重心はそれぞれ変化せず、従って、追従視をおこなったとき得られる像において空間的高周波成分と空間的低周波成分の表示位置にズレが発生しない。従って、前記追従視を行った像において尾引きなどの歪みが発生することを防止しつつ輝度レベルの飽和による誤動作を防止できる。

＜第４の実施形態＞
第４の実施形態では、先に説明した第１の課題と第２の課題を解決する例を説明する。

本第４の実施形態では、入力画像を複数の空間的周波数成分で分け、成分ごとに時間的重心が一致するように、表示のレベルを複数のサブフレームに分配（乗算）する。これにより、動きボケ、２重ボケ、フリッカーを改善するものである。先に説明した第１乃至第３の実施形態では、１入力フレームを倍速変換する（すなわち２つのサブフレームに分ける）場合で、かつ、空間周波数の分離は空間的高周波成分と空間的低周波成分とに分離する場合を例に説明した。

ここで、フレーム数の倍率をＮ、空間周波数を分離する場合の周波数帯域の数をＲとすると、ここまでは、フレーム周波数が２倍（Ｎ＝２）、また空間周波数帯域において高周波成分と低周波成分の２帯域（Ｒ＝２）の場合を説明した。

しかしながら、本発明は、サブフレームの数を限定するものではない（すなわち、Ｎ倍速のＮを“２”に限定するものではない）。また空間周波数の帯域の分離においても、帯域の数を限定するものではない（すなわち、Ｒ個の帯域の、Ｒを“２”に限定するものではない）。

本実施形態では、入力される画像のフレーム周波数をＮ倍し（あるいはＮ個のサブフレームに分けて）、かつ入力される画像をＲ個の空間周波数の帯域に分けても同じことが一般的に成り立つための条件を説明する。
まず、Ｎに関しては２に限定せず、３以上にしても同じことが成り立つことは明白である。むしろ本発明の用件を満たすには、Ｎは大きい方が配分の自由度が高く有利である。
またＲについては、入力画像をＲ個の空間周波数帯域に分けたとき、隣接する２帯域（すなわち例えばＪとＪ＋１）において、ここまで説明したＲ＝２の場合の関係が常に成り立つように構成すれば、１番目からＲ番目の全ての帯域において同じ関係が成り立つ。すなわち、Ｒ個の帯域成分が、空間周波数の高い順に、前記帯域成分画像の時間的分散が小さく（言い換えると空間周波数が低い順に時間的分散が大きく）かつ、全ての帯域成分の時間的重心が一致するような関係とする。このとき、本発明における効果、すなわち動きボケが改善し、フリッカーも防止し、尾引きなどの歪みがすくなくなるという効果が成り立つ。このように、本発明においてはＮ、Ｒを一般化しても、ここまで説明してきたＮ＝２、Ｒ＝２のときと同様の効果がもたらされる。

また空間周波数の分離においても、帯域の数を限定するものではない。本第４の実施形態ではＮ＝５である。これはフレーム周波数２４Ｈｚの映像（一般に映画の動画像がこれに相当する）を、１２０Ｈｚの５倍速フレームレートに変換する場合などにあたる。また、帯域の数Ｒについては、あまり回路規模、計算希望があまり大きくならない例として、Ｒ＝３で説明する。すなわち空間周波数をＨｉｇｈ、Ｍｉｄｄｌｅ、Ｌｏｗの３帯域に分離する場合を例にとって説明する。

図２６に本第４の実施形態のブロック図を示す。図２５に本第４の実施形態における各サブフレームにおいて各空間周波数帯域の表示レベルの補正強度（乗算係数）を示す。

以下、図２６における構成の動作を説明する。フィルタ４０は、フレームレート２４Ｈｚの１フレームの画像データＡ[ｉ]を入力する。そして、フィルタ４０は、入力した画像データを、２つの距離定数ｄ１、ｄ２（例えばｄ１＝３ｐｉｘｅｌ、ｄ２＝８ｐｉｘｅｌ）によって三つの空間周波数帯域の成分Ｈ，Ｍ，Ｌに分離される。それぞれの成分は、フレームメモリ４２乃至４３に一旦保存される。

フレーム同期信号５逓倍回路は、入力画像Ａ［ｉ］のフレーム同期信号の５逓倍したｃｌｋ５を生成し、出力する。

スイッチ４５、４６それぞれは、画像Ａ［ｉ］のフレーム同期信号でリセットされ、ｃｌｋ５に従って、出力端子(1)→(2)→(3)→(4)→(5)の順に切り替える。

フレームメモリ４２に一時保存されたＨ成分は、ｃｌｋ５に従って５回読み出されスイッチ４５に送られる。スイッチ４５は、ｃｌｋ５の最初のステージでは、出力端子（1）に接続する。その後、順番に(2),(3),(4),(5)に切り替わる。フレームメモリ４３に保存されたＭ成分も同様に５回読み出され、スイッチ４６で、出力端子（1）から（5）に順番に切り替わる。フレームメモリ４４に一時保存されたＬ成分も同様に５回読み出される。

スイッチ４５の各出力端子の直後には、図２５に示した高周波成分の利得｛０、０．５、４．０、０．５、０｝に従って乗算する乗算器ＧＨ１乃至ＧＨ５が設けられている。

同様に、スイッチ４６の各出力端子の直後には、図２５に示した利得｛０、１．５、２．０、１．５、０｝に従って乗算する乗算器ＧＨ１乃至ＧＨ５が設けられている。

つまり、Ｎ回読込み（実施形態ではＮ＝５）において、徐々にその利得（乗算係数）が増加し、半数回目（実施形態では３回目）で利得が最大となり、その半数回目以降では徐々に減少する。

フレームメモリ４４の直後には利得｛１、１、１、１、１｝の掛け算器が備わる。低周波成分の利得は、同一であるので、図示の如く、乗算器は１つで良い。

なお、本来フレームメモリ４４の直後にも、スイッチ４５、４６およびその後の乗算と同じ構成が必要だが、この場合は全ての係数が同一であるので、省略してこのような構成にしている。

加算器４７乃至４９は、夫々の乗算後の映像データを加算する。この結果、ｃｌｋの第１乃至第５の各ステージにて、以下の式に示すＳ１［ｉ］,Ｓ２［ｉ］，Ｓ３［ｉ］,Ｓ４［ｉ］，Ｓ５［ｉ］が、この順番に出力され表示される。
Ｓ１[ｉ］＝Ｌ［ｉ］
Ｓ２［ｉ］＝Ｌ［ｉ］＋１．５Ｍ［ｉ］＋０．５Ｈ［ｉ］
Ｓ３［ｉ］＝Ｌ［ｉ］＋２Ｍ［ｉ］＋４Ｈ［ｉ］
Ｓ４［ｉ］＝Ｌ［ｉ］＋１．５Ｍ［ｉ］＋０．５Ｈ［ｉ］
Ｓ５［ｉ］＝Ｌ［ｉ］
（ここで、［ｉ］は対応する入力画像Ａ［ｉ］のフレーム番号である）
本実施形態では、上述したように複数の空間周波数帯域の成分において、空間周波数が高い成分ほど時間的分散が小さく、（言い換えると空間周波数が低い成分ほど時間的分散が大きく）、かつ、全ての成分が、時間的重心が一致するようにするものである。図２５は、その条件に従ったものである。図２５に示す係数ではＨ成分、Ｍ成分、Ｌ成分とも、左右対称な形であり、時間的重心は中央（第３サブフレーム）の位置にあり全ての成分の時間的重心が一致している。また、Ｈ成分の係数が最も、真中のフレームに近い部分に重みが集中している。この集中の程度はＨ＞Ｍ＞Ｌの順である。Ｌ成分に到っては、平坦になっている。すなわち、空間周波数の高い成分ほど時間的分散が小さく（空間周波数が低い成分ほど大きく）なっていることがわかる。ここで、この時間的分散について図２５の係数の配列を例に具体的に表現すると以下のように表現できる。すなわち、Ｍの係数に対するＨの係数の比率は、中央の第３サブフレームに近いほど大きくなり、第３サブフレームでその比率が最大となる。Ｌの係数に対するＭの係数の比率も、中央の第３サブフレームに近いほど大きく、第３サブフレームでその比率が最大になるようになっている。また、Ｌの係数とＨの係数の関係も同様になっている。図２５の係数の配列は、このように一般化して表現できる配列の一例を示したものである。

このように表示することにより、画像のなかで移動する像を追従視したとき、観測される像のＨ成分、Ｍ成分、Ｌ成分は空間的にずれることなく観測され、従って、ゴーストや尾引きなどの歪みのない像が観測される。

以上、本発明に係る４つの実施形態を説明した。本実施形態では、最終的に得られたＮ倍速の各フレームの出力先を特に示さなかったが、ホールド型、インパルス側表示装置のいずれでも構わない。また、出力先は、表示装置に限るものではなく、動画像ファイルとして、ＤＶＤやハードディスク等の記憶媒体や記憶装置としても構わない。

また、先の説明した第１の実施形態の変形例と同様に、第２の実施形態以降についても、それらと等価の処理をコンピュータプログラムによって実現させることができることは明らかである。

また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それをコンピュータが有する読取装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って。かかるコンピュータ可読記憶媒体も本発明の範疇にあることも明らかである。

第１の実施形態の画像処理装置のブロック構成図である。 第１の実施形態の画像処理装置の他のブロック構成図である。 第１の実施形態における入力フレームと倍速フレームにおける時間軸に沿った映像信号の波形の例を示す図である。 従来の画像処理装置のブロック構成図である。 従来の画像処理装置のブロック構成図である。 従来の画像処理装置のブロック構成図である。 尾引きの発生の原因を説明するための図である。 時間に対して変化のない画像の場合に動きぼけが発生しないことを説明するための図である。 図８の映像に対して追従視を行った場合を想定した映像信号ＳＨ、ＳＬを示す図である。 第１の実施形態における追従視を行った場合を想定した映像信号ＳＨ、ＳＬを示す図である。 従来例の追従視波形を示す図である。 第１の実施形態における追従視波形を示す図である。 第２の実施形態におけるホールド型の表示装置におけるサブフレームＳＨ、ＳＬの輝度の推移を示す図である。 第２の実施形態におけるインパルス型の表示装置におけるサブフレームＳＨ、ＳＬの輝度の推移を示す図である。 従来のホールド型の表示装置におけるフレームの表示タイミングを示す図である。 従来のインパルス型の表示装置におけるフレームの表示タイミングを示す図である。 第２の実施形態の画像処理装置のブロック構成図である。 第２の実施形態の画像処理装置の他のブロック構成図である。 第２の実施形態における適応型多段階（４段階）ＬＰＦのブロック構成図である。 第２の実施形態における適応型２段階ＬＰＦのブロック構成図である。 第３の実施形態における処理内容を説明するための図である。 第３の実施形態における処理内容を説明するための図である。 第３の実施形態における好ましい処理内容を説明するための図である。 第３の実施形態における好ましい処理内容を説明するための図である。 第４の実施形態の５倍速再生する際の５つのサブフレームにおける、各帯域毎の利得係数を示す図である。 第４の実施形態における画像処理装置のブロック構成図である。 第１の実施形態の変形例であるコンピュータプログラムの処理手順を示すフローチャートである。 第１の実施形態におけるフレーム関係を示す図である。 第１の実施形態におけるサブフレームの分配率を示す図である。 第１の実施形態の変形例である画像処理装置のブロック構成図である。 第２の実施形態における、画像全体にフィルタリング処理を行う適応型多段階（４段階）ＬＰＦのブロック構成図である。 第２の実施形態における画像全体にフィルタリング処理を行う適応型２段階ＬＰＦのブロック構成図である。

Claims (12)

1. 単位時間当たりｍ個のフレームの入力動画像データを、単位時間当たりＮ（Ｎ≧２）倍したＮ×ｍ個のフレームの出力動画像データとして出力する画像処理装置であって、
   前記入力動画像データのうち、着目したフレームの画像を、空間的な高周波成分画像データと空間的な低周波成分画像データとに分離するフィルタ手段と、
   前記フィルタ手段で得られた各空間的な周波数成分の画像データを一時的に記憶する記憶手段と、
   前記記憶手段に記憶された前記高周波成分画像データ、及び、前記低周波成分画像データをＮ回読み出す読み込み手段と、
   前記Ｎ回の読込みにおいて、前記高周波成分画像データと前記低周波成分画像データの時間的重心が一致し、かつ、前記高周波成分画像データの時間的分散が前記低周波成分画像データの時間的分散よりも小さくなるように設定された所定の乗算係数を前記高周波成分画像データと前記低周波成分画像データに乗算する乗算手段と、
   前記読み込み手段で前記高周波成分画像データ、及び、前記低周波成分画像データを読み込む度に、前記乗算手段による乗算後の高周波成分画像データと前記低周波成分画像データとを加算する加算手段と、
   前記加算手段による加算した画像データを出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 単位時間当たりｍ個のフレームの動画像データを入力し、単位時間当たり２ｍ個のフレームの動画像データとして出力する画像処理装置であって、
   フレーム単位に画像データを入力する入力手段と、
   入力手段で入力した着目フレームの画像データについて、空間的な高周波成分画像データと空間的な低周波成分画像データとに分離するフィルタ手段と、
   前記入力した画像データと前記高周波成分画像データと前記低周波成分画像データを記憶する記憶手段と、
   前記フィルタ手段で得られた着目フレームの次に入力されるフレームの低周波成分画像データと前記記憶手段に記憶された低周波成分画像データとの平均値である低周波平均画像データを算出する算出手段と、
   前記低周波成分画像データと前記高周波成分画像データとに基づいて作成される高周波強調画像データと、前記算出手段で得られた低周波平均画像データを、フレームごとに順番に出力する出力手段と
   を備えることを特徴とする画像処理装置。
3. 前記フィルタ手段は、入力した着目しているｉ番目のフレームの画像データをＡ［ｉ］、前記画像データＡ［ｉ］から得られる低周波成分画像データをＬ［ｉ］、高周波成分画像データをＨ［ｉ］としたとき、前記高周波強調画像データＳＨ［ｉ］を、次式に従って算出し、
   ＳＨ［ｉ］＝Ｌ［ｉ］＋２×Ｈ［ｉ］
   前記算出手段は、前記低周波平均画像データであるＳＬ［ｉ］を、次式に従って算出する
   ＳＬ［ｉ］＝｛Ｌ［ｉ］＋Ｌ［ｉ＋１］｝／２
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記フィルタ手段は、
   前記入力手段で入力した着目フレームの１つ前のフレームの画像データを記憶するメモリと、
   前記着目フレームの画像データに対し、互いに数珠繋ぎに接続され、下流に位置するほど、濾波する周波数の上限値が低い複数のフィルタで構成される第１のフィルタ手段と、
   前記メモリに格納された、着目フレームの１つ前のフレームの画像データに対し、互いに数珠繋ぎに接続され、下流に位置するほど、濾波する周波数の上限値が低い複数のフィルタで構成される第２のフィルタ手段と、
   前記第１のフィルタ手段の上流からｎ番目のフィルタで得られた画像データと、前記第２のフィルタ手段の上流からｎ番目のフィルタで得られた画像データとの差の絶対値が、初めて予め設定された閾値Ｃｎ以下となったとき、前記第１のフィルタ手段のｎ番目のフィルタで得られた画像データを、前記着目フレームの前記低周波画像データとして出力する手段と
   を備えることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第１のフィルタ手段の上流からｎ番目のフィルタで得られた画像データと、前記第２のフィルタ手段の上流からｎ番目のフィルタで得られた画像データとの差の絶対値が、予め設定された閾値Ｃｎ以上となる領域があったとき、
   前記第１のフィルタ手段の上流から（ｎ＋1）番目のフィルタと前記第２のフィルタ手段の上流から（ｎ＋1）番目のフィルタは前記領域のみをフィルタ処理することを特徴とする請求項５に記載の画像処理装置。
6. 更に、前記高周波強調画像データの着目画素の画素値が、画素値の取り得る上限値を超えた場合には、超過分の値を着目画素から減算すると共に、前記着目フレームの前記低周波画像データの中の、着目画素と同じ位置の画素に前記超過分の値を加算し、
   前記高周波強調画像データの着目画素の画素値が、画素値の取り得る下限値を下回る場合には、前記着目画素の画素値を前記下限値にし、着目画素の画素値を前記下限値とするのに要する値を、前記低周波画像データの中の着目画素と同じ位置の画素からに減算することで、
   前記高周波強調画像データ、前記算出手段で得られた前記低周波画像データを補正する補正手段を備え、
   前記出力手段は、前記補正手段の補正後の高周波強調画像データ、低周波画像データを出力することを特徴とする請求項１又は２に記載の画像処理装置。
7. 単位時間当たりｍ個のフレームの入力動画像データを、単位時間当たりＮ（Ｎ≧２）倍したＮ×ｍ個のフレームの出力動画像データとして出力する画像処理装置であって、
   前記入力動画像データのうち、着目したフレームの画像データから、Ｒ個（Ｒ≧２）の空間周波数帯域の成分画像に分離するフィルタ手段と
   前記フィルタ手段で得られたＲ個の成分画像データを一時的に記憶する記憶手段と、
   前記記憶手段に記憶されたＲ個の成分画像データをＮ回読み出す読み込み手段と、
   前記Ｎ回の読込みにおいて、前記Ｒ個の成分画像データの時間的重心が一致し、かつ、前記Ｒ個の成分画像データの時間的分散が、前記空間周波数が高い成分画像ほど小さくなるように設定された所定の乗算係数を前記Ｒ個の成分画像データにそれぞれ乗算する乗算手段と、
   前記読み込み手段で前記Ｒ個の空間周波数帯域成分の画像データを読み込む度に、前記乗算手段による乗算後の前記Ｒ個の空間周波数帯域成分の画像データを加算する加算手段と、
   前記加算手段による合算した画像データを出力する出力手段と
   を備えることを特徴とする画像処理装置。
8. 単位時間当たりｍ個のフレームの入力動画像データを、単位時間当たりＮ（Ｎ≧２）倍したＮ×ｍ個のフレームの出力動画像データとして出力する画像処理装置の制御方法であって、
   前記入力動画像データのうち、着目したフレームの画像データから、空間的な高周波成分画像データと空間的な低周波成分画像データとに分離するフィルタ工程と、
   前記フィルタ工程で得られた各空間的な周波数成分の画像データを一時的に記憶手段に格納する工程と、
   前記記憶手段に記憶された前記高周波成分画像データ、及び、前記低周波成分画像データをＮ回読み出す読み込み工程と、
   前記Ｎ回の読込みにおいて、前記高周波成分画像データと前記低周波成分画像データの時間的重心が一致し、かつ、前記高周波成分画像データの時間的分散が前記低周波成分画像データの時間的分散よりも小さくなるように設定された所定の乗算係数を前記高周波成分画像データと前記低周波成分画像データに乗算する乗算工程と、
   前記読み込み工程で前記高周波成分画像データ、及び、前記低周波成分画像データを読み込む度に、前記乗算工程による乗算後の高周波成分画像データと前記低周波成分画像データとを加算する加算工程と、
   前記加算工程において加算した画像データを出力する出力工程と
   を備えることを特徴とする画像処理装置の制御方法。
9. 単位時間当たりｍ個のフレームの動画像データを入力し、単位時間当たり２ｍ個のフレームの動画像データとして出力する画像処理装置の制御方法であって、
   フレーム単位に画像データを入力する入力工程と、
   入力工程で入力した着目フレームの画像データについて、空間的な高周波成分画像データと空間的な低周波成分画像データとに分離するフィルタ工程と、
   前記着目フレームの１つ前のフレームの低周波成分画像データを記憶手段に格納する工程と、
   前記フィルタ工程で得られた着目フレームの次に入力されるフレームの低周波成分画像データと、前記記憶手段に記憶された低周波成分画像データとの平均値である、低周波平均画像データを算出する算出工程と、
   前記入力工程で入力した低周波成分画像データと高周波成分画像データとに基づいて作成される高周波強調画像データと、前記算出工程で得られた低周波平均画像データを、フレームごとに順番に出力する出力工程と
   を備えることを特徴とする画像処理装置の制御方法。
10. 単位時間当たりｍ個のフレームの入力動画像データを、単位時間当たりＮ（Ｎ≧２）倍したＮ×ｍ個のフレームの出力動画像データとして出力する画像処理装置の制御方法であって、
    前記入力動画像データのうち、着目したフレームの画像データから、Ｒ個（Ｒ≧２）の空間周波数帯域の成分画像に分離するフィルタ工程と
    前記フィルタ工程で得られたＲ個の成分画像データを一時的に記憶手段に格納する工程と、
    前記記憶手段に記憶されたＲ個の成分画像データをＮ回読み出す読み込み工程と、
    前記Ｎ回の読込みにおいて、前記Ｒ個の成分画像データの時間的重心が一致し、かつ、前記Ｒ個の成分画像データの時間的分散が、前記空間周波数が高い成分画像ほど小さくなるように設定された所定の乗算係数を前記Ｒ個の成分画像データにそれぞれ乗算する乗算工程と、
    前記読み込み工程で前記Ｒ個の空間周波数帯域成分の画像データを読み込む度に、前記乗算工程による乗算後の前記Ｒ個の空間周波数帯域成分の画像データを加算する加算工程と、
    前記加算工程による加算した画像データを出力する出力工程と
    を備えることを特徴とする画像処理装置の制御方法。
11. コンピュータが読込み実行することで、前記コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images