JP2010103643A - 画像処理装置および画像表示装置 - Google Patents

Abstract

【課題】簡易な構成と簡便な処理でありながら、画像補間に伴う画質の著しい低下を回避することを可能とする画像処理装置および画像表示装置を提供する。
【解決手段】画像処理装置１０は、補間処理部２４と、画像処理部２５とを備える。補間処理部２４は、２つのオリジナル画像Ｆ１、Ｆ２に基づいて補間画像を生成し、この補間画像をオリジナル画像Ｆ１、Ｆ２の間に挿入する。画像処理部２５は、画像補間によるフレームレート変換により生成された補間後動画像を構成する各画像の時間軸上の位置を示す画像位相信号Ｐｈに応じて、オリジナル画像Ｆ１、Ｆ２または補間画像に対して度合いを変えて画像処理を施す。特に、画像処理部２５において、オリジナル画像Ｆ１、Ｆ２よりも補間画像の方が明瞭度の低下した画像となるように画像処理を行うようにすれば、補間画像に破綻が生じたとしても、それを目立たなくすることができる。
【選択図】図１

Description

本発明は、動画像のオリジナル画像フレーム間に補間画像フレームを挿入することによりフレームレートを変換する画像処理装置および画像表示装置に関する。

映画等のフィルムソースの映像は、通常、２４ｆｐｓ（フレーム／秒）のプログレッシブ画像（フレーム画像）から構成されている。一方、日本等において採用されているＮＴＳＣ方式のテレビジョン放送の映像は、６０ｆｐｓのインタレース画像（フィールド画像）から構成されている。したがって、映画等のフィルムソースをテレビジョン放送する場合、２４ｆｐｓのプログレッシブ画像を６０ｆｐｓのインタレース画像に変換する処理、いわゆるテレシネ変換処理が行われる。また、近年においては、特に動きの速い動画像における動画ぼけ対策等のために、６０ｆｐｓの動画像を１２０ｆｐｓ、さらには２４０ｆｐｓの動画像に変換するフレームレート変換処理も行われるようになっている。

このようなフレームレート変換処理では、通常、動画像を構成する一連の画像のうち、時間軸方向に前後する２つの画像（オリジナル画像）に基づいて動きベクトルを検出し、これらの２つのオリジナル画像と動きベクトルとに基づいて、オリジナル画像の間に挿入すべき補間画像を生成するようになっている。この場合、動きベクトルを如何に正確に検出するかという点が、生成される補間画像の品質に大きく関係する。極端な場合には、動きベクトルの検出精度があまりにも低いと補間画像が破綻をきたす（オリジナル画像にはない特徴をもつエラー画像となる）こともある。

従来、この種の技術に関し、いくつかの提案がなされている。例えば、特許文献１には、動きベクトルの信頼性を高めるために、動きベクトル算出用に参照する２つのオリジナル画像の組を唯一的に決めてしまうのではなく、参照する２つのオリジナル画像の組をいくつか選定し、それらの複数の組から動きベクトルを総合的に検出することが開示されている。

特許文献２〜４には、動きベクトルのばらつきの程度に応じて動きベクトルの信頼性を判定し、信頼性が確保できない場合には画像補間の際に高域成分を除去する処理を行うことにより補間画像の品質を高め、画像の破綻を回避する技術が開示されている。

特許文献５には、２４ｆｐｓのフィルム信号（シネマ信号）から７２ｆｐｓの信号へのフレームレート変換の際に、ある条件を満たす補間画像に対して黒画像を挿入することにより、視覚的に違和感なく表示する技術が開示されている。

特開２００７−２８８６８１号公報 特開２００７−０７４５８８号公報 特開２００７−０７４５８９号公報 特開２００７−０７４５９０号公報 特開２００４−２７４１２４号公報

しかしながら、特許文献１の技術では、補間画像の生成に用いられる動きベクトル量の信頼性が高まり補間画像の品質低下が防止されるものの、多くのフレームメモリを必要とすると共に、動きベクトルの検出を複数回にわたって行う場合があるので処理演算量が増大する。このため、簡易な構成で簡便にフレームレート変換処理を行うことが容易ではない。

また、特許文献２〜４の技術では、動きベクトルの信頼性が低い場合には高域成分を除去することにより補間画像の品質低下を防ぐことができるものの、動きベクトルのばらつきの程度に応じて動きベクトルの信頼性を判定するようにしているので、処理が複雑化し、簡便さに欠ける。

さらに、特許文献５の技術では、黒画像を挿入するという比較的簡便な処理により、フィルム信号ならではの特徴的な表現が可能にはなるものの、黒画像の挿入によって平均輝度が低下したり、ジャーキネスが観察される場合もあり、画質を高く保つことが容易ではない。

本発明はかかる問題点に鑑みてなされたもので、その目的は、簡易な構成と簡便な処理でありながら、画像補間に伴う弊害を回避することを可能とする画像処理装置および画像表示装置を提供することを目的とする。

本発明の画像処理装置は、動画像を構成する一連のオリジナル画像における時間軸方向に前後する２つのオリジナル画像に基づいて補間画像を生成し、この補間画像を２つのオリジナル画像の間に挿入する補間処理部と、オリジナル画像および補間画像からなる補間後動画像に対して所定の画像処理を行う画像処理部とを備え、画像処理部が、補間後動画像を構成する画像の時間軸上の位置である画像位相に応じて、補間後動画像を構成する各画像に対する画像処理の度合いを決定するようにしたものである。

本発明の画像表示装置は、動画像を構成する一連のオリジナル画像における時間軸方向に前後する２つのオリジナル画像に基づいて補間画像を生成し、この補間画像を２つのオリジナル画像の間に挿入する補間処理部と、オリジナル画像および補間画像からなる補間後動画像に対して所定の画像処理を行う画像処理部と、画像処理部において処理された動画像を表示する表示部とを備え、画像処理部が、補間後動画像を構成する画像の時間軸上の位置である画像位相に応じて、補間後動画像を構成する各画像に対する画像処理の度合いを決定するようにしたものである。

本発明の画像処理装置および画像表示装置では、２つのオリジナル画像に基づいて補間画像が生成され、この補間画像がオリジナル画像の間に挿入される。こうして生成された、オリジナル画像および補間画像からなる補間後動画像に対する画像処理は、各画像の画像位相に応じた度合い（程度または処理レベル）で行われる。そのような画像処理としては、例えば、コントラスト処理、高域カットフィルタリング処理またはそれらの両方の処理があげられる。この場合には、オリジナル画像の種別を判別し、その判別結果に応じて、コントラスト処理もしくは高域カットフィルタリング処理、またはその両方を選択的に行うようにすることも可能である。

本発明では、補間後動画像を構成する画像のうち、オリジナル画像に対する画像処理の度合いと補間画像に対する画像処理の度合いとを互いに異ならせるようにしてもよい。この場合には、オリジナル画像よりも補間画像の明瞭度を低下させた処理を行うことができる。また、本発明では、２つのオリジナル画像の間に複数の補間画像を生成して挿入するようにしてもよい。この場合には、これらの複数の補間画像に対し、時間軸上においてオリジナル画像から離れるに従って補間画像の明瞭度が低下するように画像処理を行うことができる。

本発明の画像処理装置および画像表示装置によれば、２つのオリジナル画像に基づいて生成した補間画像をオリジナル画像の間に挿入すると共に、補間後動画像に対して各画像の画像位相に応じた度合いの画像処理を行うようにしたので、補間後動画像に対して多種多様なやり方での（自由度の高い）画像処理を行うことができ、その結果、全画像に対して均一な（同レベルの）画像処理を行った場合に生じ得る弊害を防止することも可能になる。例えば、動きベクトルの精度が低いような場合には、オリジナル画像よりも補間画像の方の明瞭度を低下させるように画像処理を行うことにより、画像補間に伴う画質の著しい低下を回避することができる。しかも、画像位相という簡単なパラメータに応じて画像処理の度合いを変えるようにしたので、処理内容が簡便なものとなり、画像処理装置および画像表示装置も簡易な構成となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

＜第１の実施の形態＞
［画像表示装置の構成］
図１は、本発明の第１の実施の形態に係る画像処理装置を備えた画像表示装置の概略構成を表すものである。この画像表示装置１は、画像処理装置１０、駆動部２６および表示部２７を備えており、入力されたオリジナル画像の間に補間画像を挿入することによりフレームレートを変換した後、オリジナル画像および補間画像からなる補間後動画像を表示するようになっている。

画像処理装置１０は、フレームメモリ２０、動きベクトル算出部２１、出力位相検出部２３、補間処理部２４および画像処理部２５を備えている。この画像処理装置１０は、入力されたオリジナル画像および動きベクトルに基づいて補間画像を生成し、この補間画像をオリジナル画像の間に挿入してフレームレート変換を行うと共に、このフレームレート変換された後の動画像に対して所定の画像処理を施して出力する、という機能を有する。

フレームメモリ２０は、入力されたオリジナル画像（映像信号Ｓ１）をフレーム単位で記憶するものである。あるタイミングで入力されるオリジナル画像をＦ１とし、次に入力されるオリジナル画像をＦ２とすると、フレームメモリ２０に記憶されたオリジナル画像Ｆ１は、次のオリジナル画像Ｆ２が入力されるタイミングに合わせて、１画像分遅れて読み出され、動きベクトル算出部２１に入力されるようになっている。

動きベクトル算出部２１は、入力されたオリジナル画像Ｆ２とフレームメモリ２０からのオリジナル画像Ｆ１とに基づいて動きベクトルを検出し、これを動きベクトル信号Ｓ２として出力するものである。

補間処理部２４は、オリジナル画像Ｆ２と、フレームメモリ２０からのオリジナル画像Ｆ１と、動きベクトル算出部２１からの動きベクトル信号Ｓ２とに基づいて補間画像を生成し、この生成した補間画像をオリジナル画像Ｆ１、Ｆ２の間に挿入する処理を行うものである。この処理の結果、オリジナル画像Ｆ１、Ｆ２および補間画像からなる動画像（補間後動画像Ｐ１）が出力されるようになっている。なお、補間処理部２４の詳細については後述する。

出力位相検出部２３は、オリジナル画像Ｆ１、Ｆ２に基づいて、補間後動画像Ｐ１を構成する各画像フレームの時間軸上の位置を示す画像位相を検出するものである。より具体的には、補間処理部２４から出力される画像フレームがオリジナル画像Ｆ１、Ｆ２であるのか、あるいは補間画像であるのか、さらには、補間画像が複数挿入されている場合にはどの位置の補間画像であるのかを判別し、その判別結果を画像位相信号Ｐｈとして出力するようになっている。

画像処理部２５は、補間処理部２４から出力された補間後動画像Ｐ１に対して、コントラスト処理やフィルタリング処理等の画像処理を行うものである。その際、画像処理部２５は、出力位相検出部２３からの画像位相信号Ｐｈに基づいて、補間後動画像Ｐ１に対する画像処理の度合い（処理の程度またはレベル）を決定し、その決定に基づいて画像処理を行うようになっている。ここで、画像処理の度合いを決定する場合の態様としては、様々なやり方が考えられるが、本実施の形態では、オリジナル画像に対する画像処理の度合いと補間画像に対する画像処理の度合いとを異ならせるように画像処理を行う。より具体的には、オリジナル画像Ｆ１、Ｆ２よりも補間画像の明瞭度を低下させるように画像処理を行う。その詳細は後述する。

駆動部２６は、画像処理部２５から出力された画像処理後の補間後動画像（画像出力Ｐ２）に基づいて表示部２７を駆動するものである。

表示部２７は、駆動部２６の制御に基づいて画像表示を行うものであり、例えば、液晶表示パネル、有機ＥＬ表示パネル、プラズマ表示パネル、電界放出型表示パネル、ブラウン管等が利用可能である。

次に、補間処理部２４について詳細に説明する。
図２は、補間処理部２４の概略構成を表すものである。補間処理部２４は、補間制御部３０、第１の空間フィルタ３１、第２の空間フィルタ３２、第１の乗算器３３、第２の乗算器３４および加算器３５を備える。

補間制御部３０は、動きベクトル信号Ｓ２に基づいて補間画像の画素に動きベクトルを割り付けると共に、補間画像における注目画素の位置と、この補間画像の注目画素がシフトする前のオリジナル画像Ｆ１における画素の位置との関係（空間シフト量Ｓ３）を動きベクトルに基づいて求め、得られた空間シフト量Ｓ３を第１の空間フィルタ３１に供給する。補間制御部３０はまた、補間画像における注目画素の位置と、この補間画像の注目画素がシフトした後のオリジナル画像Ｆ２における画素の位置との関係（空間シフト量Ｓ４）を動きベクトルに基づいて求め、得られた空間シフト量Ｓ４を第２の空間フィルタ３２に供給するようになっている。補間制御部３０はさらに、予め設定されている変換後のフレームレートから求めた補間画像の位相（補間位置）に応じて、オリジナル画像Ｆ１、Ｆ２の各々に対する補間重みを求め、得られた各補間重みＷ１、Ｗ２を各乗算器３３、３４に供給するようになっている。

各空間フィルタ３１、３２は、キュービックフィルタ等により構成される。第１の空間フィルタ３１は、オリジナル画像Ｆ１の画素における画素値と空間シフト量Ｓ３とに基づいて、補間画像の画素に対応するオリジナル画像Ｆ１の画素値を求め、求めた画素値を第１の乗算器３３に出力する。同様に、第２の空間フィルタ３２は、オリジナル画像Ｆ２の画素における画素値と空間シフト量Ｓ４とに基づいて、補間画像の画素に対応するオリジナル画像Ｆ２の画素値を求め、求めた画素値を第２の乗算器３４に出力するようになっている。

各乗算器３３、３４は、空間フィルタ３１、３２から入力された各画素値に、補間制御部３０から入力された補間重みＷ１、Ｗ２をそれぞれ乗じることにより重み付けを行い、これらの重み付けされた各画素値を加算器３５に出力するようになっている。加算器３５は、各乗算器３３、３４から入力された画素値を加算して、補間画像Ｉの画素における画素値を生成し、この画素値をバッファ３６に出力する。バッファ３６は、画像Ｆ１、補間画像Ｉおよび画像Ｆ２を、その順に出力するようになっている。

［画像表示装置の動作］
次に、図３を参照して、以上のような構成の画像表示装置１の動作について説明する。図３は、画像表示装置１に入力されるオリジナル画像（同図Ａ）と、高いフレームレートに変換された後の補間後動画像（同図Ｂ）と、ガンマ補正ゲインの変化（同図Ｃ）との関係とを表すものである。ここで、横軸が時間軸である。

画像表示装置１には、オリジナル画像Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６…（以下、Ｆｋ（ｋ＝１、２、…）と一般表記する。）が、１／６０秒毎に（６０ｆｐｓのレートで）順に入力される（図３（Ａ））。フレームメモリ２０は、先行して入力されたオリジナル画像Ｆｋを、次のオリジナル画像Ｆ（ｋ＋１）が入力されるまで記憶する。フレームメモリ２０から読み出されたオリジナル画像Ｆｋおよび新たに入力されたオリジナル画像Ｆ（ｋ＋１）は、動きベクトル算出部２１、出力位相検出部２３および補間処理部２４にそれぞれ入力される。以下の説明では、簡略化のため、ｋ＝１の場合、すなわち、オリジナル画像Ｆ１、Ｆ２の場合を例に説明する。

動きベクトル算出部２１は、オリジナル画像Ｆ１、Ｆ２に基づいて、画像の移動を画素単位で動きベクトルＳ２として検出し、これを補間処理部２４に出力する。補間処理部２４は、オリジナル画像Ｆ１、Ｆ２および動きベクトルＳ２に基づいて、補間画像Ｉ１を生成し、オリジナル画像Ｆ１、補間画像Ｉ１およびオリジナル画像Ｆ２を、この順番に画像処理部２５へ出力する。このように、補間処理部２４において、各オリジナル画像の間に補間画像を１つずつ内挿することにより（図３（Ｂ））、オリジナル画像Ｆ１、Ｆ２および補間画像Ｉ１からなる１２０ｆｐｓの補間後動画像Ｐ１が画像処理部２５へ入力される。すなわち、６０ｆｐｓから１２０ｆｐｓへのフレームレート変換が行われたことになる。

出力位相検出部２３は、補間画像Ｉｋの内挿により生成される補間後動画像Ｐ１のフレームレートを予め了知しており、オリジナル画像Ｆｋの入力タイミングを基準にして、補間処理部２４から出力される補間後動画像Ｐ１に含まれる各画像の位相（時間軸上の位置）を検出し、画像位相信号Ｐｈとして画像処理部２５に出力する。この画像位相信号Ｐｈは、各画像がオリジナル画像Ｆｋであるのか、補間画像Ｉｋであるのかを判断する基準となる。

画像処理部２５は、出力位相検出部２３からの画像位相信号Ｐｈに基づき、補間処理部２４から入力される補間後動画像Ｐ１に含まれる各画像がオリジナル画像Ｆｋであるのか、補間画像Ｉｋであるのかを判別する。判別の結果、入力された画像がオリジナル画像Ｆｋであれば、ガンマ補正ゲインを「１」とするコントラスト処理を行う一方、入力された画像が補間画像Ｉｋであれば、ガンマ補正ゲインを「１」未満とする低コントラスト化処理を行う。この結果、画像出力Ｐ２における補間画像Ｉｋは、オリジナル画像Ｆｋに比べて低いコントラストになる。

駆動部２６は、画像出力Ｐ２に基づいて表示部２７を駆動する。これにより、表示部２７では、オリジナル画像Ｆ１、補間画像Ｉ１、オリジナル画像Ｆ２、…という順で表示が行われる。

以上のように、本実施の形態によれば、画像Ｆｋと補間画像Ｉｋとの画像処理の度合いを異ならせており、特に、画像Ｆｋに比べて補間画像Ｉｋを低コントラストにする画像処理を行うようにしたので、補間画像の明瞭度を低下させることができる。このため、例えば動きベクトルの検出精度が低いことに起因して、画像補間処理に伴う画像破綻が生じたとしても、そのような画像破綻が視認され難くなる。すなわち、フレームレート変換によって画質が著しく低下してしまうのを回避することができる。しかも、画像位相という簡単なパラメータに応じて画像処理の度合い（コントラスト処理の強さ）を変えるようにしたので、処理内容が簡便であり、画像処理装置および画像表示装置も構成が簡易となる。

なお、本実施の形態では、補間処理部２４が動きベクトルＳ２に基づいて補間画像を生成し内挿処理を行うようにしたが、補間画像をより簡単に生成することも可能である。例えば、補間画像Ｉ１を次の式（１）に基づいて生成するようにしてもよい。
Ｉ１＝（ｘＦ１＋ｙＦ２）／ｚ ……（１）
ここで、係数（ｘ，ｙ，ｚ）は、固定値としている。この場合には、補間処理がより簡易となり、回路構成をさらに簡略化することができる。

以下、本発明の他の実施の形態について説明する。なお、以下の実施の形態の説明において、第１の実施の形態と同じ構成要素には、同一符号を付してその詳細な説明を省略または簡略化する。

＜第２の実施の形態＞
上記第１の実施の形態では、２つのオリジナル画像間に１つの補間画像を挿入して６０ｆｐｓというフレームレートを２倍の１２０ｆｐｓにする場合について説明したが、本実施の形態では、２つのオリジナル画像間に複数の補間画像を挿入する場合について説明する。

本実施の形態の画像表示装置の基本構成は、上記第１の実施の形態の場合（図１）と同様である。但し、本実施の形態では、主として補間処理部２４の動作が相違する。以下、簡単に動作を説明する。

本実施の形態では、図４（Ａ）、（Ｂ）に示したように、補間処理部２４が、２つのオリジナル画像Ｆ１、Ｆ２間に４つの補間画像Ｉ１−１〜Ｉ１−４を挿入することにより２４ｆｐｓのシネマ信号から１２０ｆｐｓの映像信号へのフレームレート変換を行う。出力位相検出部２３は、補間処理部２４から出力された補間後動画像Ｐ１を構成する各画像の画像位相（オリジナル画像Ｆ１および補間画像Ｉ１−１〜Ｉ１−４のうちのいずれの画像位置か）を検出し、検出結果を画像位相信号Ｐｈとして出力する。画像処理部２５は、画像位相信号Ｐｈに基づいて、各画像に対する画像処理（ここでは、コントラスト処理）の度合いを決定すると共に、決定した度合いでの画像処理を行う。具体的には、画像位相信号Ｐｈに応じたガンマ補正ゲインでのコントラスト処理を行う。それ以外の構成および作用は、上記第１の実施の形態の場合と同様である。

上記のように２つのオリジナル画像Ｆ１、Ｆ２間に複数の補間画像Ｉ１−１〜Ｉ１−４を挿入する場合、オリジナル画像Ｆ１、Ｆ２から時間的に離れた補間画像においては、画像の破綻が大きくなっている可能性がある。この場合には、オリジナル画像Ｆ１、Ｆ２から時間的に離れるに従って補間画像の明瞭度の低下を大きくすることが好ましい。そこで、画像処理部２５は、オリジナル画像Ｆ１、Ｆ２から離れるに従って、補間画像Ｉ１−１〜Ｉ１−４に適用するコントラスト処理のガンマ補正ゲインを小さくするように制御を行う。

例えば、図４（Ｃ）に示したように、オリジナル画像Ｆ１、Ｆ２に近い補間画像Ｉ１−１、Ｉ２−４に対しては、コントラスト処理のゲインをオリジナル画像Ｆ１、Ｆ２のゲイン（ここでは「１」）よりもやや小さくすると共に、オリジナル画像Ｆ１、Ｆ２から遠く離れた補間画像Ｉ１−２、Ｉ１−３に対しては、コントラスト処理のゲインを補間画像Ｉ１−１、Ｉ１−４よりもさらに小さくすればよい。

一般に、補間画像Ｉ１−１〜Ｉ１−４に破綻が生じる場合、その破綻の程度は、補間画像Ｉ１−１、Ｉ１−４よりも補間画像Ｉ１−２、Ｉ１−３において著しい場合が多い。これは、オリジナル画像Ｆ１、Ｆ２から遠く離れるほど、動きベクトルの検出精度が低下するからである。そこで、上記のように、オリジナル画像Ｆ１、Ｆ２から遠く離れた補間画像Ｉ１−２、Ｉ１−３の明瞭度が、オリジナル画像Ｆ１、Ｆ２に近い補間画像Ｉ１−１、Ｉ１−４の明瞭度よりも低くなるようにコントラスト処理を行うことにより、より大きな画像破綻が生じていたとしても、それが視認され難くなる。これにより、フレームレート変換によって画質が著しく低下してしまうのを回避することができる。

なお、図４（Ｃ）に示した例ではゲインを３種類用意するようにしたが、ゲインを４種類以上用意して、これらを選択的に各画像に適用するようにしてもよい。また、図４の例では、オリジナル画像Ｆ１、Ｆ２に対するガンマ補正ゲインを「１」に設定（入力画像をそのまま出力）するようにしたが、他の値に設定するようにしてもよい（１より大きくても良いし、小さくてもよい）。

本実施の形態のようにガンマ補正ゲインを複数段階に変化させて適応制御する場合には、各画像位相とゲインとを対応付けたルックアップテーブルを予め用意しておき、画像位相に応じて、ルックアップテーブルから該当するゲインを読み出して適用することにより、コントラスト処理を適応的に行うことができる。あるいは、画像位相（Ｐｈ）を変数とする１次関数または２次関数によって近似処理を行ってゲインコントロール値を算出し、算出した値を各画像に適用することにより、コントラスト処理を行うようにしてもよい。

＜第３の実施の形態＞
上記実施の形態では、画像位相信号Ｐｈに基づき補間後動画像Ｐ１における各画像に対して適応的にコントラスト処理を行う場合について説明したが、本実施の形態では、画像位相信号Ｐｈに基づき、補間後動画像Ｐ１における各画像に対して適応的に高域カットフィルタ処理を行うことにより、補間画像の破綻を視認され難くする場合について説明する。具体的には、画像処理部２５が、３×３画素や５×５画素等の２次元のフィルタ処理を行って、補間画像に対してぼかしを加えることにより、補間画像を視認され難くする。

本実施の形態の画像表示装置の基本構成は、上記第１の実施の形態の場合（図１）と同様である。但し、本実施の形態では、主として画像処理部２５の動作が相違する。以下、画像処理部２５の動作を中心として説明する。

図５は、オリジナル画像Ｆ１、Ｆ２、…と、高いレームレートに変換された後の補間後動画像Ｐ１と、高域カットフィルタ処理によって加えられるぼけ量との関係を表すものである。この図に示したように、本実施の形態では、画像処理部２５において、出力位相検出部２３から出力される画像位相信号Ｐｈに応じて、補間画像に対する画像処理の度合いを異ならせる処理を行う。具体的には、オリジナル画像Ｆ１、Ｆ２、Ｆ３、…から時間的に離れるに従ってフィルタ処理を強くして、ぼけ量を大きくし、明瞭度を低下させる処理を行う。

このようなフィルタ処理は、例えば３×３画素の平滑化フィルタによって実現される。オリジナル画像における座標（ｋ、ｌ）の入力画素値をＮ（ｋ、ｌ）とし、座標（ｋ、ｌ）の出力画素値をＦ（ｋ、ｌ）と表記すると、フィルタの出力は下式（２）となる。ここで、Ｋ０〜Ｋ８は、平滑化フィルタの係数値である。
Ｆ（ｉ，ｊ）＝Ｋ０＊Ｎ（ｉ−１，ｊ−１）＋Ｋ１＊Ｎ（ｉ，ｊ−１）
＋Ｋ２＊Ｎ（ｉ＋１，ｊ−１）＋Ｋ３＊Ｎ（ｉ−１，ｊ）
＋Ｋ４＊Ｎ（ｉ，ｊ）＋Ｋ５＊Ｎ（ｉ＋１，ｊ）
＋Ｋ６＊Ｎ（ｉ−１，ｊ＋１）＋Ｋ７＊Ｎ（ｉ，ｊ＋１）
＋Ｋ８＊Ｎ（ｉ＋１，ｊ＋１） ……（２）

補間画像Ｉ１−２、Ｉ１−３に適用される平滑化フィルタの係数値は、以下のようになる（フィルタ係数セットＡ）。
Ｋ０＝Ｋ２＝Ｋ６＝Ｋ８＝１／１６
Ｋ１＝Ｋ３＝Ｋ５＝Ｋ７＝１／８
Ｋ４＝１／４

また、オリジナル画像に近い位置の補間画像Ｉ１−１、Ｉ１−４に適用される平滑化フィルタの係数値は、以下のようになる（フィルタ係数セットＢ）。
Ｋ０＝Ｋ２＝Ｋ６＝Ｋ８＝１／３２
Ｋ１＝Ｋ３＝Ｋ５＝Ｋ７＝１／１６
Ｋ４＝５／８

さらに、オリジナル画像そのものに適用される平滑化フィルタの係数値は、以下のようになる（フィルタ係数セットＣ）。
Ｋ０＝Ｋ２＝Ｋ６＝Ｋ８＝０
Ｋ１＝Ｋ３＝Ｋ５＝Ｋ７＝０
Ｋ４＝１
この場合は、フィルタがオフの状態に相当する。

画像処理部２５は、画像位相信号Ｐｈと上記のようなフィルタ係数セットＡ〜Ｃとを対応付けたルックアップテーブルＬＵＴ（図示せず）を有しており、画像位相信号Ｐｈに応じて、このＬＵＴからフィルタ係数セットＡ〜Ｃのいずれかを選択して、画素ごとにフィルタ処理を行い、フィルタ出力値Ｆ（ｉ，ｊ）を得る。これにより、オリジナル画像に近い位置の補間画像Ｉ１−１、Ｉ１−４は、オリジナル画像Ｆ１、Ｆ２よりもぼけ量が大きくなり、明瞭度が低下する。また、オリジナル画像から離れた位置の補間画像Ｉ１−２、Ｉ１−３は、補間画像Ｉ１−１、Ｉ１−４よりもぼけ量が大きくなり、明瞭度がさらに低下する。

以上のように、本実施の形態によれば、フィルタ処理により画像Ｆｋに比べて補間画像Ｉｋをぼかす画像処理を行うようにしたので、補間画像Ｉｋの明瞭度を低下させることができ、画像の破綻を目立たなくすることができる。特に、画像Ｆｋから離れた補間画像Ｉ１−２、Ｉ１−３の明瞭度を、画像Ｆｋに近い補間画像Ｉ１−１、Ｉ１−４の明瞭度よりも低くする（すなわち、より重度の画像破綻の発生が予想される内挿位置の補間画像の明瞭度を、より低下させる）ようにしたので、画像破綻がさほど大きくない補間画像に対して過度のぼかしが加えられてしまう弊害を回避しつつ、画像補間Ｉｋに伴う画像破綻による画質の著しい低下を回避することができる。しかも、そのような、適応的なフィルタ処理を、画像位相という簡単なパラメータに基づいて行うようにしたので、構成および処理が簡易となる。

なお、上記実施の形態では、補間画像に適用するフィルタを３種類用意して、選択的に補間画像に適用する場合について説明したが、フィルタを２種類用意して、オリジナル画像と補間画像との間で使い分けるようにしてもよい。さらに、フィルタを４種類以上用意して、選択的に補間画像に適用するようにしてもよい。

また、上記実施の形態では、画像間に４つの補間画像が挿入した場合について説明したが、２つのオリジナル画像間に３つ以下、あるいは５つ以上の補間画像を挿入するようにしてもよい。

＜第４の実施の形態＞
図６は、第４の実施の形態に係る画像処理装置を備えた画像表示装置の概略構成を表すものである。この画像表示装置２は、種別検出部４０が設けられている点、ならびに画像処理部４１の構成および動作において上記第１〜３の実施の形態の場合と相違し、その他の部分は同様である。

本実施の形態では、種別検出部４０が、入力された映像信号Ｓ１に基づいて、画像の種別を検出し、その検出結果に応じて、画像処理部４１における画像処理の内容（コントラスト処理もしくは高域カットフィルタリング処理、またはその両方）を適応的に切り換える。画像の種別としては、例えば、シネマ信号、テレシネ変換された後の映像信号、あるいは番組コンテンツの分野（例えば、ドラマ映像、バラエティ映像等）ごとの区別等がある。

図７に示したように、画像処理部４１は、コントラスト処理部４２、フィルタ処理部４３、およびスイッチ４４、４５を備える。コントラスト処理部４２は、第１の実施の形態で説明した適用的なコントラスト処理を行うものであり、フィルタ処理部４３は、第３の実施の形態で説明した適用的なフィルタ処理を行うものである。

コントラスト処理部４２には、補間処理部２４からの補間後動画像Ｐ１と、出力位相検出部２３からの画像位相信号Ｐｈとが入力されるようになっている。フィルタ処理部４３は、スイッチ４４を介してコントラスト処理部４２の出力側に接続される。フィルタ処理部４３の出力側は、スイッチ４５を介して、後段の駆動部２６（図６）に接続されている。

各スイッチ４４、４５は、入力された画像種別信号Ｓ３に応じて接続先を切り換えるように機能する。具体的には、以下の通りである。

画像の種別が第１の種別の場合、スイッチ４４は接点ａに接続された状態になると共に、スイッチ４５は接点ｂに切り換わる。これにより、補間処理部２４から出力された補間後動画像Ｐ１はコントラスト処理部４２をバイパスしてフィルタ処理部に直接に入力され、フィルタ処理のみが行われる。第１の種別としては、例えば、プルダウン信号以外の信号（非プルダウン信号、例えばテレシネ変換された画像信号以外の信号）が該当する。この場合において、非プルダウン信号のときにはフィルタ処理が行われ、解像度の低下によって破綻を見えにくくすることができる。一方、プルダウン信号のときにはコントラスト処理が行われるので、映画らしさを保つことができる。

画像の種別が第２の種別の場合、スイッチ４４は接点ａ、ｂのいずれにも接続されず、かつスイッチ４５は接点ａに切り換わる。これにより、補間処理部２４から出力された補間後動画像Ｐ１はコントラスト処理部４２にのみ入力され、コントラスト処理のみが行われる。第２の種別としては、例えば画像信号が高解像度信号である場合が該当する。この場合には、コントラストの低下によって破綻が見えにくくなると同時に、画像の解像度を保つことができる。

画像の種別が第１および第２の種別以外の場合（第３の種別の場合）、スイッチ４４、４５はいずれも接点ｂの側に切り換わる。これにより、コントラスト処理部４２とフィルタ処理部４３とが直列接続され、補間後動画像Ｐ１はコントラスト処理とフィルタ処理の両方の処理を受けることになる。

コントラスト処理部４２およびフィルタ処理部４３には、画像位相信号Ｐｈが入力され、この画像位相信号Ｐｈに応じて、適用的なコントラスト処理またはフィルタ処理が行われる。

このように、本実施の形態では、オリジナル画像の種別に応じてコントラスト処理およびフィルタ処理のうち少なくとも一方を選択的に実施することができるので、画質に応じた適切な画像処理を行うことができる。

以上、いくつかの実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々変形が可能である。例えば、上記第４の実施の形態では、オリジナル画像の種別に応じてコントラスト処理およびフィルタ処理のうち少なくとも一方を選択的に行うようにしたが、これに代えて、コントラスト処理とフィルタ処理とを恒常的に行うようにしてもよい。この場合、コントラスト処理を行った後にフィルタ処理を行ってもよく、フィルタ処理を行った後にコントラスト処理を行ってもよい。

また、上記実施の形態では、フレームレートを６０ｆｐｓから１２０ｆｐｓに変換する場合や、２４ｆｐｓから１２０ｆｐｓに変換する場合等について説明したが、任意のフレームレートをより高いフレームレートに変換する場合に適用可能である。

また、上記実施の形態では、オリジナル画像から遠く離れた補間画像ほど明瞭度をより低下させる処理を行う場合について説明したが、その逆のやり方の処理も可能である。具体的には、オリジナル画像に近い補間画像ほど、明瞭度をより低下させるような画像処理を行うようにしてもよい。

あるいは、オリジナル画像に隣接した補間画像についてはオリジナル画像と同様の度合いでの画像処理を行うと共に、オリジナル画像に隣接していない補間画像についてはオリジナル画像とは異なる度合いでの画像処理（より強い画像処理、またはより弱い画像処理）を行うようにしてもよい。

本発明の第１の実施の形態に係る画像処理装置を備えた画像表示装置の概略構成を表すブロック図である。 図１における補間処理部の概略構成を表すブロック図である。 第１の実施の形態における画像表示装置に入力されるオリジナル画像と、補間後動画像と、コントラスト処理ゲインとの関係とを表すタイミング図である。 本発明の第２の実施の形態における画像表示装置に入力されるオリジナル画像と、補間後動画像と、コントラスト処理ゲインとの関係を表すタイミング図である。 本発明の第３の実施の形態における画像表示装置に入力されるオリジナル画像と、補間後動画像と、フィルタゲインとの関係を表すタイミング図である。 本発明の第４の実施の形態に係る画像処理装置を備えた画像表示装置の概略構成を表すブロック図である。 図６における画像処理部の概略構成を表すブロック図である。

符号の説明

１、２…画像表示装置、１０、１１…画像処理装置、２０…フレームメモリ、２１…動きベクトル算出部、２３…出力位相検出部、２４…補間処理部、２５、４１…画像処理部、４０…種別検出部。

Claims (10)

1. 動画像を構成する一連のオリジナル画像における時間軸方向に前後する２つのオリジナル画像に基づいて補間画像を生成し、この補間画像を前記２つのオリジナル画像の間に挿入する補間処理部と、
   前記オリジナル画像および前記補間画像からなる補間後動画像に対して所定の画像処理を行う画像処理部と
   を備え、
   前記画像処理部は、前記補間後動画像を構成する画像の時間軸上の位置である画像位相に応じて、前記補間後動画像を構成する各画像に対する画像処理の度合いを決定する
   画像処理装置。
2. 前記画像処理部は、前記補間後動画像を構成する画像のうち、前記オリジナル画像に対する画像処理の度合いと前記補間画像に対する画像処理の度合いとを互いに異ならせて画像処理を行う
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記オリジナル画像よりも前記補間画像の方が明瞭度の低下した画像となるように画像処理を行う
   請求項２に記載の画像処理装置。
4. 前記補間処理部は、前記２つのオリジナル画像の間に複数の補間画像を生成して挿入する
   請求項１に記載の画像処理装置。
5. 前記画像処理部は、前記複数の補間画像に対し、時間軸上においてオリジナル画像から離れるに従って補間画像の明瞭度が低下するように画像処理を行う
   請求項４に記載の画像処理装置。
6. 前記画像処理部が行う画像処理は、コントラスト処理である
   請求項１に記載の画像処理装置。
7. 前記画像処理部が行う画像処理は、高域カットフィルタリング処理である
   請求項１に記載の画像処理装置。
8. 前記画像処理部が行う画像処理は、コントラスト処理および高域カットフィルタリング処理である
   請求項１に記載の画像処理装置。
9. 前記オリジナル画像の種別を検出する種別検出部をさらに備え、
   前記画像処理部は、前記種別検出部により検出された種別に応じて、コントラスト処理もしくは高域カットフィルタリング処理、またはその両方を選択的に行う
   請求項１に記載の画像処理装置。
10. 動画像を構成する一連のオリジナル画像における時間軸方向に前後する２つのオリジナル画像に基づいて補間画像を生成し、この補間画像を前記２つのオリジナル画像の間に挿入する補間処理部と、
    前記オリジナル画像および前記補間画像からなる補間後動画像に対して所定の画像処理を行う画像処理部と、
    前記画像処理部において処理された動画像を表示する表示部と
    を備え、
    前記画像処理部は、前記補間後動画像を構成する画像の時間軸上の位置である画像位相に応じて、前記補間後動画像を構成する各画像に対する画像処理の度合いを決定する
    画像表示装置。

Images