JP2011211370A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】動きベクトルを用いたフレーム補間処理において、破綻が生じる場合であっても違和感を感じないように処理することが可能な画像処理装置を提供する。
【解決手段】ベクトル状態の入力があるかどうかを判断する（ステップＳ０）。ベクトル状態の入力があると判断した場合には、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内であるかどうかを判断する（ステップＳ２）。ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内でないと判断した場合には、比率信号調整モードに移行する。比率信号の調整に関しては、一旦比率信号調整モードに移行した場合には、例えば、まず、一例として補間フレームを生成するに当たり比率信号を１／３とし、そして、次の補間フレームの生成では、比率信号を１／５とする。そして、次の補間フレームの生成では、比率信号を０とする。
【選択図】図７

Description

この発明は、画像処理装置に関し、フレームレートを変換する処理に関する。

従来から主として用いられてきた陰極線管（ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）に対して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）は、動きのある画像を表示した場合に、動き部分の輪郭がぼけて知覚されてしまう動きぼけの問題がある。

この点に関して、電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素毎に表示されるため各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。

一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、総称してフレームとも称する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。このため、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけ（残像）が生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまうという問題があった。

この動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔｅｒ）と呼ばれ、液晶表示装置等において実用化されている。

従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法がある。

しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生し、画質的には不十分なものであった。

そこで、上記不自然さの影響等をなくして動画質を改善するために、動きベクトルを用いたフレーム補間処理が提案されている。

この動きベクトルを用いたフレーム補間処理によれば、動きベクトルを用いた動的予測の元にフレームを補間するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。

例えば、この動きベクトルを用いたフレーム補間処理により、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換する処理を行う。

このように、動きベクトルを用いたフレーム補間処理を行い、表示フレーム周波数を上げることで、ＬＣＤの表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。

ここで、動きベクトルを用いたフレーム補間処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。これらの手法においては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、この動きベクトルを用いて２つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、２つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。

ところで、ＦＲＣをハードウェアによるリアルタイム処理や、コンピュータによるシミュレーション処理などにより実現することを考えた場合、ハードウェアでの回路構成、メモリ領域の制約や、コンピュータでの処理速度などの制約から、現実的には動きベクトルを評価する際などの演算範囲を制限する必要がある。

たとえば、フレーム間の動き量が大きい場合など、勾配法演算によって求められた動きベクトルが、制限されたベクトル評価演算範囲を超えてしまうことがある。すなわち、勾配法演算では、前後フレームの画像情報の勾配の違いを基に数学的な計算によってベクトルが求められるため、制限されたベクトル評価演算範囲を超えたベクトルが算出される場合がある。

このように、勾配法演算によって求められたベクトルが、ベクトル評価演算範囲を超えた場合は、特殊な処理が施され、何らかのベクトルが出力されるが、この出力されたベクトルは勾配法などの演算結果が忠実に反映されたものではなく、正確な動きベクトルではない。このため、このような特殊な処理が施された動きベクトルを用いてフレーム補間処理を行った場合、補間フレームに破綻が生じることがある。

尚、動きベクトルの検出方法として、勾配法のみならず、例えばブロックマッチング法を用いた場合も、ベクトル探索範囲などに制限を加える必要があり、上記と同様、フレーム間の動き量が大きい場合などは正確な動きベクトルを出力することが困難であり、補間フレームに破綻が生じることがある。

この補間フレームの破綻に対処するべく種々の方式が提案されている（特許文献１〜５）。

この点で、特許文献１においては、破綻が生じる補間フレームは出力しないようにする方式が提案されている。

特開２００９−１３５６４１号公報 特開２００８−１３５９８０号公報 特開２００９−１８２９３５号公報 特開２００７−７４５８８号公報 特開２００９−１５９３３２号公報

しかしながら、特許文献１に示されるように破綻が生じる場合に補間（合成）したフレームを突然に出力しないようにした場合には、その出力ＯＮ／ＯＦＦの境目の時間で不自然な画像となり違和感を感じさせる場合がある。

本発明は、上記のような問題を解決するためになされたものであって、動きベクトルを用いたフレーム補間処理において、破綻が生じる場合であっても違和感を感じないように処理することが可能な画像処理装置および画像処理方法を提供することを目的とする。

本発明の一実施例に従う画像処理装置は、入力画像信号の連続するフレーム間に画像信号を内挿することにより入力画像信号のフレーム数を変換する画像処理装置である。画像処理装置は、入力画像信号の連続するフレーム間の一方のフレームと他方のフレームとに基づいて動きベクトルを算出する動きベクトル算出部と、動きベクトル算出部により算出された動きベクトルの信頼性を判断するベクトル分析部とを含む。また、画像処理装置は、ベクトル分析部の分析結果に基づいて、一方のフレームと他方のフレームとを補間する補間割合を設定する補間割合設定部を含む。また、画像処理装置は、動きベクトル算出部で算出された動きベクトルと、補間割合とに基づいて、一方のフレームと他方のフレームとを補間するための補間フレームを生成する補間フレーム生成部を含む。補間割合設定部は、ベクトル分析部の分析結果に基づいて予め設定された補間割合から徐々に変化させる。

本発明の一実施例によれば、画像処理装置は、補間割合設定部において、ベクトル分析部の分析結果に基づいて予め設定された補間割合から徐々に変化させるため補間割合の急峻な変化による違和感を軽減することができる。

本発明の実施の形態に従うフレームレート変換部の構成例を説明するブロック図である。 キーフレームを用いた補間フレームの生成について説明する図である。 補間フレーム生成時の補間割合について説明する図である。 比率信号が１／２に設定されている場合におけるキーフレームを用いた通常の補間フレームの生成について説明する図である。 従来における２枚のキーフレームに基づく補間フレームを生成しない場合の処理について説明する図である。 本発明の実施の形態に従う補間フレームの生成について説明する図である。 本発明の実施の形態に従うメモリ管理部４における比率信号１／２からの調整処理について説明するフロー図である。 本発明の実施の形態に従うメモリ管理部４における比率信号０からの調整処理について説明するフロー図である。 本発明の実施の形態の比率信号の変化について説明する図である。 本発明の実施の形態の変形例に従うフレームレート変換部の構成例を説明するブロック図である。 本発明の実施の形態の変形例に従うメモリ管理部４における比率信号１／２からの調整処理について説明するフロー図である。 本発明の実施の形態の変形例に従うメモリ管理部４における比率信号０からの調整処理について説明するフロー図である。 本発明の実施の形態の変形例に従う比率信号の変化について説明する図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰返さない。

図１は、本発明の実施の形態に従うフレームレート変換部の構成例を説明するブロック図である。

図１を参照して、フレームレート変換部はメモリ２と、メモリ管理部４と、ベクトル検出部６と、補間画像生成部８と、最終相関保証部１０と、ベクトル分析部１２とで構成されている。

メモリ２は、入力画像信号の複数のフレームデータを格納しており、メモリ管理部４との間でフレームデータの授受を実行する。

メモリ管理部４は、メモリ２に格納されているフレームデータを読み出して、入力画像信号の連続するフレーム間に画像信号として内挿する補間フレームを生成するためにベクトル検出部６および補間画像生成部８にそれぞれフレームデータを出力する。

本例においては、動きベクトルを算出するベクトル検出部６に連続するフレームデータであるキーフレームＰ，Ｑを出力している場合が示されている。また、補間画像生成部８にキーフレームＰ，Ｑを出力している場合が示されている。なお、キーフレームＰが時系列的には前フレーム、キーフレームＱが時系列的には後フレームとする。

補間画像生成部８は、メモリ管理部４からそれぞれ出力されるフレームデータ（キーフレームＰ，Ｑ）についてベクトル検出部６からの中間ベクトル（動きベクトル）およびメモリ管理部４からの比率信号に基づいて補間フレームを生成する。本例においては、通常時においては、キーフレームＰ，Ｑとに基づく補間フレームを生成する比率信号（補間割合）は１／２に設定されているものとする。

補間画像生成部８には、さらに最終相関保証部１０が関連付けられており、最終相関保証部１０は、ベクトル検出部６からの中間ベクトルの確実性を計算し、曖昧性が高いベクトルに関しては特殊な処理を行なって中間ベクトルを補正する。そして、補正したベクトル（最終ベクトル）に基づいて補間フレームを生成してメモリ管理部４に出力する。そして、メモリ管理部４は、生成された補間フレームを入力画像信号に内挿する画像信号としてメモリ２に格納する。なお、最終相関保証部１０は、補正したベクトル（最終ベクトル）については、ベクトル分析部１２に出力する。

ベクトル分析部１２は、最終ベクトルを用いて過去の画像状態を判断し、ベクトル状態を分析する。ハード的にベクトル評価演算範囲を越えた場合には、越えた旨のベクトル状態をメモリ管理部４に出力する。本発明の実施の形態においては、メモリ管理部４は、当該ベクトル分析部１２の判断結果に基づいて、比率信号（補間割合）を調整する。

メモリ管理部４は、ベクトル分析部１２からベクトル評価演算範囲を越えた旨のベクトル状態を受けた場合には、予め設定されている比率信号（１／２）から比率信号を徐々に０に調整する。また、比率信号を０に設定した後、メモリ管理部４は、ベクトル分析部１２からベクトル評価演算範囲を越えない、すなわち、範囲内であるとのベクトル状態を受けた場合には、比率信号０から予め設定されている比率信号（１／２）に徐々に調整する。なお、比率信号０は、キーフレームＰをそのまま補間フレームとして出力することを意味する。

図２は、キーフレームを用いた補間フレームの生成について説明する図である。
図２を参照して、まず、キーフレームの動きベクトルを検出する。この動きベクトルに基づいて、２枚のキーフレーム（前フレームおよび後フレーム）を合成することで補間フレームが生成される。生成された補間フレームは２枚のキーフレームの間に挿入されて出力される。当該処理により、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換することが可能となる。

図３は、補間フレーム生成時の補間割合について説明する図である。
図３を参照して、補間フレームはメモリ管理部４からの比率信号に応じて生成される。

具体的には、補間ＯＮ時には、比率信号（１／２、１／３、１／４）に応じて、キーフレームＰとキーフレームＱから補間フレームを生成する。

一方、補間ＯＦＦ時には、キーフレームＰ（またはキーフレームＱ）を補間フレームとして挿入する。

図４は、比率信号が１／２に設定されている場合におけるキーフレームを用いた通常の補間フレームの生成について説明する図である。

図４を参照して、ここでは、比率信号が１／２に設定されている場合において、２枚のキーフレーム（前フレームおよび後フレーム）について動きベクトルに基づいて補間フレームを生成した場合が示されている。

なお、ここでは、キーフレームは黒丸、補間フレームは白丸で示されている。以降の図面についても同様である。

次に、ベクトル分析部１２からのベクトル状態（ベクトル評価演算範囲を越えた旨）に基づいて２枚のキーフレームに基づく補間フレームを生成しない場合の処理について説明する。

図５は、従来における２枚のキーフレームに基づく補間フレームを生成しない場合の処理について説明する図である。

図５を参照して、ここでは、途中で補間フレームの出力がＯＦＦされた場合が示されている。

すなわち、途中から比率信号１／２が比率信号が０に設定された場合が示されており、補間フレームは、前フレームがそのままコピーされたものが出力される。

当該図に示されるように、補間フレームは、前フレームをそのままコピーしたものであるため、補間フレームの生成出力ＯＮ／ＯＦＦの境目の時点で不自然な画像となる。

図６は、本発明の実施の形態に従う補間フレームの生成について説明する図である。
図６を参照して、本実施の形態においては、ベクトル分析部１２からのベクトル状態（ベクトル評価演算範囲を越えた旨）に従って、比率信号を補間フレーム毎に徐々に調整する。

具体的には、比率信号１／２を１／３に調整して補間フレームを生成する。そして、さらに、比率信号１／３を１／５に調整して補間フレームを生成して、そして、その後、比率信号を０に設定して補間フレームを生成する場合が示されている。

したがって、比率信号１／２から比率信号０に急峻に比率信号が変化することなく徐々に比率信号が０に近づいていくことになる。それゆえ、補間フレームの生成出力ＯＮ／ＯＦＦの境目の時点で不自然な画像となることなく破綻が生じる場合であっても違和感を感じないように処理することが可能である。

図７は、本発明の実施の形態に従うメモリ管理部４における比率信号１／２からの調整処理について説明するフロー図である。

図７を参照して、まず、ベクトル状態の入力があるかどうかを判断する（ステップＳ０）。具体的には、ベクトル分析部１２からのベクトル状態の信号の入力が有るかどうかを判断する。

ステップＳ０において、ベクトル状態の入力があると判断した場合（ステップＳ０においてＹＥＳ）には、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内であるかどうかを判断する（ステップＳ２）。

ステップＳ２において、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内でないと判断した場合（ステップＳ２においてＮＯ）には、比率信号調整モードに移行する。この場合、比率信号は、１／２から徐々に０に近づける方向に調整する。そして、処理を終了する（リターン）。比率信号の調整に関しては、一旦比率信号調整モードに移行した場合には、例えば、まず、一例として補間フレームを生成するに当たり比率信号を１／３とし、そして、次の補間フレームの生成では、比率信号を１／５とする。そして、次の補間フレームの生成では、比率信号を０とする。そして、数フレーム分、補間フレームの生成に当たり比率信号を０とした後、次に、ベクトル評価演算範囲が有効範囲かどうかに基づいて、比率信号の再調整を実行する。

一方、ステップＳ２において、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内であると判断した場合（ステップＳ２においてＹＥＳ）には、比率信号を１／２とする（ステップＳ４）。そして、処理を終了する（リターン）。

したがって、比率信号１／２の状態から、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内でないと一旦判断した場合には、比率信号は１／２から徐々に０に近づくことになり、最終的に比率信号は０とされる。

図８は、本発明の実施の形態に従うメモリ管理部４における比率信号０からの調整処理について説明するフロー図である。

図８を参照して、まず、ベクトル状態の入力があるかどうかを判断する（ステップＳ１０）。具体的には、ベクトル分析部１２からのベクトル状態の信号の入力が有るかどうかを判断する。

ステップＳ１０において、ベクトル状態の入力があると判断した場合（ステップＳ１０においてＹＥＳ）には、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内であるかどうかを判断する（ステップＳ１２）。

ステップＳ１２において、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内でないと判断した場合（ステップＳ１２においてＮＯ）には、比率信号を０とする（ステップＳ１４）。そして、処理を終了する（リターン）。

一方、ステップＳ１２において、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内であると判断した場合（ステップＳ１２においてＹＥＳ）には、比率信号調整モードに移行する。この場合、比率信号は０から１／２に徐々に近づける方向に調整する。そして、処理を終了する（リターン）。比率信号の調整に関しては、一旦比率信号調整モードに移行した場合には、例えば、まず、一例として補間フレームを生成するに当たり比率信号を１／５とし、そして、次の補間フレームの生成では、比率信号を１／３とする。そして、次の補間フレームの生成では、比率信号を１／２とする。そして、比率信号１／２の通常の補間フレームを生成する。

したがって、比率信号が０の状態から、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内であると一旦判断した場合には、比率信号は０から今度は、徐々に１／２に近づくことになり、最終的に比率信号は１／２とされる。

図９は、本発明の実施の形態の比率信号の変化について説明する図である。
図９（Ｂ）を参照して、ここでは、従来における比率信号１／２から比率信号０に急峻に変化する場合が示されている。図９（Ａ）に示されるように、比率信号１／２を徐々に変化させることにより、補間フレームの生成に関して、生成出力のＯＮ／ＯＦＦの境目の時点において不自然な画像を生じさせることなく違和感を感じないように処理することが可能である。

尚、本例においては、動きベクトルの検出方法として、勾配法を用いてベクトル評価演算範囲が有効範囲か否かに基づいて、比率信号を調整する場合について説明したが、例えばブロックマッチング法を用いた場合についても同様に適用可能である。具体的には、ベクトル探索範囲を越えるか否かに基づいて、比率信号を調整するようにすることも可能である。

（変形例）
図１０は、本発明の実施の形態の変形例に従うフレームレート変換部の構成例を説明するブロック図である。

図１０を参照して、図１のフレームレート変換部と比較して、ベクトル分析部１２をベクトル分析部１２＃に置換した点が異なる。

ベクトル分析部１２＃は、ベクトル精度検出部１４を含む。ベクトル精度検出部１４は、中間ベクトルと最終ベクトルとに基づいて中間ベクトルの精度を算出する。中間ベクトルと最終ベクトルとの誤差が大きい場合には、値が大きくなる。

ベクトル精度は以下の式により算出する。

なお、最大ベクトル量は、１画面中の中間ベクトルおよび最終ベクトルのうちの最大のものを意味する。

図１１は、本発明の実施の形態の変形例に従うメモリ管理部４における比率信号１／２からの調整処理について説明するフロー図である。

図１１を参照して、図７のフローと比較して異なる点は、ステップＳ０，Ｓ２の代わりにステップＳ２０，Ｓ２２を設けた点である。具体的には、まず、ステップＳ２０において、ベクトル分析部１２からのベクトル精度の信号の入力が有るかどうかを判断する。

ステップＳ２０において、ベクトル精度の信号の入力があると判断した場合（ステップＳ２０においてＹＥＳ）には、ベクトル精度に基づいてベクトル精度が所定の閾値内であるかどうかを判断する（ステップＳ２２）。

ステップＳ２２において、ベクトル精度が所定の閾値内でないと判断した場合（ステップＳ２２においてＮＯ）には、比率信号調整モードに移行する（ステップＳ６）。比率信号調整モードについては、図７で説明したのと同様である。

一方、ステップＳ２２において、ベクトル精度が所定の閾値内であると判断した場合（ステップＳ２２においてＹＥＳ）には、比率信号を１／２とする（ステップＳ４）。そして、処理を終了する（リターン）。

したがって、比率信号１／２の状態から、ベクトル精度に基づいて、ベクトル精度が所定の閾値内でないと一旦判断した場合には、比率信号は１／２から徐々に０に近づくことになり、最終的に比率信号は０とされる。

図１２は、本発明の実施の形態の変形例に従うメモリ管理部４における比率信号０からの調整処理について説明するフロー図である。

図１２を参照して、図８のフローと比較して異なる点は、ステップＳ１０，Ｓ１２の代わりにステップＳ３０，Ｓ３２を設けた点である。具体的には、まず、ステップＳ３０において、ベクトル分析部１２からのベクトル精度の信号の入力が有るかどうかを判断する。

ステップＳ３０において、ベクトル状態の入力があると判断した場合（ステップＳ３０においてＹＥＳ）には、ベクトル精度に基づいて所定の閾値内であるかどうかを判断する（ステップＳ３２）。

ステップＳ３２において、ベクトル状態に基づいてベクトル評価演算範囲が有効範囲内でないと判断した場合（ステップＳ３２においてＮＯ）には、比率信号を０とする（ステップＳ１４）。そして、処理を終了する（リターン）。

一方、ステップＳ１２において、ベクトル状態に基づいて所定の閾値内であると判断した場合（ステップＳ３２においてＹＥＳ）には、比率信号調整モードに移行する。比率信号調整モードについては、図８で説明したのと同様である。

したがって、比率信号が０の状態から、ベクトル精度に基づいて、ベクトル精度が所定の閾値内であると一旦判断した場合には、比率信号は０から今度は、徐々に１／２に近づくことになり、最終的に比率信号は１／２とされる。

図１３は、本発明の実施の形態の変形例に従う比率信号の変化について説明する図である。

図１３（Ｂ）を参照して、ここでは、従来における比率信号１／２から比率信号０に急峻に変化する場合が示されている。図１３（Ａ）に示されるように、比率信号１／２を徐々に変化させることにより、補間フレームの生成に関して、生成出力のＯＮ／ＯＦＦの境目の時点で不自然な画像を生じさせることなく違和感を感じないように処理することが可能である。

また、閾値を適切に設定することにより従来よりも速いタイミングで比率信号調整モードへと移行させることが可能となる。当該処理により補間フレームの生成に関して、生成出力のＯＮ／ＯＦＦの境目の時点で不自然な画像を生じさせることなく違和感を感じないように処理することが可能である。

なお、上述の説明においては、フレーム画像のフレームレート変換（フレーム補間）処理を実行している。しかしながら、この画像データは通常の１フレームが２フィールドで構成されるインターレース方式の画像データであってもよい。すなわち、複数の画像から中間の画像を生成して、画像表示レートを変換する構成であればよい。すなわち、複数画像の画像間比較によって新たな画像を作成する構成であれば、本発明のフレームレート変換部（画像処理装置）を適用することができる。

また、表示装置としては液晶表示装置に限定されず、他の表示装置であってもよい。
なお、上記の２つの標本間の誤差を数値化させてベクトル精度を計算する式は一例であり、他の式を用いてベクトル精度を検出するようにすることも当然に可能である。

なお、コンピュータを機能させて、上述のフローで説明したような制御を実行させる方法あるいは当該方法を実現するプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびメモリカードなどの一時的でないコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

なお、プログラムは、コンピュータのオペレーションシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２ メモリ、４ メモリ管理部、６ ベクトル検出部、８ 補間画像生成部、１０ 最終相関保証部、１２ ベクトル分析部、１４ ベクトル精度検出部。

Claims (5)

1. 入力画像信号の連続するフレーム間に画像信号を内挿することにより前記入力画像信号のフレーム数を変換する画像処理装置であって、
   前記入力画像信号の連続するフレーム間の一方のフレームと他方のフレームとに基づいて動きベクトルを算出する動きベクトル算出部と、
   前記動きベクトル算出部により算出された動きベクトルの信頼性を判断するベクトル分析部と、
   前記ベクトル分析部の分析結果に基づいて、前記一方のフレームと前記他方のフレームとを補間する補間割合を設定する補間割合設定部と、
   前記動きベクトル算出部で算出された動きベクトルと、前記補間割合とに基づいて、前記一方のフレームと前記他方のフレームとを補間するための補間フレームを生成する補間フレーム生成部とを備え、
   前記補間割合設定部は、前記ベクトル分析部の分析結果に基づいて予め設定された補間割合から徐々に変化させる、画像処理装置。
2. 前記動きベクトル算出部により算出された動きベクトルを補正する補正部をさらに備え、
   前記補間フレーム生成部は、補正された動きベクトルに基づいて前記補間フレームを生成し、
   前記ベクトル分析部は、前記補正部で補正された動きベクトルと、前記動きベクトル算出部で算出された動きベクトルとに基づいて、前記動きベクトル算出部で算出された動きベクトルの信頼性を判断するための精度判定部をさらに含む、請求項１記載の画像処理装置。
3. 前記補間割合設定部は、前記ベクトル分析部の分析結果に基づいて前記補間フレームが破綻すると判断された場合には、前記予め設定された補間割合を０となるように徐々に変化させる、請求項１記載の画像処理装置。
4. 前記補間割合設定部は、前記補間割合を０とした後、前記ベクトル分析部の分析結果に基づいて前記補間フレームが破綻しないと判断された場合には、前記補間割合を０から前記予め設定された補間割合となるように徐々に変化させる、請求項３記載の画像処理装置。
5. 入力画像信号の連続するフレーム間に画像信号を内挿することにより前記入力画像信号のフレーム数を変換する画像処理方法であって、
   前記入力画像信号の連続するフレーム間の一方のフレームと他方のフレームとに基づいて動きベクトルを算出するステップと、
   算出された動きベクトルの信頼性を判断するステップと、
   判断結果に基づいて、前記一方のフレームと前記他方のフレームとを補間する補間割合を設定するステップと、
   前記算出された動きベクトルと、前記補間割合とに基づいて、前記一方のフレームと前記他方のフレームとを補間するための補間フレームを生成するステップとを備え、
   前記補間割合を設定するステップは、前記判断結果に基づいて予め設定された補間割合から、補間フレーム毎に補間割合を徐々に変化させる、画像処理方法。

Images