JP2009182935A - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】フレーム中の破綻に対して適応的に見え方を緩和して主観的な画質を改善することができるようにする。
【解決手段】ベクトル修正処理部３１は、入力画像の各画素に予め付加されている動きベクトルのそれぞれを、ベクトルデータとして入力を受け付けて、ベクトル特徴量算出部５１乃至ベクトルデータ修正部５３が、１つのフレームの中で破綻の生じ易い画素の領域があると判定された場合の動きベクトルの修正の処理である部分回避処理を実行し、ベクトルヒストグラム算出部５５乃至全体回避判定部５７、および全ベクトルデータ修正部５４が、１つのフレームがそのフレーム全体として破綻の生じ易いフレームであると判定された場合の動きベクトルの修正の処理である全体回避処理を実行する。内挿フレーム生成部３２は、修正された動きベクトルに基づいて、入力画像の画素値から内挿フレームの画像を構成する各画素値を演算する。
【選択図】図３

Description

本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、フレーム中の破綻に対して適応的に見え方を緩和して主観的な画質を改善することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。

従来より、テレビジョン信号の動きを検出する動きベクトル検出回路からの複数の動きベクトルデータの平均動きベクトルデータに基づいて、フレームメモリから読み出されたテレビジョン信号にフレーム内挿処理を施すことが可能である。

内挿フレームの画素値の生成は、例えば、次のようにして行われる。時刻tにおけるフレームの画素値と、動きベクトルvにより時刻tにおけるフレームの画素と対応付けられる時刻t+1のフレームの画素値に基づいて、時刻tにおけるフレームと時刻t＋１におけるフレームとの間のであって、時刻t+kのフレームの画素値を、２つの画素値を線形補間する演算により求めることができる。

このようにして画素値が演算された画素により構成されるフレームが内挿フレームになる。

しかし、内挿フレーム生成に用いるベクトルが誤っている場合など、生成される画像上に本来はないエッジが生じて画像として破綻することがある。さらに、これらの破綻が目立って発生すると、画像を観察するユーザに、画質が劣化していると認識されてしまう。

そこで、破綻の見え方を緩和し主観的な画質を改善するために、内挿フレーム生成にて求めた画素値を、大きさ0のベクトル(すなわち(0，0)のベクトル。以降0ベクトルと称する)により時間補間を行った画素値とある割合で混合することが提案されている（例えば、特許文献１参照）。これにより、画像的な破綻を目立たなくすることができる。

特開２００７−７４５８８号公報

しかしながら、特許文献１の技術では、フレーム全体に０ベクトルの混合処理を行うため、全く破綻が生じていない場合も処理が適用される。その結果、画像の動きの滑らかさが損なわれることがある。

本発明はこのような状況に鑑みてなされたものであり、フレーム中の破綻に対して適応的に見え方を緩和して主観的な画質を改善するものである。

本発明の一側面は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像全体の動きの特徴量を算出し、前記画像全体の動きの特徴量に基づいて、前記内挿フレームの全ての画素の動きベクトルを修正する全体修正処理部と、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像の部分的動きの特徴量を算出し、前記画像の部分的動きの特徴量に基づいて、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルを修正する部分修正処理部とからなる動きベクトル修正手段を備える画像処理装置である。

前記動きベクトル修正手段により修正された動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、前記特定された前記第１のフレームの画像の画素値および前記第２のフレームの画像の画素値の線形補間により、前記注目画素値を演算して前記内挿フレームの画像を生成する内挿フレーム生成手段をさらに備えるようにすることができる。

前記全体修正処理部は、前記内挿フレームの全ての画素の動きベクトルに、第１の混合比率で０ベクトルを混合することにより、前記内挿フレームの動きベクトルを修正し、前記部分修正処理部は、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルに、第２の混合比率で０ベクトルを混合することにより、前記内挿フレームの画素の動きベクトルを修正するようにすることができる。

前記動きベクトル修正手段は、前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムを算出するヒストグラム算出手段と、前記算出されたヒストグラムに基づいて前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのうち、前記内挿フレームの画像の代表的な動きを表す代表ベクトルを複数抽出する代表ベクトル抽出手段をさらに備え、前記全体修正処理部が、前記抽出された代表ベクトルの標準偏差に基づいて、前記全体修正処理の実行の要否を判定し、前記全体修正処理の実行要と判定した場合、前記全体修正処理を実行するようにすることができる。

前記代表ベクトル抽出手段は、前記ヒストグラム算出手段により算出されたヒストグラムのデータに、微分に対応するフィルタ処理、または積分に対応するフィルタ処理が施されたデータに基づいて、前記代表ベクトルを抽出するようにすることができる。

前記動きベクトル修正手段は、前記内挿フレームの注目画素の動きベクトルのノルム、並びに、内挿フレームの注目画素の動きベクトルのｘ成分およびｙ成分のそれぞれについて注目画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を算出するベクトル特徴量算出手段をさらに備え、前記部分修正処理部が、前記算出された前記ノルムおよび前記差分絶対値和に基づいて、前記部分修正処理の実行の要否を判定し、前記部分修正処理の実行要と判定した場合、前記部分修正処理を実行するようにすることができる。

前記ベクトル特徴量算出手段は、前記動画像の種類に応じて、注目画素を中心とする所定の位置の画素の動きベクトルを、前記周辺の画素の動きベクトルとして設定し、前記差分絶対値和を算出するようにすることができる。

前記動きベクトル修正手段は、前記内挿フレームの破綻の可能性の高さに応じて、前記第１の混合比率と前記第２の混合比率を設定するようにすることができる。

本発明の一側面は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像全体の動きの特徴量を算出し、前記画像全体の動きの特徴量に基づいて、前記内挿フレームの全ての画素の動きベクトルを修正する全体修正処理を実行し、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像の部分的動きの特徴量を算出し、前記画像の部分的動きの特徴量に基づいて、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルを修正する部分修正処理を実行するステップを含む画像処理方法である。

本発明の一側面は、コンピュータを、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像全体の動きの特徴量を算出し、前記画像全体の動きの特徴量に基づいて、前記内挿フレームの全ての画素の動きベクトルを修正する全体修正処理部と、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像の部分的動きの特徴量を算出し、前記画像の部分的動きの特徴量に基づいて、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルを修正する部分修正処理部とからなる動きベクトル修正手段を備える画像処理装置として機能させるプログラムである。

本発明の一側面においては、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像全体の動きの特徴量が算出され、前記画像全体の動きの特徴量に基づいて、前記内挿フレームの全ての画素の動きベクトルを修正する全体修正処理が実行され、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像の部分的動きの特徴量が算出され、前記画像の部分的動きの特徴量に基づいて、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルを修正する部分修正処理が実行される。

本発明によれば、フレーム中の破綻に対して適応的に見え方を緩和して主観的な画質を改善することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像全体の動きの特徴量（例えば、代表ベクトルの標準偏差）を算出し、前記画像全体の動きの特徴量に基づいて、前記内挿フレームの全ての画素の動きベクトルを修正する全体修正処理部（例えば、図３の全体回避判定部５７および全ベクトルデータ修正部５４）と、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像の部分的動きの特徴量（例えば、VDAS値）を算出し、前記画像の部分的動きの特徴量に基づいて、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルを修正する部分修正処理部（例えば、図３の部分回避判定部５２およびベクトルデータ修正部５３）とからなる動きベクトル修正手段（例えば、図３のベクトル修正処理部３１）を備える。

この画像処理装置は、前記動きベクトル修正手段により修正された動きベクトルに基づいて、前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、前記特定された前記第１のフレームの画像の画素値および前記第２のフレームの画像の画素値の線形補間により、前記注目画素値を演算して前記内挿フレームの画像を生成する内挿フレーム生成手段（例えば、図３の内挿フレーム生成部３２）をさらに備えるようにすることができる。

この画像処理装置は、前記動きベクトル修正手段が、前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムを算出するヒストグラム算出手段（例えば、図３のベクトルヒストグラム算出部５５）と、前記算出されたヒストグラムに基づいて前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのうち、前記内挿フレームの画像の代表的な動きを表す代表ベクトルを複数抽出する代表ベクトル抽出手段（例えば、図３の代表ベクトル抽出部５６）をさらに備え、前記全体修正処理部が、前記抽出された代表ベクトルの標準偏差に基づいて、前記全体修正処理の実行の要否を判定し、前記全体修正処理の実行要と判定した場合、前記全体修正処理を実行するようにすることができる。

前記代表ベクトル抽出手段は、前記ヒストグラム算出手段により算出されたヒストグラムのデータに、微分に対応するフィルタ（例えば、図６のフィルタ）処理、または積分に対応するフィルタ（例えば、図７のフィルタ）処理が施されたデータに基づいて、前記代表ベクトルを抽出するようにすることができる。

この画像処理装置は、前記動きベクトル修正手段が、前記内挿フレームの注目画素の動きベクトルのノルム、並びに、内挿フレームの注目画素の動きベクトルのｘ成分およびｙ成分のそれぞれについて注目画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を算出するベクトル特徴量算出手段（例えば、図３のベクトル特徴量算出部５１）をさらに備え、前記部分修正処理部が、前記算出された前記ノルムおよび前記差分絶対値和に基づいて、前記部分修正処理の実行の要否を判定し、前記部分修正処理の実行要と判定した場合、前記部分修正処理を実行するようにすることができる。

本発明の一側面の画像処理方法は、動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像全体の動きの特徴量（例えば、代表ベクトルの標準偏差）を算出し、前記画像全体の動きの特徴量に基づいて、前記内挿フレームの全ての画素の動きベクトルを修正する全体修正処理を実行し（例えば、図８のステップＳ１１乃至Ｓ１３の処理）、前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像の部分的動きの特徴量（例えば、VDAS値）を算出し、前記画像の部分的動きの特徴量に基づいて、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルを修正する部分修正処理を実行する（例えば、図８のステップＳ１４およびＳ１５の処理）ステップを含む。

以下、図面を参照して、本発明の実施の形態について説明する。

最初に内挿フレームについて説明する。

時間的に連続するフレームからなる動画像などのデータにおいて、例えば、図1に示されるように、時刻tにおけるフレームの位置qの画素に設定されている動きベクトルvにより、位置qの画素は、時刻t+1におけるフレームにおいて位置ｒの画素に対応づけられる。なお、時刻tにおけるフレームの各画素には、勾配法、ブロックマッチング法などを用いた処理により、予め動きベクトルが付加されているものとする。

例えば、時刻tにおけるフレームと時刻t+1におけるフレームは、時間的に連続しており、本来時刻tのフレームが再生された後、次に再生されるフレームは、時刻t＋1のフレームとなるが、動画像の時間方向の解像度を向上させるために、時刻tと時刻t+1の間に位置する時刻t+kのフレームを生成する。このとき生成される時刻t+kのフレームを内挿フレームと称する。

従来、内挿フレーム（時刻t+kのフレーム）の画素値は、例えば、次のようにして生成されていた。

時刻tのフレームの位置qの画素の動きベクトルｖに基づいて得られる時刻t＋kのフレームの画素の位置は、位置pとなる。時刻t＋kのフレームの位置pの画素値Ft+k(p)は、式（１）に示されるように、２つの点q、rから時間位置の逆比(1-k)：kにより線形補間して求められる。なお、時刻tのフレームの位置qの画素値は、Ft(q)で表され、時刻t＋1のフレームの位置rの画素値は、Ft+1(r)で表されるものとする。

Ft+k(p) = (1-k)Ft(q) + kFt+1(r) ・・・(1)

しかしながら、内挿フレーム生成に用いるベクトルが誤っている場合などは、生成される画像上に本来はないエッジが生じて画像として破綻することがある。さらに、これらの破綻が目立って発生すると、画像を観察するユーザに、画質が劣化していると認識されてしまう。

そこで、破綻の見え方を緩和し主観的な画質を改善するために、内挿フレーム生成にて求めた画素値を、大きさ0のベクトル(すなわち(0，0)のベクトル。以降「0ベクトル」と称する)により時間補間を行った画素値とある割合で混合することにより、画像の破綻を目立たなくすることができる。

例えば、図２に示されるように、内挿フレームである時刻t+kのフレームの位置ｐの画素値を、上述のように予め付加されている動きベクトルｖに基づいて生成するとともに、そのように生成された動きベクトルｖに基づく内挿フレームの画素値を、０ベクトルに基づいて生成される内挿フレームの画素値と混合させることにより補間する。時刻tのフレームの位置pの画素値をFt(p)とし、また、時刻t+1のフレームの位置pの画素値をFt+1(p)とし、時刻t+kにおける0ベクトル補間値（０ベクトルに基づいて生成される内挿フレームの画素値）Gt+k(p)は、式（２）で求めることができる。

Gt+k(p) = (1−k)Ft(p) +kFt+1(p)・・・（２）

さらに、0ベクトル補間値による混合の割合をγとした場合、内挿フレームの最終的な出力画素値F0 t+k(p) は、式（３）により表すことができる。

F0 t+k(p) = (1−γ)Ft+k(p) + γGt+k(p) ・・・（３）

ここで混合する0ベクトル補間値の割合をあまり大きくすると動きが不自然になってしまうので、０＜γ＜0.5で表される範囲のγ値を利用するとよい。より好ましくは0.25＜γ＜0.5で表される範囲のγ値を利用すればよい。

このように、予め各画素に設定されている動きベクトルに基づいて生成される内挿フレームの画素値に、全て一律に0ベクトルに基づいて生成される内挿フレームの画素値を混合させて補間する処理を、一律ブレンド処理と称することにする。

なお、予め各画素に設定されている動きベクトルに基づいて生成される内挿フレームの画素値を、0ベクトルに基づいて生成される内挿フレームの画素値を混合させて補間する処理は、各画素に設定されている動きベクトルに、所定の混合比率で０ベクトルを混合させて動きベクトルを修正する処理と言い換えることもできる。

しかしながら、一律ブレンド処理を行う場合、フレーム全体に０ベクトルに基づいて生成される内挿フレームの画素値を混合させて補間する処理を行うため、全く破綻が生じていない場合も処理が適用される。その結果、画像の動きの滑らかさが損なわれることがある。

そこで、本発明では、画像の破綻に応じて適応的に、0ベクトルに基づいて生成される内挿フレームの画素値を混合させて破綻を回避する構成を採用する。

図３は、本発明を適用した画像処理装置の構成例を示すブロック図である。同図に示される画像処理装置１０は、ベクトル修正処理部３１と、内挿フレーム生成部３２により構成されている。

ベクトル修正処理部３１は、入力画像の各画素に予め付加されている動きベクトルのそれぞれを、ベクトルデータとして入力を受け付けて、破綻を回避した内挿フレームの画素値を生成するために用いられる動きベクトルとして最適な動きベクトルを、画素毎に求めて出力するようになされている。

ベクトル修正処理部３１は、１つのフレームの中で破綻の生じ易い画素の領域を判定し、また、１つのフレームがそのフレーム全体として破綻の生じ易いフレームであるか否かを判定し、それぞれの判定結果に基づいた動きベクトルの修正を行うようになされている。１つのフレームの中で破綻の生じ易い画素の領域があると判定された場合の動きベクトルの修正の処理を、部分回避処理と称することとし、１つのフレームがそのフレーム全体として破綻の生じ易いフレームであると判定された場合の動きベクトルの修正の処理を、全体回避処理と称することにする。

内挿フレーム生成部３２は、ベクトル修正処理部３１の処理を経て得られる動きベクトルに基づいて、入力画像の画素値から内挿フレームの画像を構成する各画素値を演算し、内挿フレームの画像を生成する。ここで、入力画像としては、時間的に連続する２つのフレームの画像が入力されるものとする。

入力画像のベクトルデータは、ベクトル修正処理部３１のベクトル特徴量算出部５１と、ベクトルヒストグラム算出部５５に供給される。

ベクトル修正処理部３１のベクトル特徴量算出部５１乃至ベクトルデータ修正部５３は、上述した部分回避処理に関する処理を行う機能ブロックである。

ベクトル特徴量算出部５１は、画像の中で注目画素を中心とする一部の領域が破綻する可能性が高いか否かを判定するための特徴量を算出する。

ベクトル特徴量算出部５１は、入力画像の各画素に付加されている動きベクトルから、内挿フレームの全ての画素に付加される動きベクトルを特定し、例えば、内挿フレームの注目画素の動きベクトルのノルムを特徴量として算出する。また、ベクトル特徴量算出部５１は、内挿フレームの注目画素の動きベクトルのｘ成分およびｙ成分を抽出し、それぞれについて注目画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を特徴量として算出する。ここで、算出される動きベクトルのx成分の差分絶対値和、またはｙ成分の差分絶対値和を、VDAS（Vector Difference Absolute Summation）と称することにする。

内挿フレームを生成する場合、一般に、動き量が大きい画素を含む部分では破綻が生じ易い。また、内挿フレームを生成する場合、一般に、比較的小さい領域において内挿フレームの生成に用いられる動きベクトルが大きく変化している部分、すなわち動きベクトルが暴れている部分では、破綻が生じ易い。

動き量が大きい画素を含む部分であるか否かは、上述したノルムを算出することにより判定する。

いま、図４に示されるように、時刻tのフレームと、時刻t+1のフレームが入力画像として与えられ、時刻tと時刻t+1の間に位置する時刻t+kのフレームを内挿フレームとして生成する場合を考える。時刻tのフレームの位置qの画素の動きベクトルｖに基づいて得られる時刻t＋1のフレームの画素の位置は、位置rとなり、動きベクトルｖに基づいて得られる時刻t＋kのフレームの画素の位置は、位置pとなる。

また、このように、入力画像の各画素に付加されている動きベクトルから、内挿フレームの全ての画素に付加される動きベクトルを特定することが可能である。この例では、内挿フレームの位置pの画素に付加されている動きベクトルが動きベクトルｖであると特定できる。

ここで、時刻t＋kのフレームの位置pを、（座標）Px,yで表すこととする。時刻t+kにおける位置Px,yの動きベクトルのノルムVNORMt+k(Px,y)は、式（４）により算出される。

例えば、ここで算出されたノルムが閾値を超えている場合、位置Px,yの画素は、動き量が大きい画素であり、この画素を含む部分は、破綻が生じ易いと判断できる。

なお、ここでは、画素値として輝度信号の値が与えられる場合を想定して説明したが、画素値として色差信号の値が与えられる場合、輝度信号において対応する画素位置で算出されたベクトルのノルムを用いるようにすればよい。また、上述したノルムを自乗したものを特徴量として用いてもよいし、必要に応じて動きベクトルのx成分、またはy成分に重みを乗じてノルムを算出してもよい。

また、動きベクトルが暴れている部分であるか否かは、上述したVDASを算出することにより判定する。

例えば、図４の位置Px,yの画素を注目画素とし、注目画素の周辺の画素を、図５に示されるように設定し、それらの画素に付加されている動きベクトルを特定する。図５は、内挿フレームの所定の領域の画素をそれぞれ四角形で表した図であり、図５の例では、注目画素を中心とする２５個（＝５×５）の画素で構成されるブロックにおいて、図中のハッチングで示される位置の画素が、注目画素の周辺の画素として設定されている。従って、注目画素の周辺の画素の位置は、位置Px-2,y-2、Px,y-2、Px+2,y-2、Px-2,y、Px+2,y、Px-2,y+2、Px,y+2、およびPx+2,y+2の８個の画素となる。

位置Px,yにおけるVDAS値VDASt+k(Px,y)は、式（５）により算出される。

すなわち、x成分の差分絶対値和とy成分の差分絶対値和のうちの大きい方の値が位置Px,yにおけるVDAS値とされる。

なお、x成分の差分絶対値和、およびy成分の差分絶対値和は、それぞれ式（６）および式（７）により求められる。

例えば、ここで算出されたVDAS値が閾値を超えている場合、位置Px,yの画素の周辺の領域は、動きベクトルが暴れている部分であり、この画素を含む部分は、破綻が生じ易いと判断できる。

なお、ここでは、画素値として輝度信号の値が与えられる場合を想定して説明したが、画素値として色差信号の値が与えられる場合、輝度信号において対応する画素位置で算出されたVDAS値を用いればよい。また、式（６）および式（７）のVDAS値算出には絶対値をとる代わりに自乗したものを用いてもよい。さらに、VDAS値の算出にあたって、注目画素の動きベクトルと、周辺の画素の動きベクトルとのユークリッド距離の和を用いてもよい。

また、図５を参照して上述した位置とは異なる位置の画素が注目画素の周辺の画素とされるようにしてもよい。例えば、入力画像の種類によっては、注目画素を中心とする８１個（＝９×９）のの画素で構成されるブロックから周辺の画素が設定されるようにしてもよい。例えば、符号化方式、フレームレートなどに対応して入力画像の種類を特定し、入力画像の種類に応じて、どの位置の画素が注目画素の周辺の画素として設定されるかが定まるようにしてもよい。

部分回避判定部５２は、ベクトル特徴量算出部５１から出力される特徴量の値を、予め設定された閾値と比較することにより、画像の中で注目画素を中心とする一部の領域が破綻する可能性が高いか否かを判定する。注目画素を中心とする一部の領域が破綻する可能性が高いと判定された場合、部分回避判定部５２は、その旨を表す情報とともに、０ベクトル補間値の混合比率を表す情報をベクトルデータ修正部５３に出力する。

ベクトルデータ修正部５３は、注目画素を中心とする一部の領域が破綻する可能性が高いと判定された注目画素に付加された動きベクトルを特定する情報と、部分回避判定部５２から供給される混合比率とを対応付けて全ベクトルデータ修正部５４に出力する。

ベクトル修正処理部３１のベクトルヒストグラム算出部５５乃至全体回避判定部５７、および全ベクトルデータ修正部５４は、上述した全体回避処理に関する処理を行う機能ブロックである。

ベクトルヒストグラム算出部５５は、ベクトルデータのヒストグラムを算出する。すなわち、ベクトルヒストグラム算出部５５は、入力画像の各画素に付加されている動きベクトルから、内挿フレームの全ての画素に付加される動きベクトルを特定し、それらの動きベクトルのヒストグラムを生成する。

代表ベクトル抽出部５６は、ベクトルヒストグラム算出部５５により生成されたヒストグラムに基づいて代表ベクトルを抽出する。

内挿フレームを生成する場合、上述したように、動き量が大きい画素を含む部分では破綻が生じ易く、動きベクトルが暴れている部分では、破綻が生じ易いと言える。しかし、これらは、フレーム内の特定の部分で破綻が生じることを想定している。一般に、フレーム内の画素に様々な動きが混在する場合、そもそもフレーム全体として破綻が生じ易いと言える。

本発明では、フレーム内の画素に様々な動きが混在するか否かを、フレームの全ての画素に付加される動きベクトルのヒストグラムに基づいて判定する。

図４の例の場合と同様に、時刻t+kのフレームを内挿フレームとして生成する場合、位置Ｐx,yの画素値をFt+k(Px,y)とし、位置Px,yの画素の動ベクトルをVt+k(Px,y)xyとして、ベクトルヒストグラム算出部５５は、時刻t +kのフレームにおける全てのベクトルVt+k(Pi,j)xyのヒストグラムを算出する。

そして、代表ベクトル抽出部５６は、ベクトルヒストグラム算出部５５により生成されたヒストグラムの中で、例えば度数が大きい順に32個の動きベクトルを抽出し、それらの動きベクトルを、当該内挿フレームの代表ベクトルとする。すなわち、当該内挿フレームの各画素に付加されている動きベクトルのうち、多くの画素に付加されているものが代表ベクトルとして抽出される。

例えば、ここで抽出された代表ベクトルの標準偏差が閾値を超えている場合、代表ベクトルが一定ではなく、ばらついていると言えるので、当該内挿フレーム内の画素に様々な動きが混在するものと考えられ、この内挿フレームは、破綻が生じ易いと判断できる。

なお、ベクトルヒストグラム算出部５５によるヒストグラムの算出においては、動きベクトルにより特定される始点または終点の画素が低輝度であり、かつ周辺の画素との輝度値の差分が小さい（平坦な）ものである場合、その動きベクトルは、ヒストグラムに積算されないようにすることが好ましい。このような動きベクトルは、信頼性が低いと考えられるからである。

また、代表ベクトル抽出部５６による代表ベクトルの抽出においては、ヒストグラムに対して微分や積分を適用した結果が大きい順に抽出してもよい。

例えば、ベクトルヒストグラム算出部５５により算出されたヒストグラムがx成分およびy成分に対応する２次元で表されるものである場合、微分すべき動きベクトルの度数と、その周辺の動きベクトルの度数に対して図６に示されるようなフィルタによる演算処理を行うことにより、ヒストグラムに対して微分を適用した結果が得られる。また、積分すべき動きベクトルの度数と、その周辺の動きベクトルの度数に対して図７に示されるようなフィルタによる演算処理を行うことにより、ヒストグラムに対して積分を適用した結果が得られる。

ヒストグラムに対して微分を適用した結果に基づいて代表ベクトルを抽出するようにすれば、例えば、フレーム内の特定の領域の画素の動きベクトルが代表ベクトルとして集中的に抽出されてしまうことが抑止される。

また、ヒストグラムに対して積分を適用した結果に基づいて代表ベクトルを抽出するようにすれば、例えば、ヒストグラムの特異点である動きベクトルが代表ベクトルとして抽出されてしまうことが抑止される。

全体回避判定部５７は、代表ベクトル抽出部５６により抽出された３２個の代表ベクトルのx成分の標準偏差、およびy成分の標準偏差をそれぞれ算出する。そして、全体回避判定部５７は、x成分の標準偏差およびy成分の標準偏差の和を、予め設定された閾値と比較することにより、当該内挿フレームが破綻する可能性が高いか否かを判定する。なお、閾値は、例えば３０以上の値とされることが望ましい。当該内挿フレームが破綻する可能性が高いと判定された場合、全体回避判定部５７は、その旨を表す情報とともに、０ベクトル補間値の混合比率を表す情報を全ベクトルデータ修正部５４に出力する。

全ベクトルデータ修正部５４は、当該内挿フレームの全画素に付加された動きベクトルのそれぞれを特定する情報と、全体回避判定部５７から供給される混合比率とを対応付けて内挿フレーム生成部３２に出力する。

内挿フレーム生成部３２は、当該内挿フレームの各画素に付加された動きベクトルを、ベクトルデータ修正部５３、または全ベクトルデータ修正部５４が設定した混合比率によって、０ベクトルと混合させて修正する。そして、内挿フレーム生成部３２は、修正した動きベクトルを注目画素に付加すべき動きベクトルとして設定し、例えば、図２を参照して上述したように、式（１）乃至式（３）により画素値を演算して内挿フレーム画像を生成して出力する。

なお、ここでは、内挿フレームの注目画素に付加された動きベクトルを修正するようにしたので、実際には、修正された動きベクトルに基づく式（１）の演算を行えばよいことになる。

このように、本発明の画像処理装置１０においては、部分回避処理または全体回避処理の必要性が判定されて、その判定結果に基づいて動きベクトルが修正されて内挿フレームが生成されるようになされている。

次に、図８のフローチャートを参照して、本発明の画像処理装置１０による内挿フレーム生成処理について説明する。この処理は、例えば、時間的に連続する動画像のデータが入力され、内挿フレームの生成が指令されたとき、実行される。

ステップＳ１１において、ベクトル修正処理部３１は、図９を参照して後述する部分回避判定処理を実行する。これにより、いまから生成する内挿フレームについて全体回避処理が必要であるか否かが判定される。

ここで、図９のフローチャートを参照して、図８のステップＳ１１の全体回避処理の詳細について説明する。

ステップＳ３１において、ベクトルヒストグラム算出部５５は、入力画像の各画素に付加されている動きベクトルから、内挿フレームの全ての画素に付加される動きベクトルを特定し、それらの動きベクトルのヒストグラムを生成する。

ステップＳ３２において、代表ベクトル抽出部５６は、ステップＳ３１の処理で生成されたヒストグラムに基づいて代表ベクトルを抽出する。このとき、例えば、ヒストグラムの中で、度数が大きい順に32個の動きベクトルが代表ベクトルとして抽出される。

ステップＳ３４において、全体回避判定部５７は、ステップＳ３２の処理で抽出された、例えば３２個の代表ベクトルのx成分の標準偏差、およびy成分の標準偏差をそれぞれ算出する。

ステップＳ３４において、全体回避判定部５７は、x成分の標準偏差およびy成分の標準偏差の和を、予め設定された閾値と比較する。ステップＳ３４において、x成分の標準偏差およびy成分の標準偏差の和が閾値を超えていると判定された場合、当該内挿フレームが破綻する可能性が高いので、処理は、ステップＳ３５に進む。

ステップＳ３５において、全体回避判定部５７は、全体回避処理が必要であることを表す全体回避フラグをONに設定する。なお、ここで、０ベクトル補間値の混合比率を表す情報が合わせて設定されるようにしてもよい。

一方、ステップＳ３４において、x成分の標準偏差およびy成分の標準偏差の和が閾値を超えていないと判定された場合、当該内挿フレームが破綻する可能性は低いので、処理は、ステップＳ３６に進む。

ステップＳ３６において、全体回避判定部５７は、全体回避フラグをOFFに設定する。

このようにして、全体回避判定処理が実行される。

図８に戻って、ステップＳ１１の処理の後、ステップＳ１２において、全体回避処理が必要であるか否かが判定される。ここでは、上述した全体回避フラグに基づいて全体回避処理の要否が判定される。

ステップＳ１２において、全体回避処理要と判定された場合、処理は、ステップＳ１３に進み、全ベクトルデータ修正部５４は、当該内挿フレームの全画素に付加された動きベクトルのそれぞれを特定する情報と、全体回避判定部５７から供給される混合比率とを対応付けて出力する。これにより、全ての画素の動きベクトルに０ベクトルが混合されて修正されることになる。

一方、ステップＳ１２において、全体回避処理不要と判定された場合、処理は、ステップＳ１４に進み、図１０を参照して後述する部分回避判定処理が実行される。これにより、いまから生成する内挿フレームについて部分回避処理が必要であるか否かが判定される。

ここで、図１０のフローチャートを参照して、図８のステップＳ１４の部分回避判定処理の詳細について説明する。

ステップＳ５１において、ベクトル特徴量算出部５１は、当該内挿フレームの中での注目画素を設定する。

ステップＳ５２において、ベクトル特徴量算出部５１は、ステップＳ５１の処理で設定された注目画素の動きベクトルのノルムを特徴量として算出する。

ステップＳ５３において、ベクトル特徴量算出部５１は、ステップＳ５１の処理で設定された注目画素の動きベクトルのｘ成分およびｙ成分を抽出し、それぞれについて注目画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和（VDAS値）を特徴量として算出する。

ステップＳ５４において、部分回避判定部５２は、ステップＳ５２の処理で算出されたノルムとノルムに対応する閾値（例えば、３０）とを比較し、また、ステップＳ５３の処理で算出されたVDAS値とVDAS値に対応する閾値（例えば、１００）とを比較し、少なくともいずれかが閾値を超えているか否かを判定する。

ステップＳ５４において、ノルムまたはVDAS値が閾値を超えていると判定された場合、画像の中で注目画素を中心とする一部の領域が破綻する可能性が高いと考えられるので、処理は、ステップＳ５５に進む。

ステップＳ５５において、部分回避判定部５２は、注目画素を部分回避が必要な画素として記憶する。このとき、例えば、注目画素の画素位置を特定する情報が記憶される。また、０ベクトル補間値の混合比率を表す情報が合わせて記憶されるようにしてもよい。

一方、ステップＳ５４において、ノルムまたはVDAS値が閾値を超えていないと判定された場合、画像の中で注目画素を中心とする一部の領域が破綻する可能性が低いと考えられるので、ステップＳ５５の処理は、スキップされる。

このようにして、部分回避処理が実行される。

図８に戻って、ステップＳ１４の処理の後、ステップＳ１５において、ベクトルデータ修正部５３は、当該内挿フレームにおいて破綻する可能性が高いと判定された画素に付加された動きベクトルのそれぞれを特定する情報と、部分回避判定部５２から供給される混合比率とを対応付けて出力する。これにより、当該画素の動きベクトルに０ベクトルが混合されて修正されることになる。

ステップＳ１３またはステップＳ１５の処理の後、処理は、ステップＳ１６に進み、内挿フレーム生成部３２は、当該内挿フレームの各画素に付加された動きベクトルを、ステップＳ１３またはステップＳ１５の処理により設定された混合比率によって、０ベクトルと混合させて修正し、修正した動きベクトルを注目画素に付加すべき動きベクトルとして設定し、画素値を演算することによって内挿フレームの画像を生成する。このとき、例えば、図２を参照して上述したように、式（１）乃至式（３）により画素値が演算される。

ステップＳ１７において、次のフレームがあるか否かが判定され、次のフレームがあると判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返し実行される。

ステップＳ１７において、次のフレームがないと判定された場合、内挿フレーム生成処理は終了する。

このようにして、内挿フレームの画像が生成される。

上述した内挿フレーム生成処理において、ステップＳ１３と、ステップＳ１５で画素の動きベクトルに０ベクトルを混合させると説明したが、例えば、ステップＳ１３と、ステップＳ１５での０ベクトルの混合比率が、それぞれ異なるように設定してもよい。すなわち、全体回避処理によって動きベクトルを修正する場合（ステップＳ１３）と、部分回避処理によって動きベクトルを修正する場合（ステップＳ１５）とでは、０ベクトルの混合比率がことなるようにしてもよい。

例えば、生成される内挿フレームに生じる破綻の割合が小さい場合、すなわち、ほぼ正しく動きを求められる画像の場合、部分回避処理による動きベクトルの修正が効果的であるが、このような画像において全体回避処理による動きベクトルの修正が行われると、画像の動きの滑らかさが損なわれる可能性がある。なお、ここでいう、ほぼ正しく動きを求められる画像の例としては、全画面パンやチルトの中で小物体が別の動きをするような場合が挙げられる。

例えば、本発明の処理を施さなくても、もともと生成される内挿フレームに生じる破綻の割合が小さいのであれば、部分回避処理における混合比率（ステップＳ１５の処理における０ベクトルの混合比率）が、全体回避処理における混合比率（ステップＳ１３の処理における０ベクトルの混合比率）より大きな値とされることが好ましい。

また、例えば、生成される内挿フレームに生じる破綻の割合が大きい場合、すなわちほぼ正しく動きを求められない画像の場合、部分回避処理による動きベクトルの修正では破綻を回避しきれない可能性がある。なお、ここでいう、ほぼ正しく動きを求められない画像の例としては、ある程度の大きさをもった様々な物体が動くような場合、全画面にわたって繰り返しパターンがあるような場合などが挙げられる。

例えば、もともと生成される内挿フレームに生じる破綻の割合が大きいのであれば、全体回避処理における混合比率（ステップＳ１３の処理における０ベクトルの混合比率）が、部分回避処理における混合比率（ステップＳ１５の処理における０ベクトルの混合比率）より大きな値とされることが好ましい。

このように、例えば、画像の特徴や過去の処理結果などに基づいて、部分回避処理における混合比率と、全体回避処理における混合比率とをそれぞれ適切に選択すれば、より効果的な破綻回避が可能となる。

例えば、過去に行われた内挿フレームの生成に基づいて、入力画像の内挿フレームに破綻が生じる可能性の高さを数値として入力し、ベクトル修正処理部３１が、全体回避処理における混合比率（ステップＳ１３の処理における０ベクトルの混合比率）と、部分回避処理における混合比率（ステップＳ１５の処理における０ベクトルの混合比率）とを、入力された数値に対応する値に設定するようにすればよい。

また、図８を参照して上述した処理では、ステップＳ１１で全体回避判定処理を実行した後、ステップＳ１４で部分回避判定処理が実行されると説明したが、この処理の順序は、本発明の処理を施さなければ、もともと生成される内挿フレームに生じる破綻の割合が大きい場合を想定している。例えば、本発明の処理を施さなくても、もともと生成される内挿フレームに生じる破綻の割合が小さいのであれば、先に部分回避判定処理が実行され、部分回避要となる画素が１つでもある場合は、全体回避判定処理が実行されないようにするようにしてもよい。

あるいはまた、もともと生成される内挿フレームに生じる破綻の割合が小さいのであれば、部分回避処理により修正された動きベクトルを用いて、さらに全体回避判定処理が行われるようにしてもよい。

例えば、過去に行われた内挿フレームの生成に基づいて、入力画像の内挿フレームに破綻が生じる可能性の高さを数値として入力し、ベクトル修正処理部３１が、入力された数値に対応して、全体回避判定処理、または部分回避判定処理のいずれを先に実行するかを決定するようにすればよい。

このようにすれば、例えば、ほぼ正しく動きを求められる画像に対して不必要な全体回避処理が実行されて画像の動きの滑らかさが損なわれることが抑止される。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１１において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

内挿フレームの生成を説明する図である。 一律ブレンド処理を説明する図である。 本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。 動きベクトルにより対応付けられる画素を説明する図である。 VDAS値の演算に用いられる画素ついて説明する図である。 微分に用いられるフィルタの例を示す図である。 積分に用いられるフィルタの例を示す図である。 内挿フレーム生成処理を説明するフローチャートである。 全体回避判定処理を説明するフローチャートである。 部分回避判定処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１０ 画像処理装置， ３１ ベクトル修正処理部， ３２ 内挿フレーム生成部， ５１ ベクトル特徴量算出部， ５２ 部分回避判定部， ５３ ベクトルデータ修正部， ５４ 全ベクトルデータ修正部， ５５ ベクトルヒストグラム算出部， ５６ 代表ベクトル抽出部， ５７ 全体回避判定部， ７０１ CPU， ７１１ リムーバブルメディア

Claims (11)

1. 動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
   前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像全体の動きの特徴量を算出し、前記画像全体の動きの特徴量に基づいて、前記内挿フレームの全ての画素の動きベクトルを修正する全体修正処理部と、
   前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像の部分的動きの特徴量を算出し、前記画像の部分的動きの特徴量に基づいて、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルを修正する部分修正処理部とからなる動きベクトル修正手段
   を備える画像処理装置。
2. 前記動きベクトル修正手段により修正された動きベクトルに基づいて、
   前記内挿フレームの注目画素に対応する前記第１のフレームの画像の画素値と、前記内挿フレームの注目画素に対応する前記第２のフレームの画像の画素値を特定し、
   前記特定された前記第１のフレームの画像の画素値および前記第２のフレームの画像の画素値の線形補間により、前記注目画素値を演算して前記内挿フレームの画像を生成する内挿フレーム生成手段を
   さらに備える請求項１に記載の画像処理装置。
3. 前記全体修正処理部は、前記内挿フレームの全ての画素の動きベクトルに、第１の混合比率で０ベクトルを混合することにより、前記内挿フレームの動きベクトルを修正し、
   前記部分修正処理部は、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルに、第２の混合比率で０ベクトルを混合することにより、前記内挿フレームの画素の動きベクトルを修正する
   請求項１に記載の画像処理装置。
4. 前記動きベクトル修正手段は、
   前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのヒストグラムを算出するヒストグラム算出手段と、
   前記算出されたヒストグラムに基づいて前記内挿フレームを構成するそれぞれの画素に付加されている動きベクトルのうち、前記内挿フレームの画像の代表的な動きを表す代表ベクトルを複数抽出する代表ベクトル抽出手段をさらに備え、
   前記全体修正処理部が、前記抽出された代表ベクトルの標準偏差に基づいて、前記全体修正処理の実行の要否を判定し、
   前記全体修正処理の実行要と判定した場合、前記全体修正処理を実行する
   請求項３に記載の画像処理装置。
5. 前記代表ベクトル抽出手段は、
   前記ヒストグラム算出手段により算出されたヒストグラムのデータに、微分に対応するフィルタ処理、または積分に対応するフィルタ処理が施されたデータに基づいて、前記代表ベクトルを抽出する
   請求項４に記載の画像処理装置。
6. 前記動きベクトル修正手段は、
   前記内挿フレームの注目画素の動きベクトルのノルム、並びに、内挿フレームの注目画素の動きベクトルのｘ成分およびｙ成分のそれぞれについて注目画素を中心とする周辺の画素の動きベクトルのｘ成分およびｙ成分との差分絶対値和を算出するベクトル特徴量算出手段をさらに備え、
   前記部分修正処理部が、前記算出された前記ノルムおよび前記差分絶対値和に基づいて、前記部分修正処理の実行の要否を判定し、、
   前記部分修正処理の実行要と判定した場合、前記部分修正処理を実行する
   請求項３に記載の画像処理装置。
7. 前記ベクトル特徴量算出手段は、
   前記動画像の種類に応じて、注目画素を中心とする所定の位置の画素の動きベクトルを、前記周辺の画素の動きベクトルとして設定し、前記差分絶対値和を算出する
   請求項６に記載の画像処理装置。
8. 前記動きベクトル修正手段は、
   前記内挿フレームの破綻の可能性の高さに応じて、前記第１の混合比率と前記第２の混合比率を設定する。
   請求項３に記載の画像処理装置。
9. 動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置の画像処理方法であって、
   前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像全体の動きの特徴量を算出し、前記画像全体の動きの特徴量に基づいて、前記内挿フレームの全ての画素の動きベクトルを修正する全体修正処理を実行し、
   前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像の部分的動きの特徴量を算出し、前記画像の部分的動きの特徴量に基づいて、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルを修正する部分修正処理を実行する
   ステップを含む画像処理方法。
10. コンピュータを、
    動画像の第１のフレームの画像と、前記第１のフレームより時間的に後の第２のフレームの画像に基づいて、前記第１のフレームより時間的に後のフレームであって、前記第２のフレームより時間的に前の内挿フレームの画像を生成する画像処理装置であって、
    前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像全体の動きの特徴量を算出し、前記画像全体の動きの特徴量に基づいて、前記内挿フレームの全ての画素の動きベクトルを修正する全体修正処理部と、
    前記内挿フレーム構成するそれぞれの画素に付加されている動きベクトルに基づいて、前記内挿フレームの画像の部分的動きの特徴量を算出し、前記画像の部分的動きの特徴量に基づいて、前記内挿フレームの画像の前記部分に対応する画素の動きベクトルを修正する部分修正処理部とからなる動きベクトル修正手段を備える画像処理装置として機能させる
    プログラム。
11. 請求項１０に記載のプログラムが記録されている記録媒体。

Images