JP2009021868A - 映像処理装置、映像処理方法、及びプログラム - Google Patents

Abstract

【課題】動きベクトルを用いて映像信号の解像度変換をする映像処理装置を提供すること。
【解決手段】動きベクトルを用いて映像信号の解像度変換をする映像処理装置が提供される。当該映像処理装置は、一のフレームメモリを用いてフレーム巡回型のノイズ低減処理をするノイズ低減部と、前記一のフレームメモリを用いて映像信号の解像度変換をする解像度変換部とを備える。そして、前記ノイズ低減処理と前記解像度変換とで共通の前記一のフレームメモリが利用される点に特徴を有する。
【選択図】図３

Description

本発明は、映像処理装置、映像処理方法、及びプログラムに関する。

近年、材料物性の制御技術が大きく向上し、液晶材料や有機電解発光材料等が表示デバイスとして利用されるようになってきている。その中でも、液晶材料を利用した表示デバイスは、コンピュータ用のディスプレイ装置に留まらず、大型のテレビジョン受像機として広く一般家庭にも普及してきている。今や、液晶テレビは、ほぼＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）に置き換わったのではないかとさえ思われる。

しかしながら、液晶テレビには、映像がボヤける現象が起きやすいという特性がある。そのため、液晶テレビに入力される映像信号のフレームレートを倍化してボヤケを抑制する技術が提案されている。例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄ Ｃｏｍｍｉｔｅｅ）方式の場合、通常の２倍のフレームレートである１２０Ｈｚの映像信号に変換してから液晶テレビで表示することで、ボヤケを抑制することができる。同様に、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｅ Ｌｉｎｅ）方式の場合、映像信号のフレームレートを１００Ｈｚに変換してから液晶テレビで表示すればよい。このような映像信号のフレームレート変換は、フレーム間の動きベクトルに基づいて生成された補間フレームを元の映像信号に挿入することで実現される。

上記のフレームレート変換には、映像信号を変換するための映像処理装置又はその機能をコンピュータに実現させるためのプログラムが用いられる。そうした映像処理装置は、元の映像信号に内挿される補間フレームを生成する際にフレームメモリを利用する。例えば、映像処理装置は、連続する２枚のフレームに含まれる画素又は画素ブロックをフレームメモリに書き込み、それを参照しながら、フレーム間の動きベクトルを算出する。そして、映像処理装置は、その動きベクトルに対応する画素を２枚のフレームの中間位置に配置して補間フレームを生成する。その結果、フレーム間の動きがスムーズになるため、液晶テレビ等においても映像がスムーズになり、ボヤケが抑制されて高画質化される。例えば、下記の特許文献１には、こうしたフレームレート変換に関する技術が開示されている。

特開２００６−２３８１２号公報

しかしながら、フレームレート変換には高価なフレームメモリが多数必要とされるため、フレームレート変換機能を搭載した機器自体の製品コストが高騰してしまう。また、映像信号に含まれるノイズが多い場合には動きベクトルが誤検出され、フレームレート変換後の映像信号が乱れてしまう。フレームメモリの使用量を節約しつつ、ノイズを低減させる手段として、フレーム巡回型のノイズ低減回路が知られている。例えば、このノイズ低減回路は、フレームメモリに蓄積して１フレーム分遅延させた映像データと、現時点の入力映像データとの差分を算出し、その差分データの一部を入力映像データから減算してノイズを低減させる。しかしながら、この方式のノイズ低減回路は、フレームに含まれる画素の移動に伴う信号変化をノイズとして検出してしまうため、移動する画素の映像がボヤケてしまう。そのため、１又は少数のフレームメモリを用いてフレームレート変換とノイズ低減とを同時に実現する技術が求められている。

そこで、本発明は、上記の問題に鑑みてなされたものであり、本発明の目的とするところは、必要なフレームメモリの容量を少なく抑えながら、フレームレート変換とノイズ低減処理とを実現することが可能な、新規かつ改良された映像処理装置、映像処理方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、動きベクトルを用いて映像信号の解像度変換をする映像処理装置が提供される。当該映像処理装置は、一のフレームメモリを用いてフレーム巡回型のノイズ低減処理をするノイズ低減部と、前記一のフレームメモリを用いて映像信号の解像度変換をする解像度変換部と、を備え、前記ノイズ低減処理と前記解像度変換とで共通の前記一のフレームメモリが利用されることを特徴とする。

また、前記ノイズ低減部は、前記動きベクトルが検出される直前の段階で前記ノイズ低減処理をしてもよい。

また、前記映像処理装置は、前記動きベクトルの大きさに応じて、前記ノイズ低減処理の強度を設定するノイズ低減強度設定部をさらに備え、前記ノイズ低減部は、前記ノイズ低減強度設定部により設定された強度で前記ノイズ低減処理をしてもよい。

また、前記ノイズ低減強度設定部は、前記動きベクトルの大きさに基づいて算出される統計値に応じて、フレーム間の変化が少ない場合にノイズ低減処理の強度を強く設定してもよい。

また、前記ノイズ低減強度設定部は、前記動きベクトルの大きさが所定の範囲内に収まる画素の個数と前記統計値とに基づいて前記ノイズ低減処理の強度を設定してもよい。

また、前記ノイズ低減強度設定部は、フレーム間の差分から得られるノイズの比率に応じて、前記ノイズ低減処理の強度を設定してもよい。

また、前記ノイズ低減強度設定部は、前記ノイズの比率が小さい場合に前記ノイズ低減処理の強度を強く設定してもよい。

また、前記解像度変換部は、前記動きベクトルに基づいて生成された補間フレームを用いて、前記映像信号の時間解像度を向上させるフレームレート変換をしてもよい。

また、前記映像処理装置は、前記一のフレームメモリに対する映像データの読み出し処理又は書き込み処理のタイミングを制御するタイミング制御部をさらに備え、前記タイミング制御部は、前記ノイズ低減部及び前記解像度変換部による前記一のフレームメモリへのアクセスタイミングを制御してもよい。

また、前記タイミング制御部は、前記一のフレームメモリに対する映像データの読み出し処理が映像データの読み出し処理に先行するように制御してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、動きベクトルを用いて映像信号の解像度変換をする映像処理装置による映像処理方法が提供される。当該映像処理方法は、一のフレームメモリを用いてフレーム巡回型のノイズ低減処理をするノイズ低減ステップと、前記一のフレームメモリを用いて映像信号の解像度変換をする解像度変換ステップと、を含み、前記ノイズ低減処理と前記解像度変換とで共通の前記一のフレームメモリが利用されることを特徴とする。

また、上記課題を解決するために、本発明の別の観点によれば、上記の映像処理装置が有する機能をコンピュータに実現させるためのプログラムが提供される。また、そのプログラムが記録された記録媒体が提供される。

以上説明したように本発明によれば、必要なフレームメモリの容量を少なく抑えながら、フレームレート変換とノイズ低減処理とを実現することが可能になる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜第１実施形態＞
まず、本発明の第１実施形態について詳細に説明する。本実施形態は、入力された映像信号のフレームレートを変換する処理とノイズを低減する処理とを行う際に、両処理に利用するフレームメモリを共通化する構成に一つの特徴がある。この構成により、使用されるフレームメモリの容量を削減することができる。また、本実施形態は、フレームレートを変換する際に、検出された動きベクトルの統計値を算出した上で、その統計値に基づいてノイズ低減処理の強弱を調整する構成にも特徴を有する。例えば、フレーム間で画面全体の動きが大きい場合にノイズ低減処理を弱めることで、ノイズ低減処理の誤動作によるボヤケを軽減させる効果が期待される。

［映像処理装置１００の機能構成］
以下、本実施形態に係る映像処理装置１００の構成について詳細に説明する。まず、図１を参照し、通常の映像処理装置１０と対比しながら、本実施形態に係る映像処理装置１００の機能構成について説明する。図１（Ａ）は、通常の映像処理装置１０が有する機能構成を示す説明図である。図１（Ｂ）は、本実施形態に係る映像処理装置１００の機能構成を示す説明図である。

《映像処理装置１０》
まず、通常の映像処理装置１０が有する機能構成について簡単に説明する。図１（Ａ）に示すように、映像処理装置１０は、例えば、ノイズ低減部１２と、順次走査変換部１４と、スケーリング部１６と、精細度補正部１８と、フレーム倍速変換部２０と、複数のフレームメモリ２２、２４、２６とにより構成される。

まず、ノイズ低減部１２は、フレームメモリ２２を用いて、入力端子から入力された映像信号に対するノイズ低減処理を実行する。次いで、順次走査変換部１４は、フレームメモリ２４を用いて、ノイズ低減処理が施された映像信号に対する順次走査変換（インターレース／プログレッシブ変換）を実行する。次いで、スケーリング部１６は、順次走査変換部１４により順次走査変換された映像信号をディスプレイ装置（図示せず）の画面サイズにスケーリングする。次いで、精細度補正部１８は、スケーリング部１６によりスケーリングされた映像信号に対してシャープネス等の処理を実行して精細度を補正する。次いで、フレーム倍速変換部２０は、フレームメモリ２６を用いて、精細度補正部１８により精細度が補正された映像信号の垂直同期周波数を２倍に変換する（倍速変換処理）。その結果、ノイズ低減処理とフレームレート変換とが施された映像信号が出力端子に出力される。

《映像処理装置１００》
次に、本実施形態に係る映像処理装置１００の機能構成について説明する。図１（Ｂ）に示すように、映像処理装置１００は、例えば、スケーリング部１０２と、順次走査変換部１０４と、精細度補正部１０６と、ノイズ低減部１０８と、フレーム倍速変換部１１０と、複数のフレームメモリ１１４、１１６とにより構成される。以下、ノイズ低減部１０８と、フレーム倍速変換部１１０と、フレームメモリ１１６とを含む構成要素をフレーム処理ブロック１２０と呼ぶことにする。

まず、スケーリング部１０２は、入力端子から入力された映像信号をディスプレイ装置（図示せず）の画面サイズにスケーリングする。次いで、順次走査変換部１０４は、フレームメモリ１１４を用いて、スケーリング部１０２によりスケーリングされた映像信号を順次走査変換する。次いで、精細度補正部１０６は、順次走査変換部１０４により順次走査変換された映像信号に対してシャープネス等の処理を実行して精細度を補正する。次いで、ノイズ低減部１０８は、フレームメモリ１１６を用いて、精細度補正部１０６により精細度が補正された映像信号に対してノイズ低減処理を実行する。次いで、フレーム倍速変換部１１０は、ノイズ低減処理に利用されるフレームメモリ１１６を用いて、ノイズ低減部１０８によりノイズ低減処理された映像信号の垂直同期周波数を２倍に変換する。

（対比説明）
上記のように、通常の映像処理装置１０は、順次走査変換、スケーリング、及び精細度補正の前段においてノイズ低減処理を施すために、ノイズ低減処理と倍速変換処理とで別々にフレームメモリが必要であった。しかし、本実施形態に係る映像処理装置１００は、順次走査変換、スケーリング、及び精細度補正の各処理を行なった後にノイズ低減処理を実行するため、ノイズ低減処理と倍速変換処理とで共通のフレームメモリを使用することが可能になる。その結果、映像処理装置１００の構成を適用すると、必要なフレームメモリの容量を抑制することができるという効果が得られる。以下、図１（Ｂ）に示した映像処理装置１００の機能構成を実現させるための具体的な装置構成について説明する。

［フレームレート変換について］
上記の対比説明からも推察される通り、本実施形態に係る映像処理装置１００は、フレーム処理ブロック１２０の機能構成に一つの特徴を有している。以下では、フレーム処理ブロック１２０の具体的な装置構成について詳細に説明するが、これに先立ち、図２を参照しながら、フレーム倍速変換部１１０によるフレームレート変換の原理について簡単に説明する。図２は、フレームレート変換の原理を示す説明図である。

図２（Ａ）は、オリジナルの映像信号（以下、映像信号Ａ）に含まれるフレームの遷移を示す。図２（Ｂ）は、フレームレート変換後の映像信号（以下、映像信号Ｂ）に含まれるフレームの遷移を示す。一例として、映像信号Ａの垂直同期周波数を６０Ｈｚ、映像信号Ｂの垂直同期周波数を１２０Ｈｚと仮定する。つまり、２倍の垂直同期周波数にフレームレートを変換するケースを考える。

まず、フレーム倍速変換部１１０は、補間フレームの前後に位置するフレーム（以下、参照フレーム）を参照し、例えば、ブロックマッチング法等を用いて動きベクトルを推定する。例えば、フレーム倍速変換部１１０は、参照フレームとして、フレームＴ１００とＴ１１０とを選択し、各参照フレームのブロックａ（以下、参照ブロックａ）を移動させながら、参照ブロックａに含まれる画素について差分絶対値和を算出する。そして、フレーム倍速変換部１１０は、最小の差分絶対値和に対応する参照ブロックａの位置を抽出し、それらの参照ブロックａを結ぶ動きベクトルを算出する。

次いで、フレーム倍速変換部１１０は、動きベクトルに沿って参照フレームＴ１００の画素を１／１２０秒分だけ移動させ、補間フレームＴ１０５の画素を生成する。このとき、フレーム倍速変換部１１０は、補間フレームＴ１０５の前後に位置する参照フレームＴ１００及びＴ１１０の画素値を平均して補間フレームＴ１０５の画素を生成してもよい。フレーム倍速変換部１１０は、上記の処理を映像信号Ａの各フレームに対して実行し、２倍の時間解像度を有する映像信号Ｂを生成することができる。但し、本実施形態に適用可能な動きベクトルの検出方法、及び動き補償を利用した補間フレームの生成方法には、これに限定されず、現時点、又は将来的に公知となる種々の技術が適用されうる。

［フレーム処理ブロック１２０の装置構成］
上記を踏まえ、図３を参照しながら、フレーム処理ブロック１２０の具体的な装置構成について説明する。図３は、本実施形態に係るフレーム処理ブロック１２０の装置構成を示す説明図である。

図３に示すように、フレーム処理ブロック１２０は、主に、減算器１２２、１４４と、フレームメモリ１２４、１３４と、動き推定回路１３２と、統計算出回路１３６と、乗算器１３８、１４０と、帰還率算出回路１４２と、動き補償回路１５０とにより構成される。また、動き補償回路１５０は、データ選択回路１５２と、メモリ１５４とを含む。

まず、入力された映像信号は、分岐されて減算器１２２、及び減算器１４４にそれぞれ入力される。減算器１２２には、入力された映像信号に加え、後述するノイズ成分が入力される。そして、減算器１２２は、映像信号からノイズ成分を減算して出力する。次いで、減算器１２２から出力された映像信号は、分岐されてフレームメモリ１２４と動き推定回路１３２とにそれぞれ入力される。

フレームメモリ１２４に入力された映像信号は、例えば、フレームメモリ１２４内に蓄積されて１フレーム遅延した映像信号として読み出される。また、フレームメモリ１２４に入力された映像信号は、後述する動き補償回路１５０により倍速で読み出される。

（ノイズ低減処理について）
ここで、上記のノイズ低減部１０８の機能に相当する構成について説明する。ノイズ低減部１０８に相当する機能は、主に、減算器１２２、１４４によって実現される。減算器１４４には、入力端子から分岐して入力された映像信号（以下、現映像信号）と、フレームメモリ１２４から読み出された１フレーム遅延した映像信号（以下、遅延映像信号）とが入力される。そして、減算器１４４は、現映像信号から遅延映像信号を減算して差分信号を出力する。次いで、減算器１４４から出力された差分信号は、後述する乗算器１４０の処理を介して減算器１２２に入力される。そして、減算器１２２は、入力端子から入力された現映像信号から、減算器１４４により出力（実際は乗算器１４０の出力）された差分信号（ノイズ成分に相当）を減算することによって、ノイズが低減された映像信号を出力する。尚、減算器１４４により出力された差分信号は、乗算器１４０と、帰還率算出回路１４２とに入力され、ノイズ低減処理の強弱を調整するために利用される。

（ノイズ低減処理強度の調整方法について）
ここで、ノイズ低減処理強度の調整方法について説明する。上記のように、減算器１２２から出力された映像信号（現映像信号）は、分岐されてフレームメモリ１２４と動き推定回路１３２とに入力される。動き推定回路１３２には、現映像信号に加えて、フレームメモリ１２４から読み出された遅延映像信号が入力される。そこで、動き推定回路１３２は、現映像信号のフレームと遅延映像信号のフレームとの間の動きベクトルを推定する。そして、動き推定回路１３２により推定された動きベクトルは、フレームメモリ１３４と統計算出回路１３６とに入力される。尚、フレームメモリ１３４に蓄積された動きベクトルは、動き補償回路１５０において補間フレームを生成する際に利用される。

（統計算出回路１３６）
統計算出回路１３６は、動き推定回路１３２から入力された動きベクトルに基づいてノイズ低減処理の強弱を設定するための係数を算出する。ここで、図４を参照しながら、統計算出回路１３６の詳細な回路構成について説明する。図４は、本実施形態に係る統計算出回路１３６の回路構成を示す説明図である。

図４に示すように、統計算出回路１３６は、主に、絶対値算出回路１６２と、積算値算出回路１６４と、係数算出回路１６６と、閾値判定回路１６８と、カウンタ１７０とにより構成される。

絶対値算出回路１６２は、入力された動きベクトルの絶対値（ノルム）を算出する。絶対値算出回路１６２により算出された絶対値は、分岐された積算値算出回路１６４と閾値判定回路１６８とに入力される。積算値算出回路１６４は、入力された絶対値を１フレーム期間にわたり積算して積算値を算出する。積算値算出回路１６４により算出された積算値は、係数算出回路１６６に入力される。一方、閾値判定回路１６８は、入力された絶対値が所定の範囲内に収まるか否かを判定し、所定の範囲内に収まる絶対値に対応する画素を選択する。例えば、下限閾値ｔｈ１と上限閾値ｔｈ２とが予め設定されている場合、閾値判定回路１６８は、絶対値ｍｖと各閾値との間の大小関係を調べることにより、ｔｈ１≦ｍｖ≦ｔｈ２となる画素を選択することができる。次いで、カウンタ１７０は、閾値判定回路１６８により所定の範囲内に絶対値が収まると判定された動きベクトルに対応する画素の数をカウントする。

次いで、係数算出回路１６６は、積算値算出回路１６４により算出された積算値と、カウンタ１７０から出力されたカウンタ値とに基づいて係数を算出する。ここで、図５を参照しながら、係数算出回路１６６による係数算出方法について説明する。図５は、係数算出回路１６６による係数算出方法を示す説明図である。

図５には、積算値算出回路１６４から出力された積算値Ｓに対して設定される係数Ｃのグラフが示されている。但し、係数Ｃは、０から１の範囲で決定される。図５に示すように、積算値算出回路１６４は、積算値Ｓが小さいほど係数Ｃを大きく設定し、積算値Ｓが大きいほど係数Ｃを小さく設定する。但し、積算値Ｓの増加に対して係数Ｃが減少する割合（傾き）は、カウンタ１７０から出力されるカウント値により決定される。図５に示すように、カウント値が大きくなるにつれて、積算値Ｓの増加に対して係数Ｃが減少する割合が大きくなり、急峻な傾きとなる。図５に示すような特性を有する係数Ｃを設定することで、フレーム間の動きが少ないほど大きな係数Ｃが設定される。後述するように、本実施形態に係る映像処理装置１００は、係数Ｃが大きいほど、ノイズ低減処理が強まるように構成されるため、フレーム間の動きが大きい場合にノイズ低減処理が強めることが可能になる。

（帰還率算出回路１４２）
再び図３を参照する。統計算出回路１３６により算出された係数は、乗算器１３８に入力される。乗算器１３８には、上記の係数に加えて、帰還率算出回路１４２により算出される帰還率が入力される。そこで、帰還率算出回路１４２について説明する。既に述べた通り、帰還率算出回路１４２には、減算器１４４から出力される差分信号が入力される。

まず、帰還率算出回路１４２は、減算器１４４から入力された差分信号に基づいてノイズ成分の比率に対応する帰還率を算出する。但し、帰還率は、０以上１未満の値である。ここで、図６を参照しながら、帰還率算出回路１４２による帰還率の算出方法について説明する。図６は、帰還率算出回路１４２による帰還率の算出方法を示す説明図である。

図６には、差分信号の絶対値に相当する入力レベルＩに応じて設定される帰還率の値Ｒのグラフが示されている。図６に示すように、帰還率算出回路１４２は、入力レベルＩが大きいほど、より小さい帰還値Ｒを出力する。つまり、ノイズ成分が大きい場合に小さい帰還率が出力される。そして、出力された帰還値Ｒは、乗算器１３８に入力されて、統計算出回路１３６から入力された係数に乗算される。そして、乗算器１３８の出力値は、乗算器１４０に入力されて減算器１４４から出力された差分信号に乗算される。その結果、減算器１２２において減算されるノイズ成分の大きさが、上記の係数と帰還率とにより調整される。

以上、本実施形態に係るフレーム処理ブロック１２０によるノイズ低減処理について説明した。上記のように、フレーム処理ブロック１２０は、フレーム巡回型のノイズ低減処理を実行することが可能であると共に、フレーム間の移動量、及びノイズ成分の大きさに応じて、ノイズ低減処理の強度を変更することができる。その結果、大きなフレーム間の動きに起因してノイズ低減処理の誤動作を抑制することが可能になる。また、動きベクトルの推定処理の直前段階においてノイズ低減処理を実行することにより、動きベクトルの誤検出を低減させることが可能になる。

（フレームメモリ１２４へのアクセスタイミング）
次に、図７を参照しながら、フレームメモリ１２４へのアクセスタイミングの制御方法について説明する。図７は、フレームメモリ１２４に対するアクセスタイミングの一例を示す説明図である。

図７の上図は、（Ａ）現映像信号の入力タイミングを基準にして、（Ｂ）遅延映像信号の読み出しタイミング、（Ｃ）ノイズ低減（ＮＲ；Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）後の書き込みタイミング、及び（Ｄ）遅延映像信号の倍速読み出しタイミングを示した説明図である。図７の下図は、各タイミングでアクセスされるメモリアドレスを示す説明図である。

図７に示すように、１フレーム分遅延した遅延映像信号を入力された映像信号と同じタイミングで読み出される。また、フレームメモリ１２４への書き込み処理がノイズ低減処理の直後に実行されるため、１フレーム分遅延した遅延映像信号の読み出し処理が開始されてからノイズ低減処理に要する時間だけ経過した後に書き込み処理が開始される。これに対し、倍速読み出し処理は、フレームメモリ１２４に対する書き込み処理の開始時点から、フレーム周期の１／２を僅かに超える程度の時間だけ遅れて開始される。

上記のタイミング制御により、図７の下図に示すように、倍速読み出し処理のためにアクセスされるアドレスと、ＮＲ後の書き込み処理のためにアクセスされるアドレスとの重複が防止される。また、映像信号の読み出し処理が常にＮＲ後の書き込み処理に先行して実行されるため、必要なフレームメモリ１２４のメモリ容量を１フレーム分に抑えることができる。

（動き推定回路１３２）
再び図３を参照する。フレームメモリ１２４内に蓄積された１フレーム分遅延した遅延信号とノイズ低減後の現映像信号とは、動き推定回路１３２に入力される。そして、動き推定回路１３２は、入力された遅延映像信号と現映像信号とに基づいて動きベクトルを推定する。動き推定回路１３２は、動きベクトルを推定する方法として、例えば、ブロックマッチング法を利用することができる。ブロックマッチング法とは、一対の参照フレームのうち、一方の参照フレームをｍ×ｎ画素のブロックに細分化して、そのブロックに含まれる画像をもう一方の参照フレーム上で移動させながら、画素値の差分絶対値和が最小になる移動ベクトルを算出する方法である。その移動ベクトルが動きベクトルになる。

（フレームメモリ１３４へのアクセスタイミング）
次に、図８を参照しながら、フレームメモリ１３４へのアクセスタイミングの制御方法について説明する。図８は、フレームメモリ１３４に対するアクセスタイミングの一例を示す説明図である。

図８には、（Ｃ）ＮＲ後書き込みタイミング、（Ｅ）動きベクトルの書き込みタイミング、（Ｆ）動きベクトルの読み出しタイミング、（Ｄ）倍速読み出しタイミング、及び（Ｇ）生成映像の出力タイミングが示されている。

図８に示すように、動き推定回路１３２により算出された動きベクトルは、入力された映像信号のフレーム周波数と同じ周波数でフレームメモリ１３４に書き込まれる。このとき、書き込み処理が開始されてから、１／２フレーム周期後に倍速読み出し処理が開始される。そして、読み出された動きベクトルは、動き補償回路１５０に入力される。

（動き補償回路１５０）
再び図３を参照する。動き補償回路１５０は、データ選択回路１５２と、少量の画像メモリ１５４とを有している。データ選択回路１５２は、入力された動きベクトルに対応する画素を選択し、補間フレームの画素として画像メモリ１５４に入力する。例えば、フレーム１’とフレーム２’との間で算出された動きベクトルをｍｖ１２と表記すると、動き補償回路１５０は、後から入力されたフレーム２’の画素を−ｍｖ１２／２だけシフトさせて補間フレーム（動き補償フレーム）の画素を生成することができる。そして、動き補償回路１５０は、補間フレームを元の映像信号に挿入することでフレームレートを変換することが可能になる。

以上、本発明の第１実施形態に係る映像処理装置１００の構成について詳細に説明した。上記の通り、本実施形態に係る映像処理装置１００の特徴は、フレーム処理ブロック１２０によるノイズ低減処理と、動きベクトルを用いたフレームレート変換処理とにある。特に、映像処理装置１００は、ノイズ低減処理の際にノイズ成分の割合やフレーム間の画像移動量等を考慮してノイズ低減処理の強度を調整する機能を有する点に一つの特徴を有している。かかる構成により、動きベクトルの統計情報がノイズ低減処理の制御に使用されるため、ノイズ低減処理の際に、フレーム間の画像移動に起因する信号レベルの変動がノイズ成分に誤解されることがほとんど無くなる。さらに、動きベクトルを検出する直前の段階でノイズ低減処理を行なうため、順次走査変換等の誤動作で加わったノイズ成分も低減することが可能になる。その結果、動きベクトルの誤検出が低減される。

また、フレーム倍速変換部１１０に相当する動き補償回路１５０や動き推定回路１３２等の構成要素において、フレームメモリ１２４、１３４に対するアクセスタイミングを好適に制御することで、必要となるフレームメモリの容量が低減される。その結果、フレームメモリの容量を抑えつつ、ノイズ低減処理とフレームレート変換とを実行することが可能になる。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。尚、上記の第１実施形態と実質的に同一の構成要素については詳細な説明を省略し、相違する構成についてのみ詳細に説明する。本実施形態は、動きベクトルを用いて補間フレームを生成する際に、補間フレームの前後に位置する参照フレームを両方参照する構成に特徴がある。そのため、上記の第１実施形態との間の相違点は、上記の映像処理装置１００が備えるフレーム処理ブロック１２０の装置構成にある。そこで、以下では、本実施形態に係るフレーム処理ブロック１２０の構成についてのみ詳細に説明する。

［フレーム処理ブロック１２０の回路構成］
図９を参照しながら、本実施形態に係るフレーム処理ブロック１２０の回路構成について説明する。図９は、本実施形態に係るフレーム処理ブロック１２０の回路構成を示す説明図である。

図９に示すように、フレーム処理ブロック１２０は、主に、減算器１２２、１４４と、フレームメモリ１２４と、データ選択回路２０２と、複数の動き補償回路２０４、２０６と、平均化回路２０８と、動き推定回路１３２と、統計算出回路１３６と、乗算器１３８、１４０と、帰還率算出回路１４２とにより構成される。

まず、入力端子から入力された映像信号は、分岐されて減算器１２２、及び減算器１４４に入力される。また、減算器１２２には、入力された映像信号に加えて、減算器１４４からノイズ成分が入力される。尚、このノイズ成分の生成に係る処理は、上記の第１実施形態と実質的に同一であるため、詳細な説明を省略する。

本実施形態において、減算器１２２から出力されたノイズ低減後の映像信号は、分岐されてフレームメモリ１２４と、動き補償回路２０６と、動き推定回路１３２とに入力される。また、動き補償回路２０４には、フレームメモリ１２４に蓄積されて１フレーム分遅延した遅延映像信号が入力される。さらに、動き推定回路１３２により推定された動きベクトルは、分岐されて動き補償回路２０４と、動き補償回路２０６とに入力される。

例えば、連続するフレーム（フレーム１、２）が動き推定回路１３２に入力されると、ブロックマッチング法等を用いて動きベクトルｍｖ１２が算出される。そして、動き補償回路２０４は、時間的に先のフレーム１に含まれる画素をｍｖ１２／２だけシフトさせて補間フレームの画素を生成する。同様に、動き補償回路２０６は、時間的に後のフレーム２に含まれる画素を−ｍｖ１２／２だけシフトさせて補間フレームの画素を生成する。そして、動き補償回路２０４、２０６により生成された補間フレームの画素は、平均化回路２０８に入力されて平均化処理が施される。例えば、平均化回路２０８は、入力された２つの画素の画素値を平均して、その平均値を補間フレームの画素値として出力する。平均化回路２０８から出力された画素値は、フレームメモリ１３４に蓄積される。

次いで、データ選択回路２０２は、フレームメモリ１２４に書き込まれた動き補償前のフレームと、フレームメモリ１３４に書き込まれた動き補償後のフレームとを２倍の垂直同期周波数になるように交互に読み出して倍速化された映像信号を出力する。ここで、図１０を参照しながら、フレームメモリ１２４、１３４からフレームを読み出すタイミングについて説明する。図１０は、フレームメモリ１２４、１３４からフレームを読み出すタイミングを示す説明図である。

図１０に示すように、ノイズ低減後の書き込み映像がフレームメモリ１２４に書き込まれる処理が開始される少し前に１フレーム分遅延した遅延映像信号の読み出し処理が開始される。これらの処理開始時間の時間差は、ノイズ低減処理に必要な遅延時間に等しい。また、倍速読み出し処理は、ノイズ低減後の書き込み処理が開始する直前に開始される。このようにフレームメモリ１２４へのアクセスタイミングを制御することで、フレームメモリ１２４のメモリ容量を１フレーム分程度に抑えることが可能になる。また、フレームメモリ１３４において、動き補正後の映像信号が書き込まれた後で１／２フレームを僅かに超える時間後に倍速読み出し処理が開始される。このようなタイミング制御がされることで、動き補償前の映像信号と、動き補償後の映像信号とが交互に読み出されて、好適に倍速変換された映像信号を出力することができる。

（双方向参照の原理）
図１１に示すように、本実施形態では、補間フレームの前後に位置する参照フレームから算出された動きベクトルｍｖを用いて、前の参照フレームの画素をｍｖ／２、後の参照フレームの画素を−ｍｖ／２移動させて２つの補間フレームの画素を生成する。そして、２つの補間フレームの画素を平均化処理して、実際に用いる補間フレームの画素を算出するため、上記の第１実施形態に比べ、動きベクトルを誤検出した際に発生するノイズが軽減されるという効果が得られる。

以上説明したように、本発明の好適な実施形態に係る技術を適用すると、フレーム巡回型のノイズ低減処理と垂直周波数の倍速変換とに用いるフレームメモリを共通化できるため、全体の高画質化処理に必要なメモリ容量を削減することが可能になる。また、垂直周波数の倍速変換を実行する際に、動きベクトルの検出結果をノイズ低減処理のゲイン調整に使用することで、ノイズ低減処理のエラーに起因してボヤケが発生することを抑制できる。さらに、動きベクトルを検出する処理の直前にノイズ低減処理が実行されるため、動きベクトルの誤検出が低減される。

［ハードウェア構成］
上記装置が有する各構成要素の機能は、例えば、図１２に示すハードウェア構成を有する情報処理装置により実現することが可能である。図１２は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。

図１２に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。

入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。

出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ−ＤＶＤメディア、コンパクトフラッシュ（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。

接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、放送、又は衛星通信等である。

以上、本発明の好適な実施形態について詳細に説明した。上記の技術を適用することにより、例えば、（１）計算リソースの削減、（２）動き推定の精度向上、（３）フレームレート変換の品質向上、（４）高画質化処理の品質向上等の効果が期待される。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、ブロックマッチングを行う際に、参照ブロックの移動量を大きく設定することで、より動きベクトルの推定精度を向上させることができる。或いは、上記の実施形態に係る映像処理方法と、「ブロックマッチングする範囲を限定する方法」、「ブロックマッチングするエリアを縮小する方法」、又は「階層的にブロックマッチングする方法」とを組み合わせて用いることもできる。これらの変形は、計算リソースと必要な動きベクトルの推定精度との兼ね合いに応じて適宜調整されうる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の第１実施形態に係る画像処理装置の機能構成を示す説明図である。 動きベクトルを用いたフレームレート変換の原理を示す説明図である。 本実施形態に係るフレーム処理ブロックの回路構成を示す説明図である。 本実施形態に係る統計算出回路の回路構成を示す説明図である。 本実施形態に係る係数算出方法の一例を示す説明図である。 本実施形態に係る帰還率算出方法の一例を示す説明図である。 本実施形態に係るフレームメモリへのアクセスタイミングを示す説明図である。 本実施形態に係るフレームメモリへのアクセスタイミングを示す説明図である。 本発明の第２実施形態に係るフレーム処理ブロックの回路構成を示す説明図である。 本実施形態に係るフレームメモリへのアクセスタイミングを示す説明図である。 本実施形態に係るフレームレート変換の概念を示す説明図である。 本発明の各実施形態に係る映像処理装置のハードウェア構成例を示す説明図である。

符号の説明

１００ 映像処理装置
１０２ スケーリング部
１０４ 順次走査変換部
１０６ 精細度補正部
１０８ ノイズ低減部
１１０ フレーム倍速変換部
１１４、１１６ フレームメモリ
１２０ フレーム処理ブロック
１２２、１４４ 減算器
１２４、１３４ フレームメモリ
１３２ 動き推定回路
１３６ 統計算出回路
１３８、１４０ 乗算器
１５０ 動き補償回路
１５２ データ選択回路
１５４ 画像メモリ
１６２ 絶対値算出回路
１６４ 積算値算出回路
１６６ 係数算出回路
１６８ 閾値判定回路
１７０ カウンタ
２０２ データ選択回路
２０４、２０６ 動き補償回路
２０８ 平均化回路

Claims (12)

1. 動きベクトルを用いて映像信号の解像度変換をする映像処理装置であって、
   一のフレームメモリを用いてフレーム巡回型のノイズ低減処理をするノイズ低減部と、
   前記一のフレームメモリを用いて映像信号の解像度変換をする解像度変換部と、
   を備え、
   前記ノイズ低減処理と前記解像度変換とで共通の前記一のフレームメモリが利用されることを特徴とする、映像処理装置。
2. 前記ノイズ低減部は、前記動きベクトルが検出される直前の段階で前記ノイズ低減処理をすることを特徴とする、請求項１に記載の映像処理装置。
3. 前記動きベクトルの大きさに応じて、前記ノイズ低減処理の強度を設定するノイズ低減強度設定部をさらに備え、
   前記ノイズ低減部は、前記ノイズ低減強度設定部により設定された強度で前記ノイズ低減処理をすることを特徴とする、請求項１に記載の映像処理装置。
4. 前記ノイズ低減強度設定部は、前記動きベクトルの大きさに基づいて算出される統計値に応じて、フレーム間の変化が少ない場合にノイズ低減処理の強度を強く設定することを特徴とする、請求項３に記載の映像処理装置。
5. 前記ノイズ低減強度設定部は、前記動きベクトルの大きさが所定の範囲内に収まる画素の個数と前記統計値とに基づいて前記ノイズ低減処理の強度を設定することを特徴とする、請求項４に記載の映像処理装置。
6. 前記ノイズ低減強度設定部は、フレーム間の差分から得られるノイズの比率に応じて、前記ノイズ低減処理の強度を設定することを特徴とする、請求項３に記載の映像処理装置。
7. 前記ノイズ低減強度設定部は、前記ノイズの比率が小さい場合に前記ノイズ低減処理の強度を強く設定することを特徴とする、請求項６に記載の映像処理装置。
8. 前記解像度変換部は、前記動きベクトルに基づいて生成された補間フレームを用いて、前記映像信号の時間解像度を向上させるフレームレート変換をすることを特徴とする、請求項１に記載の映像処理装置。
9. 前記一のフレームメモリに対する映像データの読み出し処理又は書き込み処理のタイミングを制御するタイミング制御部をさらに備え、
   前記タイミング制御部は、前記ノイズ低減部及び前記解像度変換部による前記一のフレームメモリへのアクセスタイミングを制御することを特徴とする、請求項１に記載の映像処理装置。
10. 前記タイミング制御部は、前記一のフレームメモリに対する映像データの読み出し処理が映像データの読み出し処理に先行するように制御することを特徴とする、請求項１０に記載の映像処理装置。
11. 動きベクトルを用いて映像信号の解像度変換をする映像処理装置による映像処理方法であって、
    一のフレームメモリを用いてフレーム巡回型のノイズ低減処理をするノイズ低減ステップと、
    前記一のフレームメモリを用いて映像信号の解像度変換をする解像度変換ステップと、
    を含み、
    前記ノイズ低減処理と前記解像度変換とで共通の前記一のフレームメモリが利用されることを特徴とする、映像処理方法。
12. 請求項１〜１０のいずれかに記載の映像処理装置が有する機能をコンピュータに実現させるためのプログラム。
    

Images