JP2014187690A

JP2014187690A - 映像信号処理装置及び方法

Info

Publication number: JP2014187690A
Application number: JP2014028121A
Authority: JP
Inventors: Tomoyuki Shishido; 智之宍戸; Hirofumi Noguchi; 浩史野口
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2013-02-25
Filing date: 2014-02-18
Publication date: 2014-10-02
Also published as: WO2014129528A1

Abstract

【課題】動きベクトルの誤検出が発生しても視覚的な違和感を軽減させることができる映像信号処理装置を提供する。
【解決手段】動きベクトル検出部１４は、第１のフレーム周波数を有する入力映像信号ｆ０における画像の動きベクトルＭＶを検出し、動きベクトルＭＶの信頼度を示す信頼度データＤreを生成する。補間フレーム生成部１５，１６は、補間フレーム信号f0a，f0.5aを生成する。混合比率生成部１７は、信頼度データＤreに基づいて混合比率制御データＤmrを生成する。混合部１８は、補間フレーム信号f0a，f0.5aを、混合比率制御データＤmrが示す混合比率の値に応じて混合して混合フレームf0.5bを生成する。フレームレート変換部１９は、補間フレームf0a及び混合フレームf0.5bを第２のフレーム周波数で出力して出力映像信号ｆ20を生成する。
【選択図】図１

Description

本発明は、映像信号の動きベクトルに基づいて補間画像データを生成し、フレーム周波数を変換する映像信号処理装置及び方法に関する。

液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させて動画特性を向上させるために、映像信号の実フレーム間に補間画像データよりなる補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレート（フレーム周波数）を２倍の１２０Ｈｚまたはそれ以上のフレームレートに変換して画像表示することが行われている。

補間フレームを生成する際には、映像信号における画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成して補間フレームを生成するのが一般的である。

動きベクトルは、連続するフレームの内の限られた複数のフレーム内の画素に基づいた推定によって検出されるものであり、誤検出なく動きベクトルを検出することは難しい。例えば、空間的に前に位置する前景の画像と空間的に後ろに位置する背景の画像との動きが異なる場合には、動きベクトルの誤検出が発生しやすい。そこで、一例として特許文献１のように、動きベクトルの検出精度を向上させるための工夫が種々提案されている。

特開２０１１−８２８４６号公報

しかしながら、動きベクトルの検出精度を向上させても動きベクトルの誤検出を完全になくすことは難しい。動きベクトルの誤検出があると補間画像は破綻してしまい、違和感のある画像として認識されてしまう。そこで、動きベクトルの誤検出が発生しても視覚的な違和感を軽減させることが求められる。

本発明はこのような要望に対応するため、動きベクトルの誤検出が発生しても視覚的な違和感を軽減させることができる映像信号処理装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、第１のフレーム周波数を有する入力映像信号における画像の動きベクトルを検出する動きベクトル検出部と、前記動きベクトルを用いて、前記入力映像信号における２つの実フレーム間に内挿する１または複数の補間フレームを生成する補間フレーム生成部と、前記動きベクトルの信頼度を示す信頼度データを生成する信頼度データ生成部と、前記信頼度データに基づいて混合比率制御データを生成する混合比率生成部と、補間フレームに対して実フレームまたは他の補間フレームを、前記混合比率制御データが示す混合比率の値に応じて混合して混合フレームを生成する混合部と、前記補間フレーム及び前記混合フレーム、または、前記実フレーム及び前記混合フレームを、前記第１のフレーム周波数の整数倍である第２のフレーム周波数で出力することにより出力映像信号を生成するフレームレート変換部とを備えることを特徴とする映像信号処理装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、第１のフレーム周波数を有する入力映像信号における画像の動きベクトルを検出し、前記動きベクトルを用いて、前記入力映像信号における２つの実フレーム間に内挿する１または複数の補間フレームを生成し、前記動きベクトルの信頼度を示す信頼度データを生成し、前記信頼度データに基づいて混合比率制御データを生成し、補間フレームに対して実フレームまたは他の補間フレームを、前記混合比率制御データが示す混合比率の値に応じて混合して混合フレームを生成し、前記補間フレーム及び前記混合フレーム、または、前記実フレーム及び前記混合フレームを、前記第１のフレーム周波数の整数倍である第２のフレーム周波数で出力することにより出力映像信号を生成することを特徴とする映像信号処理方法を提供する。

本発明の映像信号処理装置及び方法によれば、動きベクトルの誤検出が発生しても視覚的な違和感を軽減させることができる。

第１実施形態の映像信号処理装置を示すブロック図である。図１中の混合比率生成部１７の具体的な構成例を示すブロック図である。図１における入力映像信号ｆ０と補間フレーム生成部１５，１６より出力される補間フレーム信号f0a，f0.5aを示す図である。図１における混合比率制御データＤmrが示す混合比率が最大値の１／２である場合の混合部１８における補間フレーム信号f0a，f0.5aの混合動作を示す図である。図１における混合比率制御データＤmrが示す混合比率が最大値の１／２である場合の、入力映像信号ｆ０と補間フレーム信号f0aと混合部１８より出力される混合補間フレーム信号ｆ0.5bを示す図である。図１における混合比率制御データＤmrが示す混合比率が最大値である場合の、入力映像信号ｆ０と補間フレーム信号f0aと混合補間フレーム信号ｆ0.5bを示す図である。第２実施形態の映像信号処理装置を示すブロック図である。図７における入力映像信号ｆ０と補間フレーム生成部２６１〜２６３より出力される補間フレーム信号f0.75a，f0.5a，f0.25aを示す図である。図７における混合比率制御データＤmrが示す混合比率が最大値の１／２である場合の混合部２８１〜２８３における入力映像信号ｆ０と補間フレーム信号f0.75a，f0.5a，f0.25aとの混合動作を示す図である。図７における混合比率制御データＤmrが示す混合比率が最大値である場合の、入力映像信号ｆ０と混合補間フレーム信号f0.75b，ｆ0.5b，f0.25bを示す図である。

＜第１実施形態＞
以下、第１実施形態の映像信号処理装置及び方法について、添付図面を参照して説明する。図１において、入力映像信号ｆ０の各画素データは、フレームメモリ１１と、プルダウン検出部１３と、動きベクトル検出部１４と、補間フレーム生成部１５，１６に順次入力される。入力映像信号ｆ０のフレーム周波数を例えば６０Ｈｚとする。フレームメモリ１１は、入力映像信号ｆ０の各画素データを１フレーム期間遅延させ、映像信号ｆ１の各画素データとして出力する。

映像信号ｆ１の各画素データは、フレームメモリ１２と、プルダウン検出部１３と、動きベクトル検出部１４と、補間フレーム生成部１５，１６に順次入力される。フレームメモリ１２は、映像信号ｆ１の各画素データを１フレーム期間遅延させ、映像信号ｆ２の各画素データとして出力する。映像信号ｆ２は、入力映像信号ｆ０に対して２フレーム遅延した信号である。映像信号ｆ２の各画素データは、プルダウン検出部１３に順次入力される。

プルダウン検出部１３は、入力映像信号ｆ０と映像信号ｆ１と映像信号ｆ２のそれぞれのフレームを比較することによって、入力映像信号ｆ０が２４フレームを２−３プルダウンによって６０フレームに変換したプルダウン映像信号であるか否かを検出する。プルダウン検出部１３は、プルダウン映像信号であることを検出した場合に、プルダウンシーケンスも併せて検出する。プルダウン検出部１３は、プルダウン検出信号Ｓpdを出力する。プルダウン検出信号Ｓpdは、補間フレーム生成部１５，１６に入力される。

ここでは、プルダウン検出部１３は、プルダウン検出の精度を高めるために３フレームの映像信号を用いてプルダウン映像信号であるか否か及びプルダウンシーケンスを検出している。プルダウン検出部１３は、入力映像信号ｆ０と映像信号ｆ１の２フレームの映像信号を用いてそれらを検出してもよい。この場合には、フレームメモリ１２を設けなくてよい。

動きベクトル検出部１４は、入力映像信号ｆ０と映像信号ｆ１とに基づき、例えばマッチング法を用いてフレーム間の動きベクトルＭＶを検出する。動きベクトル検出部１４は、入力映像信号ｆ０の画素データと映像信号ｆ１の画素データとの複数の方向の差分値をとり、差分値が最も小さい方向を動きベクトルＭＶとする。

動きベクトル検出部１４は、併せて、動きベクトルＭＶを決定したときの入力映像信号ｆ０の画素データと映像信号ｆ１の画素データとの差分値を動きベクトルＭＶの信頼度データＤreとして出力する。この場合、信頼度データＤreが小さいほど信頼度が高いということになる。ここでは差分値自体を動きベクトルＭＶの信頼度データＤreとしているが、信頼度の生成方法はこれに限定されない。信頼度Ｄreデータが大きいほど信頼度が高いような信頼度データを用いてもよい。

動きベクトル検出部１４は、動きベクトルＭＶの信頼度を示す信頼度データを生成する信頼度データ生成部である。信頼度データ生成部を、動きベクトル検出部１４とは別に設けてもよい。

動きベクトルＭＶは、補間フレーム生成部１５，１６に入力される。信頼度データＤreは、混合比率生成部１７に入力される。補間フレーム生成部１５，１６は、入力映像信号ｆ０と映像信号ｆ１それぞれの画素データを用い、動きベクトルＭＶに基づいて、補間フレーム信号f0a，f0.5aを構成する各補間画素データを順次生成して出力する。

補間フレーム生成部１５，１６は、入力映像信号ｆ０における画像に含まれる移動する物体の動きを滑らかにするために、画像が異なる２つの実フレーム間に内挿する１または複数のデジャダ用の補間フレームを生成する。

補間フレーム生成部１５，１６は補間フレーム信号f0a，f0.5aを生成するとしているが、補間フレーム信号f0a，f0.5aには入力映像信号ｆ０のフレーム（オリジナルフレーム）が含まれる。即ち、補間フレーム生成部１５，１６は、入力映像信号ｆ０のオリジナルフレームをそのまま補間フレーム信号f0a，f0.5aとして出力する場合がある。補間フレーム生成部１５，１６が生成する補間フレーム信号f0a，f0.5aの詳細については後述する。

混合比率生成部１７は、入力された信頼度データＤreに基づいて、補間フレーム信号f0a，f0.5aの補間画素データを混合する混合比率制御データＤmrを生成する。

混合比率生成部１７は、図２に示すように、比較部１７１，１フレーム期間積算部１７２，減算器１７３，混合比率決定部１７４を有する。混合比率生成部１７は、次のようにして混合比率制御データＤmrを生成する。図２において、比較部１７１は、信頼度データＤreと所定の閾値th1とを比較する。比較部１７１は、信頼度データＤreが閾値th1以上であれば１、閾値th1未満であれば０の比較データＤcpを出力する。

信頼度Ｄreデータが大きいほど信頼度が高いような信頼度データを用いる場合には、信頼度データＤreが閾値th1以下であれば１、閾値th1を越えれば０の比較データＤcpを出力すればよい。即ち、比較部１７１は、信頼度データＤreに基づいて、信頼度が所定の基準よりも低い場合に１となる比較データＤcpを出力する。

１フレーム期間積算部１７２は、比較データＤcpを１フレーム期間積算して、積算データＤacp1を生成する。積算データＤacp1は、１画面全体における動きベクトルＭＶの信頼度が低いほど大きな値となる。ここでは、比較データＤcpを１フレーム期間積算して、積算データＤacp1を生成しているが、２フレーム期間、１フレーム未満の期間等の所定の期間積算して、積算データＤacp1を生成すればよい。但し、１フレーム期間の積算が最も好ましい。

減算器１７３は、積算データＤacp1から所定の閾値th2を減算して、積算データＤacp1より値が小さくなるように補正した補正積算データＤacp2を出力する。減算器１７３によって積算データＤacp1から所定の閾値th2を減算するのは、積算データＤacp1そのままであると値が大きくなりすぎて不都合であるからである。

混合比率決定部１７４は、補正積算データＤacp2における負の値を０とすることによってとり得る値を０以上に制限し、所定のゲインを乗じて混合比率制御データＤmrとして出力する。混合比率制御データＤmrは混合部１８に入力される。

図１に戻り、混合部１８は、補間フレーム信号f0a，f0.5aを、混合比率制御データＤmrに応じて、次の式（１）に基づいて混合して、混合補間フレーム信号ｆ0.5bを出力する。式（１）において、Vdmrは混合比率制御データＤmrが示す混合比率の値とし、VmaxはVdmrがとり得る最大値とする。

ｆ0.5b={(f0a×Vdmr)+(f0.5a×(Vmax-Vdmr))}/Vmax …（１）

式（１）では、混合比率の値を、補間フレーム信号f0.5aに対する補間フレーム信号f0aの混合の程度として混合補間フレーム信号ｆ0.5bを生成しているが、式（２）のように、混合比率の値を、補間フレーム信号f0aに対する補間フレーム信号f0.5aの混合の程度として混合補間フレーム信号ｆ0.5bを生成してもよい。

ｆ0.5b={(f0a×(Vmax-Vdmr))+(f0.5a×Vdmr)}/Vmax …（２）

補間フレーム生成部１５より出力された補間フレーム信号f0aを構成する各補間画素データと、混合部１８より出力された混合補間フレーム信号ｆ0.5bを構成する各補間画素データは、フレームレート変換部１９に順次入力される。フレームレート変換部１９は、補間フレーム信号f0aと混合補間フレーム信号ｆ0.5bとを、入力映像信号ｆ０の２倍のフレーム周波数である１２０Ｈｚで交互に順次出力する。フレームレート変換部１９からは、フレーム周波数１２０Ｈｚの出力映像信号ｆ20が出力される。

図３〜図６を用いて、第１実施形態の映像信号処理装置の動作、及び、第１実施形態の映像信号処理方法について改めて説明する。

図３の（ａ）は、入力映像信号ｆ０におけるフレームを示している。入力映像信号ｆ０が２４フレームを２−３プルダウンによって６０フレームに変換したプルダウン映像信号であるので、図３の（ａ）に示すように、フレームf0Aが２フレーム、フレームf0Bが３フレーム連続している。フレームf0Cも２フレーム連続する。即ち、同じ画像が２フレーム、３フレームと交互に連続する。

円形の物体ＯＢがフレームの左方向から右方向へと移動している。入力映像信号ｆ０では、同じ画像が２フレームまたは３フレーム連続するので、物体ＯＢの動きは滑らかではなく、いわゆるモーションジャダが発生する。なお、図３において、フレーム内の垂直方向の破線は、物体ＯＢの位置が分かりやすいよう、便宜上示しているものである。

図３の（ｂ）は補間フレーム生成部１５より出力される補間フレーム信号f0aを、図３の（ｃ）は補間フレーム生成部１６より出力される補間フレーム信号f0.5aを示している。物体ＯＢｉは、図３の（ａ）における２フレームに基づいて補間した物体を示している。図３の（ｂ），（ｃ）において、太い実線で示すフレームは図３の（ａ）に示す入力映像信号ｆ０のオリジナルフレームを示している。

補間フレーム生成部１５，１６は、フレームf0Aとフレームf0Bとの間で物体ＯＢが滑らかに移動するように、フレームf0Aの物体ＯＢとフレームf0Bの物体ＯＢとの間の距離を５等分して、フレームf0Aとフレームf0Bとの間に挿入する４つの補間フレームf0AB1〜f0AB4を生成する。

補間フレーム生成部１５は、入力映像信号ｆ０のオリジナルフレームであるフレームf0Aを出力した後、２つ目の補間フレームf0AB2と、フレームf0Bの直前に位置する４つ目の補間フレームf0AB4とを生成して出力する。補間フレーム生成部１６は、フレームf0Aの直後に位置する１つ目の補間フレームf0AB1と、３つ目の補間フレームf0AB3とを生成して出力した後、入力映像信号ｆ０のオリジナルフレームであるフレームf0Bを出力する。

補間フレーム生成部１５，１６は、入力映像信号ｆ０のフレームf0C以降も同様の動作を繰り返す。

混合部１８に入力される混合比率制御データＤmrが示す混合比率Vdmrが０であれば、式（１）より、混合部１８は、図３の（ｃ）に示す補間フレーム信号f0.5aをそのまま混合補間フレーム信号ｆ0.5bとして出力する。この場合、厳密には、混合補間フレーム信号ｆ0.5bは非混合の補間フレーム信号f0.5aとなる。

この場合、フレームレート変換部１９は、フレームf0Aからフレームf0Bまでの範囲で説明すれば、フレームf0A，補間フレームf0AB1，f0AB2，f0AB3，f0AB4，フレームf0Bの順となるように補間フレーム信号f0a，ｆ0.5bを選択して出力映像信号ｆ20とする。よって、物体ＯＢ（ＯＢｉ）の動きは滑らかとなる。

このように、混合部１８は、混合比率制御データＤmrが示す混合比率Vdmrが最小値である０を示す場合には、デジャダの効果を最大とするよう、補間フレーム信号f0.5aのそれぞれのフレームをそのまま混合補間フレーム信号ｆ0.5bとして出力する。

混合比率制御データＤmrが示す混合比率Vdmrが例えばVmax/2であるとすると、第１実施形態の映像信号処理装置は次のように動作し、第１実施形態の映像信号処理方法は次のように処理する。混合比率VdmrがVmax/2のとき、式（１）より、混合部１８は、補間フレーム信号f0aと補間フレーム信号f0.5aとを同じ割合で混合して、混合補間フレーム信号ｆ0.5bとして出力する。

図４を用いて、混合部１８における補間フレーム信号f0aと補間フレーム信号f0.5aとの混合の動作について説明する。図４において、（ａ）は補間フレーム信号f0aにおけるフレームf0A，補間フレームf0AB2，f0AB4，f0BC1を示し、（ｂ）は、補間フレーム信号f0.5aにおける補間フレームf0AB1，f0AB3，フレームf0B，補間フレームf0BC2を示している。

図４の（ｃ）に示すように、混合部１８は、フレームf0Aと補間フレームf0AB1とを同じ割合で混合して混合補間フレームf0AAB1を生成する。すると、物体ＯＢと物体ＯＢｉとが混合されて、ぼやけた物体ＯＢmixが生成される。混合部１８は、補間フレームf0AB2と補間フレームf0AB3とを同じ割合で混合して混合補間フレームf0AB2AB3を生成する。同様に、ぼやけた物体ＯＢmixが生成される。

混合部１８は、補間フレームf0AB4とフレームf0Bとを同じ割合で混合して混合補間フレームf0AB4Bを生成する。同様に、ぼやけた物体ＯＢmixが生成される。混合部１８は、補間フレームf0BC1と補間フレームf0BC2とを同じ割合で混合して混合補間フレームf0BC1BC2を生成する。同様に、ぼやけた物体ＯＢmixが生成される。以降、同様の動作を繰り返す。

図５において、（ａ）は入力映像信号ｆ０における各フレーム、（ｂ）は補間フレーム信号f0aの各フレーム、（ｃ）は、混合比率VdmrがVmax/2のとき、図４のようにして生成した混合補間フレーム信号ｆ0.5bの各フレームを示している。

この場合、フレームレート変換部１９は、フレームf0A以降で説明すれば、フレームf0A，混合補間フレームf0AAB1，補間フレームf0AB2，混合補間フレームf0AB2AB3，補間フレームf0AB4，混合補間フレームf0AB4B，補間フレームf0BC1，混合補間フレームf0BC1BC2…の順となるように補間フレーム信号f0a，ｆ0.5bを選択して出力映像信号ｆ20とする。よって、物体ＯＢ（ＯＢｉ，ＯＢmix）の動きがぼやけた画像となる。

ここでは、混合比率VdmrがVmax/2のときを示しているが、混合部１８は、混合比率Vdmrの値に応じて補間フレーム信号f0aと補間フレーム信号f0.5aとを混合する。混合部１８が混合比率Vdmrの値に応じて補間フレーム信号f0aと補間フレーム信号f0.5aとを混合すると、混合比率Vdmrが最小値から大きくなるに従って、デジャダの効果が小さくなっていく。

図６は、混合比率Vdmrが最大値Vmaxのときの状態を示している。図６において、（ａ）は入力映像信号ｆ０における各フレーム、（ｂ）は補間フレーム信号f0aの各フレーム、（ｃ）は、混合比率Vdmrが最大値Vmaxのときの混合補間フレーム信号ｆ0.5bの各フレームを示している。

混合比率Vdmrが最大値Vmaxであれば、式（１）より、混合部１８は、図３の（ｂ）に示す補間フレーム信号f0aをそのまま混合補間フレーム信号ｆ0.5bとして出力する。この場合、厳密には、混合補間フレーム信号ｆ0.5bは非混合の補間フレーム信号f0aとなる。

フレームレート変換部１９は、フレームf0A以降で説明すれば、フレームf0A，f0A，補間フレームf0AB2，f0AB2，f0AB4，f0AB4，f0BC1，f0BC1…の順となるように補間フレーム信号f0a，ｆ0.5bを選択して出力映像信号ｆ20とする。即ち、フレームレート変換部１９は、補間フレーム信号f0aの各フレームを２回ずつ出力して、出力映像信号ｆ20とする。

この場合、出力映像信号ｆ20のフレーム周波数は１２０Ｈｚではあるものの、物体ＯＢ（ＯＢｉ）の動きが滑らかではない画像となる。

このように、混合部１８は、混合比率制御データＤmrが示す混合比率Vdmrが最大値である場合には、デジャダの効果を最小とするよう、補間フレーム信号f0aのそれぞれのフレームをそのまま混合補間フレーム信号ｆ0.5bとして出力する。

以上説明したように、第１実施形態の映像信号処理装置及び方法は、動きベクトルＭＶの信頼度に応じて、画像に含まれる移動する物体の動きを滑らかにするデジャダ用の補間フレームによるデジャダの効果を増減させる。第１実施形態の映像信号処理装置及び方法は、動きベクトルの誤検出が発生した場合には、意図的にモーションジャダを残すように、フレームレートを変換する。

よって、第１実施形態の映像信号処理装置及び方法によれば、動きベクトルの誤検出が発生しても視覚的な違和感を軽減させることができる。

＜第２実施形態＞
第１実施形態においては、入力映像信号ｆ０がプルダウン映像信号である場合の動作について説明したが、入力映像信号ｆ０はプルダウン映像信号ではない通常の映像信号であってもよい。また、第１実施形態は、フレーム周波数６０Ｈｚの入力映像信号ｆ０を、１２０Ｈｚの出力映像信号ｆ20に変換するフレームレート変換を示しているが、フレームレートを３倍以上に変換してもよい。

第２実施形態は、入力映像信号ｆ０を通常の映像信号とし、フレームレートを４倍に変換する場合を示す。図７に示す第２実施形態の映像信号処理装置において、図１に示す第１実施形態の映像信号処理装置と共通部分の説明を適宜省略することとする。

図７において、入力映像信号ｆ０の各画素データは、フレームメモリ２１と、動きベクトル検出部２４と、補間フレーム生成部２６１〜２６３と、混合部２８１〜２８３と、フレームレート変換部２９に順次入力される。

図７に示す構成では、図１におけるプルダウン検出部１３が存在していないため、入力映像信号ｆ０を遅延させるフレームメモリはフレームメモリ２１の１つのみでよい。図７に示す構成では、プルダウン映像信号のデジャダを意図していないため、入力映像信号ｆ０をフレームレート変換部２９に入力している。

フレームメモリ２１は、入力映像信号ｆ０の各画素データを１フレーム期間遅延させ、映像信号ｆ１の各画素データとして出力する。映像信号ｆ１の各画素データは、動きベクトル検出部２４と補間フレーム生成部２６１〜２６３に順次入力される。

動きベクトル検出部２４は、図１の動きベクトル検出部１４と同様、動きベクトルＭＶと動きベクトルＭＶの信頼度を示す信頼度データＤreとを生成して出力する。動きベクトル検出部２４は、信頼度データ生成部である。

動きベクトルＭＶは、補間フレーム生成部２６１〜２６３に入力される。信頼度データＤreは、混合比率生成部２７に入力される。

補間フレーム生成部２６１〜２６３は、入力映像信号ｆ０と映像信号ｆ１それぞれの画素データを用い、動きベクトルＭＶに基づいて、補間フレーム信号f0.75a，f0.5a，f0.25aを構成する各補間画素データを順次生成して出力する。

補間フレーム信号f0.75a，f0.5a，f0.25aは、入力映像信号ｆ０における隣接する２フレーム間に内挿する３つのフレームを構成する信号である。補間フレーム信号f0.75a，f0.5a，f0.25aは、補間フレーム信号f0.75aが時間順で最も前のフレーム信号であり、補間フレーム信号f0.25aが時間順で最も後のフレーム信号である。

混合比率生成部２７は、図２に示す混合比率生成部１７と同じ構成でよい。混合比率生成部２７は、入力された信頼度データＤreに基づいて、混合部２８１〜２８３における混合比率を決める混合比率制御データＤmrを生成する。

後述するように、第２実施形態の映像信号処理装置及び方法においては、混合部２８１〜２８３は、一例として、補間フレーム信号f0.75a，f0.5a，f0.25aそれぞれに対して、混合比率制御データＤmrが示す混合比率の値に応じて、入力映像信号ｆ０を混合する。混合部２８１〜２８３は、混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bを出力する。

混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bは、補間フレーム信号f0.75a，f0.5a，f0.25aと同じ場合がある。混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bは、全て入力映像信号ｆ０と同じ場合がある。

前述のように、複数のフレーム信号（補間フレーム信号）を混合するのは、動きベクトルＭＶの信頼度が比較的低い場合に、動きベクトルの誤検出が発生しても視覚的な違和感を軽減させるためである。

視覚的な違和感を軽減させるための混合の仕方は他にも考えられる。例えば、補間フレーム信号f0.75a，f0.5a，f0.25aのうちの少なくとも２つの補間フレーム信号を混合してもよい。また、補間フレーム信号f0.75a，f0.5a，f0.25aのうちの一部の補間フレーム信号に入力映像信号ｆ０を混合し、残りの補間フレーム信号に他の補間フレーム信号を混合してもよい。

補間フレーム信号f0.5aを補間フレーム信号f0.75a，f0.25aに混合してもよい。入力映像信号ｆ０と補間フレーム信号f0.75a，f0.5a，f0.25aとのうち、時間的に隣接する２つのフレーム信号（補間フレーム信号）を混合してもよい。

これらの混合のさせ方を実施する場合には、混合部２８１〜２８３にはそれぞれ必要なフレーム信号（補間フレーム信号）を入力すればよい。

フレームレート変換部２９は、入力映像信号ｆ０と混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bとを、混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25b、入力映像信号ｆ０の順で、入力映像信号ｆ０の４倍のフレーム周波数である２４０Ｈｚで順次出力する。フレームレート変換部２９からは、フレーム周波数２４０Ｈｚの出力映像信号ｆ40が出力される。

図８〜図１０を用いて、第２実施形態の映像信号処理装置の動作、及び、第２実施形態の映像信号処理方法について改めて説明する。

図８の（ａ）〜（ｃ）は補間フレーム信号f0.75a，f0.5a，f0.25aのフレームを、図８の（ｄ）は入力映像信号ｆ０のフレームを示している。図８の（ｄ）に示すように、円形の物体ＯＢがフレームの左方向から右方向へと移動している。補間フレーム信号f0.75a，f0.5a，f0.25aのフレームにおける物体ＯＢｉは、入力映像信号ｆ０における隣接する２フレームに基づいて補間した物体を示している。

補間フレーム生成部２６１〜２６３は、入力映像信号ｆ０におけるフレームf0Aとフレームf0Bとの間に位置する、３つの補間フレームf0AB1〜f0AB3を生成する。補間フレーム生成部２６１〜２６３は、入力映像信号ｆ０におけるフレームf0Bとフレームf0Cとの間に位置する、３つの補間フレームf0BC1〜f0BC3を生成する。

補間フレーム生成部２６１〜２６３は、入力映像信号ｆ０におけるフレームf0Cとフレームf0Dとの間に位置する、３つの補間フレームf0CD1〜f0CD3を生成する。補間フレーム生成部２６１〜２６３は、以下、同様の動作を繰り返す。

混合部２８１〜２８３に入力される混合比率制御データＤmrが示す混合比率Vdmrが０であれば、混合部２８１〜２８３は、図８の（ａ）〜（ｃ）に示す補間フレーム信号f0.75a，f0.5a，f0.25aをそのまま混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bとして出力する。この場合、厳密には、混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bは非混合の補間フレーム信号f0.75a，f0.5a，f0.25aとなる。

このように、混合部２８１〜２８３は、混合比率制御データＤmrが示す混合比率Vdmrが最小値である０を示す場合には、補間フレーム信号f0.75a，f0.5a，f0.25aそれぞれのフレームをそのまま混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bとして出力する。

混合比率制御データＤmrが示す混合比率Vdmrが例えばVmax/2であるとすると、第２実施形態の映像信号処理装置は次のように動作し、第２実施形態の映像信号処理方法は次のように処理する。混合比率VdmrがVmax/2のとき、混合部２８１〜２８３は、入力映像信号ｆ０と補間フレーム信号f0.75a，f0.5a，f0.25aとを同じ割合で混合して、混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bとして出力する。

混合部２８１は、図８の（ａ）に示す補間フレーム信号f0.75aにおける補間フレームf0AB1と、図８の（ｄ）に示す入力映像信号ｆ０におけるフレームf0Bとを混合して、図９の（ａ）に示す混合補間フレームf0BAB1を生成する。

混合部２８２は、図８の（ｂ）に示す補間フレーム信号f0.5aにおける補間フレームf0AB2と、図８の（ｄ）に示す入力映像信号ｆ０におけるフレームf0Bとを混合して、図９の（ｂ）に示す混合補間フレームf0BAB2を生成する。

混合部２８３は、図８の（ｃ）に示す補間フレーム信号f0.25aにおける補間フレームf0AB3と、図８の（ｄ）に示す入力映像信号ｆ０におけるフレームf0Bとを混合して、図９の（ｃ）に示す混合補間フレームf0BAB3を生成する。

同様にして、図９の（ａ）〜（ｃ）に示すように、混合部２８１〜２８３は、補間フレーム信号f0.75a，f0.5a，f0.25aにおける補間フレームf0BC1〜f0BC3と入力映像信号ｆ０におけるフレームf0Cとを混合して、混合補間フレームf0CBC1〜f0CBC3を生成する。

また、図９の（ａ）〜（ｃ）に示すように、混合部２８１〜２８３は、補間フレーム信号f0.75a，f0.5a，f0.25aにおける補間フレームf0CD1〜f0CD3と入力映像信号ｆ０におけるフレームf0Dとを混合して、混合補間フレームf0DCD1〜f0DCD3を生成する。混合部２８１〜２８３は、以降、同様の動作を繰り返す。

混合補間フレームf0BAB1〜f0BAB3，f0CBC1〜f0CBC3，f0DCD1〜f0DCD3は、物体ＯＢと物体ＯＢｉとが混合された、ぼやけた物体ＯＢmixを含む。

ここでは、混合比率VdmrがVmax/2のときを示しているが、混合部２８１〜２８３は、混合比率Vdmrの値に応じて、入力映像信号ｆ０と補間フレーム信号f0.75a，f0.5a，f0.25aとを混合する。混合部２８１〜２８３が入力映像信号ｆ０と補間フレーム信号f0.75a，f0.5a，f0.25aとを混合するとき、混合比率Vdmrが最小値から大きくなるに従って、入力映像信号ｆ０の割合が増加していく。

図１０は、混合比率Vdmrが最大値Vmaxのときの状態を示している。混合比率Vdmrが最大値Vmaxであれば、混合部２８１〜２８３は、図１０の（ａ）〜（ｃ）に示すように、図１０の（ｄ）に示す入力映像信号ｆ０をそのまま混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bとして出力する。この場合、厳密には、混合補間フレーム信号ｆ0.75b，ｆ0.5b，ｆ0.25bは非混合の入力映像信号ｆ０となる。

図１０の場合、出力映像信号ｆ40のフレーム周波数は２４０Ｈｚではあるものの、物体ＯＢ（ＯＢｉ）の動きが滑らかではない画像となる。

図７に示す第２実施形態の映像信号処理装置において、入力映像信号ｆ０がプルダウン映像信号であり、入力映像信号ｆ０のデジャダを意図する場合には、補間フレーム生成部をもう１つ設ければよい。図１と同様に、映像信号ｆ２を生成するフレームメモリと、プルダウン検出部を設けることが好ましい。

＜第１及び第２実施形態のまとめ＞
以上説明した第１及び第２実施形態より分かるように、動きベクトルＭＶの誤検出が発生しても視覚的な違和感を軽減させるために、映像信号処理装置の各構成は次のように動作すればよい。

動きベクトル検出部（１４，２４）は、第１のフレーム周波数を有する入力映像信号ｆ０における画像の動きベクトルＭＶを検出する。補間フレーム生成部（１５，１６，２６１〜２６３）は、動きベクトルＭＶを用いて、入力映像信号ｆ０における２つの実フレーム間に内挿する１または複数の補間フレームを生成する。

信頼度データ生成部（１４，２４）は、動きベクトルＭＶの信頼度を示す信頼度データＤreを生成する。混合比率生成部（１７，２７）は、信頼度データＤreに基づいて混合比率制御データＤmrを生成する。

混合部（１８，２８１〜２８３）は、補間フレームに対して実フレームまたは他の補間フレームを、混合比率制御データＤmrが示す混合比率の値に応じて混合して混合フレームを生成する。

上述のように、第１実施形態においては、混合部１８は、補間フレームに対して他の補間フレームを混合して混合フレームを生成する。第２実施形態においては、混合部２８１〜２８３は、補間フレームに対して実フレームを混合して混合フレームを生成する。

補間フレームに対して、実フレームまたは他の補間フレームを混合することにより、動きベクトルＭＶの誤検出が発生したとしても、視覚的な違和感が軽減されることになる。

フレームレート変換部（１９，２９）は、補間フレーム及び混合フレーム、または、実フレーム及び混合フレームを、第１のフレーム周波数の整数倍である第２のフレーム周波数で出力することにより出力映像信号を生成する。

上述のように、第１実施形態においては、第１のフレーム周波数は６０Ｈｚであり、フレームレート変換部１９は、補間フレームと混合フレームとに基づいて第２のフレーム周波数として１２０Ｈｚの出力映像信号ｆ20を生成する。
第２実施形態においては、第１のフレーム周波数は６０Ｈｚであり、フレームレート変換部２９は、実フレームと混合フレームとに基づいて第２のフレーム周波数として２４０Ｈｚの出力映像信号ｆ40を生成する。

混合部（１８，２８１〜２８３）は、混合比率の値が最小であるとき、補間フレームをそのまま混合フレームとしてよい。混合部（１８，２８１〜２８３）は、混合比率の値が最大であるとき、実フレームまたは他の補間フレームをそのまま混合フレームとしてよい。

入力映像信号ｆ０は、第１のフレーム周波数より低い第３のフレーム周波数を有する映像信号がプルダウンによって第１のフレーム周波数を有する映像信号に変換されたプルダウン映像信号であってもよい。

入力映像信号ｆ０がプルダウン映像信号であるとき、補間フレーム生成部（１５，１６）は、入力映像信号ｆ０における画像が異なる２つの実フレーム間に内挿する補間フレームであり、画像に含まれる移動する物体の動きを滑らかにするためのデジャダ用の補間フレームを生成してよい。

実フレームと補間フレームとを移動する物体の順となるように並べたときの隣接する２つのフレームを組とし、組となる２つのフレームの一方を第１のフレーム、他方を第２のフレームとする。混合部（１８）は、混合比率の値が最小であるとき、第２のフレームを混合フレームとしてよい。混合部（１８）は、混合比率の値が最大であるとき、第１のフレームを混合フレームとしてよい。

混合部（１８）は、混合比率の値が最小と最大との間であるとき、第１のフレームと第２のフレームとを混合比率に応じて混合して混合フレームとしてよい。

映像信号処理装置は、入力映像信号ｆ０がプルダウン映像信号であるか否か、及び、プルダウン映像信号である場合にプルダウンシーケンスを検出するプルダウン検出部（１３）を備えるのがよい。補間フレーム生成部（１５，１６）は、プルダウンシーケンスに基づいて、画像が異なる２つの実フレーム間に内挿する補間フレームを生成するのがよい。

混合比率生成部（１７，２７）は、信頼度データＤreが示す動きベクトルＭＶの信頼度が所定の基準よりも低い状態を所定の期間積算して積算データを生成する積算部（１７２）と、積算データに基づいて２つのフレームを混合する混合比率を決定する混合比率制御データＤmrを生成する混合比率決定部（１７４）とを有する構成とするのがよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１，図７に示す構成は単なる例であり、映像信号処理装置の具体的な構成は図１，図７の構成に限定されない。

１３プルダウン検出部
１４，２４動きベクトル検出部（信頼度データ生成部）
１５，１６，２６１〜２６３補間フレーム生成部
１７，２７混合比率生成部
１８，２８１〜２８３混合部
１９，２９フレームレート変換部

Claims

第１のフレーム周波数を有する入力映像信号における画像の動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルを用いて、前記入力映像信号における２つの実フレーム間に内挿する１または複数の補間フレームを生成する補間フレーム生成部と、
前記動きベクトルの信頼度を示す信頼度データを生成する信頼度データ生成部と、
前記信頼度データに基づいて混合比率制御データを生成する混合比率生成部と、
補間フレームに対して実フレームまたは他の補間フレームを、前記混合比率制御データが示す混合比率の値に応じて混合して混合フレームを生成する混合部と、
前記補間フレーム及び前記混合フレーム、または、前記実フレーム及び前記混合フレームを、前記第１のフレーム周波数の整数倍である第２のフレーム周波数で出力することにより出力映像信号を生成するフレームレート変換部と、
を備えることを特徴とする映像信号処理装置。
前記混合部は、混合比率の値が最小であるとき、前記補間フレームを前記混合フレームとし、混合比率の値が最大であるとき、前記実フレームまたは前記他の補間フレームを前記混合フレームとすることを特徴とする請求項１記載の映像信号処理装置。
前記入力映像信号が、前記第１のフレーム周波数より低い第３のフレーム周波数を有する映像信号がプルダウンによって前記第１のフレーム周波数を有する映像信号に変換されたプルダウン映像信号であるとき、
前記補間フレーム生成部は、前記入力映像信号における画像が異なる２つの実フレーム間に内挿する補間フレームであり、前記画像に含まれる移動する物体の動きを滑らかにするためのデジャダ用の補間フレームを生成し、
前記混合部は、前記実フレームと前記補間フレームとを移動する物体の順となるように並べたときの隣接する２つのフレームを組とし、組となる２つのフレームの一方を第１のフレーム、他方を第２のフレームとしたとき、前記混合比率制御データが示す混合比率の値が最小である場合には、前記第２のフレームを前記混合フレームとし、前記混合比率制御データが示す混合比率の値が最大である場合には、前記第１のフレームを前記混合フレームとし、前記混合比率制御データが示す混合比率の値が最小と最大との間である場合には、前記第１のフレームと前記第２のフレームとを混合比率に応じて混合して前記混合フレームとする
ことを特徴とする請求項１記載の映像信号処理装置。
前記入力映像信号がプルダウン映像信号であるか否か、及び、プルダウン映像信号である場合にプルダウンシーケンスを検出するプルダウン検出部をさらに備え、
前記補間フレーム生成部は、前記プルダウン検出部によって前記入力映像信号がプルダウン映像信号であることが検出された場合に、前記プルダウンシーケンスに基づいて、画像が異なる２つの実フレーム間に内挿する補間フレームを生成する
ことを特徴とする請求項３記載の映像信号処理装置。
前記混合比率生成部は、
前記信頼度データが示す前記動きベクトルの信頼度が所定の基準よりも低い状態を所定の期間積算して積算データを生成する積算部と、
前記積算データに基づいて２つのフレームを混合する混合比率を決定する前記混合比率制御データを生成する混合比率決定部と、
を有することを特徴とする請求項１〜４のいずれか１項に記載の映像信号処理装置。
第１のフレーム周波数を有する入力映像信号における画像の動きベクトルを検出し、
前記動きベクトルを用いて、前記入力映像信号における２つの実フレーム間に内挿する１または複数の補間フレームを生成し、
前記動きベクトルの信頼度を示す信頼度データを生成し、
前記信頼度データに基づいて混合比率制御データを生成し、
補間フレームに対して実フレームまたは他の補間フレームを、前記混合比率制御データが示す混合比率の値に応じて混合して混合フレームを生成し、
前記補間フレーム及び前記混合フレーム、または、前記実フレーム及び前記混合フレームを、前記第１のフレーム周波数の整数倍である第２のフレーム周波数で出力することにより出力映像信号を生成する
ことを特徴とする映像信号処理方法。