JP2009159332A - 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置 - Google Patents

Abstract

【課題】不正確な動きベクトルによる影響を排除して高品位な補間フレーム処理を行なう補間フレーム生成装置、補間フレーム生成方法及び放送受信装置を提供する。
【解決手段】連続するフレーム画像（３１，３３）に挿入する補間フレーム画像（３２）を生成する補間フレーム生成装置であって、連続するフレーム画像（３１，３３）を構成する複数のブロックにつき、各ブロック（４０−１，…）においてブロックマッチング処理を行い、補間フレーム上の動きベクトルを一つに特定する動きベクトル検出部（１２）と、動きベクトル検出部が動きベクトルを一つに特定できたブロックに関しては、その動きベクトルに基づいて補間フレーム画像を生成し、動きベクトル検出部が動きベクトルを一つに特定できなかったブロックに関しては、動きベクトル成分を含まないフレーム画像に基づいた補間フレーム画像を生成する生成部（１３）をもつ補間フレーム生成装置。
【選択図】 図１

Description

この発明は、ブロックマッチング処理により動きベクトルを検出しこれを用いて補間処理を行なう補間フレーム生成装置、補間フレーム生成方法及び放送受信装置に関する。

液晶表示装置（ＬＣＤ）に動画像を表示する場合、ＬＣＤは例えば６０フレーム／秒のレートでフレーム画像（以下単にフレームと記載する）を表示する。このフレームは例えば６０フィールド／秒のインターレースを処理して得られる順次走査信号であり、ＬＣＤは、１フレームを１／６０秒間表示し続ける。

ＬＣＤに表示されたこのような映像を視聴する場合、人の目には１フレーム前の画像が残像として残る。このため、映像中の動いている物体がボケて見えるか、物体の動きが不自然に見えることがある。動画像のこのようなボケを防止するために、連続する２つのフレームの間に、補間フレームを挿入して動画像を表示する方法を開示している。

特許文献１は、動きベクトルを検出しこれを用いて補間フレーム画像を生成することで、動画像をより鮮明に表示することが可能となる補間フレーム生成装置を開示している。
特開２００７−６０１９２号公報

しかし、従来技術である特許文献１は、絵柄の動きによっては動きベクトルを検出できない場合についても、動きベクトルを一律に求めてしまうため、不正確な動きベクトルが検出されてしまい、画格の低下を招いてしまうという問題がある。

本発明は、不正確な動きベクトルによる影響を排除して高品位な補間フレーム処理を行なう補間フレーム生成装置、補間フレーム生成方法及び放送受信装置を提供することを目的とする。

課題を解決するための一実施形態は、
連続するフレーム画像（３１，３３）に挿入する補間フレーム画像（３２）を生成する補間フレーム生成装置であって、
前記連続するフレーム画像（３１，３３）を構成する複数のブロックにつき、各ブロック（４０−１，…）においてブロックマッチング処理を行い、補間フレーム上の動きベクトルを一つに特定する動きベクトル検出部（１２）と、
前記動きベクトル検出部が動きベクトルを一つに特定できた補間ブロックに関しては、その動きベクトルに基づいて補間フレーム画像を生成し、前記動きベクトル検出部が動きベクトルを一つに特定できなかった補間ブロックに関しては、動きベクトル成分を含まない前記フレーム画像に基づいた補間フレーム画像を生成する生成部（１３）と、
を具備することを特徴とする補間フレーム生成装置である。

ブロックの大きさを変えてブロックマッチングを繰り返しても動きベクトルが一つに特定されない場合は、動きベクトルを求めずに、例えば、前フレーム画像や後フレーム画像等を補間画像として、不正確な動きベクトルによる影響を排除し高品位な補間フレーム処理を行なうことができる。

以下、この発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態に係る補間フレーム生成装置の構成の一例を示すブロック図である。

＜本発明の一実施形態である補間フレーム生成装置＞
（構成）
初めに、本発明の一実施形態である補間フレーム生成装置の構成の一例について、図面を用いて説明する。本発明の一実施形態である補間フレーム生成装置１０は、図１に示すように、入力画像信号が与えられるフレームメモリ１１と、同様に入力端及びフレームメモリ１１から入力画像信号が与えられる動きベクトル検出部１２と、動きベクトル検出部１２から動きベクトルがフレームメモリ１１から入力画像信号が供給され、補間画像を生成する補間画像生成部１３を有する。

更に、ここで、動きベクトル検出部１２は、例えば小ブロックに関する動きベクトルの検出処理を行なう小ブロック検出部２１と、中ブロック（可変長）に関する動きベクトルの検出処理を行なう中ブロック検出部２２と、大ブロック（固定長）に関する動きベクトルの検出処理を行なう大ブロック検出部２３と、各検出部において動きベクトルが検出されたかを総合的に判断するベクトル検出判定部２４を有している。

＜本発明の一実施形態である補間フレーム生成装置の補間フレーム生成処理＞
次に、本発明の一実施形態である補間フレーム生成装置の補間フレーム生成処理について、図面を用いて詳細に説明する。図２は、本発明の一実施形態に係る補間フレーム生成装置のブロックマッチング処理の一例を示す説明図である。

（固定長ブロックと可変長ブロックのブロックマッチング処理）
初めに、固定長ブロックと可変長ブロックのブロックマッチング処理について図面を用いて説明する。

・ブロックマッチング処理
上述したように、補間画像生成部１３は、動きベクトル検出部１２が検出したフレーム間の動きベクトルに基づいて、補間フレーム画像を生成する。動きベクトルは、前フレーム及び後フレームの２枚ないしそれ以上の入力フレーム間で、フレームを構成する画像ブロックのマッチングを行うことにより、物体の動いた方向及び距離として検出される。各ブロックの動きベクトルを用いて、入力フレーム間に位置する新たな補間フレームが作成され、補間フレームを２枚の入力フレーム間に挿入することにより、フレーム数を増加して動画像を表示する。

このブロックマッチングは、図２に示すように、あるフレーム３１の領域４０におけるどの所定サイズの画像ブロック４０−１等が、後のフレーム３３中の領域４２におけるどの所定サイズの画像ブロック４２−１等に一致するかを逐一検出する方法である。

そのため、前フレーム中の画像ブロックと、後フレーム中のいずれかの画像ブロックとで、互いに対応する画素間の差分を計算し、これを累積した値（ＳＡＤ:Sum of Absolute Difference）が最小となる後フレーム中画像ブロックが、前フレーム中画像ブロックに最も類似する画像ブロックとして検出される。前フレームと後フレームで、最も類似する画像ブロックの位置の差が、動きベクトルとして検出される。

・固定長ブロック（小ブロック）と可変長ブロック（大ブロック）
しかし、ブロックマッチング処理は、図２に示すようにブロックのサイズを固定とする固定長ブロック４０−１、４０−２だけでなく、ブロックのサイズを可変とする可変長ブロック４０’−１、４０’−２等を用いることが有効な場合が存在する。

すなわち、図３は、本発明の一実施形態に係る補間フレーム生成装置により、固定長ブロックの一例を示す説明図である。図３に示すように、ＳＡＤを用いたブロックマッチングに基づいて物体の動きを推定する時、入力フレーム内に縦じま模様のような周期的パターンが存在する場合、この周期的パターン内の固定長の画像ブロックでは、ＳＡＤの値だけでは正確な動きベクトルを推定することができない。

ここで、図５は、同じく補間フレーム生成装置の固定長ブロックと可変長ブロックとをそれぞれ用いたブロックマッチング処理によるＳＡＤ特性を示すグラフである。

従って、図５のグラフの固定長ブロックのＳＡＤ値αは、判別し難い複数の極小値Ｐ１，Ｐ２，Ｐ３の動きベクトル候補が示されており、ブロックマッチングが困難になっている。

一方、図４は、本発明の一実施形態に係る補間フレーム生成装置の可変長ブロックによるマッチング処理の一例を示す説明図である。図４に示すような縦じま模様のような周期的パターンに対して十分大きな可変長ブロックによるマッチング処理を行なう。この可変長ブロックによるブロックマッチングにより、図５のグラフの可変長ブロックのＳＡＤ値βは、複数の極小値を示すことはなく、一つの極小値ＰＬ１を示しているため、ブロックマッチングが困難となることはない。

従って、ブロックマッチングにより動きベクトルの検出を行う補間フレーム作成方法において、大きさの異なるブロックを少なくとも２つ以上用いることが有効となる。そして、通常時には２つ以上のブロックのうち小さいブロックで検出した動きベクトルを用い、小さいブロックでのベクトル検出時に、動きベクトル候補が複数検出された場合は、大きいブロックを用いて検出されたベクトルを参照して、小さいブロックによる複数の動きベクトル候補から真正な動きベクトル候補を選択することが可能である。

図５のグラフの場合だと、可変長ブロックのＳＡＤ値βを参照して、真正な動きベクトル候補が極小値ＰＬ１に一番近い極小値Ｐ２であることが判断できる。これにより、周期的なパターンを含んだ映像の動きベクトルの検出精度を向上させることができる。

・可変長ブロック（大ブロック）のサイズ決定
更に、可変長ブロック（大ブロック）の動き検出を行う際の適切なブロックサイズを決定する基準の一例を示す。

すなわち、図３に示すように、小ブロックＢ１，Ｂ２，Ｂ３では各々矩形領域内に同一の画像しか含まないため区別ができないが、図４に示すように、周期的繰り返しパターン幅全てを包含するサイズの大ブロックＢ４，Ｂ５，Ｂ６では各々の矩形領域内に含まれる画像は異なるため一意に正しい動きベクトルを検出することが可能である。

従って、大ブロックの動き検出時ブロックサイズとして、周期的繰り返しパターンに惑わされないほど十分な大きさを有し、かつ、必要以上に大きすぎてブロック内に複数の動きを持つ物体が入り込むことの無い大きさが適切な大きさである。

従って、周期的繰り返しパターン幅の具体的な検出方法の一つは、
『複数の動きベクトル候補が発生する領域』を検出し、この領域の幅に基づいて『可変長ブロック（大ブロック）のサイズ』を決定するものである。

従って、
『複数の動きベクトル候補が発生する領域』≒『可変長ブロック（大ブロック）のサイズ』
又は、
『複数の動きベクトル候補が発生する領域』≒『可変長ブロック（大ブロック）のサイズ』＋ａ（定数）
等の決定方法が好適であるが、これに限定されるものではない。

すなわち、周期的繰り返しパターン幅の他の算出方法として、
・小ブロックでのベクトル検出時に、信頼し得る動きベクトルの候補が複数見つかった事象（つまりベクトルを一意に検出できず迷っている状態）の、連続発生回数を測定してこれに対応した幅とする。

・入力画像のライン上での単位パターン繰り返し回数を測定してこれに対応した幅とする。

（概要説明）
本発明の一実施形態においては、動きベクトルの検出を繰り返し行なった場合にも関わらず動きベクトルをうまく特定できない際は、動きベクトルにそれ以上に固執せずに、動きベクトルを参照しない補間フレーム画像を生成して用いるものである。

これにより、検出可能な動きベクトルはこれを利用し、検出不能場合は低品位な動きベクトルを検出することなく、前フレーム画像や後フレーム画像等に基づく安定した補間フレーム画像を生成して利用するものである。

具体的な実施形態としては、図６に記述のとおり、下記結果をもたらす４ステップが一例として考えられる。図６は、本発明の一実施形態に係る補間フレーム生成装置におけるフレームを小ブロックでマッチング処理した場合と、中ブロック（可変長）でマッチング処理した場合と、大ブロック（固定長）でマッチング処理した場合と、最終的に選択されたベクトル分布をそれぞれ説明する説明図である。

すなわち、図６において、以下の４つの工程が説明されている。

１）小ブロックａによる動きベクトル検出：小ブロック自身のベクトル検出結果が信用に足るので、小ブロックａでのベクトル検出結果から最小ＳＡＤのベクトルを選択する(ステップＳ１)。

２）中ブロック（可変長）ｂによる動きベクトル検出：中ブロック（可変長）ｂでのベクトル検出結果が信用に足るので、中ブロック（可変長）ｃでのベクトル検出結果から最小ＳＡＤのベクトルを選択し、その値に近い小ブロックａでのベクトル検出極小点を選択する(ステップＳ２)。

３）大ブロック（固定長）ｃによる動きベクトル検出：大ブロック（固定長）ｃでのベクトル検出結果が信用に足るので、大ブロック（固定長）ｃでのベクトル検出結果から最小ＳＡＤのベクトルを選択し、その値に近い小ブロックａでのベクトル検出極小点を選択する(ステップＳ３)。

４）最終的に選択されたベクトルの分布例：
動きベクトルを用いない場合も含め、一つのフレーム画像の各ブロックにおけるベクトルの分布が、以下の４つの結果Ａ乃至Ｄに分類されている(ステップＳ４)
結果Ａ：小ブロックａにより動きベクトルが検出された結果Ａ
結果Ｂ：中ブロックｂにより動きベクトルが検出された結果Ｂ
結果Ｃ：大ブロックｃにより動きベクトルが検出された結果Ｃ
結果Ｄ：動きベクトルの検出を中止した結果Ｄ。

ついで結果Ｄでは、ステップＳ１、ステップＳ２、ステップＳ３では、信用に足るベクトルが検出できないため、正しいベクトル検出は困難であると判断して中止し、補間画像生成部１３へ、動きベクトルを用いない補間フレーム画像の生成を指示する。

（フローチャートを用いた補間フレーム生成処理の詳細な説明：図７）
次に、図７のフローチャートを用いて、補間フレーム生成処理の説明を以下に詳細に行なう。図７のフローチャートが示す実施形態は、本発明の一実施形態に係る補間フレーム生成装置における小ブロック、中ブロック、大ブロックに関する動きベクトル検出処理の一例を説明するフローチャートである。

なお、以下の図７乃至図１０のフローチャートの各ステップは、回路ブロックに置き換えることができ、従って、各フローチャートのステップは、全て回路ブロックに定義しなおすことが可能である。

ここでは、『小ブロック、中ブロック、大ブロック』の順に、動きベクトルを検出する場合について説明する。

すなわち、動きベクトル検出部１２は、入力画像信号として６０フレーム／秒の画像信号を受ける。動きベクトル検出部１２は、これに対して、小ブロック検出部２１が図６のステップＳ１に示すように、小ブロックａでの動きベクトル検出を行なう。ここでは、小ブロック自身のベクトル検出結果が信用に足るので、小ブロックａでのベクトル検出結果から最小ＳＡＤのベクトルを選択する(ステップＳ２１)。次に、小ブロックでのベクトル検出結果で、
｜最小値−極小値ｉ｜＜（閾値）
を満たす値が１つだけであれば、動きベクトルが一つに特定できたことになる(ステップＳ２２)。この場合は、結果Ａに進み、小ブロック検出部２１は、小ブロックでの検出結果から最小ＳＡＤの動きベクトルを選択する(ステップＳ２３)。

しかし、
｜最小値−極小値ｉ｜＜（閾値）
を満たす値が２つ以上であれば、動きベクトルは特定できないことになる。

すると、中ブロック検出部２２は、図６のステップＳ２に示すように、可変長な中ブロックによりベクトル検出を行なう(ステップＳ２４)。なお、ここで、ブロック長を決定する方法の一例として、『複数の動きベクトル候補が発生する領域』を検出し、この領域の幅に基づいて『可変長ブロック（中ブロック）のサイズ』を決定するものである。

中ブロック検出部２２は、検出結果において、
｜最小値−極小値ｉ｜＜（閾値）
を満たす値が１つに特定できれば、動きベクトルを一つに特定できたことになる(ステップＳ２５)。この場合は、結果Ｂに進み、中ブロック検出部２２は、中ブロックでの検出結果から最小ＳＡＤの動きベクトルを選択し、その値に近い小ベクトルでのベクトル検出極小点を選択する (ステップＳ２６)。

しかし、
｜最小値−極小値ｉ｜＜（閾値）
を満たす値が２つ以上であれば、動きベクトルは特定できないことになる。

従って、大ブロック検出部２３は、図６のステップＳ３に示すように、固定長の大ブロックによりベクトル検出を行なう(ステップＳ２７)。

ここで、大ブロック検出部２３は、検出結果において、
｜最小値−極小値ｉ｜＜（閾値）
を満たす値が１つに特定できれば、動きベクトルを一つに特定できたことになる。この場合は、結果Ｃに進み、大ブロック検出部２３は、大ブロックでの検出結果から最小ＳＡＤの動きベクトルを選択し、その値に近い小ブロックでのベクトル検出極小点を選択する(ステップＳ２９)。

しかし、
｜最小値−極小値ｉ｜＜（閾値）
を満たす値が２つ以上であれば、動きベクトルは特定できないことになる(ステップＳ２８)。

ここで、ベクトル検出判定部２４は、この結果を受けこれ以上のベクトル検出を続けても、不正確な動きベクトルを検出することになってしまうと考え、ベクトル検出を中断する(ステップＳ３０)。

このようにして検出した小ブロック検出部２１により検出した動きベクトル、または、中ブロック検出部２２により検出した動きベクトル、または、大ブロック検出部２３により検出した動きベクトルは、補間画像生成部１３に供給される。補間画像生成部１３はフレームメモリ１１と共に、これらの動きベクトルに応じた補間フレーム画像の一部分を生成して、前フレーム画像及び後フレーム画像の間に挿入する(ステップＳ３１)。

一方、ステップＳ３０において、ベクトル検出が中断された場合は、補間画像生成部１３は、動きベクトル成分を含まない補間フレーム画像の一部分を生成し、フレームメモリ１１と共に、前フレーム画像及び後フレーム画像の間に挿入する。すなわち、一例として、補間フレーム画像を、図２に示す前フレーム画像３１または後フレーム画像３２または前フレーム画像３１と後フレーム画像３２との混合フレームを、補間フレーム画像の一部として、前フレーム画像及び後フレーム画像の間に挿入する(ステップＳ３２)。

こうすることで、この補間フレーム画像の一部分は、動きベクトルの影響は一切うけないため、検出しにくかった不確かな動きベクトルに応じた、不適な補間フレーム画像が利用させることにより画格が低下するという問題が発生しない。

このように、図６のステップＳ４の1補間画面内での選択結果分布図に示すように、
結果Ａにおいては、小ブロックにより検出した動きベクトルに基づく補間フレーム画像が、
結果Ｂにおいては、中ブロックにより検出した動きベクトルに基づく補間フレーム画像が、
結果Ｃにおいては、大ブロックにより検出した動きベクトルに基づく補間フレーム画像が、
結果Ｄにおいては、動きベクトル成分を含まない補間フレーム画像が適用されるため、全体として、各結果において適切な補間フレーム画像を提供することができる。

以上のように、図６に示す手順で処理することで、入力画像の絵柄に応じて適切に選択されたブロックサイズにより検出された動きベクトル及び部分々々で適応的に、結果ＡからＤまでを柔軟に切り替えたベクトル検出処理が可能となり、結果として高品位な補間画像を生成するための動きベクトルを検出することができるようになる。

更に、本発明の動作結果として、１補間画面内のブロックサイズおよび最終的に選択されたベクトル分布の一例を図６として示す。

・見直し処理
なお、他の実施形態として、ステップＳ２８において、
｜最小値−極小値ｉ｜＜（閾値）
を満たす値が２つ以上であれば、動きベクトルは特定できないことになるが、この時点でベクトル検出をただちに中断するのではなく、ステップＳ２２及びステップＳ２５及びステップＳ２８での、各『｜最小値−極小値ｉ｜と、各（閾値）』をもう一度見直す機会を与えることが好適である。

すなわち、ベクトル検出判定部２４は、各『｜最小値−極小値ｉ｜と、各（閾値）』をもう一度合計を求めたり、総合的に考慮して見直す機会を与えることが好適である。例えば、（閾値）に多少の許容値を設けることで、例えば、中ブロック検出部２２等の動きベクトルを復活させて、この動きベクトルを利用する等の処理も好適である。

・処理順序について
なお、上述した実施形態は、小ブロック検出処理、中ブロック検出処理、大ブロック検出処理の順序で示されているが、これらの順序は必ずしもこれに限るものではない。すなわち、各小ブロック検出処理、中ブロック検出処理、大ブロック検出処理の閾値の大きさを考慮することにより、大ブロック検出処理、中ブロック検出処理、小ブロック検出処理の順序で処理を行なっても、検出結果に大きな違いがでない場合もある。

すなわち、大ブロック検出処理を最初に行なっても、例えば、閾値が大きければ、全てのブロックが大ブロックで検出されるわけではない。従って、各ブロックが小ブロック検出処理、中ブロック検出処理、大ブロック検出処理のどれにより、動きベクトルを検出することになるかは、順序よりも閾値によるものが大きい。このため、小ブロック検出処理、中ブロック検出処理、大ブロック検出処理の順序は、任意に変えることが好適となる。

（フローチャートを用いた補間フレーム生成処理の詳細な説明：図８，図９，図１０）
・『小ブロック、中ブロック』の場合
図８は、本発明の一実施形態に係る補間フレーム生成装置における小ブロック、中ブロックに関する動きベクトル検出処理の一例を説明するフローチャートである。

一例を説明するフローチャート。

ここでは、『小ブロック、中ブロック』の順に、動きベクトルを検出する場合について説明する。すなわち、大ブロック検出処理は、必須のものではなく、小ブロック検出処理、
中ブロック検出処理だけでも、十分に同等の検出処理が行なわれるものである。

図８のフローチャートにおいて、各工程は、全て図７のフローチャートに共通した記載であり、ここではその説明を省略する。

・『小ブロック、大ブロック』の場合
図９は、本発明の一実施形態に係る補間フレーム生成装置における小ブロック、大ブロックに関する動きベクトル検出処理の一例を説明するフローチャートである。

一例を説明するフローチャート。

ここでは、『小ブロック、大ブロック』の順に、動きベクトルを検出する場合について説明する。すなわち、中ブロック（可変長）検出処理は、必須のものではなく、小ブロック検出処理、大ブロック検出処理だけでも、十分に同等の検出処理が行なわれるものである。

図９のフローチャートにおいても、各工程は、全て図７に共通した記載であり、ここではその説明を省略する。

（フローチャートを用いた補間フレーム生成処理の詳細な説明：図１０）
図１０は、本発明の一実施形態に係る補間フレーム生成装置における動きベクトル量に応じた補間フレームを生成する処理の一例を説明するフローチャートである。

図１０のフローチャートにおいて、各工程は、多くが図７のフローチャートに共通した記載であり、ここではその説明を省略する。

ここでは、ステップＳ３０でベクトル検出判定部２４が中断されたと判断した場合に、該当のブロック内の動きベクトル量が所定値以上の大きさである場合(ステップＳ４１)、画像が乱れる可能性が高いと考え、補間画像生成部１３で生成する補間フレーム画像は、前フレームまたは後フレームを補間フレーム画像とする(ステップＳ４２)。すなわち、前フレームと後フレームの合成画像を補間フレーム画像とすると、動きベクトル量が多いときは、画像が乱れる可能性が高いからである。

一方、ブロック内の動きベクトル量が所定値より少ない場合は(ステップＳ４１)、画像が乱れる可能性が低いと考え、前フレームと後フレームの合成画像を補間フレーム画像とすることが好適である(ステップＳ４３)。

（他の実施形態）
その他の実施形態として、以下のような場合が好適である。

すなわち、上述した実施形態では、画像の水平方向への周期パターンに対する動きベクトル検出精度の向上策として示したが、容易に推測される通り、画像の垂直方向への周期パターンに対する動きベクトル検出精度向上策としても同様に効果がある。

すなわち、動きベクトル検出部１２は、複数のブロックにつき順番に動きベクトルを特定していく処理を、複数のブロック上に水平方向に進めて行くことも好適であり、または垂直方向に進めて行くことも同様に好適である。

また、上述した実施形態では、一種類の大ブロック（固定長）の大きさを用いて、簡素化して説明を行った。しかし、最終的に動きベクトルを求めたい小さいブロックに到達するまでに、複数段階のサイズをもったブロック（固定長）を利用することも好適である。

＜本発明の一実施形態に係る補間フレーム生成装置が適用される放送受信装置の一例＞
次に、本発明の一実施形態に係る補間フレーム生成装置を適用した放送受信装置の一例を図面を用いて説明する。図１１は、本発明の一実施形態に係る補間フレーム生成装置を利用した放送受信装置の構成の一例を示すブロック図である。

上述した本発明の一実施形態に係る補間フレーム生成装置は、放送受信装置１００においては、映像処理部１１９の後段の補間フレーム生成部１０として用いることが好適である。

（放送受信装置の構成と動作）
本発明の一実施形態に係る補間フレーム生成装置を適用した放送受信装置の一実施形態であるデジタルテレビジョン装置等の放送受信装置の構成の一例を、以下に図面を用いて詳細に説明する。図１１は、補間フレーム生成装置を適用した放送受信装置の一実施形態であるデジタルテレビジョン装置等の放送受信装置の構成の一例を示すブロック図である。

放送受信装置１００は、図１１に示すように一例としてテレビジョン装置であり、制御部１３０は全体の動作を司るべくデータバスを介して各部に接続されている。放送受信装置１００は、再生側を構成するＭＰＥＧデコーダ部１１６と、装置本体の動作を制御する制御部１３０とを主たる構成要素としている。放送受信装置１００は、入力側のセレクタ部１１４と出力側のセレクタ部１２０とを有しており、入力側のセレクタ部１１４には、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２と、ＢＳ／地上波アナログチューナ部１１３が接続される。また、ＬＡＮ等やメール機能をもった通信部１１１がデータバスに接続されて設けられている。

放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２からの復調信号を一時格納するバッファ部１１５と、格納された復調信号であるパケットを種類別に分離する分離部１１７と、分離部１１７から供給された映像音声用のパケットにＭＰＥＧデコード処理を施し映像音声信号を出力するＭＰＥＧデコーダ部１１６と、操作情報等を重畳するための映像信号を生成し映像信号に重畳するＯＳＤ（On Screen Display）重畳部１３４を有している。放送受信装置１００は、更に、ＭＰＥＧデコーダ部１１６からの音声信号に増幅処理等を施す音声処理部１１８と、ＭＰＥＧデコーダ部１１６から映像信号を受けて、所望の映像処理を施す映像処理部１１９と、上述した本発明の一実施形態に係る補間フレーム生成部１０と、ＯＳＤ重畳部１３４と、音声信号及び映像信号の出力先を選択するセレクタ部１２０と、音声処理部１１８からの音声信号に応じて音声を出力するスピーカ部１２１と、セレクタ部１２０に接続されて与えられた映像信号に応じた映像を液晶表示画面等に表示する表示部１２２と、外部装置との通信を行うインタフェース部１２３を有する。

放送受信装置１００は、更に、ＢＳ／ＣＳ／地上波デジタルチューナ部１１２及びＢＳ／地上波アナログチューナ部１１３からの映像情報等を適宜記録する記憶部１３５と、放送信号等から電子番組情報を取得して画面表示等を行なう電子番組情報処理部１３６を有しており、これらは、データバスを介して制御部１３０に接続されている。放送受信装置１００は、更に、データバスを介して制御部１３０に接続されユーザの操作やリモコンＲの操作を受ける操作部１３２及び操作信号を表示する表示部１３３を有している。ここで、リモコンＲは、放送受信装置１００の本体に設けられる操作部１３２とほぼ同等の操作を可能とするものであり、チューナの操作等、各種設定が可能である。

このような構成をもった放送受信装置１００は、放送信号が受信アンテナからＢＳ／ＣＳ／地上波デジタルチューナ部１１２等に入力され、ここで選局が行われる。選局され復調されたパケット形式の復調信号は、分離部１１７により、種類別のパケットに分離され、音声映像用パケットがＭＰＥＧデコーダ部１１６等でデコード処理されて映像音声信号となって、音声処理部１１８及び映像処理部１１９に供給される。

映像処理部１１９は、与えられた映像信号について、例えば、ＩＰ変換部１５によりインターレース信号をプログレッシブに変換等の画像処理を行い、更に、上述した補間フレーム生成部１０によれば、上述したように、検出困難な動きベクトルの影響を排して安定した補間画像を提供することができるものであり、処理された信号がセレクタ部１２０に供給される。

セレクタ部１２０は、制御部１３０の制御信号に応じて例えば表示部１２２に映像信号を供給し、これにより映像信号に応じた映像が表示部１２２に表示される。また、音声処理部１１８からの音声信号に応じた音声がスピーカ部１２１から出力される。

また、ＯＳＤ重畳部１３４で生成された各種の操作情報や字幕情報等が放送信号に応じた映像信号に重畳され、映像処理部１１９を経てこれに応じた映像が表示部１２２に表示される。

このように、上述した放送受信装置１００では、補間フレーム生成部１０の補間フレーム画像の精度を更に向上させ、動画像が破綻することなく、より滑らかな動きを示すようになり自然な動画表示が可能となる。

以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。

本発明の一実施形態に係る補間フレーム生成装置の構成の一例を示すブロック図。 本発明の一実施形態に係る補間フレーム生成装置のブロックマッチング処理の一例を示す説明図。 本発明の一実施形態に係る補間フレーム生成装置により、固定長ブロックの一例を示す説明図。 本発明の一実施形態に係る補間フレーム生成装置の可変長ブロックによるマッチング処理の一例を示す説明図。 本発明の一実施形態に係る補間フレーム生成装置の固定長ブロックと可変長ブロックとをそれぞれ用いたブロックマッチング処理によるＳＡＤ特性を示すグラフ。 本発明の一実施形態に係る補間フレーム生成装置におけるフレームを小ブロックでマッチング処理した場合と、中ブロック（可変長）でマッチング処理した場合と、大ブロック（固定長）でマッチング処理した場合と、最終的に選択されたベクトル分布をそれぞれ説明する説明図。 本発明の一実施形態に係る補間フレーム生成装置における小ブロック、中ブロック、大ブロックに関する動きベクトル検出処理の一例を説明するフローチャート。 本発明の一実施形態に係る補間フレーム生成装置における小ブロック、中ブロックに関する動きベクトル検出処理の一例を説明するフローチャート。 本発明の一実施形態に係る補間フレーム生成装置における小ブロック、大ブロックに関する動きベクトル検出処理の一例を説明するフローチャート。 本発明の一実施形態に係る補間フレーム生成装置における動きベクトル量に応じた補間フレームを生成する処理の一例を説明するフローチャート。 本発明の一実施形態に係る補間フレーム生成装置を適用した放送受信装置の構成の一例を示したブロック図。

符号の説明

１０…補間フレーム生成装置、１１…フレームメモリ、１２…動きベクトル検出部、１３…補間画像生成部、２１…小ブロック検出部、２２…中ブロック検出部、２３…大ブロック検出部、２４…ベクトル検出判定部。

Claims (10)

1. 連続するフレーム画像に挿入する補間フレーム画像を生成する補間フレーム生成装置であって、
   前記連続するフレーム画像を構成する複数のブロックにつき、各ブロックにおいてブロックマッチング処理を行い、補間フレーム上の動きベクトルを一つに特定する動きベクトル検出部と、
   前記動きベクトル検出部が動きベクトルを一つに特定できた補間ブロックに関しては、その動きベクトルに基づいて補間フレーム画像を生成し、前記動きベクトル検出部が動きベクトルを一つに特定できなかった補間ブロックに関しては、動きベクトル成分を含まない前記フレーム画像に基づいた補間フレーム画像を生成する生成部と、
   を具備することを特徴とする補間フレーム生成装置。
2. 前記動きベクトル検出部は、
   前記フレーム画像を複数の第1ブロックに分割し、この第1ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば動きベクトルが検出できたと判定する第1検出部と、
   前記第1検出部が動きベクトルを検出できなかった場合のブロックに関して、前記フレーム画像を前記第1ブロックよりも大きな第２ブロックに分割してこの第２ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ第２ブロックの動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば第２ブロックの動きベクトルが検出できたと判定しそのベクトル値を参照して第１ブロックの動きベクトルを選択する第２検出部を含むことを特徴とする請求項１記載の補間フレーム生成装置。
3. 前記動きベクトル検出部は、
   前記フレーム画像を複数の第1ブロックに分割し、この第1ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば動きベクトルが検出できたと判定する第1検出部と、
   前記第1検出部が動きベクトルを検出できなかったブロックに関して、前記フレーム画像を前記第1ブロックよりも大きな第２ブロックに分割してこの第２ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ第２ブロックの動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば第２ブロックの動きベクトルを選択する第２検出部と、
   前記第２検出部が動きベクトルを検出できなかったブロックに関して、前記フレーム画像を前記第２ブロックよりも大きな第３ブロックに分割してこの第３ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ第３ブロックの動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば第３ブロックの動きベクトルを選択する第３検出部と、を含むことを特徴とする請求項１記載の補間フレーム生成装置。
4. 前記動きベクトル検出部は、
   前記フレーム画像を複数の第1ブロックに分割し、この第1ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば動きベクトルが検出できたと判定する第1検出部と、
   前記第1検出部が動きベクトルを検出できなかったブロックに関して、前記フレーム画像を前記第1ブロックよりも小さな第２ブロックに分割してこの第２ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ第２ブロックの動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば第２ブロックの動きベクトルが検出できたと判定する第２検出部を含むことを特徴とする請求項１記載の補間フレーム生成装置。
5. 前記動きベクトル検出部は、
   前記フレーム画像を複数の第1ブロックに分割し、この第1ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば動きベクトルが検出できたと判定する第1検出部と、
   前記第1検出部が動きベクトルを検出できなかった場合のブロックに関して、前記フレーム画像を前記第1ブロックよりも大きな第２ブロックに分割してこの第２ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ第２ブロックの動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば第２ブロックの動きベクトルが検出できたと判定しそのベクトル値を参照して第１ブロックの動きベクトルを選択する第２検出部と、
   前記第２検出部が動きベクトルを検出できなかった場合のブロックに関して、前記フレーム画像を前記第２ブロックよりも大きな第３ブロックに分割してこの第３ブロック毎にブロックマッチング処理を行い、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できなければ第３ブロックの動きベクトルが検出できなかったと判定し、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できれば第３ブロックの動きベクトルが検出できたと判定しそのベクトル値を参照して第１ブロックの動きベクトルを選択する第３検出部と、
   前記第１乃至第３検出部が動きベクトルを検出できない場合のブロックに関して、各第１乃至第３検出部の各ＳＡＤ値を再度見直して、ＳＡＤ値の最小値と極小値の差が所定値以下となるベクトルを一つに特定できるかどうかを判断する第４検出部と、
   を具備することを特徴とする請求項１記載の補間フレーム生成装置。
6. 前記生成部は、前記ブロック検出部が動きベクトルを一つに特定できなかったブロックに関しては、前記連続するフレーム画像の内の前フレーム画像または、後フレーム画像または、前記前フレーム画像と後フレーム画像を合成したフレーム画像を、補間フレーム画像として生成することを特徴とする請求項１記載の補間フレーム生成装置。
7. 前記生成部は、前記ブロック検出部が動きベクトルを一つに特定できなかったブロックの各動きベクトルの大きさが所定値より小さければ、前記連続するフレーム画像の内の前フレーム画像または、後フレーム画像を補間フレーム画像として生成し、前記ブロック検出部が動きベクトルを一つに特定できなかったブロックの各動きベクトルの大きさが所定値より小さければ、前記連続するフレーム画像の内の前記前フレーム画像と後フレーム画像を合成したフレーム画像を補間フレーム画像として生成することを特徴とする請求項１記載の補間フレーム生成装置。
8. 前記動きベクトル検出部は、複数のブロックにつき順番に動きベクトルを特定していく処理を、前記複数のブロック上に水平方向または垂直方向に進めて行くことを特徴とする請求項１記載の補間フレーム生成装置。
9. 連続するフレーム画像に挿入する補間フレーム画像を生成する補間フレーム生成方法であって、
   前記連続するフレーム画像を構成する複数のブロックにつき、各ブロックにおいてブロックマッチング処理を行い、補間フレームの動きベクトルを一つに特定し、
   前記動きベクトルを一つに特定できた補間ブロックに関しては、その動きベクトルに基づいて補間フレーム画像を生成し、
   前記動きベクトルを一つに特定できなかった補間ブロックに関しては、動きベクトル成分を含まない前記フレーム画像に基づいた補間フレーム画像を生成することを特徴とする補間フレーム生成方法。
10. 放送信号を選局するチューナ部と、
    前記チューナ部からの放送信号をデコードして映像信号を出力するデコーダ部と、
    前記デコーダ部からの映像信号に含まれる連続するフレーム画像を構成する複数のブロックにつき、各ブロックにおいてブロックマッチング処理を行い、補間フレーム上の動きベクトルを一つに特定する動きベクトル検出部と、
    前記動きベクトル検出部が動きベクトルを一つに特定できた補間ブロックに関しては、その動きベクトルに基づいて補間フレーム画像を生成し、前記動きベクトル検出部が動きベクトルを一つに特定できなかった補間ブロックに関しては、動きベクトル成分を含まない前記フレーム画像に基づいた補間フレーム画像を生成して、前記連続するフレーム画像の間にそれぞれ挿入する生成部と、
    前記補間画像が挿入されたフレーム画像に基づいて、映像を画面表示する表示部と、
    を具備することを特徴とする放送受信装置。

Images