JP2012235419A - 映像信号処理装置及び映像信号処理方法 - Google Patents

Abstract

【課題】補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる映像信号処理装置等を提供する。
【解決手段】記憶領域４ａ〜４ｃが３個分設けられた記憶部４と、記憶領域４ａ〜４ｃをフレームごとに巡回させて原映像信号を書き込むよう制御する書き込み制御部１と、３回に亘り連続した原映像信号が供給されるフレーム位相のうち３回目のフレーム位相である場合に、記憶領域４ａ〜４ｃの巡回を停止させる書き込み停止部２と、フェイズ信号を参照して、記憶領域４ａ〜４ｃから異なる２つの映像信号を読み出すよう制御する読み出し制御部３と、読み出し制御部３の制御に従って記憶部４の記憶領域４ａ〜４ｃから読み出された２つの映像信号を用いて、動きベクトルに基づいて２つの映像信号間に挿入される補間フレームを生成する補間フレーム生成部５とを有する。
【選択図】図１

Description

本発明は、映像信号に対して処理を施す映像信号処理装置及び映像信号処理方法に関する。

従来より、入力映像信号のフレーム間の動きベクトルに基づいて補間フレームを生成して、映像信号間に挿入するフレームレート変換技術が知られている。

また、従来より、フレームレート２４Ｈｚで撮影されたフィルム映像を標準テレビジョン信号のフレームレート６０Ｈｚに変換するために、２−３プルダウン変換処理が行われることが知られている。

これらの技術を用いたものとして、下記の特許文献１に記載の映像信号処理装置がある。この映像信号処理装置は、２−３プルダウンされた映像信号のシーケンス情報を基に、５フレーム単位で動きベクトルを推測する。そして、映像信号処理装置は、原フレームと動きベクトルとに基づいて生成した補間フレームを適切なシーケンスに並べ、フレームレートを２倍にして出力する。

特開２０１０−２８４７２号公報

２−３プルダウンされた複数の映像信号は、２回に亘り同じ映像信号が供給され、その後、３回に亘り同じ映像信号が供給される。また、上述した特許文献１の映像信号処理装置によって補間フレームを生成する場合には、異なる原映像信号を用いることが望ましい。

そのため、上述した特許文献１の映像信号処理装置は、２−３プルダウンされた複数の映像信号のうち、異なる原映像信号を記憶しておくためには、原映像信号を４枚に亘って記憶可能な記憶容量が必要となる。しかし、補間フレームの生成のための記憶容量を大きくすると、回路規模が大きくなり、高コストとなる。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる映像信号処理装置及び映像信号処理方法を提供することを目的とする。

上記の課題を解決する第１の発明に係る映像信号処理装置は、複数の同一画像フレームを有する複数の画像フレーム群から構成される映像信号を記憶する記憶領域を複数備える記憶部（４）と、前記映像信号を記憶させる記憶領域を複数の記憶領域間でフレームごとに巡回させ前記複数の記憶領域のいずれか一つに前記映像信号を書き込むよう制御する書き込み制御部（１）と、前記複数の画像フレームのフレーム位相を示すフェイズ信号を基に前記書き込み制御部（１）による前記記憶領域の巡回を停止させる書き込み停止部（２）と、前記フェイズ信号を基に、前記複数の記憶領域のうち互いに異なる画像フレームの映像信号を記憶した２つの記憶領域より映像信号を出力するよう前記記憶部（４）を制御する読み出し制御部（３）と、前記２つの記憶領域より出力された映像信号に基づいて前記２つの映像信号間に挿入される補間フレームを生成する補間フレーム生成部（５）と、を有することを特徴とする。

第１の発明に係る映像信号処理装置であって、第２の発明は、前記書き込み停止部（２）は前記フェイズ信号が前記同一画像フレームが連続したことを示すことを判定すると、前記書き込み制御部（１）による前記記憶領域の巡回を停止させると共に、前記記憶領域に対する書き込みを停止させることを特徴とする。

第１の発明に係る映像信号処理装置であって、第３の発明は、前記記憶部（４）は前記記憶領域を３つ備え、前記書き込み停止部（２）は、前記フェイズ信号が同一画像フレームが３回連続したことを示すと判定すると、前記書き込み制御部（１）による前記記憶領域の巡回を停止させることを特徴とする。

第１の発明に係る映像信号処理装置であって、第４の発明は、前記記憶部は前記記憶領域を２つ備え、前記書き込み停止部（２）は、前記フェイズ信号が同一画像フレームが２回連続したことを示すと判定すると、前記書き込み制御部（１）による前記記憶領域の巡回を停止させることを特徴とする。

上記の課題を解決する第５の発明に係る映像信号処理方法は、複数の同一画像フレームを有する複数の画像フレーム群から構成される映像信号を記憶する記憶領域を複数備える記憶部（４）の記憶領域のうち前記映像信号を記憶させる記憶領域を複数の記憶領域間でフレームごとに巡回させ前記複数の記憶領域のいずれか一つに前記映像信号を書き込むステップと、前記複数の画像フレームのフレーム位相を示すフェイズ信号を基に前記記憶領域の巡回を停止させるステップと、前記フェイズ信号を基に、前記複数の記憶領域のうち互いに異なる画像フレームの映像信号を記憶した２つの記憶領域より映像信号を出力するよう前記記憶部（４）を制御するステップと、前記２つの記憶領域より出力された映像信号に基づいて前記２つの映像信号間に挿入される補間フレームを生成するステップと、を含むことを特徴とする。

第５の発明に係る映像信号処理方法であって、第６の発明は、前記フェイズ信号が前記同一画像フレームが連続したことを示すことを判定すると、前記記憶領域の巡回を停止させると共に、前記記憶領域に対する書き込みを停止させることを特徴とする。

第５の発明に係る映像信号処理方法であって、第７の発明は、前記記憶部（４）は前記記憶領域を３つ備え、前記フェイズ信号が同一画像フレームが３回連続したことを示すと判定すると、前記記憶領域の巡回を停止させることを特徴とする。

第５の発明に係る映像信号処理方法であって、第７の発明は、前記記憶部（４）は前記記憶領域を２つ備え、前記フェイズ信号が同一画像フレームが２回連続したことを示すと判定すると、前記記憶領域の巡回を停止させることを特徴とする。

本発明によれば、補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる。

本発明の一実施形態として示す映像信号処理装置の構成を示すブロック図である。 （ａ）は２−３プルダウンされる前の映像信号であり、（ｂ）は２−３プルダウンされた映像信号を示すシーケンス図である。 本発明の一実施形態として示す映像信号処理装置における記憶制御動作を示すシーケンス図である。 比較例としての記憶制御動作を示すシーケンス図である。 （ａ）は２−３プルダウンされた映像信号におけるフレーム位相ごとの物体位置を示し、（ｂ）は出力映像信号におけるフレーム位相ごとの物体位置を示すシーケンス図である。

以下、本発明の実施の形態について図面を参照して説明する。

［映像信号処理装置の構成］
本発明の実施形態として示す映像信号処理装置は、例えば図１に示すように構成される。この映像信号処理装置は、入力映像信号Ｓ１、フェイズ信号Ｓ２、動きベクトルＳ３が外部から供給される。

映像信号処理装置は、書き込み制御部１、書き込み停止部２、読み出し制御部３、メモリ４、補間フレーム生成部５、及び、フレームレート変換部６を有する。

この映像信号処理装置において、入力映像信号Ｓ１は、メモリ４及びフレームレート変換部６に供給される。

入力映像信号Ｓ１は、２−３プルダウンされた原映像信号であって、６０Ｈｚのフレームレートで映像信号処理装置に供給される。

図２（ａ）にフィルム映像などフレームレート２４Ｈｚの映像信号を示す。この映像信号は、１／２４秒毎に画像フレームＡ、Ｂ、Ｃ、Ｄ…と時系列順に並ぶ。このようなフレームレート２４Ｈｚの映像信号は、観察時に映像の非連続性（ジャダー）が知覚される。

２−３プルダウン変換処理によって、図２（ａ）に示すフレームレートが２４Ｈｚの映像信号を、図２（ｂ）に示す標準テレビジョン信号など６０Ｈｚの映像信号（入力映像信号Ｓ１）に変換する。２−３プルダウンされた映像信号は、１／６０秒毎にフレームＡ、Ａ、Ａ、Ｂ、Ｂ、Ｃ、Ｃ、Ｃ、Ｄ、Ｄ…という２−３プルダウンシーケンスに従って時系列順に並ぶ。この２−３プルダウン変換処理により、第１の画像フレームが３回連続する第１の画像フレーム群が入力映像信号Ｓ１として入力され、続いて第１の画像フレームと異なる第２の画像フレームが２回連続する第２の画像フレーム群が入力映像信号Ｓ１として入力される、という２−３プルダウンシーケンスが繰り返される。このような２−３プルダウンされた映像信号は、フレームの切り替わりという点ではフレームレートが高くなるわけではないので、ジャダーは改善されない。

フェイズ信号Ｓ２は、書き込み停止部２、読み出し制御部３及びフレームレート変換部６に供給される。フェイズ信号Ｓ２は、入力映像信号Ｓ１のフレームが２−３プルダウンシーケンスのうちどのフレーム位相であるかを示す。

フレーム位相は、図２（ｂ）に示すように、ｐｈ１，ｐｈ２，ｐｈ３，ｐｈ４，ｐｈ５の５フレーム単位で表される。

本実施形態では、フレーム位相ｐｈ２は、２回に亘り連続して入力される同一画像フレームのうち１回目のフレームであることを示す。フレーム位相ｐｈ３は、２回に亘り連続して入力される同一画像フレームのうち２回目のフレームであることを示す。フレーム位相ｐｈ４は、３回に亘り連続して入力される同一画像フレームのうち１回目のフレームであることを示す。フレーム位相ｐｈ５は、３回に亘り連続して入力される画像フレームのうち２回目のフレームであることを示す。フレーム位相ｐｈ１は、３回に亘り連続して入力される画像フレームのうち３回目のフレームであることを示す。

動きベクトルＳ３は、補間フレーム生成部５に供給される。動きベクトルＳ３は、時間的に隣接したフレーム間における入力映像信号Ｓ１の動きを推定したベクトルである。この動きベクトルＳ３は、例えば、入力映像信号Ｓ１の時間的に隣接するフレーム間において、注目画素群がどの程度移動したかをブロックマッチングによって求め、注目画素群の移動量及び移動方向を求めることによって生成される。

書き込み停止部２は、フェイズ信号Ｓ２を参照して、メモリ４に供給された入力映像信号Ｓ１が２−３プルダウンシーケンスのうち、特定のフレーム位相（本実施形態ではｐｈ１とする）であるかを判定する。書き込み停止部２は、フレーム位相が特定のフレーム位相（ｐｈ１）であると判定した場合に、停止信号Ｓ２１を書き込み制御部１に供給する。これにより、書き込み停止部２は、停止信号Ｓ２１が供給されたフレーム位相において、書き込み制御部１による書き込み先のメモリ領域４ａ〜４ｃの巡回を停止させる。

また、書き込み停止部２は、フレーム位相が特定のフレーム位相（ｐｈ１）である場合に、書き込み制御部１によるメモリ領域４ａ〜４ｃの巡回を停止させると共に、メモリ４によるメモリ領域４ａ〜４ｃに対する書き込みを停止させることが望ましい。このため、書き込み停止部２は、メモリ４にも停止信号Ｓ２１を供給する。これにより、メモリ４は、停止信号Ｓ２１が供給されたフレーム位相が特定のフレーム位相（ｐｈ１）である時には、入力映像信号Ｓ１が供給されても、当該入力映像信号Ｓ１をメモリ領域４ａ〜４ｃには書き込まないよう制御される。

なお、フレーム位相が特定のフレーム位相であるときにメモリ領域４ａ〜４ｃに入力映像信号Ｓ１を記憶しない動作として、フレーム位相が特定のフレーム位相の時には常に一定のロウアドレスに書き込んでも良い。

書き込み制御部１は、入力映像信号Ｓ１の書き込み先となるメモリ領域４ａ〜４ｃをフレームレートに同期して巡回させて、入力映像信号Ｓ１を何れかのメモリ領域４ａ〜４ｃに書き込むよう制御する。この制御のために、書き込み制御部１は、メモリ４に対して入力映像信号Ｓ１をどのメモリ領域４ａ〜４ｃに書き込むかを示す書き込み巡回コマンドＳ１１をフレーム毎に生成して、メモリ４に供給する。書き込み制御部１は、書き込み停止部２から停止信号Ｓ２１が供給された場合に、書き込み巡回コマンドＳ１１をメモリ４に供給する動作を停止する。

書き込み制御部１は、例えば、フレーム位相ｐｈ２では第１メモリ領域４ａに入力映像信号Ｓ１を書き込み、フレーム位相ｐｈ３では第２メモリ領域４ｂに入力映像信号Ｓ１を書き込み、フレーム位相ｐｈ４では第３メモリ領域４ｃに入力映像信号Ｓ１を書き込み、フレーム位相ｐｈ５では第１メモリ領域４ａに入力映像信号Ｓ１を書き込むよう制御する。これは、メモリ４の追い越し対策に有効である。

読み出し制御部３は、フェイズ信号Ｓ２を参照して、メモリ４が有する複数のメモリ領域のいずれか２つの領域から異なる２つの原映像信号Ｓ４１及び原映像信号Ｓ４２を読み出すよう制御する読み出しコマンドＳ３１をメモリ４に供給する。原映像信号Ｓ４１、Ｓ４２は、メモリ領域に記憶された画像フレームである。読み出しコマンドＳ３１は、フレーム毎に原映像信号Ｓ４１及び原映像信号Ｓ４２が読み出される２つのメモリ領域を示す。これにより、メモリ４は、フレーム毎に読み出しコマンドＳ３１に示された２つのメモリ領域から２つの原映像信号Ｓ４１及び原映像信号Ｓ４２が読み出される。

本実施形態のメモリ４は、原映像信号としての入力映像信号Ｓ１を記憶する記憶領域が３個分設けられている。すなわち、このメモリ４は、それぞれが１つの入力映像信号Ｓ１を記憶する容量に区分された第１メモリ領域４ａ、第２メモリ領域４ｂ、及び、第３メモリ領域４ｃを含む。なお、以下の説明において第１メモリ領域４ａ、第２メモリ領域４ｂ、第３メモリ領域４ｃを総称する場合には単に「メモリ領域４ａ〜４ｃ」と呼ぶ。

メモリ４は、フレームごとに入力映像信号Ｓ１が供給される。メモリ４は、書き込み制御部１から書き込み巡回コマンドＳ１１が供給され、書き込み停止部２から停止信号Ｓ２１が供給される。メモリ４は、書き込み巡回コマンドＳ１１に従って何れかのメモリ領域４ａ〜４ｃに対して、入力映像信号Ｓ１を書き込む書き込みコマンドを発生させて、入力映像信号Ｓ１を書き込む。また、メモリ４は、停止信号Ｓ２１が供給されたフレームにおいて、書き込みコマンドの発生を停止する。

メモリ４は、読み出し制御部３から読み出しコマンドＳ３１が供給される。メモリ４は、読み出しコマンドＳ３１に従った２つのメモリ領域４ａ〜４ｃに格納されている入力映像信号Ｓ１を読み出し、原映像信号Ｓ４１及び原映像信号Ｓ４２を出力する。

補間フレーム生成部５は、読み出し制御部３の制御に従ってメモリ４のメモリ領域４ａ〜４ｃから読み出された２つの原映像信号Ｓ４１及び原映像信号Ｓ４２を用いて、２つの原映像信号Ｓ４１、原映像信号Ｓ４２間に挿入される補間フレームＳ５１を生成する。このとき、補間フレーム生成部５は、外部から供給される動きベクトルＳ３に基づいて２つの原映像信号Ｓ４１と原映像信号Ｓ４２とを混合して、補間フレームＳ５１を生成する。この補間フレームＳ５１は、フレームレート変換部６に供給される。

フレームレート変換部６は、外部から入力映像信号Ｓ１が供給され、補間フレーム生成部５から補間フレームＳ５１が供給される。フレームレート変換部６は、適切なシーケンスとなるよう入力映像信号Ｓ１間に補間フレームＳ５１を挿入して、出力映像信号Ｓ６１を生成する。フレームレート変換部６は、入力映像信号Ｓ１のフレームレートの６０Ｈｚに対して２倍のフレームレートの１２０Ｈｚで出力映像信号Ｓ６１を出力する。

［映像信号処理装置の記憶制御動作］
つぎに、上述した映像信号処理装置におけるメモリ領域４ａ〜４ｃに対する記憶制御動作について説明する。

図３に、メモリ４のメモリ領域４ａ〜４ｃに対する記憶状態の変化を示す。上述したように、メモリ４は、補間フレームを生成するために利用する原映像信号を３枚分記憶可能な容量を備えている。そして、メモリ４は、フレーム単位のメモリ領域であるメモリ領域４ａ〜４ｃに分けられている。メモリ４には、フレーム毎にメモリ領域４ａ〜４ｃの何れかが選択されて、入力映像信号Ｓ１が記憶される。

メモリ領域４ａ〜４ｃの何れにも入力映像信号Ｓ１が記憶されていない状態において、映像信号処理装置に入力映像信号Ｓ１（画像フレームＺ）が入力される。この時フレーム位相はｐｈ３であるとする。書き込み制御部１は、書き込み巡回コマンドＳ１１をメモリ４に供給する。コマンドＳ１１に応じ、メモリ４は、巡回順序が最初の第１メモリ領域４ａに入力映像信号Ｓ１（Ｚ）を書き込む書き込みコマンドを発行し、当該入力映像信号Ｓ１（Ｚ）を第１メモリ領域４ａに書き込む。書き込み停止部２は、フェイズ信号Ｓ２を参照してフレーム位相がｐｈ３であるので、停止信号Ｓ２１を発行しない。

次のフレーム位相ｐｈ４において、映像信号処理装置に入力映像信号Ｓ１（画像フレームＡ）が入力される。書き込み制御部１は、画像フレームＡを書き込むメモリ領域を示す書き込み巡回コマンドＳ１１をメモリ４に供給する。書き込み巡回コマンドＳ１１は所定のメモリ領域４ａ〜４ｃの巡回順序に沿って更新される。ここではメモリ領域４ａ、メモリ領域４ｂ、メモリ領域４ｃの順に書き込ませることとし、メモリ領域４ｃの次の書き込み先はメモリ領域４ａとし、以降は同様に書き込み先を巡回させることとした。従って先の書き込みはメモリ領域４ａに行われたので、ここでは書き込み巡回コマンドＳ１１は次のメモリ領域４ｂに書き込むことを示す。コマンドＳ１１に応じ、メモリ４は、次の巡回順序の第２メモリ領域４ｂに入力映像信号Ｓ１（Ａ）を書き込む書き込みコマンドを発行し、当該入力映像信号Ｓ１（Ａ）を第２メモリ領域４ｂに書き込む。書き込み停止部２は、フェイズ信号Ｓ２を参照してフレーム位相がｐｈ４であるので、停止信号Ｓ２１を発行しない。このフレーム（フレーム位相ｐｈ４）において、メモリ４は、入力映像信号Ｓ１（Ｚ）と入力映像信号Ｓ１（Ａ）を取得できる。

次のフレーム位相ｐｈ５において、映像信号処理装置に入力映像信号Ｓ１（Ａ）が入力される。このフレームにおいて、書き込み制御部１は、次の巡回順序のメモリ領域４ｃに入力映像信号Ｓ１（Ａ）を書き込むことを示す書き込み巡回コマンドＳ１１をメモリ４に供給する。コマンドＳ１１に応じ、メモリ４は、次の巡回順序の第３メモリ領域４ｃに入力映像信号Ｓ１（Ａ）を書き込む書き込みコマンドを発行し、当該入力映像信号Ｓ１（Ａ）を第３メモリ領域４ｃに書き込む。このフレーム（フレーム位相ｐｈ５）において、書き込み停止部２は、フェイズ信号Ｓ２を参照してフレーム位相がｐｈ５であるので停止信号Ｓ２１を発行しない。読み出し制御部３は、メモリ４の２つのメモリ領域４ａ〜４ｃから原映像信号Ｓ４１及び原映像信号Ｓ４２を読み出すよう読み出しコマンドＳ３１をメモリ４に供給する。これに応じ、メモリ４は、指定されたメモリ領域４ａ〜４ｃから原映像信号Ｓ４１及び原映像信号Ｓ４２を読み出して、補間フレーム生成部５に出力する。なお、原映像信号の読み出す領域は、入力映像信号Ｓ１（Ｚ）と入力映像信号Ｓ１（Ａ）が記憶された何れのメモリ領域４ａ〜４ｃであれば良い。図３に示すメモリ領域４ａ〜４ｃへの記憶状態であれば、フレームＺが記憶されているメモリ領域４ａから読み出した原映像信号Ｓ４１と、フレームＡが記憶されているメモリ領域４ｂまたはメモリ領域４ｃから読み出した原映像信号Ｓ４２となる。

補間フレーム生成部５は、原映像信号Ｓ４１及び原映像信号Ｓ４２を用いて、動きベクトルＳ３に基づく補間フレーム（ＺＡ２、ＺＡ３）を生成する。そして、フレームレート変換部６は、後述する図５に示すフレーム位相ｐｈ５のフレームレートを２倍に変換したフレーム位相ｐｈ５１，ｐｈ５２において、補間フレーム（ＺＡ２）、補間フレーム（ＺＡ３）の順で出力する。

次のフレーム位相ｐｈ１において、映像信号処理装置に入力映像信号Ｓ１（Ａ）が入力される。書き込み停止部２は、フェイズ信号Ｓ２を参照してフレーム位相がｐｈ１であることを認識する。書き込み停止部２は、書き込み制御部１及びメモリ４に停止信号Ｓ２１を供給する。書き込み制御部１は、停止信号Ｓ２１が供給されると、このフレームにおいては書き込み巡回コマンドＳ１１を発行しない。また、メモリ４は、停止信号Ｓ２１が供給されると、書き込みコマンドを発行しない。メモリ４は、フレーム位相ｐｈ１において入力された入力映像信号Ｓ１（Ａ）を第１メモリ領域４ａに書き込むことを回避する。更に、このフレームにおいて、読み出し制御部３は、メモリ４の２つのメモリ領域４ａ〜４ｃから原映像信号Ｓ４１及び原映像信号Ｓ４２を読み出すよう読み出しコマンドＳ３１をメモリ４に供給する。これに応じ、メモリ４は、メモリ領域４ａ〜４ｃから原映像信号Ｓ４１及び原映像信号Ｓ４２を読み出して、補間フレーム生成部５に出力する。なお、原映像信号の読み出す領域は、入力映像信号Ｓ１（Ｚ）と入力映像信号Ｓ１（Ａ）が記憶された何れのメモリ領域４ａ〜４ｃであれば良い。

メモリ領域４ａ〜４ｃからの読み出しは、フレーム位相ｐｈ５にて読み出したメモリ領域と同じ領域を読み出してもよいし、異なる領域を読み出してもよい。すなわち、フレーム位相ｐｈ５にてメモリ領域４ｂから原映像信号Ｓ４２を読み出し、本フレーム位相（ｐｈ１）でもメモリ領域４ｂから原映像信号Ｓ４２を読み出してもよいし、本フレーム位相ではメモリ領域４ｃから原映像信号Ｓ４２を読み出してもよい。

これにより、補間フレーム生成部５は、原映像信号Ｓ４１及び原映像信号Ｓ４２を用いて、動きベクトルＳ３に基づく補間フレーム（ＺＡ４）を生成する。そして、フレームレート変換部６は、後述する図５に示すフレーム位相ｐｈ１のフレームレートを２倍に変換したフレーム位相ｐｈ１１，ｐｈ１２において、補間フレーム（ＺＡ４）、原フレームとしての入力映像信号Ｓ１（Ａ）の順で出力する。

なお、このフレーム位相ｐｈ１においては、入力映像信号Ｓ１（Ａ）を第３メモリ領域４ｃに再度書き込むようにしても良い。

次のフレーム位相ｐｈ２において、映像信号処理装置に入力映像信号Ｓ１（Ｂ）が入力される。このフレームにおいて、書き込み制御部１は、次の巡回順序のメモリ領域４ａに入力映像信号Ｓ１（Ｂ）を書き込むことを示す書き込み巡回コマンドＳ１１をメモリ４に供給する。コマンドＳ１１に応じ、メモリ４は、次の巡回順序の第１メモリ領域４ａに入力映像信号Ｓ１（Ｂ）を書き込む書き込みコマンドを発行し、当該入力映像信号Ｓ１（Ｂ）を第１メモリ領域４ａに書き込む。メモリ４は、前フレームにおいて書き込み巡回コマンドＳ１１が発行されていないために、フレーム位相ｐｈ５から２フレーム後であっても、入力映像信号Ｓ１を第１メモリ領域４ａに書き込むことができる。また、このフレームにおいて、書き込み停止部２は、フェイズ信号Ｓ２を参照してフレーム位相がｐｈ２であるので停止信号Ｓ２１は発行しない。更に、このフレームにおいて、読み出し制御部３は、メモリ４の２つのメモリ領域４ａ〜４ｃから原映像信号Ｓ４１及び原映像信号Ｓ４２を読み出すよう読み出しコマンドＳ３１をメモリ４に供給する。これに応じ、メモリ４は、指定されたメモリ領域４ａ〜４ｃから原映像信号Ｓ４１及び原映像信号Ｓ４２を読み出して、補間フレーム生成部５に出力する。なお、原映像信号の読み出す領域は、入力映像信号Ｓ１（Ｂ）と入力映像信号Ｓ１（Ａ）が記憶された何れのメモリ領域４ａ〜４ｃであれば良い。図３に示すメモリ領域４ａ〜４ｃへの記憶状態であれば、フレームＺが記憶されているメモリ領域４ａから読み出した原映像信号Ｓ４１と、フレームＡが記憶されているメモリ領域４ｂまたはメモリ領域４ｃから読み出した原映像信号Ｓ４２となる。

これにより、補間フレーム生成部５は、原映像信号Ｓ４１及び原映像信号Ｓ４２を用いて、動きベクトルＳ３に基づく補間フレーム（ＡＢ１、ＡＢ２）を生成する。そして、フレームレート変換部６は、フレーム位相がｐｈ２１，ｐｈ２２において、補間フレーム（ＡＢ１）、補間フレーム（ＡＢ２）の順で出力する。

これ以降、映像信号処理装置には、フレーム位相がｐｈ３，ｐｈ４，ｐｈ５，ｐｈ１，ｐｈ２において、画像フレームＢ、Ｃ、Ｃ、Ｃ、Ｄの順で入力映像信号Ｓ１がそれぞれ入力されるが、上述した処理を行うこととなる。

このような記憶制御動作を行う映像信号処理装置によれば、フレーム位相ｐｈ１において３回連続して同じ入力映像信号Ｓ１を書き込むことがなく、異なる２つの入力映像信号Ｓ１を読み出すことができる。これにより、映像信号処理装置によれば、メモリ４に３つのメモリ領域４ａ〜４ｃしか設けていなくても、同じ２つの入力映像信号Ｓ１を用いて補間フレームを生成することなく、補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる。

上述した記憶制御動作の比較例として、図４の動作を説明する。

比較例では、フレーム位相ｐｈ１においても書き込み制御部１が書き込み巡回コマンドＳ１１をメモリ４に出力し、メモリ４は書き込みコマンドをメモリ領域４ａ〜４ｃに対して発行する。図４に示す比較例では入力映像信号Ｓ１（Ｚ）が記憶されていた第１メモリ領域４ａに入力映像信号Ｓ１（Ａ）が記憶され、メモリ領域４ａ〜４ｃに全て同じ入力映像信号Ｓ１（Ａ）が記憶されてしまう。そのため読み出し制御部３によって異なる２つのメモリ領域４ａ〜４ｃから原映像信号を読み出す読み出しコマンドＳ３１が発行されても、メモリ４からは２つの同じ入力映像信号Ｓ１（Ａ）が原映像信号Ｓ４１及び原映像信号Ｓ４２として補間フレーム生成部５に供給される。補間フレーム生成部５は、２つの同じ入力映像信号Ｓ１（Ａ）から補間フレームを生成する。フレームレート変換部６では、フレーム位相ｐｈ１１にて原フレーム（Ａ）が出力される。その結果、出力映像信号Ｓ６１は、フレーム位相ｐｈ１１，ｐｈ１２と連続して原フレーム（Ａ）となり、観察時に映像の非連続性（ジャダー）が知覚される。同様の問題が、入力画像フレームＣにおけるフレーム位相ｐｈ１においても生じる。

以上詳細に説明したように、本発明を適用した実施形態に係る映像信号処理装置によれば、２−３プルダウンシーケンスで入力映像信号Ｓ１が供給され、メモリ４の容量が３フレーム分の入力映像信号Ｓ１しか記憶できなくても、異なる２つの入力映像信号Ｓ１を用いて補間フレーム生成できる。これにより、映像信号処理装置によれば、補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる。

また、この映像信号処理装置によれば、所定のフレーム位相の場合、本実施形態であればフレーム位相がｐｈ１、メモリ領域４ａ〜４ｃに対する書き込みコマンドを発行させないことにより、メモリ４の調整回路がアイドル状態となる。これにより、メモリ４の動作負担の軽減、或いは他の処理を行う期間を増やすことが可能となる。

［映像信号処理装置の補間フレーム生成動作］
つぎに、上述したように構成された映像信号処理装置の補間フレーム生成動作について説明する。

図５（ａ）は、図２（ｂ）に示す２−３プルダウンシーケンスの一部のフレームを示しており、フレームのある物体位置の動きに注目したものである。物体位置は、例えば、Ａ、Ｂ、Ｃのように、水平に変化するとする。ここで、２−３プルダウンシーケンスのうち同じフレームが３回連続する３回目のフレーム（図中Ａ）のフレーム位相をｐｈ１とし、異なるフレーム（図中Ｂ）に変化しそのフレームの１回目のフレーム位相をｐｈ２、２回目のフレーム位相をｐｈ３、異なるフレーム（図中Ｃ）に変化しそのフレームの１回目のフレーム位相をｐｈ４、２回目のフレーム位相をｐｈ５、３回目のフレーム位相をｐｈ１とし、ｐｈ１〜ｐｈ５の５フレーム単位でシーケンスを区切るものとする。なお、フェイズ信号Ｓ２は、入力映像信号Ｓ１のフレーム位相ｐｈを示す。

この２−３プルダウンシーケンスにおいて、入力映像信号Ｓ１は、１／６０秒ごとに入力される。この入力映像信号Ｓ１は、上述したようにフィルム映像などのフレームレートが２４Ｈｚの映像信号を２−３プルダウン処理したものである。したがって、フレーム位相がｐｈ２とｐｈ３の入力映像信号Ｓ１は同じであり、フレーム位相がｐｈ４、ｐｈ５、ｐｈ１の入力映像信号Ｓ１は同じである。また、物体位置は、フレーム位相ｐｈ１から次のフレーム位相ｐｈ１までにおける入力映像信号Ｓ１内でＡ，Ｂ，Ｂ，Ｃ，Ｃ，Ｃと移動する。このように、あるフレームが３回連続、次のフレームが２回連続、というシーケンスが繰り返されるため、注目画素は、１／２４秒ごとにＡ、Ｂ、Ｃと時系列に移動するため、観察時に映像の非連続性（ジャダー）が知覚されてしまう。

次に、フレームレート変換部６が出力する出力映像信号Ｓ６１について説明する。図５（ｂ）に、図５（ａ）に示す物体の動きを補間してフレームレート２倍の１２０Ｈｚに変換した出力映像信号Ｓ６１のシーケンスの一例を示す。図５（ａ）のフレーム位相ｐｈ１、ｐｈ２…をフレームレート２倍に変換したフレーム位相をｐｈ１１、ｐｈ１２、ｐｈ２１、ｐｈ２２…ｐｈ５１、ｐｈ５２とする。

フレームレート変換部６は、１／１２０秒毎にフレーム位相ｐｈ１１〜ｐｈ５２のシーケンスのうちフレーム位相ｐｈ１２に原フレームとしての入力映像信号Ｓ１、フレーム位相ｐｈ２１〜ｐｈ３２に補間フレーム、フレーム位相ｐｈ４１に次の原フレームとしての入力映像信号Ｓ１、フレーム位相ｐｈ４２〜ｐｈ５２と次のシーケンスのフレーム位相ｐｈ１１に補間フレームを出力する。

このために、補間フレーム生成部５は、メモリ４から得られる２枚の原映像信号Ｓ４１と原映像信号Ｓ４２を用いて、物体の動きベクトルＳ３に基づいて各補間フレームを生成する。図５（ａ）に示したように物体位置が移動することを示す動きベクトルＳ３が入力される場合、フレーム位相ｐｈ２、ｐｈ３においてメモリ４から物体の画像内横位置がＡの原映像信号Ｓ４１とＢの原映像信号Ｓ４２が得られる。この原映像信号Ｓ４１及び原映像信号Ｓ４２を用いて、補間フレーム生成部５は、物体位置がＡＢ１、ＡＢ２、ＡＢ３、ＡＢ４となる補間フレームを生成する。

補間フレーム生成部５は、フレーム位相ｐｈ１とフレーム位相ｐｈ４に対する補間フレームの時間距離に応じて割合で原映像信号Ｓ４１と原映像信号Ｓ４２とを混合する。フレーム位相ｐｈ２１に挿入される補間フレームは、フレーム位相ｐｈ１２とｐｈ４２との時間距離比が１：４であるので、物体位置がＡの原映像信号Ｓ４１と物体位置がＢの原映像信号Ｓ４２との混合比を４：１とする。これにより、フレーム位相ｐｈ２１における補間フレーム内の物体の画像内横位置はＡＢ１となる。フレーム位相ｐｈ２２に挿入される補間フレームは、フレーム位相ｐｈ１２とｐｈ４２との時間距離比が２：３であるので、物体位置がＡの原映像信号Ｓ４１と物体位置がＢの原映像信号Ｓ４２との混合比を３：２とする。これにより、フレーム位相ｐｈ２２における補間フレーム内の物体の画像内横位置はＡＢ２となる。フレーム位相ｐｈ３１に挿入される補間フレームは、フレーム位相ｐｈ１２とｐｈ４２との時間距離比が３：２であるので、物体位置がＡの原映像信号Ｓ４１と物体位置がＢの原映像信号Ｓ４２との混合比を２：３とする。これにより、フレーム位相ｐｈ３１における補間フレーム内の物体の画像内横位置はＡＢ３となる。フレーム位相ｐｈ３２に挿入される補間フレームは、フレーム位相ｐｈ１２とｐｈ４２との時間距離比が４：１であるので、物体位置がＡの原映像信号Ｓ４１と物体位置がＢの原映像信号Ｓ４２との混合比を１：４とする。これにより、フレーム位相ｐｈ３２における補間フレーム内の物体の画像内横位置はＡＢ４となる。同様に、補間フレーム生成部５は、フレーム位相ｐｈ４と次のフレーム位相ｐｈ１に対する補間フレームの時間距離に応じて割合で原映像信号Ｓ４１と原映像信号Ｓ４２とを混合する。以上により、物体位置がＢからＣに移動しても、フレーム位相ｐｈ４１とフレーム位相ｐｈ１２との間のフレーム位相ｐｈ４２，ｐｈ５１，ｐｈ５２，ｐｈ１１に、物体位置がＢＣ１，ＢＣ２，ＢＣ３，ＢＣ４の補間フレームを挿入できる。以上のように補間フレームを生成することで、図５（ａ）に示す入力映像信号Ｓ１に比べジャダーが改善され、物体の移動が滑らかに観察される出力映像信号Ｓ６１を生成できる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

上述した映像信号処理装置は、３個のメモリ領域４ａ〜４ｃを備えた例を説明したが、メモリ４の記憶領域は２個であっても良い。メモリ領域を２個にした場合、上述した記憶制御動作を変更して、２つのメモリ領域に同じ画像フレームの入力映像信号Ｓ１が書き込まれないようメモリ４に書き込む。書き込み停止部２はフェイズ信号を基に同一画像フレームが２回連続したことを判定すると、停止信号Ｓ２１を書き込み制御部１及びメモリ４に供給し、書き込み制御部１は書き込み巡回コマンドＳ１１の出力を停止する。メモリ４の２つの記憶領域に、異なる２つの映像信号が記憶されるよう制御されるため、映像信号処理装置は、異なる２つの入力映像信号Ｓ４１、Ｓ４２を用いて補間フレームを生成できる。

１ 書き込み制御部
２ 書き込み停止部
３ 読み出し制御部
４ メモリ
４ａ〜４ｃ メモリ領域
５ 補間フレーム生成部
６ フレームレート変換部

Claims (8)

1. 複数の同一画像フレームを有する複数の画像フレーム群から構成される映像信号を記憶する記憶領域を複数備える記憶部と、
   前記映像信号を記憶させる記憶領域を複数の記憶領域間でフレームごとに巡回させ前記複数の記憶領域のいずれか一つに前記映像信号を書き込むよう制御する書き込み制御部と、
   前記複数の画像フレームのフレーム位相を示すフェイズ信号を基に前記書き込み制御部による前記記憶領域の巡回を停止させる書き込み停止部と、
   前記フェイズ信号を基に、前記複数の記憶領域のうち互いに異なる画像フレームの映像信号を記憶した２つの記憶領域より映像信号を出力するよう前記記憶部を制御する読み出し制御部と、前記２つの記憶領域より出力された映像信号に基づいて前記２つの映像信号間に挿入される補間フレームを生成する補間フレーム生成部と、
   を有することを特徴とする映像信号処理装置。
2. 前記書き込み停止部は前記フェイズ信号が前記同一画像フレームが連続したことを示すことを判定すると、前記書き込み制御部による前記記憶領域の巡回を停止させると共に、前記記憶領域に対する書き込みを停止させることを特徴とする請求項１に記載の映像信号処理装置。
3. 前記記憶部は前記記憶領域を３つ備え、
   前記書き込み停止部は、前記フェイズ信号が同一画像フレームが３回連続したことを示すと判定すると、前記書き込み制御部による前記記憶領域の巡回を停止させることを特徴とする請求項１に記載の映像信号処理装置。
4. 前記記憶部は前記記憶領域を２つ備え、
   前記書き込み停止部は、前記フェイズ信号が同一画像フレームが２回連続したことを示すと判定すると、前記書き込み制御部による前記記憶領域の巡回を停止させることを特徴とする請求項１に記載の映像信号処理装置。
5. 複数の同一画像フレームを有する複数の画像フレーム群から構成される映像信号を記憶する記憶領域を複数備える記憶部の記憶領域のうち前記映像信号を記憶させる記憶領域を複数の記憶領域間でフレームごとに巡回させ前記複数の記憶領域のいずれか一つに前記映像信号を書き込むステップと、
   前記複数の画像フレームのフレーム位相を示すフェイズ信号を基に前記記憶領域の巡回を停止させるステップと、
   前記フェイズ信号を基に、前記複数の記憶領域のうち互いに異なる画像フレームの映像信号を記憶した２つの記憶領域より映像信号を出力するよう前記記憶部を制御するステップと、
   前記２つの記憶領域より出力された映像信号に基づいて前記２つの映像信号間に挿入される補間フレームを生成するステップと、
   を含むことを特徴とする映像信号処理方法。
6. 前記フェイズ信号が前記同一画像フレームが連続したことを示すことを判定すると、前記記憶領域の巡回を停止させると共に、前記記憶領域に対する書き込みを停止させることを特徴とする請求項５に記載の映像信号処理方法。
7. 前記記憶部は前記記憶領域を３つ備え、
   前記フェイズ信号が同一画像フレームが３回連続したことを示すと判定すると、前記記憶領域の巡回を停止させることを特徴とする請求項５に記載の映像信号処理方法。
8. 前記記憶部は前記記憶領域を２つ備え、
   前記フェイズ信号が同一画像フレームが２回連続したことを示すと判定すると、前記記憶領域の巡回を停止させることを特徴とする請求項５に記載の映像信号処理方法。

Images