JP2006140770A

JP2006140770A - フレームレート変換装置およびフレームレート変換方法

Info

Publication number: JP2006140770A
Application number: JP2004328593A
Authority: JP
Inventors: Katsumi Tsukada; 克巳塚田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2004-11-12
Filing date: 2004-11-12
Publication date: 2006-06-01

Abstract

【課題】入力された動画像と出力する動画像のフレームレートが異なる場合に、フレームレートを適切に変換すること。
【解決手段】フレームレート変換装置１は、入力された画像を複数フレーム記憶するメモリ３０を備え、ＣＰＵ６０によるフレームの読み出し要求状態に応じて、入力されたフレームを書き込むフレームおよびＣＰＵ６０によって読み出されるフレームを制御する。そのため、入力された動画像のフレームデータを書き込むフレームメモリと、出力される動画像のフレームデータを読み出すフレームメモリとを各ポインタに基づく指定順とすることによって、入力される動画像および出力される動画像のフレームレートの相違を吸収することできる。したがって、入力された動画像と出力する動画像のフレームレートが異なる場合に、フレームレートを適切に変換することが可能となる。
【選択図】図１

Description

本発明は、入力された動画像と出力する動画像のフレームレートを変換するフレームレート変換装置およびフレームレート変換方法に関する。

近年、動画像の圧縮技術が向上し、情報処理装置等において動画像処理技術が広く用いられるようになっている。
このような動画像を取り扱う場合、主に、動画像の撮像装置による撮像に続き、画像処理エンジンによる動画像処理が行われる。
ここで、動画像の撮像装置においては、被写体の特性等によって処理時間が変動するために、出力される動画像のフレームレートが変動する場合がある。

一方、後段の画像処理エンジンにおいては、出力する動画像のフレームレートを一定に保持してＣＰＵ（Central Processing Unit）等に引き渡す必要がある。
そのため、撮像装置によって出力される動画像のフレームレートを調整し、一定のフレームレートとして出力する処理が必要となる。
このようにフレームレートを変換する技術として、特許文献１に記載された技術が知られている。
特開２００１−９２４２９号公報

しかしながら、特許文献１に記載された技術は、動画像を表示する場合におけるフレームレート変換技術であるところ、動画像の撮像から圧縮を行う場合に必要となる過去のフレームの参照を行うことができなかった。
そのため、画像処理エンジンにおいて、撮像装置が出力する動画像のフレームレートを調整する処理に適用する場合等、広く動画像のフレームレートを変換する技術に適用することは困難であった。

このように、入力された動画像と出力する動画像のフレームレートが異なる場合に、フレームレートを適切に変換することは困難であった。
本発明の課題は、入力された動画像と出力する動画像のフレームレートが異なる場合に、フレームレートを適切に変換することである。

以上の課題を解決するため、本発明は、
入力された動画像と出力する動画像のフレームレートを変換するフレームレート変換装置であって、入力された動画像におけるフレームデータを記憶するフレームメモリを複数構成する記憶手段（例えば、図１のメモリ３０）と、入力される動画像のフレームレートと出力される動画像のフレームレートとの関係に応じて、前記記憶手段においてフレームデータを書き込むフレームメモリおよび出力するフレームデータを読み出すフレームメモリを指定するフレームレート変換手段（例えば、図１の画像書き込み制御部２０、フレームレート変換部４０および画像読み出し制御部５０）とを含むことを特徴としている。

また、本発明は、
入力された動画像と出力する動画像のフレームレートを変換するフレームレート変換方法であって、入力された動画像におけるフレームデータを記憶するフレームメモリを複数構成し、入力される動画像のフレームレートと出力される動画像のフレームレートとの関係に応じて、前記フレームデータを書き込むフレームメモリおよび出力するフレームデータを読み出すフレームメモリを指定することを特徴としている。

これらにより、入力された動画像のフレームデータを書き込むフレームメモリと、出力される動画像のフレームデータを読み出すフレームメモリとを所定の指定順とすることによって、入力される動画像および出力される動画像のフレームレートの相違を吸収することできる。

したがって、入力された動画像と出力する動画像のフレームレートが異なる場合に、フレームレートを適切に変換することが可能となる。
また、前記フレームレート変換手段は、フレームデータの読み出し要求が行われる間に入力されたフレームデータを同一のフレームメモリに書き込むと共に、フレームデータの読み出し要求が行われた場合には、前記記憶手段によって構成された複数のフレームメモリを循環的に指定して、入力されたフレームデータを書き込む書き込み制御手段（例えば、図１の画像書き込み制御部２０）と、フレームデータが読み出し要求されることに対応して、前記記憶手段によって構成された複数のフレームメモリを循環的に指定して、フレームデータの読み出しを行う読み出し制御手段（例えば、図１の画像読み出し制御部５０）とを含むことを特徴としている。

また、前記フレームデータの読み出し要求が行われる間に入力されたフレームデータを同一のフレームメモリに書き込むと共に、フレームデータの読み出し要求が行われた場合には、前記複数のフレームメモリを循環的に指定して、入力されたフレームデータを書き込み、前記フレームデータが読み出し要求されることに対応して、前記複数のフレームメモリを循環的に指定して、フレームデータの読み出しを行うことを特徴としている。

これらにより、入力される動画像のフレームレートが、出力される動画像のフレームレートより速い場合であっても、同一のフレームメモリに上書きすることにより、入力される動画像における所定フレーム毎のフレームデータを選択して出力することができ、フレームレートの変換を適切に行うことが可能となる。
また、前記フレームレート変換手段は、前記複数のフレームメモリそれぞれについて、該フレームメモリが書き込み先として指定され、かつ、いずれかのフレームデータの読み出し要求が行われた場合にインクリメントされると共に、該フレームメモリが読み出し先として指定され、かつ、いずれかのフレームデータの読み出し要求が行われることに対応してデクリメントされるフレームレート変換ポインタを管理し、前記フレームレート変換ポインタが所定値以下である場合に、フレームデータを読み出すフレームメモリの指定を更新することを特徴としている。

また、前記複数のフレームメモリそれぞれについて、該フレームメモリが書き込み先として指定され、かつ、いずれかのフレームデータの読み出し要求が行われた場合にインクリメントされると共に、該フレームメモリが読み出し先として指定され、かつ、いずれかのフレームデータの読み出し要求が行われることに対応してデクリメントされるフレームレート変換ポインタを管理し、前記フレームレート変換ポインタが所定値以下である場合に、フレームデータを読み出すフレームメモリの指定を更新することを特徴としている。

これらにより、入力される動画像のフレームレートが、出力される動画像のフレームレートより遅い場合であっても、同一のフレームメモリからフレームデータを読み出すことにより、入力される動画像における１フレームデータを複数回出力することができ、フレームレートの変換を適切に行うことが可能となる。
このように、本発明によれば、入力された動画像と出力する動画像のフレームレートが異なる場合に、フレームレートを適切に変換することが可能となる。

以下、図を参照して本発明に係るフレームレート変換装置の実施の形態を説明する。
まず、構成を説明する。
図１は、本発明に係るフレームレート変換装置１の機能構成を示すブロック図である。
図１において、フレームレート変換装置１は、画像入力装置１０と、画像書き込み制御部２０と、メモリ３０と、フレームレート変換部４０と、画像読み出し制御部５０と、ＣＰＵ６０とを含んで構成される。

画像入力装置１０は、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像センサを備えており、被写体を撮影することによって得られる動画像のフレームデータを示す信号（センサ出力信号）を画像書き込み制御部２０に出力する。また、画像入力装置１０は、画像書き込み制御部２０、画像読み出し制御部５０およびフレームレート変換部４０に対し、フレームデータの出力を開始する際に書き込みフレーム垂直同期信号（CVS YNC）を出力する。

なお、画像入力装置１０から出力されるセンサ出力信号のフレームレートはシャッタ速度に撮像条件によって変動している。また、センサ出力信号の信号形式は、例えば、ＹＵＶ４２２等の所定方式に基づくものが想定される。
画像書き込み制御部２０は、フレームデータの書き込みと読み出しのバランスを示すサンプルフラグ（sample flag）を管理する。

図２は、サンプルフラグの状態遷移を示す図である。サンプルフラグは、フレームメモリ毎に実装される。
図２に示すように、画像書き込み制御部２０は、画像入力装置１０によってフレームデータの書き込みが行われた場合（CVSYNCが入力された場合）、False（＝０）となり、ＣＰＵ６０によってフレームデータの読み出し要求が行われた場合（後述するRVSYNCが入力された場合）、True（＝１）となる。

即ち、サンプルフラグは、ＣＰＵ６０によるフレームデータの読み出し要求が１度以上行われている場合にTrueとなり、１度も読み出し要求が行われていない場合にFalseとなる。
また、画像書き込み制御部２０は、画像入力装置１０によって入力された画像を書き込むメモリ３０のアドレスを示すポインタ（以下、「書き込み制御ポインタ」と言う。）を管理する。そして、画像書き込み制御部２０は、画像入力装置１０によって入力された動画像のフレームデータを書き込み制御ポインタが示すメモリ３０のアドレスに書き込む。

図３は、書き込み制御ポインタの状態遷移を示す図である。
図３において、書き込み制御ポインタは、メモリ３０の書き込みアドレスとして後述するフレームメモリＦＭ１〜ＦＭ３を示す状態Ｓ１〜状態Ｓ３を順に遷移する。
このとき、書き込み制御ポインタは、フレームメモリＦＭ１〜ＦＭ３が全て有効なフレームデータを保持しているフル状態（即ち、フレームメモリＦＭ１〜ＦＭ３において、読み出し制御ポインタに書き込み制御ポインタが追いついた状態）でなく、かつ、サンプルフラグがTrueであり、かつ、フレームデータの書き込みが行われた状態（CVSYNCが入力された状態）である場合に、次の状態に遷移する。

即ち、画像書き込み制御部２０においては、フレームメモリＦＭ１〜ＦＭ３がフル状態でない状態で画像の書き込みが行われた場合に、フレームデータが１度も読み出し要求されていないときには、そのフレームデータに上書きし、１度以上読み出し要求されているときには、そのフレームデータを保持して、次のフレームメモリに新たなフレームデータを書き込む。

なお、書き込み制御ポインタは、リセットされた初期状態（ＣＰＵ６０によってClear信号が入力された状態）においては状態Ｓ１を示している。
図１に戻り、メモリ３０は、複数フレーム分のフレームメモリＦＭ１〜ＦＭ３を含んでおり、画像書き込み制御部２０によって入力されたフレームデータを所定のアドレスに書き込む。

また、メモリ３０は、画像読み出し制御部５０によって読み出しが指示されたアドレスのフレームデータを画像読み出し制御部５０に出力する。
なお、ここでは、メモリ３０が３フレーム分のフレームメモリを含んでいるものとして説明するが、フレームメモリの数は任意である。
フレームレート変換部４０は、画像書き込み制御部２０における書き込み制御ポインタと、画像読み出し制御部５０における読み出し制御ポインタ（後述）と、ＣＰＵ６０によって入力される読み出し要求フレーム垂直同期信号および後述するポインタアップデート信号（Ｒｕｐ信号）とに基づいて、フレームメモリＦＭ１〜ＦＭ３におけるフレームデータのステータスを制御するためのフレームレート変換ポインタを管理する。

図４は、フレームレート変換ポインタの状態遷移を示す図である。
図４において、フレームレート変換ポインタは、各フレームメモリについて設定されており、各フレームメモリに記憶されたフレームデータについて、使用状態のステータスを示す状態Ｐ１〜状態Ｐ３を遷移する。
このとき、フレームレート変換ポインタは、書き込み制御ポインタが、そのフレームメモリを示し、かつ、読み出し要求フレーム垂直同期信号が入力された場合に、状態Ｐ１から状態Ｐ２あるいは状態Ｐ２から状態Ｐ３に遷移する。また、フレームレート変換ポインタは、読み出し制御ポインタが、そのフレームメモリを示し、かつ、Ｒｕｐ信号が入力された場合に、状態Ｐ３から状態Ｐ２あるいは状態Ｐ２から状態Ｐ１に遷移する。

即ち、フレームレート変換部４０においては、そのフレームメモリに対する書き込み制御ポインタが遷移する前にＣＰＵ６０により他のフレームメモリから画像の読み出し要求が２回行われた場合に、そのフレームメモリのフレームデータが１度も読み出し要求されていなければ、そのフレームメモリに対する読み出し制御ポインタを遷移させることなく、フレームデータを保持する状態（ポインタ値３の状態Ｐ３）、言い換えれば、少なくとも２回、そのフレームデータが読み出し要求される状態に設定される。つまり、フレームレート変換部４０においては、フレームデータの書き込み回数と読み出し要求回数の比率に応じて、読み出し要求されるフレームデータが適切に選択される。

このようにフレームレート変換ポインタが管理されることにより、入力される動画像のフレームレートより読み出し要求されるフレームレートの方が速い場合であっても、２倍のフレームレートまで拡張することが可能となる。また、ＭＰＥＧ（Moving Picture Experts Group）のように前フレームと現フレームを参照して符号化を行う符号化方式の動画像処理にも適切に対応することが可能となる。

画像読み出し制御部５０は、ＣＰＵ６０によってフレームデータの読み出しが指示された場合に、フレームデータを読み出すメモリ３０のアドレスを示すポインタ（以下、「読み出し制御ポインタ」と言う。）を管理する。そして、画像読み出し制御部５０は、ＣＰＵ６０によってフレームデータの読み出しが指示された場合に、読み出し制御ポインタが示すメモリ３０のアドレスからフレームデータを読み出し、ＣＰＵ６０に出力する。

図５は、読み出し制御ポインタの状態遷移を示す図である。
図５において、読み出し制御ポインタは、メモリ３０の読み出しアドレスとしてフレームメモリＦＭ１〜ＦＭ３を示す状態Ｔ１〜Ｔ３（ポインタ値１〜３）を順に遷移する。
このとき、読み出し制御ポインタは、フレームメモリＦＭ１〜ＦＭ３のいずれも有効なフレームデータを保持していないエンプティ状態（即ち、フレームメモリＦＭ１〜ＦＭ３において、書き込み制御ポインタに読み出し制御ポインタが追いついた状態）でなく、かつ、フレームメモリＦＭ１〜ＦＭ３について設けられたフレームレート変換ポインタ（後述）が状態Ｔ１〜Ｔ３それぞれに対応するフレームメモリについて２以下であり、かつ、ＣＰＵ６０によってポインタアップデート信号（Ｒｕｐ信号）が入力された場合に、次の状態に遷移する。

即ち、画像読み出し制御部５０においては、フレームメモリＦＭ１〜ＦＭ３がエンプティ状態でない状態でＣＰＵ６０が画像の読み出しを終了した場合に、各フレームメモリＦＭ１〜ＦＭ３のフレームレート変換ポインタが状態Ｐ３を示している場合には、読み出し制御ポインタを遷移させることなく、再度、そのフレームメモリのフレームデータを読み出し、フレームレート変換ポインタが状態Ｐ３以外であれば、読み出し制御ポインタを遷移して、次のフレームメモリからフレームデータを読み出す。

なお、読み出し制御ポインタは、リセットされた初期状態においては状態Ｔ１を示している。
ＣＰＵ６０は、画像読み出し制御部５０に対し、所定周期（即ち、所定のフレームレート）で画像の入力を要求し、画像読み出し制御部５０によって入力されたフレームデータに、離散コサイン変換あるいは量子化といった画像の圧縮処理を施す。

また、ＣＰＵ６０は、画像書き込み制御部２０、画像読み出し制御部５０およびフレームレート変換部４０に対し、フレームを読み出す際のトリガとなる読み出し要求フレーム垂直同期信号（RVSYNC）を出力する。さらに、ＣＰＵ６０は、読み出し制御ポインタおよびフレームレート変換ポインタを制御するためのポインタアップデート信号（以下、「Ｒｕｐ信号」と言う。）を、フレームデータの読み出しを行う毎に、画像読み出し制御部５０およびフレームレート変換部４０に出力する。なお、ＣＰＵ６０がフレームメモリＦＭ１〜ＦＭ３からフレームデータを読み出すために、所定サイクルを要するため、読み出し要求フレーム垂直同期信号の出力から所定サイクル遅れてＲｕｐ信号が出力される。

次に、動作を説明する。
上述のように各ポインタが制御されることにより、フレームメモリＦＭ１〜ＦＭ３のいずれかに画像入力装置１０によって入力されたフレームデータが書き込まれると共に、ＣＰＵ６０によってフレームデータの読み出しが行われる場合に、所定の適切なフレームメモリからフレームデータが読み出されていく。

図６は、フレームレート変換装置１が動作する場合の各信号およびポインタの状態を示すタイミングチャートである。
図６において、画像入力装置１０は、図６（ａ）に示すタイミングで、撮影した画像のフレームデータをサイクル１から画像書き込み制御部２０に出力する。
そして、図６（ｂ）に示すタイミングで、ＣＰＵ６０がフレームデータの読み出し要求を行ったとする。

このとき、サイクル１においては、初期状態から各ポインタの状態遷移が生じていないことから、書き込み制御ポインタはフレームメモリＦＭ１を示しており、画像入力装置１０によって入力されたフレームは、フレームメモリＦＭ１に書き込まれる。
なお、サイクル１においては、フレームメモリＦＭ１のフレームレート変換ポインタは、更新可能であることを示す状態Ｐ１であり、サンプルフラグはFalseである。

次に、サイクル２においては、ＣＰＵ６０がフレームデータの読み出しを行い、読み出し要求フレーム垂直同期信号を出力する。
このとき、読み出し制御ポインタは初期状態から状態Ｔ１のまま変化していないため、画像読み出し制御部５０は、フレームメモリＦＭ１からフレームデータを読み出す。
なお、フレームメモリＦＭ１のフレームレート変換ポインタは、書き込み制御ポインタがフレームメモリＦＭ１を示し、読み出し要求フレーム垂直同期信号が入力されることから、状態Ｐ２に遷移する。また、読み出し要求フレーム垂直同期信号が入力されることから、サンプルフラグはTrueに遷移する。

次いで、サイクル４においては、画像入力装置１０から新たなフレームデータは入力されず、ＣＰＵ６０によりＲｕｐ信号の入力もないまま、ＣＰＵ６０が次のフレームデータの読み出しを行っている。
このとき、読み出し制御ポインタの遷移条件を充足しないことから、画像読み出し制御部５０は、フレームメモリＦＭ１からフレームデータを読み出す。

なお、フレームメモリＦＭ１のフレームレート変換ポインタは、書き込み制御ポインタがフレームメモリＦＭ１を示し、読み出し要求フレーム垂直同期信号が入力されることから状態Ｐ３に遷移し、サンプルフラグはTrueのままである。
そして、サイクル５において、画像入力装置１０が、２番目のフレームデータを画像書き込み制御部２０に出力する。

このとき、フレームメモリＦＭ１〜ＦＭ３が全て有効なフレームデータを保持しているフル状態でなく、かつ、サンプルフラグがTrueであり、かつ、フレームデータの書き込みが行われた状態（CVSYNCが入力された状態）であることから、書き込み制御ポインタは、フレームメモリＦＭ２を示す状態Ｓ２に遷移する。
なお、フレームメモリＦＭ２のフレームレート変換ポインタは、書き込み制御ポインタがフレームメモリＦＭ２を示し、読み出し要求フレーム垂直同期信号が入力されることから状態Ｐ２に遷移し、サンプルフラグはTrueのままである。

また、サイクル５においては、ＣＰＵ６０がサイクル２において行ったフレームデータの読み出しに対応して、Ｒｕｐ信号を出力する。
続いて、サイクル６において、ＣＰＵ６０がフレームデータの読み出し要求を行い、読み出し要求フレーム垂直同期信号を出力する。
このとき、フレームメモリＦＭ１のフレームレート変換ポインタは、ＣＰＵ６０によって読み出し要求フレーム垂直同期信号およびＲｕｐ信号が出力されたことから、状態Ｓ１に遷移する。

また、フレームメモリＦＭ１〜ＦＭ３のいずれも有効なフレームデータを保持していないエンプティ状態でなく、かつ、フレームメモリＦＭ１について設けられたフレームレート変換ポインタが２以下であり、かつ、ＣＰＵ６０によってＲｕｐ信号が入力されることから、読み出し制御ポインタの遷移条件を充足し、フレームメモリＦＭ２を示す状態Ｔ２に遷移する。

なお、フレームメモリＦＭ２のフレームレート変換ポインタは、書き込み制御ポインタがフレームメモリＦＭ２を示し、読み出し要求フレーム垂直同期信号が入力されることから状態Ｓ３に遷移し、サンプルフラグはTrueに遷移する。
以後、同様に、フレームデータの書き込みおよび読み出し要求が行われることに対応してポインタの遷移が行われ、フレームレートの変換が実現される。

即ち、画像入力装置１０によって入力される動画像のフレームレートより、ＣＰＵ６０によって読み出し要求される動画像のフレームレートの方が速い場合および遅い場合のいずれにおいても、適切にフレームレートの調整が行われる。
図７は、画像入力装置１０によって入力される動画像のフレームレートより、ＣＰＵ６０によって読み出し要求される動画像のフレームレートの方が速い場合の動作例を示す図である。

図７に示すように、画像入力装置１０による画像の書き込み（書き込みフレーム垂直同期信号の入力）の方が、ＣＰＵ６０による画像の読み出し要求（読み出し要求フレーム垂直同期信号の入力）より速い場合、フレームメモリＦＭ１〜ＦＭ３に複数回ずつ画像の書き込みが行われることにより、フレームレートの変換が行われる。
また、図８は、画像入力装置１０によって入力される動画像のフレームレートより、ＣＰＵ６０によって読み出し要求される動画像のフレームレートの方が遅い場合の動作例を示す図である。

図８に示すように、画像入力装置１０による画像の書き込み（書き込みフレーム垂直同期信号の入力）の方が、ＣＰＵ６０による画像の読み出し要求（読み出し要求フレーム垂直同期信号の入力）より遅い場合、フレームメモリＦＭ１〜ＦＭ３に書き込まれた画像が複数回ずつ読み出されることにより、フレームレートの変換が行われる。
以上のように、本実施の形態に係るフレームレート変換装置１は、入力された画像を複数フレーム記憶するメモリ３０を備え、ＣＰＵ６０によるフレームの読み出し要求状態に応じて、入力されたフレームを書き込むフレームおよびＣＰＵ６０によって読み出されるフレームを制御する。

そのため、入力された動画像のフレームデータを書き込むフレームメモリと、出力される動画像のフレームデータを読み出すフレームメモリとを各ポインタに基づく指定順とすることによって、入力される動画像および出力される動画像のフレームレートの相違を吸収することできる。
したがって、入力された動画像と出力する動画像のフレームレートが異なる場合に、フレームレートを適切に変換することが可能となる。

また、入力される動画像のフレームレートが、出力される動画像のフレームレートより速い場合であっても、書き込み制御ポインタが同一のフレームメモリを指定することにより、フレームデータの上書きによって所定のフレームが破棄される。そのため、入力される動画像における所定フレーム毎のフレームデータを選択して出力することができ、フレームレートの変換を適切に行うことが可能となる。

また、入力される動画像のフレームレートが、出力される動画像のフレームレートより遅い場合であっても、フレームレート変換ポインタの値に基づき、読み出し制御ポインタが同一のフレームメモリを指定することにより、同一のフレームデータが複数回読み出される。そのため、入力される動画像における１フレームデータを複数回出力することができ、フレームレートの変換を適切に行うことが可能となる。

さらに、本実施の形態に係るフレームレート変換装置１によれば、後段の動画像圧縮処理等において、フレームレートの制御を行う必要がないため、処理負荷を軽減することができる。また、フレームレートの制御においてフレームの間引きあるいはフレームの挿入を行う際に使用されるメモリを用意する必要がないことから、使用メモリを削減することが可能である。また、画像圧縮処理の要求に応じたフレームレートを柔軟に設定することができるため、画像圧縮処理を行うハードウェアを実装する上で、自由度を向上させることが可能となる。

なお、本実施の形態においては、画像入力装置１０が撮像センサを備える撮像装置であるものとして説明したが、動画像を入力するものであればこれに限られるものではなく、本発明に係るフレームレート変換装置１は、入力される動画像のフレームレートと出力する動画像のフレームレートを変換するための種々の形態において適用することが可能である。

本発明に係るフレームレート変換装置１の機能構成を示すブロック図である。サンプルフラグの状態遷移を示す図である。書き込み制御ポインタの状態遷移を示す図である。フレームレート変換ポインタの状態遷移を示す図である。読み出し制御ポインタの状態遷移を示す図である。フレームレート変換装置１が動作する場合の各信号およびポインタの状態を示すタイミングチャートである。画像入力装置１０によって入力される動画像のフレームレートより、ＣＰＵ６０によって読み出し要求される動画像のフレームレートの方が速い場合の動作例を示す図である。画像入力装置１０によって入力される動画像のフレームレートより、ＣＰＵ６０によって読み出し要求される動画像のフレームレートの方が遅い場合の動作例を示す図である。

符号の説明

１フレームレート変換装置、１０画像入力装置、２０画像書き込み制御部、３０メモリ、４０フレームレート変換部、５０画像読み出し制御部、６０ＣＰＵ、ＦＭ１〜ＦＭ３フレームメモリ

Claims

入力された動画像と出力する動画像のフレームレートを変換するフレームレート変換装置であって、
入力された動画像におけるフレームデータを記憶するフレームメモリを複数構成する記憶手段と、
入力される動画像のフレームレートと出力される動画像のフレームレートとの関係に応じて、前記記憶手段においてフレームデータを書き込むフレームメモリおよび出力するフレームデータを読み出すフレームメモリを指定するフレームレート変換手段と、
を含むことを特徴とするフレームレート変換装置。
前記フレームレート変換手段は、
フレームデータの読み出し要求が行われる間に入力されたフレームデータを同一のフレームメモリに書き込むと共に、フレームデータの読み出し要求が行われた場合には、前記記憶手段によって構成された複数のフレームメモリを循環的に指定して、入力されたフレームデータを書き込む書き込み制御手段と、
フレームデータが読み出し要求されることに対応して、前記記憶手段によって構成された複数のフレームメモリを循環的に指定して、フレームデータの読み出しを行う読み出し制御手段と、
を含むことを特徴とする請求項１記載のフレームレート変換装置。
前記フレームレート変換手段は、
前記複数のフレームメモリそれぞれについて、該フレームメモリが書き込み先として指定され、かつ、いずれかのフレームデータの読み出し要求が行われた場合にインクリメントされると共に、該フレームメモリが読み出し先として指定され、かつ、いずれかのフレームデータの読み出し要求が行われることに対応してデクリメントされるフレームレート変換ポインタを管理し、
前記フレームレート変換ポインタが所定値以下である場合に、フレームデータを読み出すフレームメモリの指定を更新することを特徴とする請求項１または２記載のフレームレート変換装置。
入力された動画像と出力する動画像のフレームレートを変換するフレームレート変換方法であって、
入力された動画像におけるフレームデータを記憶するフレームメモリを複数構成し、
入力される動画像のフレームレートと出力される動画像のフレームレートとの関係に応じて、前記フレームデータを書き込むフレームメモリおよび出力するフレームデータを読み出すフレームメモリを指定することを特徴とするフレームレート変換方法。
前記フレームデータの読み出し要求が行われる間に入力されたフレームデータを同一のフレームメモリに書き込むと共に、フレームデータの読み出し要求が行われた場合には、前記複数のフレームメモリを循環的に指定して、入力されたフレームデータを書き込み、
前記フレームデータが読み出し要求されることに対応して、前記複数のフレームメモリを循環的に指定して、フレームデータの読み出しを行うことを特徴とする請求項４記載のフレームレート変換方法。
前記複数のフレームメモリそれぞれについて、該フレームメモリが書き込み先として指定され、かつ、いずれかのフレームデータの読み出し要求が行われた場合にインクリメントされると共に、該フレームメモリが読み出し先として指定され、かつ、いずれかのフレームデータの読み出し要求が行われることに対応してデクリメントされるフレームレート変換ポインタを管理し、
前記フレームレート変換ポインタが所定値以下である場合に、フレームデータを読み出すフレームメモリの指定を更新することを特徴とする請求項４または５記載のフレームレート変換方法。