JP2005311526A - 映像出力装置、および映像出力方法 - Google Patents

Abstract

【課題】 動画から静止画への移行時、及び静止画から動画への移行時のフレーム画像信号におけるノイズが低減され、且つ、連続静止画のフレーム画像信号においてもノイズを十分に低減することができる映像出力装置を提供する。
【解決手段】 １つのフィールド画像信号から変換されたフレーム画像信号をフレームメモリに取り込み、前後のフレーム画像間において画素の動画・静止画の判定を行い、静止画である場合には、この前後のフレーム画像信号の画素データを用いて処理対象画素の信号のノイズを抑える演算処理を施す構成とした。
【選択図】 図１

Description

本発明は、インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する映像出力装置、および映像出力方法に関する。

インターレース方式によるフィールド画像信号からプログレッシブ方式によるフレーム画像信号への変換は、各フィールド画像毎に、上下方向に隣接するライン間にさらにもう一つのライン（以下、補間ラインと称す。）を補間することにより行われている。この補間方法としては、例えば、同一フィールド画像内のラインを１ライン表示時間分だけ遅らせて補間する方法や、同一フィールド画像内の上下方向に隣接する２つのラインを用いて線形補間する方法、処理対象のフィールド画像の前と後のフィールド画像を用いて補間する方法等が従来から提案されている。

以下、インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する従来の映像出力装置の一例について、図７〜図９を用いて説明する。

図７は、上記従来の映像出力装置の構成を示すブロック図である。図７に示すように、上記従来の映像出力装置は、補間される画素（補間ライン上の画素）が静止画であるかまたは動画であるかを判定し、静止画の場合には前と後のフィールド画像上の補間される画素に対応する画素の画素データを平均値化し、動画の場合には同一フィールド画像内の上下方向に隣接する２つのライン上の補間される画素に対応する画素データを平均値化することにより補間ラインの信号を生成して、インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換している。さらに、この装置は、処理対象のフィールド画像の画素が静止画であるのか動画であるのかについても判定し、静止画の場合には、その画素の画素データと２つ前のフィールド画像上のその画素に対応する画素の画素データを平均値化することにより静止画のノイズ低減を図っている（例えば、特許文献１参照。）。

即ち、フィールドメモリ１、２、３において、インターレース方式によるフィールド画像信号であるインターレース信号Ｓ０を順次１フィールド時間分ずつ遅延させ、連続する４つのフィールドのインターレース信号Ｓ１、Ｓ２、Ｓ３、Ｓ４を生成し、これらの信号を基にインターレース信号Ｓ２に対する補間ラインの信号を生成して、インターレース信号Ｓ２をプログレッシブ方式によるフレーム画像信号であるプログレッシブ信号Ｓ１１に変換する。

図８は、上記従来の映像出力装置の各信号のタイミングチャートを示す図であり、インターレース信号の奇数フィールドは、１、３、・・・、Ｌ＋１、Ｌ＋３、・・・の奇数ラインで構成され、偶数フィールドは、２、４、・・・、Ｌ、Ｌ＋２、・・・の偶数ラインで構成されている。また、ＨＤは水平同期信号である。

図７において、補間処理部４は、ラインメモリ５により処理対象のフィールド画像信号であるインターレース信号Ｓ２を１ライン遅延させた信号Ｓ５、及びインターレース信号Ｓ１、Ｓ２、Ｓ３の４つの信号を入力とし、動画静止画判定部９の判定結果Ｓ１２に従う補間処理を行い、補間ラインの信号Ｓ６を出力する。つまり、判定の結果、補間される画素、すなわち、補間ライン上の画素が静止画の場合には、処理対象のフィールド画像信号である信号Ｓ２の、前と後のフィールド画像信号である信号Ｓ１と信号Ｓ３上の補間される画素に対応する画素の画素データを平均値化し、動画の場合には、同一フィールド画像内の補間ラインに隣接する上下ラインの信号である信号Ｓ２と信号Ｓ５の補間される画素に対応する画素の画素データを平均値化して信号Ｓ６を生成する。

ラインメモリ６は、信号Ｓ６を入力とし、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして信号Ｓ６を２分の１に圧縮し、フレーム画像信号であるプログレッシブ信号、用の信号Ｓ７を出力する。

後述するように、動画静止画判定部９は、補間される画素が静止画であるのか動画であるのかを判定し、その判定結果Ｓ１２を補間処理部４に通知するとともに、処理対象のフィールド画像信号であるインターレース信号Ｓ２上の画素についても静止画であるのか動画であるのかを判定し、その判定結果Ｓ１４を雑音低減処理部１０に通知する。

雑音低減処理部１０は、処理対象のフィールド画像信号であるインターレース信号Ｓ２と、この処理対象のフィールド画像信号の２つ前のフィールド画像信号であるインターレース信号Ｓ４を入力とし、動画静止画判定部９の判定結果Ｓ１４に従う演算処理を行い、処理対象のフィールド画像信号であるインターレース信号Ｓ２に元々存在するライン位置に相当する信号Ｓ８を出力する。つまり、判定の結果、処理対象のフィールド画像信号である信号Ｓ２上の現在の処理対象画素が静止画の場合には、該処理対象画素の画素データと２つ前のフィールド画像信号Ｓ４上の該処理対象画素に対応する画素の画素データを平均値化し、動画の場合には、該処理対象画素の画素データ信号Ｓ２をそのまま出力することにより、信号Ｓ８を生成する。

ラインメモリ７は、信号Ｓ８を入力とし、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして信号Ｓ８を２分の１に圧縮し、フレーム画像信号であるプログレッシブ信号、用の信号Ｓ９を出力する。

切り替え信号発生部８は、プログレッシブ信号の１ラインに相当する時間で変化する信号Ｓ１０を出力し、信号Ｓ７と信号Ｓ９を交互に切り替え、フレーム画像信号であるプログレッシブ信号Ｓ１１を出力する。

次に、動画静止画判定部９における判定方法について、図９を用いて説明する。

図９は、動画静止画判定部９において比較する画素の位置関係を示す図である。図９においてＮ＋１、Ｎ、Ｎ−１、Ｎ−２はフィールド番号であり、Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ、Ｐｅはインターレース信号の原画素である。ここでは、Ｎフィールドが処理対象のフィールド画像であり、Ｐｃが現在の処理対象画素、Ｐｘが補間される画素であるものとして説明する。

動画静止画判定部９は、処理対象のＮフィールド画像の前と後のフィールド画像である（Ｎ−１）フィールド画像と（Ｎ＋１）フィールド画像上の補間される画素Ｐｘに対応する画素Ｐｂ、Ｐｅの画素データの差分値を基に、補間される画素Ｐｘが静止画であるのか動画であるのかの判定を行う。

さらに、動画静止画判定部９は、処理対象のＮフィールド画像内の現在の処理対象画素Ｐｃの画素データと、２つ前のフィールド画像である（Ｎ−２）フィールド画像上の処理対象画素Ｐｃに対応する画素Ｐａの画素データの差分値を基に、処理対象画素Ｐｃが静止画であるのか動画であるのかの判定を行う。
特開２００２−１６８２２号公報

このように、従来の映像出力装置は、処理対象のフィールド画像の画素が静止画であるか否かについても判定を行い、静止画の場合には、処理対象画素の画素データと２つ前のフィールド画像上の処理対象画素に対応する画素の画素データを平均値化することにより静止画のノイズ低減を図っていた。

しかしながら、このような従来の映像出力装置では、処理対象のフィールド画像の画素が静止画であるか否かの判定に用いる画素の時間差が２フィールド分あるため、動画から静止画への移行時、および静止画から動画への移行時に、十分にノイズを低減できないという問題があった。
また、フィールドメモリが３個必要となるため、回路規模が大きくなるという問題があった。

本発明は、上記のような従来の問題に鑑みて為されたものであり、動画から静止画への移行時、及び静止画から動画への移行時のフレーム画像信号におけるノイズを低減し、且つ、静止画のフレーム画像信号においてもノイズを十分に低減することのできる映像出力装置、および映像出力方法を提供することを目的とする。

また、本発明は、装置の回路規模を削減することのできる映像出力装置、および映像出力方法を提供することを目的とする。

本発明の請求項１に記載の映像出力装置は、インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する映像出力装置であって、処理対象のフィールド画像信号の画像データを用いて演算を行うことにより、補間ラインの信号を生成する補間手段と、前記処理対象のフィールド画像の信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第１の圧縮手段と、前記補間ラインの信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第２の圧縮手段と、前記第１および第２の圧縮手段により出力される信号を用いて生成したフレーム画像信号をフレームメモリに入力し、前後のフレーム画像信号間での画素データの差分値により、処理対象のフレーム画像の画素が静止画であるか否かを判定する動画静止画判定手段と、前記判定が静止画である場合には、前後のフレーム画像信号の画素データを用いてその画素に対しノイズを抑える演算処理を施す雑音低減手段とを備えたことを特徴とするものである。

本発明の請求項２に記載の映像出力装置は、インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する映像出力装置であって、処理対象のフィールド画像信号の画像データを用いて演算を行うことにより、補間ラインの信号を生成する補間手段と、前記処理対象のフィールド画像の信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第１の圧縮手段と、前記補間ラインの信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第２の圧縮手段と、出力されるフレーム画像信号をフレームメモリへ入力し１フレーム時間遅らせて出力し、この出力信号と、前記第１および第２の圧縮手段により出力される信号を用いて生成した処理対象のフレーム画像信号間の差分信号を出力する第１の演算手段と、前記第１の演算手段よりの差分信号を非線形処理する非線形処理手段と、前記非線形処理手段の出力と前記処理対象のフレーム画像信号との間の差分信号を出力する第２の演算手段とを備えたことを特徴とするものである。

本発明の請求項３に記載の映像出力方法は、インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する映像出力方法であって、処理対象のフィールド画像信号の画像データを用いて演算を行うことにより、補間ラインの信号を生成する補間工程と、前記処理対象のフィールド画像の信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第１の圧縮工程と、前記補間ラインの信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第２の圧縮工程と、前記第１および第２の圧縮工程で出力される信号を用いて生成したフレーム画像信号をフレームメモリに入力し、前後のフレーム画像信号間での画素データの差分値により、処理対象のフレーム画像の画素が静止画であるか否かを判定する判定工程と、前記判定工程の結果が静止画である場合には、前後のフレーム画像信号の画素データを用いてその画素に対しノイズを抑える演算処理を施す雑音低減工程とを備えたことを特徴とするものである。

本発明の請求項４に記載の映像出力方法は、インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する映像出力方法であって、処理対象のフィールド画像信号の画像データを用いて演算を行うことにより、補間ラインの信号を生成する補間工程と、前記処理対象のフィールド画像の信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第１の圧縮工程と、前記補間ラインの信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第２の圧縮工程と、出力されるフレーム画像信号をフレームメモリへ入力し１フレーム時間遅らせて出力し、この出力信号と、前記第１および第２の圧縮工程で出力される信号を用いて生成した処理対象のフレーム画像信号間の差分信号をとる第１の演算工程と、前記第１の演算工程よりの差分信号を非線形処理する非線形処理工程と、前記非線形処理工程の出力と前記処理対象のフレーム画像信号との間の差分信号を出力する第２の演算工程とを備えたことを特徴とするものである。

このように、本発明によれば、処理対象のフィールド画像のみから補間するラインを作成することにより、プログレッシブ方式のフレーム画像信号を生成し、このフレーム画像信号をフレームメモリに取り込み、前後のフレーム画像信号間において画素の動画・静止画の判定を行い、処理対象画素が静止画である場合にはノイズを抑える演算処理を施すようにしたので、判定に用いる画素の時間差が１フィールドのみで小さく、動画から静止画への移行時、及び静止画から動画への移行時のフレーム画像信号におけるノイズを低減し、且つ、連続静止画の場合においてもノイズを十分に低減することができる。

また、本発明によれば、処理対象のフィールド画像のみから補間するラインを作成することにより、プログレッシブ方式のフレーム画像信号を生成し、このフレーム画像信号をフレームメモリに取り込み、前後のフレーム画像信号間の差分信号を非線形処理し、この非線形処理後の信号と処理対象のフレーム画像信号との間の差分信号を出力信号とするようにしたので、非線形処理に用いる画素の時間差が１フィールドのみで小さく、動画から静止画への移行時、及び静止画から動画への移行時のフレーム画像信号におけるノイズを低減し、且つ、連続静止画の場合においてもノイズを十分に低減することができる。

また、本発明によれば、従来例に比べ、フレームメモリが１個追加となるが、フィールドメモリを３個削減でき、回路規模を小さくすることができる。

以下、本発明の実施の形態について図面を用いて説明する。なお、ここで示す実施の形態はあくまでも一例であって、本発明は必ずしも以下の実施の形態に限定されるものではない。

（実施の形態１）
図１は、本発明の実施の形態１による映像出力装置の構成を示すブロック図である。
図１に示すように、本実施の形態１による映像出力装置は、インターレース方式によるフィールド画像信号Ｓ２を入力とし、補間ラインの画像信号Ｓ６を生成する補間処理部４と、フィールド画像信号を１ライン時間ずつ遅らせるラインメモリ５と、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして画像信号を圧縮するラインメモリ６、７と、プログレッシブ信号の１ラインに相当する時間で変化する信号Ｓ１０を出力する切り替え信号発生部８と、処理対象のフレーム画像の画素が静止画であるか否かを判定する動画静止画判定部９と、静止画である場合には、前後のフレーム画像信号の画素データを用いてその画素に対しノイズを抑える演算処理を施す雑音低減処理部１０と、フレームメモリ１２とにより構成されている。

以下、上記のように構成された本実施の形態１による映像出力装置の動作について、図１〜図４を参照しながら説明する。

図２は、上記映像出力装置の各信号のタイミングチャートを示す図であり、インターレース信号の奇数フィールドは、１、３、・・・、Ｌ＋１、Ｌ＋３、・・・の奇数ラインで構成され、偶数フィールドは、２、４、・・・、Ｌ、Ｌ＋２、・・・の偶数ラインで構成されている。ＨＤは水平同期信号である。

図１に示すように、本実施の形態１による映像出力装置は、まず、インターレース方式によるフィールド画像信号であるインターレース信号Ｓ２と、Ｓ２を１ライン時間分ずつ遅延させた信号Ｓ５により、補間するラインの信号Ｓ６を生成し、インターレース信号Ｓ２をプログレッシブ方式によるフレーム画像信号であるプログレッシブ信号Ｓ１１に変換する。

より詳細には、補間処理部４、および図示しない制御手段は、インターレース方式によるフィールド画像信号であるインターレース信号Ｓ２を１ライン時間分ずつ遅延させたＳ５を得、これらのフィールド画像信号である信号Ｓ２、Ｓ５の画素データを用いて演算を行うことにより、補間ラインの信号Ｓ６を出力する。

補間処理部４においては、同一フィールド画像内の補間ラインに隣接する上下ラインの信号である信号Ｓ２と信号Ｓ５、の補間される画素に対応する画素の画素データを平均値化して補間ラインの信号Ｓ６を生成する。

この補間ラインの信号Ｓ６はラインメモリ６に入力される。図示しない制御手段は、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにしてラインメモリ６に対する信号の入出力を制御する。そのため、ラインメモリ６に入力される信号Ｓ６は２分の１に圧縮され、図２に示すタイミングで、フレーム画像信号であるプログレッシブ信号用の信号Ｓ７となって出力される。

また、インターレース信号Ｓ２はラインメモリ７に入力される。図示しない制御手段は、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにしてラインメモリ７に対する信号の入出力を制御する。そのため、ラインメモリ７に入力される信号Ｓ２は２分の１に圧縮され、図２に示すタイミングで、フレーム画像信号であるプログレッシブ信号用の信号Ｓ９となって出力される。

また、切り替え信号発生部８、動画静止画判定部９、雑音低減処理部１０、及び図示しない制御手段は、生成したフレーム画像信号である信号Ｓ１１をフレームメモリ１２に入力し、前後のフレーム画像信号間での画素データの差分値により、処理対象のフレーム画像の画素が静止画であるのか動画であるのかを判定し、静止画である場合には、前後のフレーム画像信号の画素データを用いてその画素に対しノイズを抑える演算処理を施す。

詳細には、切り替え信号発生部８は、プログレッシブ信号の１ラインに相当する時間で変化する信号Ｓ１０を出力し、信号Ｓ７と信号Ｓ９を交互に切り替え、フレーム画像信号であるプログレッシブ信号Ｓ１１を出力する。

図２に示すように、プログレッシブ信号の１ラインに相当する時間で変化する信号Ｓ１０のタイミングで信号Ｓ７と信号Ｓ９を交互に切り替えたとき、フレーム画像信号が出力されるように、ラインメモリ６、７の出力が制御されている。

動画静止画判定部９は、後述するように、処理対象のフレーム画像信号であるプログレッシブ信号Ｓ１１と、フレームメモリ１２により信号Ｓ１１を１フレーム時間分遅延させたプログレッシブ信号Ｓ１２の画素データを演算して、処理対象のフレーム画像である信号Ｓ１、内の現在の処理対象画素が静止画であるのか動画であるのかの判定を行い、その判定結果Ｓ１３を雑音低減処理部１０へ通知する。雑音低減処理部１０は、処理対象のフレーム画像信号である信号Ｓ１１と、この処理対象のフレーム画像の１フレーム前のフレーム画像の信号である信号Ｓ１２を入力とし、動画静止画判定部９による判定結果Ｓ１３に従い、処理対象画素が静止画の場合には、該処理対象画素の画素データと１フレーム前のフレーム画像上の該処理対象画素に対応する画素の画素データを平均値化し、動画の場合には、該処理対象画素の信号である信号Ｓ１１をそのまま出力することにより、フレーム画像信号であるプログレッシブ信号Ｓ１４を生成する。

次に、本実施の形態１による映像出力装置の映像出力方法について説明する。なお、当該映像出力装置は図示しない制御手段により全体の動作が管理されているものとする。

補間処理部４へ、ラインメモリ５により処理対象のフィールド画像信号であるインターレース信号Ｓ２を１ライン遅延させた信号Ｓ５、及びインターレース信号Ｓ２の２つの信号を入力し、補間ラインの信号Ｓ６を生成する。補間ラインの信号Ｓ６をラインメモリ６に入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして、図２に示すタイミングで信号Ｓ７を出力する。

また、処理対象のフィールド画像信号であるインターレース信号Ｓ２をラインメモリ７に入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして、図２に示すタイミングで信号Ｓ９を出力する。

そして、切り替え信号発生部８により、信号Ｓ７と信号Ｓ９を交互に切り替え、フレーム画像信号であるプログレッシブ信号Ｓ１１を出力する。

次に、フレーム画像信号であるプログレッシブ信号Ｓ１１を、フレームメモリ１２に取り込み、処理対象のフレーム画像の１フレーム前のフレーム画像の信号であるプログレッシブ信号Ｓ１２を生成し、この前後のフレーム画像信号である信号Ｓ１１と信号Ｓ１２、を動画静止画判定部９へ入力し、処理対象のフレーム画像内の現在の処理対象画素が静止画であるのか動画であるのかを判定させ、雑音低減処理部１０へその判定結果Ｓ１３を通知させる。また、雑音低減処理部１０へ上記前後のフレーム画像信号を入力し、動画静止画判定部９による判定結果Ｓ１３に従う演算処理を行わせ、フレーム画像信号であるプログレッシブ信号Ｓ１４を出力させる。

次に、補間処理部４における補間方法について、図３を用いて説明する。
図３は、補間処理部４において補間する画素の位置関係を示す図である。図３において、Ｎはフィールド番号であり、Ｐｃ、Ｐｄはインターレース信号の原画素である。ここでは、Ｐｘが補間される画素であり、上下のラインの画素Ｐｃ、Ｐｄの画素データを平均値化して、Ｐｘが補間される。

次に、動画静止画判定部９における判定方法について、図４を用いて説明する。
図４は、動画静止画判定部９において比較する画素の位置関係を示す図である。図４においてＭ、Ｍ−１はフレーム番号であり、ここでは、Ｍフレーム画像が処理対象のフレーム画像であり、Ｐｂ、Ｐｃ、Ｐｄがインターレース信号に元々あった画素、Ｐｘが補間された画素であるものとして説明する。

動画静止画判定部９は、処理対象のＭフレーム画像内の現在の処理対象画素の画素データと、１つ前のフレーム画像である（Ｍ−１）フレーム画像上の現在の処理対象画素に対応する画素の画素データとの差分値の絶対値を求め、この値が所定の閾値を越えると動画と判定し、所定の閾値以下であれば静止画と判定する。例えば、現在の処理対象画素がＰｘである場合には、この画素Ｐｘの画素データと、（Ｍ−１）フレーム画像の画素Ｐｘに対応する画素Ｐｂの画素データの差分値の絶対値を求める。

このように、本実施の形態１による映像出力装置、及び映像出力方法では、同一フィールド画像内の補間ラインに隣接する上下ラインの画素データを平均値化して補間ラインの信号を生成し、そしてプログレッシブ方式のフレーム画像信号を作成し、このフレーム画像信号をフレームメモリに取り込み、処理対象画素の画素データと、１つ前のフレーム画像上の処理対象画素と同位置の画素の画素データとの差分値を用いて、処理対象画素が静止画であるのか、動画であるのかを判定し、処理対象画素が静止画である場合にはノイズを抑える演算処理を施すようにしたので、前後フレーム画像、実際上は前後フィールド画像に属する画素の画素データを用いて動画静止画の判定を行うことで、動画静止画の判定に用いる画素の時間差が１フィールドで小さく、動画から静止画へ、及び静止画から動画へ移行する際に生成されるフレーム画像信号のノイズを低減することができる。また、連続静止画の場合に生成されたフレーム画像信号においても、前後フィールド画像に属する画素の画素データを用いて雑音軽減を施すことによりノイズを十分に低減することができる。

さらに、動画静止画の判定を行うための１個のフレームメモリを追加するようにしたが、従来の装置に比べ、補間信号の生成及び動画静止画の判定を行うための、フィールド画像信号を１フィールドずつ遅延させる３個のフィールドメモリを不要のため削除することができるので、装置の回路規模を削減することができる。

（実施の形態２）
図５は、本発明の実施の形態２による映像出力装置の構成を示すブロック図である。
本実施の形態２では、非線形処理部１３は、処理対象のフレーム画像信号と、１フレーム前のフレーム画像信号間の差分信号に対して非線形処理を行うものである。なお、前述した実施の形態１と同じ構成を有する部材には同一の符号を付して、説明を省略する。

次に、上記のように構成された本実施の形態２による映像出力装置の動作について、図５、図６を参照しながら説明する。

図５において、切り替え信号発生部８、非線形処理部１３、信号Ｓ１１と信号Ｓ１２の差分をとる演算部１４、信号Ｓ１１と信号Ｓ１７の差分をとる演算部１５、および図示しない制御手段は、出力されるフレーム画像信号である信号Ｓ１４を、フレームメモリ１２へ入力し１フレーム時間遅らせて出力し、この出力信号Ｓ１２と処理対象のフレーム画像信号であるプログレッシブ信号Ｓ１１との間の差分信号を非線形処理し、この非線形処理後の信号Ｓ１７とプログレッシブ信号Ｓ１１との間の差分信号Ｓ１４を出力するように構成されている。

つまり、切り替え信号発生部８は、上述したように、信号Ｓ７と信号Ｓ９を交互に切り替え、フレーム画像信号であるプログレッシブ信号Ｓ１１を出力する。

フレームメモリ１２は、出力信号であるプログレッシブ信号Ｓ１４を入力とし、このプログレッシブ信号Ｓ１４を１フレーム時間分遅延させたプログレッシブ信号Ｓ１２、すなわち、処理対象のフレーム画像信号であるプログレッシブ信号Ｓ１１の１フレーム前のフレーム画像信号、を出力する。

処理対象のフレーム画像信号である信号Ｓ１１と、１フレーム前のフレーム画像信号である信号Ｓ１２の画素データの差分をとり、この差分信号Ｓ１６を非線形処理部１３の入力とする。図６に、非線形処理部１３の入出力の特性例を示す。差分信号Ｓ１６の値の絶対値が大きい場合、処理対象画素は動画と判断されるので、非線形処理部１３は、図６に示すように、出力信号Ｓ１７の値を“０”にする。一方、差分信号Ｓ１６の値の絶対値が小さい場合には、処理対象画素は静止画であり、差分信号Ｓ１６の値はノイズ成分であると判断されるので、非線形処理部１３は、図６に示すように、差分信号Ｓ１６に比例する値の信号Ｓ１７を出力する。

さらに、非線形処理後の信号Ｓ１７と処理対象のフレーム画像信号であるプログレッシブ信号Ｓ１１との差分をとり、この差分信号であるプログレッシブ信号Ｓ１４を出力する。つまり、処理対象画素が静止画の場合には、信号Ｓ１７をノイズ成分に比例する値として、該処理対象画素の信号である信号Ｓ１１からノイズ成分を除去した信号が出力されるようにし、動画の場合には、信号Ｓ１７の値を“０”として、該処理対象画素の信号である信号Ｓ１１がそのまま出力されるようにする。

次に、本映像出力装置の映像出力方法について説明する。なお、本映像出力装置は図示しない制御手段により全体の動作が管理されているものとする。

なお、フレーム画像信号であるプログレッシブ信号Ｓ１１を出力するまでは、前述の実施の形態１と同じであるので、説明を省略する。

出力されるフレーム画像信号であるプログレッシブ信号Ｓ１４をフレームメモリ１２に取り込み、処理対象のフレーム画像信号の１フレーム前のフレーム画像信号であるプログレッシブ信号Ｓ１２を生成し、この前後のフレーム画像信号である信号Ｓ１１と信号Ｓ１２との差分信号Ｓ１６を非線形処理部１３へ入力する。そして、非線形処理部１３により非線形処理された信号Ｓ１７と処理対象のフレーム画像信号である信号Ｓ１１との差分信号を出力する。

このように、本実施の形態２による映像出力装置、及び映像出力方法によれば、プログレッシブ方式のフレーム画像信号を生成し、このフレーム画像信号をフレームメモリに取り込み、処理対象画素の画素データと、１つ前のフレーム画像上の処理対象画素と同位置の画素の画素データとの差分信号を非線形処理し、この非線形処理された信号と処理対象画素の信号との差分信号をフレーム画像信号として出力するようにしたので、前後フレーム画像、実際上は前後フィールド画像に属する画素の画素データを用いて非線形処理、即ち、動画静止画の判定を行うことで、動画静止画の判定に用いる画素の時間差が１フィールドで小さく、動画から静止画へ、及び静止画から動画へ移行する際に生成されるフレーム画像信号のノイズを低減することができる。また、連続静止画の場合に生成されたフレーム画像信号においても、前後フィールド画像に属する画素の画素データを用いて非線形処理と雑音軽減を実施することによりノイズを十分に低減することができる。

さらに、非線形処理、即ち、動画静止画の判定を行うための１個のフレームメモリを追加するようにしたが、従来の装置に比べ、補間信号の生成及び動画静止画の判定を行うための、フィールド画像信号を１フィールドずつ遅延させる３個のフィールドメモリを不要のため削除することができるので、装置の回路規模を削減することができる。

なお、本実施の形態２では、フレームメモリ１２の入力をプログレッシブ信号Ｓ１４として、巡回型フィルタの構成としたが、フレームメモリ１２の入力をプログレッシブ信号Ｓ１１から与え、非巡回型フィルタとしてもよい。

なお、本実施の形態１及び実施の形態２においては、動画静止画の判定方法の例として、画素間の差分値の絶対値を単にある閾値と比較して判定する場合について述べたが、無論、これに限るものではない。

また、補間される画素が静止画であるか動画であるかの動画静止画判定部９による判定は、処理対象のフレーム画像の前後のフレーム画像に限らず、複数のフレーム画像を用いるようにしてもよい。

また、平均値化により補間処理部４による補間処理を行う場合について述べたが、これに限らず、双一次関数等、種々の関数を適用して画素データを補間処理するようにしてもよい。

また、隣接する上下ライン上の、処理対象の画素に対応する画素の画素データを用いて補間処理を行うだけではなく、例えば、隣接する上下ライン周辺の複数のライン上の、処理対象の画素に対応する画素周辺の複数の画素の画素データを用いるようにしてもよい。

また、フレーム画像信号をフレームメモリに入力し、処理対象のフレーム画像の１フレーム前のフレーム画像を生成してこれを参照画像とし、前後のフレーム画像の画素の差分をとったが、逆に、前のフレーム画像を処理対象のフレーム画像とし、後のフレーム画像を参照画像としてもよい。

また、平均値化により雑音低減処理部１０による雑音低減処理を行う場合について述べたが、これに限らず、双一次関数等、種々の関数を適用して画素データを演算処理するようにしてもよい。

また、上記の説明では、ハードウェア構成により映像出力装置を構成する場合について述べたが、これに限らず、プログラムを用いたソフトウェア処理により行うようにしてもよい。

本発明に係る映像出力装置及び映像出力方法は、動画から静止画への移行時、及び静止画から動画への移行時のフレーム画像におけるノイズを低減し、連続静止画のフレーム画像信号におけるノイズをも十分に低減することができ、さらに装置の回路規模を削減することができる効果を有するものであり、インターレース方式によるフィールド画像信号をプログレッシブ方式のフレーム画像信号に変換する映像出力装置などの用途に適用すれば、有用である。

本実施の形態１による映像出力装置の構成を示すブロック図である。 本実施の形態１による映像出力装置の各信号のタイミングチャートを示す図である。 本実施の形態１による映像出力装置の補間処理部における、補間する画素の位置関係を示す図である。 本実施の形態１による映像出力装置の動画静止画判定部における処理対象画素の判定において比較する画素の位置関係を示す図である。 本実施の形態２による映像出力装置の構成を示すブロック図である。 本実施の形態２による映像出力装置の非線形処理部の入出力の特性例を示す図である。 従来の映像出力装置の構成を示すブロック図である。 従来の映像出力装置の各信号のタイミングチャートを示す図である。 従来の映像出力装置の動画静止画判定部における補間される画素の判定、および処理対象画素の判定において比較する画素の位置関係を示す図である。

符号の説明

１、２、３ フィールドメモリ
４ 補間処理部
５、６、７ ラインメモリ
８ 切り替え信号発生部
９ 動画静止画判定部
１０ 雑音低減処理部
１２ フレームメモリ
１３ 非線形処理部
１４、１５ 演算部

Claims (4)

1. インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する映像出力装置であって、
   処理対象のフィールド画像信号の画像データを用いて演算を行うことにより、補間ラインの信号を生成する補間手段と、
   前記処理対象のフィールド画像の信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第１の圧縮手段と、
   前記補間ラインの信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第２の圧縮手段と、
   前記第１および第２の圧縮手段により出力される信号を用いて生成したフレーム画像信号をフレームメモリに入力し、前後のフレーム画像信号間での画素データの差分値により、処理対象のフレーム画像の画素が静止画であるか否かを判定する動画静止画判定手段と、
   前記判定が静止画である場合には、前後のフレーム画像信号の画素データを用いてその画素に対しノイズを抑える演算処理を施す雑音低減手段と、を備えた、
   ことを特徴とする映像出力装置。
2. インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する映像出力装置であって、
   処理対象のフィールド画像信号の画像データを用いて演算を行うことにより、補間ラインの信号を生成する補間手段と、
   前記処理対象のフィールド画像の信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第１の圧縮手段と、
   前記補間ラインの信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第２の圧縮手段と、
   出力されるフレーム画像信号をフレームメモリへ入力し１フレーム時間遅らせて出力し、この出力信号と、前記第１および第２の圧縮手段により出力される信号を用いて生成した処理対象のフレーム画像信号間の差分信号を出力する第１の演算手段と、
   前記第１の演算手段よりの差分信号を非線形処理する非線形処理手段と、
   前記非線形処理手段の出力と前記処理対象のフレーム画像信号との間の差分信号を出力する第２の演算手段と、を備えた、
   ことを特徴とする映像出力装置。
3. インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する映像出力方法であって、
   処理対象のフィールド画像信号の画像データを用いて演算を行うことにより、補間ラインの信号を生成する補間工程と、
   前記処理対象のフィールド画像の信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第１の圧縮工程と、
   前記補間ラインの信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第２の圧縮工程と、
   前記第１および第２の圧縮工程で出力される信号を用いて生成したフレーム画像信号をフレームメモリに入力し、前後のフレーム画像信号間での画素データの差分値により、処理対象のフレーム画像の画素が静止画であるか否かを判定する判定工程と、
   前記判定工程の結果が静止画である場合には、前後のフレーム画像信号の画素データを用いてその画素に対しノイズを抑える演算処理を施す雑音低減工程と、を備えた、
   ことを特徴とする映像出力方法。
4. インターレース方式によるフィールド画像信号をプログレッシブ方式によるフレーム画像信号に変換する映像出力方法であって、
   処理対象のフィールド画像信号の画像データを用いて演算を行うことにより、補間ラインの信号を生成する補間工程と、
   前記処理対象のフィールド画像の信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第１の圧縮工程と、
   前記補間ラインの信号をラインメモリに入力し、書き込みクロックに対し読み出しクロックを倍のサンプリング・クロックにして出力する第２の圧縮工程と、
   出力されるフレーム画像信号をフレームメモリへ入力し１フレーム時間遅らせて出力し、この出力信号と、前記第１および第２の圧縮工程で出力される信号を用いて生成した処理対象のフレーム画像信号間の差分信号をとる第１の演算工程と、
   前記第１の演算工程よりの差分信号を非線形処理する非線形処理工程と、
   前記非線形処理工程の出力と前記処理対象のフレーム画像信号との間の差分信号を出力する第２の演算工程と、を備えた、
   ことを特徴とする映像出力方法。

Images