JP2004221954A

JP2004221954A - Video signal converter and video signal conversion method

Info

Publication number: JP2004221954A
Application number: JP2003007151A
Authority: JP
Inventors: Hisako Chiaki; 久子千秋; Tetsushi Oyama; 哲史大山; Toshihiro Ezaki; 俊裕江崎; Tetsuyuki Toyofuku; 哲之豊福; Hiroshi Saito; 浩齋藤; Hideaki Mita; 英明三田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-01-15
Filing date: 2003-01-15
Publication date: 2004-08-05
Anticipated expiration: 2023-01-15
Also published as: JP4019947B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video signal converter capable of suppressing line flickers and simultaneously obtaining frame images suitable for highly efficient encoding by reducing the high band components of an original field image at the time of scanning line conversion. <P>SOLUTION: The video signal converter is provided with, at the time of defining an inputted image for one field as a reference field image, a first interpolated field image preparation means for preparing a first interpolated field image by using the reference field image, a second interpolated field image preparation means for preparing a second interpolated field image by using the first interpolated field image, a mixed field image preparation means for preparing a mixed field image by mixing the pixel components of the reference field image and the second interpolated field image, and a frame image preparation means for preparing the frame image by gathering the pixel components of the mixed field image and the first interpolated field image. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、入力されたフィールド画像をフレーム画像に変換して出力する映像信号変換装置および映像信号変換方法に関するものである。
【０００２】
【従来の技術】
近年、デジタル映像信号の分野において、現行のテレビ方式であるＮＴＳＣ方式の映像信号を通常のテレビだけでなくパーソナルコンピュータ用モニタ画面など走査方式の異なる表示装置でも表示しようとする動きが盛んになっており、入力された映像信号を変換する映像信号変換処理が不可欠となっている。特に、インターレース走査（飛び越し走査）の映像信号をプログレッシブ走査（ノンインターレース走査、順次走査）対応表示器で表示するためには、フィールド画像を構成するラインとそれら各ライン間を補間する補間ラインとを組み合わせて１枚のフレーム画像を得る必要があり、様々な走査線変換方法が提案されている。
【０００３】
このような走査線変換の方法としては、例えば特開２００２−１８５９３４号公報（松下電器産業）に記載されたものが知られている。まず、補間する画素の位置に対して垂直方向の上下に位置する画素を用いて、垂直方向補間値を算出する。次に、補間する画素の位置に対して斜め方向に位置する画素の組の中から、差分の絶対値から求められる斜めエッジの角度に基づいて選択された組に対して、斜め方向平均値を算出する。最後に、垂直方向補間値と斜め方向平均値を、斜め方向差分絶対値に応じた比率で混合した混合値を、補間画素値とする。つまり、補間する画素の位置に対して空間的に関連の強い入力映像信号内の画素を用いて補間ラインを作成することにより、走査線変換を行うことができる。
【０００４】
また、特開平８−１３０７１６号公報（日本ビクター）にあるように、まず、補間する走査線の空間的に上下の走査線から作られる画像内補間信号を作成する。次に、補間する走査線の時間的に前後する画像から作られる画像間補間信号を作成する。最後に、画像内補間信号と画像間補間信号を、画像の状態に応じた比率で適応混合させて補間信号を得る。動きのある画像の場合は画像内補間信号から、動きのない画像の場合は画像間補間信号から補間信号が作られる。つまり、補間する画素の位置に対して時間的に関連の強い入力映像信号内の画素を用いて補間ラインを作成することにより、走査線変換を行うことができる。
【０００５】
以上のような方法で、現行のＮＴＳＣ方式の映像信号を走査方式の異なる表示装置で表示することができる。
【０００６】
【特許文献１】
特開２００２−１８５９３４号公報記載頁１［解決手段］
【特許文献２】
特開平８−１３０７１６号公報記載頁１
［構成］
【０００７】
【発明が解決しようとする課題】
従来の走査線変換処理において、補間ラインから構成される補間フィールド画像は、入力されたフィールド画像に比べて高域成分が低減される。
【０００８】
また、時間的に連続してみた場合、図１６に示すように、出力フレーム画像ごとに補間ラインの位置は１ラインずつ交互にずれることになる。すなわち、連続する出力フレーム画像上の１本のラインに注目すると、高域成分を持つラインと高域成分が低減されたラインとが交互に出力される。この状況が出力フレーム画像上の全ラインで起こるため、結果として画面全体にちらつき（ラインフリッカ）が発生するという問題があった。
【０００９】
また、ＮＴＳＣ方式の映像信号を携帯端末等で表示する場合は伝送効率を上げるため、高能率符号化方式であるＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）などを用いて映像信号を圧縮符号化して伝送し、携帯端末側では圧縮符号化された映像信号を復号化して表示する。すなわち、入力される映像信号から走査方式を変換処理した画像に対して、さらに高能率符号化処理などの後処理を行うことが考えられる。高能率に圧縮符号化するための１つの方法としては、符号化前の映像信号の高域成分を低減させればよい。しかし、従来の走査線変換処理は、変換後の映像を高画質化することのみを目的としていたため、後の処理で能率よく符号化する場合については考慮されていなかった。
【００１０】
本発明は上記従来の問題点を解決するもので、走査線変換時に元のフィールド画像の高域成分を低減することで、ラインフリッカを抑制すると同時に高能率な符号化に適したフレーム画像を得ることができる映像信号変換装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
この目的を達成するために、本発明の映像信号変換装置は、入力された１フィールド分の画像を基準フィールド画像としたとき、基準フィールド画像を用いて第１補間フィールド画像作成手段で第１補間フィールド画像を作成し、第１補間フィールド画像を用いて第２補間フィールド画像作成手段で第２補間フィールド画像を作成し、基準フィールド画像と第２補間フィールド画像の画素成分を混合フィールド画像作成手段で混合させて混合フィールド画像を作成し、混合フィールド画像と第１補間フィールド画像の画素成分をフレーム画像作成手段で併せてフレーム画像を作成する構成を有している。
【００１２】
この構成によって、走査線変換時に元のフィールド画像の高域成分を低減することで、ラインフリッカを抑制すると同時に高能率な符号化に適したフレーム画像を得ることができる。
【００１３】
【発明の実施の形態】
本発明の請求項１に記載の発明は、入力された１フィールド分の画像を基準フィールド画像としたとき、前記基準フィールド画像を用いて第１補間フィールド画像を作成する第１補間フィールド画像作成手段と、前記第１補間フィールド画像を用いて第２補間フィールド画像を作成する第２補間フィールド画像作成手段と、前記基準フィールド画像と前記第２補間フィールド画像の画素成分を混合させて混合フィールド画像を作成する混合フィールド画像作成手段と、前記混合フィールド画像と前記第１補間フィールド画像の画素成分を併せてフレーム画像を作成するフレーム画像作成手段とを備える映像信号変換装置であり、この構成によって、走査線変換時に元のフィールド画像の高域成分を低減することで、ラインフリッカを抑制すると同時に高能率な符号化に適したフレーム画像を得ることができるという作用を有する。
【００１４】
請求項９に記載の発明は、入力された１フィールド分の画像を基準フィールド画像としたとき、前記基準フィールド画像と前記基準フィールド画像に対して時間的に前後にあるｎフィールド分（ｎは１以上の整数）の参照基準フィールド画像とを用いて第１補間フィールド画像を作成する第１補間フィールド画像作成手段と、前記第１補間フィールド画像と前記第１補間フィールド画像に対して時間的に前後にあるｍフィールド分（ｍは１以上の整数）の参照第１補間フィールド画像とを用いて第２補間フィールド画像を作成する第２補間フィールド画像作成手段と、前記基準フィールド画像と前記第２補間フィールド画像の画素成分を混合させて混合フィールド画像を作成する混合フィールド画像作成手段と、前記混合フィールド画像と前記第１補間フィールド画像の画素成分を併せてフレーム画像を作成するフレーム画像作成手段とを備えることを特徴とする映像信号変換装置であり、この構成と動作によって、請求項１における作用に加えて、動きのある画像と動きのない画像に応じて高域成分を削減することができるという作用を有する。
【００１５】
請求項１７に記載の発明は、前記請求項１または請求項９に記載の発明と同様の構成を備え、前記第１補間フィールド画像作成手段と前記第２補間フィールド画像作成手段が、同一処理内容で実現されることを特徴とし、この構成によって、請求項１または請求項９における作用に加えて、処理の一部をパイプライン化することができるため、処理に必要なデータを保持するメモリを削減することができるという作用を有する。
【００１６】
請求項１８に記載の発明は、任意のフィールド画像を入力して対応する補間フィールド画像を出力する補間フィールド画像作成手段と、前記補間フィールド画像作成手段の処理回数により前記補間フィールド画像の出力先を判定する作成画像判定手段と、同じ位相を持つ２枚のフィールド画像の画素成分を混合させて同じ位相を持つ１枚の混合フィールド画像を出力する混合フィールド画像作成手段と、異なる位相を持つ２枚のフィールド画像の画素成分を併せて１枚のフレーム画像を出力するフレーム画像作成手段とを備え、入力された１フィールド分の画像を基準フィールド画像としたとき、前記基準フィールド画像を用いて前記補間フィールド画像作成手段で第１補間フィールド画像を作成し、前記作成画像判定手段で前記第１補間フィールド画像を再び前記補間フィールド画像作成手段と前記フレーム画像作成手段に入力し、前記第１補間フィールド画像を用いて前記補間フィールド画像作成手段で第２補間フィールド画像を作成し、前記作成画像判定手段で前記第２補間フィールド画像を前記混合フィールド画像作成手段に入力し、前記基準フィールド画像と前記第２補間フィールド画像の画素成分を混合フィールド画像作成手段で混合させて混合フィールド画像を作成し、前記混合フィールド画像と前記第１補間フィールド画像の画素成分をフレーム画像作成手段で併せてフレーム画像を作成することを特徴とする映像信号変換装置であり、この構成によって、請求項１または請求項９または請求項１７における作用に加えて、補間フィールド画像を作成する回路規模を削減することができるという作用を有する。
【００１７】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１８】
（実施の形態１）
図１は、本発明の実施の形態１における映像信号変換装置の構成を示すブロック図である。図１に示す映像信号変換装置は、第１補間フィールド画像作成手段１０１と、第２補間フィールド画像作成手段１０２と、混合フィールド画像作成手段１０３と、フレーム画像作成手段１０４とを備えている。
【００１９】
図９は本発明の実施の形態１の第１補間フィールド画像作成手段１０１での手順を示すフローチャートである。
【００２０】
また、図１０は本発明の実施の形態１の第２補間フィールド画像作成手段１０２での手順を示すフローチャートである。
【００２１】
以上のように構成された映像信号変換装置について、以下、その動作を説明する。
【００２２】
映像信号変換装置の第１補間フィールド画像作成手段１０１に、ＮＴＳＣ方式（走査線数５２５本／毎秒６０フィールド、インターレース走査）の映像信号が入力される。図９を用いて、映像信号変換装置の第１補間フィールド画像作成手段１０１における動作のアルゴリズムを説明する。まず、Ｓ９０１で、１フィールド分（水平７２０画素×垂直２４０ライン）の映像信号を入力する。このフィールド画像を、基準フィールド画像と呼ぶこととする。この基準フィールド画像を構成するラインは、実際の出力画像として見た場合、図２に示すように、１ラインおきに配置される。この出力画像内で、ラインが配置される部分を有画素ライン、配置されない部分を無画素ラインと呼ぶこととする。この無画素ライン上に補間画素を補うことで、出力画像内すべてのラインにデータを有するフレーム画像を作成する。次に、Ｓ９０２で、この無画素ライン上に補う補間画素を生成する。この例では図３に示すように、補間画素を作成する位置の上下にある有画素ラインの画素成分の平均値で作成するものとする。この補間されてできたラインから構成されるフィールド画像を、第１補間フィールド画像と呼ぶ。この第１補間フィールド画像を、Ｓ９０３で出力する。
【００２３】
第１補間フィールド画像作成手段１０１から出力された第１補間フィールド画像は、第２補間フィールド画像作成手段１０２に入力される。図１０を用いて、映像信号変換装置の第２補間フィールド画像作成手段１０２における動作のアルゴリズムを説明する。まず、Ｓ１００１で、１フィールド分の第１補間フィールド画像を入力する。この第１補間フィールド画像を構成するラインは、実際の出力画像として見た場合、図４に示すように、１ラインおきに配置される。次にＳ１００２で、この第１補間フィールド画像の無画素ライン上に補う補間画素を生成する。この例では図５に示すように、補間画素を作成する位置の近傍にある有画素ラインの画素成分の組で差の絶対値が最小となる組の画素値の平均値で作成するものとする。この補間されてできたラインから構成されるフィールド画像を、第２補間フィールド画像と呼ぶ。この第２補間フィールド画像を、Ｓ１００３で出力する。
【００２４】
第２補間フィールド画像作成手段１０２から出力された第２補間フィールド画像は、基準フィールドとともに、混合フィールド画像作成手段１０３に入力される。この例では図６に示すように、図６（ａ）の基準フィールド画像と図６（ｂ）の第２補間フィールド画像の同位置にある画素成分の平均値を用いて図６（ｃ）の混合フィールド画像を作成し出力する。
【００２５】
混合フィールド画像作成手段１０３から出力された混合フィールド画像は、補間フィールド画像とともにフレーム画像作成手段１０４に入力される。この例では図７に示すように、図７（ａ）の混合フィールド画像と図７（ｂ）の補間フィールド画像内のラインをフレーム画像内で交互に配置することで、すべてのラインのデータを持ち、かつ、すべてのラインが補間画素によって構成された図７（ｃ）のフレーム画像を作成し出力する。このフレーム画像は、画像サイズが水平７２０画素×垂直４８０ラインの映像信号となる。
【００２６】
以上の処理を、時間的に連続した基準フィールド画像に対して行うことにより、毎秒６０フレームのプログレッシブ走査方式の映像信号を出力することができる。
【００２７】
以上のように本実施の形態によれば、入力された１フィールド分の画像を基準フィールド画像としたとき、この基準フィールド画像を用いて第１補間フィールド画像を作成する第１補間フィールド画像作成手段と、第１補間フィールド画像を用いて第２補間フィールド画像を作成する第２補間フィールド画像作成手段と、基準フィールド画像と第２補間フィールド画像の画素成分を混合させて混合フィールド画像を作成する混合フィールド画像作成手段と、混合フィールド画像と第１補間フィールド画像の画素成分を併せてフレーム画像を作成するフレーム画像作成手段とを設けることにより、走査線変換時に元のフィールド画像の高域成分を低減することで、ラインフリッカを抑制すると同時に高能率な符号化に適したフレーム画像を得ることができる。
【００２８】
なお、以上の説明では、入力信号をカラーテレビ放送の方式であるＮＴＳＣ方式（走査線数５２５本／毎秒６０フィールド、インターレース走査）、１フィールド分の画像サイズが水平７２０画素×垂直２４０ラインである映像信号としたが、インターレース走査方式の信号であれば走査線数やフィールド数、画像サイズは任意のものでよい。
【００２９】
また、第１補間フィールド画像作成手段１０１で作成される第１補間フィールド画像の画素値は、補間画素を作成する位置の上下にある有画素ラインの画素成分の平均値としたが、補間画素を作成する位置の近傍にある有画素ラインの画素成分の組で差の絶対値が最小となる組の画素値の平均値としたり、従来のインターレース・プログレッシブ変換装置や方法を用いて作成したりするなど、同様の効果が得られるものであれば他の方法であってもかまわない。
【００３０】
また、第２補間フィールド画像作成手段１０２で作成される第２補間フィールド画像の画素値は、補間画素を作成する位置の近傍にある有画素ラインの画素成分の組で差の絶対値が最小となる組の画素値の平均値としたが、補間画素を作成する位置の上下にある有画素ラインの画素成分の平均値としたり、従来のインターレース・プログレッシブ変換装置や方法を用いて作成したりするなど、同様の効果が得られるものであれば他の方法であってもかまわない。
【００３１】
また、混合フィールド画像作成手段１０３で基準フィールドと第２補間フィールドの同位置にある画素成分の混合比を平均値としたが、同位置にある画素に限らず近傍の画素を用いたり、適切な混合比や各近傍画素へのフィルタ係数を与えたりするなど、同様の効果が得られるものであれば他の方法であってもかまわない。
【００３２】
また、フレーム画像作成手段１０４で混合フィールド画像と補間フィールド画像内のラインをフレーム画像内で交互に配置したが、フレーム画像作成手段１０４に入力されたフィールド画像をそのまま用いずに、適切なフィルタを用いてフレーム画像内の画素値を作成したりするなど、同様の効果が得られるものであれば他の方法であってもかまわない。
【００３３】
（実施の形態２）
本発明の実施の形態２における映像信号変換装置の構成を示すブロック図は、図１の構成と同様とする。
【００３４】
図１１は本発明の実施の形態２の第１補間フィールド画像作成手段１０１における処理を示すフローチャートである。
【００３５】
また、図１２は本発明の実施の形態２の第２補間フィールド画像作成手段１０２における処理を示すフローチャートである。
【００３６】
前述の実施の形態１と異なるのは、基準フィールド画像を入力して対応する第１補間フィールド画像を出力する第１補間フィールド画像作成手段１０１において、基準フィールド画像と基準フィールド画像に対して時間的に前後にあるｎフィールド分（ｎは１以上の整数）の参照基準フィールド画像とを入力して第１補間フィールド画像を出力するよう動作した点と、第１補間フィールド画像を入力して対応する第２補間フィールド画像を出力する第２補間フィールド画像作成手段１０２において、第１補間フィールド画像と第１補間フィールド画像に対して時間的に前後にあるｍフィールド分（ｍは１以上の整数）の参照第１補間フィールド画像とを入力して第２補間フィールド画像を出力するよう動作した点である。
【００３７】
よって、以上の点について、図１１および図１２のフローチャートを参照しながらその動作を説明する。
【００３８】
映像信号変換装置の第１補間フィールド画像作成手段１０１に、実施の形態１と同様にＮＴＳＣ方式の映像信号が入力される。図１１を用いて、映像信号変換装置の第１補間フィールド画像作成手段１０１における動作のアルゴリズムを説明する。まず、Ｓ１１０１とＳ１１０２で、第１補間フィールド画像の作成対象となるフィールド画像を基準フィールド画像としたとき、この基準フィールド画像と、基準フィールド画像に対して時間的に前後にある参照基準フィールド画像を、この例では連続した指定枚数３フィールド分となるまで入力する。入力された基準フィールド画像と参照基準フィールド画像を構成する有画素ラインと無画素ラインの位置関係は、図１４のように空間的にも時間的にも交互になっている。次に、Ｓ１１０３で、基準フィールド画像の無画素ライン上に補う補間画素を生成する。この例では図１４に示すように、補間画素を作成する位置の上下にある有画素ラインの画素成分の組と、作成する補間画素と同位置にある前後参照基準フィールド画像の有画素ラインの画素成分の組とのうち、差の絶対値が最小となる組の画素値の平均値で作成するものとする。この補間されてできたラインから構成される第１補間フィールド画像を、Ｓ１１０４で出力する。
【００３９】
第１補間フィールド画像作成手段１０１から出力された第１補間フィールド画像は、第２補間フィールド画像作成手段１０２に入力される。図１２を用いて、映像信号変換装置の第２補間フィールド画像作成手段１０２における動作のアルゴリズムを説明する。まず、Ｓ１２０１とＳ１２０２で、第２補間フィールド画像の作成対象となる第１補間フィールド画像を基準第１補間フィールド画像としたとき、この基準第１補間フィールド画像と、基準第１補間フィールド画像に対して時間的に前後にある参照第１補間フィールド画像を、この例では連続した指定枚数３フィールド分となるまで入力する。入力された基準第１補間フィールド画像と参照第１補間フィールド画像を構成する有画素ラインと無画素ラインの位置関係は、図１５のように空間的にも時間的にも交互になっている。次に、Ｓ１２０３で、基準フィールド画像の無画素ライン上に補う補間画素を生成する。この例では図１５に示すように、補間画素を作成する位置の上下近傍にある有画素ラインの画素成分の組と、作成する補間画素と同位置にある前後参照基準フィールド画像の有画素ラインの画素成分の組とを用いて平均値を算出し、これらの各画素成分と算出した平均値との差の絶対値が最小となる画素値を選択して作成するものとする。この補間されてできたラインから構成される第２補間フィールド画像を、Ｓ１２０４で出力する。
【００４０】
以降の動作は、実施の形態１と同様とする。
【００４１】
以上のように本実施の形態によれば、入力された１フィールド分の画像を基準フィールド画像としたとき、基準フィールド画像と基準フィールド画像に対して時間的に前後にあるｎフィールド分（ｎは１以上の整数）の参照基準フィールド画像とを用いて第１補間フィールド画像を作成する第１補間フィールド画像作成手段と、第１補間フィールド画像と第１補間フィールド画像に対して時間的に前後にあるｍフィールド分（ｍは１以上の整数）の参照第１補間フィールド画像とを用いて第２補間フィールド画像を作成する第２補間フィールド画像作成手段と、基準フィールド画像と第２補間フィールド画像の画素成分を混合させて混合フィールド画像を作成する混合フィールド画像作成手段と、混合フィールド画像と第１補間フィールド画像の画素成分を併せてフレーム画像を作成するフレーム画像作成手段とを設けることにより、実施の形態１における効果に加えて、動きのある画像と動きのない画像に応じて高域成分を削減することができる。
【００４２】
なお、第１補間フィールド画像作成手段１０１および第２補間フィールド画像作成手段１０２に入力するフィールド画像を、連続した指定枚数３フィールド分としたが、連続せずともよく、また、任意の枚数を用いてもよい。
【００４３】
また、第１補間フィールド画像作成手段１０１で作成される第１補間フィールド画像の画素値は、補間画素を作成する位置の上下にある有画素ラインの画素成分の組と、作成する補間画素と同位置にある前後参照基準フィールド画像の有画素ラインの画素成分の組とのうち、差の絶対値が最小となる組の画素値の平均値で作成したが、補間画素を作成する位置の上下近傍にある有画素ラインの画素成分の組と、作成する補間画素と同位置にある前後参照基準フィールド画像の有画素ラインの画素成分の組とを用いて平均値を算出し、これらの各画素成分と算出した平均値との差の絶対値が最小となる画素値を選択して作成するなど、同様の効果が得られるものであれば他の方法であってもかまわない。
【００４４】
また、第２補間フィールド画像作成手段１０２で作成される第２補間フィールド画像の画素値は、補間画素を作成する位置の上下近傍にある有画素ラインの画素成分の組と、作成する補間画素と同位置にある前後参照基準フィールド画像の有画素ラインの画素成分の組とを用いて平均値を算出し、これらの各画素成分と算出した平均値との差の絶対値が最小となる画素値を選択して作成したが、補間画素を作成する位置の上下にある有画素ラインの画素成分の組と、作成する補間画素と同位置にある前後参照基準フィールド画像の有画素ラインの画素成分の組とのうち、差の絶対値が最小となる組の画素値の平均値で作成するなど、同様の効果が得られるものであれば他の方法であってもかまわない。
【００４５】
（実施の形態３）
本発明の実施の形態３における映像信号変換装置の構成を示すブロック図は、図１の構成と同様とする。
【００４６】
本発明の実施の形態３の第１補間フィールド画像作成手段１０１および第２補間フィールド画像作成手段１０２における処理を示すフローチャートは、図９と同様とする。
【００４７】
また、図８（ａ）は本発明の実施の形態１の第１補間フィールド画像作成手段１０１および第２補間フィールド画像作成手段１０２における処理時間を示すタイムチャートである。図８（ｂ）は本発明の実施の形態３の第１補間フィールド画像作成手段１０１および第２補間フィールド画像作成手段１０２における処理時間を示すタイムチャートである。
【００４８】
前述の実施の形態１および実施の形態２と異なるのは、基準フィールド画像を入力して対応する第１補間フィールド画像を出力する第１補間フィールド画像作成手段１０１と、第１補間フィールド画像を入力して対応する第２補間フィールド画像を出力する第２補間フィールド画像作成手段１０２とを、同様の処理となるようにした点である。
【００４９】
よって、以上の点について、図９のフローチャートと図８のタイムチャートを参照しながらその動作を説明する。
【００５０】
映像信号変換装置の第１補間フィールド画像作成手段１０１に、実施の形態１と同様にＮＴＳＣ方式の映像信号が入力される。図９を用いて、映像信号変換装置の第１補間フィールド画像作成手段１０１における動作のアルゴリズムを説明する。まず、Ｓ９０１で、第１補間フィールド画像の作成対象となるフィールド画像を基準フィールド画像としたとき、この基準フィールド画像１フィールド分の映像信号を入力する。次に、Ｓ９０２で、基準フィールド画像の無画素ライン上に補う補間画素を、この例では図３に示すように、補間画素を作成する位置の上下にある有画素ラインの画素成分の平均値で作成する。この補間されてできたラインから構成される第１補間フィールド画像を、Ｓ９０３で出力する。
【００５１】
第１補間フィールド画像作成手段１０１から出力された第１補間フィールド画像は、第２補間フィールド画像作成手段１０２に入力される。第２補間フィールド画像作成手段１０２の動作も、前記第１補間フィールド画像作成手段１０１と同様とする。
【００５２】
以降の動作は、実施の形態１と同様とする。
【００５３】
ここで、図８のタイムチャートを用いて、本発明の実施の形態１と実施の形態３における、第１補間フィールド画像作成手段１０１および第２補間フィールド画像作成手段１０２の処理の違いについて説明する。チャート内の数字は処理中のフィールド番号を示している。本発明の実施の形態１では、図８（ａ）に示すように、第１補間フィールド画像作成手段１０１の第１補間フィールド画像作成工程と、第２補間フィールド画像作成手段１０２の第２補間フィールド画像作成工程とで、１フィールド分の補間画素を作成する処理時間が異なる。このため、第２補間フィールド画像作成工程が完了していないところで次の処理すべきフィールド画像が送られてきた場合、現在の処理が完了するまで送られてきたフィールド画像をメモリに保持しておく必要がある。
【００５４】
これに対して、本発明の実施の形態３では、図８（ｂ）に示すように、第１補間フィールド画像作成手段１０１の第１補間フィールド画像作成工程と、第２補間フィールド画像作成手段１０２の第２補間フィールド画像作成工程とで、１フィールド分の補間画素を作成する処理時間が等しくなっている。そのため、送られてきたフィールド画像をメモリに保持しておく必要がなく、パイプライン化で処理することができる。
【００５５】
以上のように本実施の形態によれば、実施の形態１または２と同様の構成を備え、第１補間フィールド画像作成手段と第２補間フィールド画像作成手段を、同一処理内容で実現することにより、実施の形態１または２における効果に加えて、処理の一部をパイプライン化することができるため、処理に必要なデータを保持するメモリを削減することができる。
【００５６】
なお、第１補間フィールド画像作成手段１０１および第２補間フィールド画像作成手段１０２に入力するフィールド画像を、実施の形態１と同様の１フィールド分としたが、実施の形態２で示したように複数フィールドを用いてもよい。
【００５７】
また、第１補間フィールド画像作成手段１０１および第２補間フィールド画像作成手段１０２で作成される第１補間フィールド画像の画素値は、補間画素を作成する位置の上下にある有画素ラインの画素成分の平均値としたが、補間画素を作成する位置の近傍にある有画素ラインの画素成分の組で差の絶対値が最小となる組の画素値の平均値としたり、従来のインターレース・プログレッシブ変換装置や方法を用いて作成したりするなど、同様の効果が得られるものであれば他の方法であってもかまわない。
【００５８】
（実施の形態４）
図１３は、本発明の実施の形態４における映像信号変換装置の構成を示すブロック図である。図１３に示す映像信号変換装置は、補間フィールド画像作成手段１３０１と、作成画像判定手段１３０２と、混合フィールド画像作成手段１３０３と、フレーム画像作成手段１３０４とを備えている。
【００５９】
本発明の実施の形態４の補間フィールド画像作成手段１３０２での手順を示すフローチャートは、図９と同様とする。
【００６０】
前述の実施の形態１および実施の形態２および実施の形態３と異なるのは、基準フィールド画像を入力して対応する第１補間フィールド画像を出力する手段と、第１補間フィールド画像を入力して対応する第２補間フィールド画像を出力する手段とを、同一の補間フィールド画像作成手段１３０１とし、作成画像判定手段１３０２を備えた点である。
【００６１】
以上のように構成された映像信号変換装置について、以下、その動作を説明する。
【００６２】
映像信号変換装置の補間フィールド画像作成手段１３０１に、実施の形態１と同様にＮＴＳＣ方式の映像信号が入力される。図９を用いて、映像信号変換装置の補間フィールド画像作成手段１３０１における動作のアルゴリズムを説明する。まず、Ｓ９０１で、第１補間フィールド画像の作成対象となるフィールド画像を基準フィールド画像としたとき、この基準フィールド画像１フィールド分の映像信号を入力する。次に、Ｓ９０２で、基準フィールド画像の無画素ライン上に補う補間画素を、この例では図３に示すように、補間画素を作成する位置の上下にある有画素ラインの画素成分の平均値で作成する。この補間されてできたラインから構成される第１補間フィールド画像を、Ｓ９０３で出力する。
【００６３】
補間フィールド画像作成手段１３０１から出力された第１補間フィールド画像は、作成画像判定手段１３０２内にあるフラグを立てて、再び補間フィールド画像作成手段１３０１に入力される。
【００６４】
補間フィールド画像作成手段１３０１から出力された第２補間フィールド画像は、次に、作成画像判定手段１３０２内にあるフラグが立っていることを確認して混合フィールド画像作成手段１３０３に送られ、フラグを下ろす。
【００６５】
以降の動作は、実施の形態１と同様とする。
【００６６】
以上のように本実施の形態によれば、任意のフィールド画像を入力して対応する補間フィールド画像を出力する補間フィールド画像作成手段と、補間フィールド画像作成手段の処理回数により補間フィールド画像の出力先を判定する作成画像判定手段と、同じ位相を持つ２枚のフィールド画像の画素成分を混合させて同じ位相を持つ１枚の混合フィールド画像を出力する混合フィールド画像作成手段と、異なる位相を持つ２枚のフィールド画像の画素成分を併せて１枚のフレーム画像を出力するフレーム画像作成手段とを設け、入力された１フィールド分の画像を基準フィールド画像としたとき、基準フィールド画像を用いて補間フィールド画像作成手段で第１補間フィールド画像を作成し、作成画像判定手段で前記第１補間フィールド画像を再び補間フィールド画像作成手段とフレーム画像作成手段に入力し、第１補間フィールド画像を用いて補間フィールド画像作成手段で第２補間フィールド画像を作成し、作成画像判定手段で前記第２補間フィールド画像を前記混合フィールド画像作成手段に入力し、基準フィールド画像と第２補間フィールド画像の画素成分を混合フィールド画像作成手段で混合させて混合フィールド画像を作成し、混合フィールド画像と第１補間フィールド画像の画素成分をフレーム画像作成手段で併せてフレーム画像を作成することにより、実施の形態１または実施の形態２または実施の形態３における効果に加えて、補間フィールド画像を作成する回路規模を削減することができる。
【００６７】
なお、作成画像判定手段１３０２では、処理回数を示すためにフラグを用いたが、処理回数を示すカウンタを用いるなど、同様の効果が得られるものであれば他の方法であってもかまわない。
【００６８】
【発明の効果】
以上のように本発明は、走査線変換時に元のフィールド画像の高域成分を低減することで、ラインフリッカを抑制すると同時に高能率な符号化に適したフレーム画像を得ることができるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１および実施の形態２および実施の形態３における映像信号変換装置の構成を示すブロック図
【図２】本発明の実施の形態１における基準フィールド画像を構成するラインを出力画像に配置して示した説明図
【図３】本発明の実施の形態１における第１補間フィールド画像作成手段１０１で無画素ライン上に補う補間画素を作成する際に用いる画素の位置を示す説明図
【図４】本発明の実施の形態１における第１補間フィールド画像を構成するラインを出力画像に配置して示した説明図
【図５】本発明の実施の形態１における第２補間フィールド画像作成手段１０２で無画素ライン上に補う補間画素を作成する際に用いる画素の位置を示す説明図
【図６】本発明の実施の形態１における混合フィールド画像作成手段１０３で基準フィールド画像と第２補間フィールド画像と混合フィールド画像において対応する画素の位置を示す説明図
【図７】本発明の実施の形態１におけるフレーム画像作成手段１０４で混合フィールド画像と第１補間フィールド画像とフレーム画像において対応する画素の位置を示す説明図
【図８】本発明の実施の形態１および実施の形態３における第１補間フィールド画像作成手段１０１および第２補間フィールド画像作成手段１０２の処理時間を示すタイムチャート
【図９】本発明の実施の形態１および実施の形態３および実施の形態４における第１補間フィールド画像作成手段１０１もしくは第２補間フィールド画像作成手段１０２での手順を示すフローチャート
【図１０】本発明の実施の形態１における第２補間フィールド画像作成手段１０２での手順を示すフローチャート
【図１１】本発明の実施の形態２における第１補間フィールド画像作成手段１０１での手順を示すフローチャート
【図１２】本発明の実施の形態２における第２補間フィールド画像作成手段１０２での手順を示すフローチャート
【図１３】本発明の実施の形態４における映像信号変換装置の構成を示すブロック図
【図１４】本発明の実施の形態２における入力された基準フィールド画像と参照基準フィールド画像を構成する有画素ラインと無画素ラインの位置関係と補間に用いる画素の位置を示す説明図
【図１５】本発明の実施の形態２における入力された基準第１補間フィールド画像と参照第１補間フィールド画像を構成する有画素ラインと無画素ラインの位置関係と補間に用いる画素の位置を示す説明図
【図１６】本発明が解決しようとする課題における時間的に連続したフレーム画像ごとの補間ラインの位置を示す説明図
【符号の説明】
１０１第１補間フィールド画像作成手段
１０２第２補間フィールド画像作成手段
１０３混合フィールド画像作成手段
１０４フレーム画像作成手段
１３０１補間フィールド画像作成手段
１３０２作成画像判定手段
１３０３混合フィールド画像作成手段
１３０４フレーム画像作成手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video signal conversion device and a video signal conversion method for converting an input field image into a frame image and outputting the frame image.
[0002]
[Prior art]
2. Description of the Related Art In recent years, in the field of digital video signals, there has been an increasing movement to display video signals of the current television system, NTSC system, not only on ordinary televisions but also on display devices of different scanning systems, such as monitor screens for personal computers. Therefore, a video signal conversion process for converting an input video signal is indispensable. In particular, in order to display a video signal of interlaced scanning (interlaced scanning) on a progressive scan (non-interlaced scanning, progressive scanning) compatible display device, a line constituting a field image and an interpolation line for interpolating between these lines are required. It is necessary to obtain one frame image in combination, and various scanning line conversion methods have been proposed.
[0003]
As such a scanning line conversion method, for example, a method described in JP-A-2002-185934 (Matsushita Electric Industrial) is known. First, a vertical interpolation value is calculated using pixels located vertically above and below the position of the pixel to be interpolated. Next, from a set of pixels positioned obliquely with respect to the position of the pixel to be interpolated, an average value in the oblique direction is calculated for a set selected based on the angle of the oblique edge obtained from the absolute value of the difference. calculate. Finally, a mixed value obtained by mixing the vertical direction interpolation value and the oblique direction average value at a ratio corresponding to the oblique direction difference absolute value is set as an interpolation pixel value. That is, scanning line conversion can be performed by creating an interpolation line using pixels in the input video signal that are spatially strongly related to the position of the pixel to be interpolated.
[0004]
In addition, as disclosed in Japanese Patent Application Laid-Open No. 8-130716 (JVC), first, an intra-image interpolation signal generated from spatially upper and lower scanning lines of a scanning line to be interpolated is created. Next, an inter-image interpolation signal generated from an image that precedes and succeeds the scanning line to be interpolated in time is created. Finally, an interpolation signal is obtained by adaptively mixing the intra-image interpolation signal and the inter-image interpolation signal at a ratio according to the state of the image. In the case of a moving image, an interpolation signal is generated from an intra-image interpolation signal, and in the case of a motionless image, an interpolation signal is generated from an inter-image interpolation signal. That is, scanning line conversion can be performed by creating an interpolation line using pixels in the input video signal that are temporally strongly related to the position of the pixel to be interpolated.
[0005]
With the above-described method, the current NTSC video signal can be displayed on a display device having a different scanning system.
[0006]
[Patent Document 1]
JP-A-2002-185934, page 1 [Solution]
[Patent Document 2]
JP-A-8-130716, page 1
[Constitution]
[0007]
[Problems to be solved by the invention]
In a conventional scanning line conversion process, an interpolation field image composed of interpolation lines has a reduced high-frequency component as compared with an input field image.
[0008]
In addition, when viewed temporally consecutively, as shown in FIG. 16, the position of the interpolation line is alternately shifted line by line for each output frame image. That is, focusing on one line on a continuous output frame image, a line having a high-frequency component and a line with a reduced high-frequency component are output alternately. Since this situation occurs for all lines on the output frame image, there is a problem that flicker (line flicker) occurs as a result on the entire screen.
[0009]
Also, when the NTSC video signal is displayed on a portable terminal or the like, in order to increase the transmission efficiency, the video signal is compressed and coded using a high-efficiency coding method such as MPEG (Moving Picture Experts Group) and transmitted. The mobile terminal decodes and displays the compressed and coded video signal. That is, it is conceivable to further perform post-processing such as high-efficiency encoding processing on an image obtained by converting the scanning method from an input video signal. One method for performing high-efficiency compression encoding is to reduce high-frequency components of the video signal before encoding. However, the conventional scanning line conversion processing has been intended only to improve the quality of the converted video, and thus no consideration has been given to efficient encoding in the subsequent processing.
[0010]
SUMMARY OF THE INVENTION The present invention solves the above-mentioned conventional problems. By reducing high-frequency components of an original field image at the time of scanning line conversion, it suppresses line flicker and simultaneously obtains a frame image suitable for highly efficient encoding. It is an object of the present invention to provide a video signal conversion device capable of performing the above.
[0011]
[Means for Solving the Problems]
In order to achieve this object, the video signal conversion apparatus according to the present invention, when an input image for one field is used as a reference field image, uses a reference field image to generate a first interpolation field image using a first interpolation field image creating means. A field image is created, a second interpolation field image is created by a second interpolation field image creation unit using the first interpolation field image, and pixel components of the reference field image and the second interpolation field image are mixed by a mixed field image creation unit. The mixed field image is created by mixing, and the frame image is created by combining the pixel components of the mixed field image and the first interpolation field image by the frame image creating means.
[0012]
With this configuration, by reducing the high-frequency components of the original field image during scanning line conversion, it is possible to suppress line flicker and obtain a frame image suitable for highly efficient encoding.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
According to the first aspect of the present invention, when an image for one input field is used as a reference field image, a first interpolation field image creating means for creating a first interpolation field image using the reference field image A second interpolated field image creating means for creating a second interpolated field image using the first interpolated field image; and mixing the pixel components of the reference field image and the second interpolated field image to form a mixed field image. A video signal conversion device comprising: a mixed field image generating means for generating; and a frame image generating means for generating a frame image by combining pixel components of the mixed field image and the first interpolated field image. Reduces line flicker by reducing high-frequency components of the original field image during line conversion At the same time an effect that it is possible to obtain a frame image suitable for high-efficiency coding.
[0014]
According to a ninth aspect of the present invention, when an input image for one field is used as a reference field image, n fields (n is 1) that are temporally before and after the reference field image and the reference field image are used. First interpolated field image generating means for generating a first interpolated field image using the above-mentioned reference reference field image, and temporally before and after the first interpolated field image and the first interpolated field image. A second interpolated field image creating means for creating a second interpolated field image using m reference fields (m is an integer of 1 or more) for m fields, and the reference field image and the second interpolated field image A mixed field image creating means for creating a mixed field image by mixing pixel components of the field image; A video signal conversion device comprising: a frame image generation unit configured to generate a frame image by combining the pixel components of the first interpolation field image. With this configuration and operation, in addition to the operation in claim 1, This has the effect that high-frequency components can be reduced according to a moving image and a non-moving image.
[0015]
The invention according to a seventeenth aspect has the same configuration as the invention according to the first or ninth aspect, wherein the first interpolation field image creation means and the second interpolation field image creation means have the same processing content. With this configuration, in addition to the effect of claim 1 or claim 9, a part of the processing can be pipelined, so that a memory for holding data necessary for the processing can be provided. It has the effect that it can be reduced.
[0016]
The invention according to claim 18 is configured such that an interpolated field image generating means for inputting an arbitrary field image and outputting a corresponding interpolated field image, and an output destination of the interpolated field image based on the number of processes of the interpolated field image generating means. Means for judging a created image; means for mixing pixel components of two field images having the same phase to output one mixed field image having the same phase; and two means having different phases. And a frame image generating means for outputting a single frame image by combining the pixel components of the field image. When the input image for one field is set as a reference field image, the interpolation is performed using the reference field image. A first interpolated field image is created by a field image creating means, and the first interpolated field image is created by the created image determining means. The field image is again input to the interpolation field image creation means and the frame image creation means, and the interpolation field image creation means creates a second interpolation field image using the first interpolation field image. Inputting the second interpolated field image to the mixed field image creating means, mixing the pixel components of the reference field image and the second interpolated field image by the mixed field image creating means to create a mixed field image, 10. A video signal conversion device, wherein a pixel image of a mixed field image and a pixel component of the first interpolation field image are combined by a frame image creation means to form a frame image. 18. A circuit scale for creating an interpolated field image in addition to the function of claim 17. Such an action can be reduced.
[0017]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of a video signal conversion device according to Embodiment 1 of the present invention. The video signal conversion device shown in FIG. 1 includes a first interpolated field image creating unit 101, a second interpolated field image creating unit 102, a mixed field image creating unit 103, and a frame image creating unit 104.
[0019]
FIG. 9 is a flowchart showing a procedure in the first interpolation field image creating means 101 according to the first embodiment of the present invention.
[0020]
FIG. 10 is a flowchart showing a procedure in the second interpolation field image creating means 102 according to the first embodiment of the present invention.
[0021]
The operation of the video signal conversion device configured as described above will be described below.
[0022]
An NTSC video signal (525 scanning lines / 60 fields per second, interlaced scanning) is input to the first interpolated field image creating means 101 of the video signal converter. The algorithm of the operation in the first interpolated field image creating means 101 of the video signal conversion device will be described with reference to FIG. First, in step S901, a video signal of one field (720 horizontal pixels × 240 vertical lines) is input. This field image is referred to as a reference field image. The lines constituting the reference field image are arranged every other line as shown in FIG. 2 when viewed as an actual output image. In this output image, a portion where a line is arranged is referred to as a pixel line, and a portion where the line is not arranged is referred to as a non-pixel line. By complementing the interpolated pixels on the non-pixel line, a frame image having data in all lines in the output image is created. Next, in S902, an interpolated pixel to be supplemented on the non-pixel line is generated. In this example, as shown in FIG. 3, it is assumed that the interpolated pixel is created using the average value of the pixel components of the pixel lines above and below the position where the interpolated pixel is created. The field image composed of the interpolated lines is referred to as a first interpolated field image. This first interpolation field image is output in S903.
[0023]
The first interpolated field image output from the first interpolated field image generating means 101 is input to the second interpolated field image generating means 102. The algorithm of the operation in the second interpolated field image creating means 102 of the video signal conversion device will be described with reference to FIG. First, in step S1001, a first interpolation field image for one field is input. Lines constituting the first interpolated field image are arranged every other line as shown in FIG. 4 when viewed as an actual output image. Next, in S1002, an interpolated pixel to be supplemented on the non-pixel line of the first interpolated field image is generated. In this example, as shown in FIG. 5, it is assumed that the interpolated pixel is created with the average value of the pixel values of the set of pixel components in the pixel line near the position where the interpolated pixel is created, the absolute value of the difference being the minimum. . The field image composed of the interpolated lines is called a second interpolated field image. This second interpolation field image is output in S1003.
[0024]
The second interpolated field image output from the second interpolated field image generating means 102 is input to the mixed field image generating means 103 together with the reference field. In this example, as shown in FIG. 6, the average value of the pixel components at the same position in the reference field image of FIG. 6A and the second interpolation field image of FIG. Create and output a mixed field image.
[0025]
The mixed field image output from the mixed field image generating means 103 is input to the frame image generating means 104 together with the interpolated field image. In this example, as shown in FIG. 7, the lines in the mixed field image in FIG. 7A and the lines in the interpolation field image in FIG. A frame image shown in FIG. 7C, which has all the lines and the interpolation pixels, is generated and output. This frame image is a video signal having an image size of 720 horizontal pixels × 480 vertical lines.
[0026]
By performing the above processing on a temporally continuous reference field image, a progressive scanning video signal of 60 frames per second can be output.
[0027]
As described above, according to the present embodiment, when an input image for one field is used as a reference field image, a first interpolation field image creation unit that creates a first interpolation field image using the reference field image A second interpolated field image creating means for creating a second interpolated field image using the first interpolated field image, and a mixing unit for creating a mixed field image by mixing the pixel components of the reference field image and the second interpolated field image. By providing a field image creating means and a frame image creating means for creating a frame image by combining the pixel components of the mixed field image and the first interpolated field image, a high-frequency component of the original field image is reduced at the time of scanning line conversion. To suppress line flicker and obtain a frame image suitable for highly efficient encoding Door can be.
[0028]
In the above description, an input signal is an NTSC system (525 scanning lines / 60 fields per second, interlaced scanning) which is a system of color television broadcasting, and the image size for one field is 720 pixels horizontally × 240 lines vertically. Although the video signal is used, the number of scanning lines, the number of fields, and the image size may be arbitrary as long as the signal is an interlaced scanning signal.
[0029]
The pixel value of the first interpolation field image created by the first interpolation field image creation means 101 is the average value of the pixel components of the pixel lines above and below the position where the interpolation pixel is created. The average value of the pixel values of the pair having the smallest absolute value of the difference between the pixel components of the pixel line in the vicinity of the position to be created is created, or created using a conventional interlace-progressive conversion device or method. For example, another method may be used as long as the same effect can be obtained.
[0030]
The pixel value of the second interpolated field image created by the second interpolated field image creating means 102 is set such that the absolute value of the difference is the minimum in the set of pixel components of the pixel line near the position where the interpolated pixel is created. Although the average value of a set of pixel values is used, the average value of the pixel components of the pixel lines above and below the position where the interpolation pixel is created may be used, or may be created using a conventional interlace-progressive conversion device or method. For example, another method may be used as long as the same effect can be obtained.
[0031]
Further, the mixture ratio of the pixel components at the same position in the reference field and the second interpolation field is set to the average value by the mixed field image creation means 103, but not only the pixels at the same position but also neighboring pixels may be used. Other methods may be used as long as similar effects can be obtained, such as giving a mixing ratio or a filter coefficient to each neighboring pixel.
[0032]
Further, the lines in the mixed field image and the interpolated field images are alternately arranged in the frame image by the frame image creating means 104, but an appropriate filter is used without using the field image input to the frame image creating means 104 as it is. For example, other methods may be used as long as the same effects can be obtained, such as creating a pixel value in a frame image.
[0033]
(Embodiment 2)
The block diagram showing the configuration of the video signal conversion device according to Embodiment 2 of the present invention is the same as the configuration shown in FIG.
[0034]
FIG. 11 is a flowchart showing processing in the first interpolated field image creating means 101 according to the second embodiment of the present invention.
[0035]
FIG. 12 is a flowchart showing processing in the second interpolated field image creating means 102 according to the second embodiment of the present invention.
[0036]
The difference from the first embodiment is that the first interpolated field image creating means 101 that inputs the reference field image and outputs the corresponding first interpolated field image is temporally different from the reference field image and the reference field image. Correspond to inputting the first interpolated field image and outputting the first interpolated field image by inputting n reference fields image (n is an integer of 1 or more) before and after n fields. The second interpolated field image generating means 102 for outputting the second interpolated field image includes a first interpolated field image and m fields (m is an integer of 1 or more) temporally before and after the first interpolated field image. This is the point that the operation is performed to input the reference first interpolation field image and output the second interpolation field image.
[0037]
Therefore, the operation of the above points will be described with reference to the flowcharts of FIGS.
[0038]
As in the first embodiment, an NTSC video signal is input to the first interpolated field image creating means 101 of the video signal conversion device. The algorithm of the operation in the first interpolated field image creating means 101 of the video signal conversion device will be described with reference to FIG. First, in S1101 and S1102, when the field image for which the first interpolation field image is to be created is set as the reference field image, this reference field image and the reference reference field image temporally before and after the reference field image are compared. In this example, the input is continued until the number of consecutive designated sheets becomes three fields. The positional relationship between the pixel lines and the non-pixel lines constituting the input reference field image and the reference reference field image is spatially and temporally alternated as shown in FIG. Next, in S1103, an interpolated pixel to be supplemented on the non-pixel line of the reference field image is generated. In this example, as shown in FIG. 14, a set of pixel components of a pixel line above and below a position at which an interpolation pixel is to be created, and a pixel of a pixel line of a front-back reference field image at the same position as the interpolation pixel to be created It is assumed that the average value of the pixel values of the pair having the smallest absolute value of the difference among the component pairs is created. A first interpolated field image composed of the interpolated lines is output in S1104.
[0039]
The first interpolated field image output from the first interpolated field image generating means 101 is input to the second interpolated field image generating means 102. The algorithm of the operation in the second interpolated field image creation means 102 of the video signal conversion device will be described with reference to FIG. First, in S1201 and S1202, when the first interpolation field image for which the second interpolation field image is to be created is set as the reference first interpolation field image, the reference first interpolation field image and the reference first interpolation field image are compared. In this example, the reference first interpolated field images which are temporally before and after are input until the specified number of continuous fields becomes three fields. The positional relationship between the pixel lines and the non-pixel lines constituting the input reference first interpolation field image and reference first interpolation field image is alternated spatially and temporally as shown in FIG. Next, in step S1203, an interpolated pixel to be supplemented on the non-pixel line of the reference field image is generated. In this example, as shown in FIG. 15, a set of pixel components of a pixel line in the upper and lower vicinity of the position at which the interpolation pixel is created and the pixel components of the front and rear reference field images at the same position as the interpolation pixel to be created. An average value is calculated using a set of pixel components, and a pixel value that minimizes the absolute value of the difference between each pixel component and the calculated average value is selected and created. The second interpolated field image composed of the interpolated lines is output in S1204.
[0040]
Subsequent operations are the same as in the first embodiment.
[0041]
As described above, according to the present embodiment, when an image for one input field is set as a reference field image, n fields (n is A first interpolated field image generating means for generating a first interpolated field image using a reference reference field image of 1 or more integers); A second interpolated field image creating means for creating a second interpolated field image using reference m first interpolated field images for m fields (m is an integer of 1 or more); and a reference interpolated field image and a second interpolated field image. A mixed field image creating means for creating a mixed field image by mixing pixel components; a mixed field image and a first interpolation field image; By providing a frame image creating means for creating a frame image by combining the pixel components of the above, in addition to the effect of the first embodiment, it is possible to reduce high-frequency components according to a moving image and a non-moving image. Can be.
[0042]
Although the field images to be input to the first interpolation field image creation means 101 and the second interpolation field image creation means 102 are set to three consecutive specified fields, they may not be continuous, and any number of fields may be used. You may.
[0043]
The pixel values of the first interpolated field image created by the first interpolated field image creating means 101 are the same as the set of pixel components of the pixel line above and below the position where the interpolated pixel is created, and the same as the interpolated pixel to be created. Of the set of pixel components of the pixel line of the preceding and following reference field image at the position, the average value of the pixel values of the group with the smallest absolute value of the difference was created. The average value is calculated using the set of the pixel components of the pixel line in the pixel line and the set of the pixel components of the pixel line of the preceding and following reference field image at the same position as the interpolation pixel to be created. Other methods may be used as long as a similar effect is obtained, such as selecting and creating a pixel value that minimizes the absolute value of the difference from the calculated average value.
[0044]
The pixel values of the second interpolated field image created by the second interpolated field image creating means 102 include a set of pixel components of a pixel line located above and below the position at which the interpolated pixel is created, An average value is calculated using a set of pixel components of a pixel line of a preceding and following reference field image at the same position, and a pixel value at which the absolute value of the difference between each of these pixel components and the calculated average value is minimized Was selected and created, but a set of pixel components of a pixel line above and below the position where an interpolation pixel is created, and a pixel component of a pixel line of a preceding and succeeding reference field image at the same position as the interpolation pixel to be created. Other methods may be used as long as a similar effect can be obtained, such as by creating an average value of the pixel values of the pair in which the absolute value of the difference is the smallest among the pairs.
[0045]
(Embodiment 3)
The block diagram showing the configuration of the video signal conversion device according to Embodiment 3 of the present invention is the same as the configuration shown in FIG.
[0046]
The flowchart showing the processing in the first interpolation field image creation means 101 and the second interpolation field image creation means 102 according to the third embodiment of the present invention is the same as that in FIG.
[0047]
FIG. 8A is a time chart showing the processing time in the first interpolation field image creation means 101 and the second interpolation field image creation means 102 according to the first embodiment of the present invention. FIG. 8B is a time chart showing the processing time in the first interpolation field image creation means 101 and the second interpolation field image creation means 102 according to the third embodiment of the present invention.
[0048]
The first embodiment differs from the first and second embodiments in that a first interpolated field image creating unit 101 that inputs a reference field image and outputs a corresponding first interpolated field image, and that receives a first interpolated field image are input. The second interpolation field image generating means 102 that outputs a corresponding second interpolation field image is configured to perform the same processing.
[0049]
Therefore, the operation of the above points will be described with reference to the flowchart of FIG. 9 and the time chart of FIG.
[0050]
As in the first embodiment, an NTSC video signal is input to the first interpolated field image creating means 101 of the video signal conversion device. The algorithm of the operation in the first interpolated field image creating means 101 of the video signal conversion device will be described with reference to FIG. First, in step S901, when a field image for which a first interpolation field image is to be created is set as a reference field image, a video signal for one field of the reference field image is input. Next, in S902, the interpolated pixel to be supplemented on the non-pixel line of the reference field image is, as shown in FIG. 3, the average value of the pixel components of the pixel lines above and below the position where the interpolated pixel is created. create. A first interpolated field image composed of the interpolated lines is output in S903.
[0051]
The first interpolated field image output from the first interpolated field image generating means 101 is input to the second interpolated field image generating means 102. The operation of the second interpolation field image creation means 102 is the same as that of the first interpolation field image creation means 101.
[0052]
Subsequent operations are the same as in the first embodiment.
[0053]
Here, with reference to the time chart of FIG. 8, a description will be given of a difference between the processes of the first interpolation field image creation unit 101 and the second interpolation field image creation unit 102 according to the first embodiment and the third embodiment of the present invention. . The numbers in the chart indicate the field numbers being processed. In the first embodiment of the present invention, as shown in FIG. 8A, a first interpolation field image creation step of the first interpolation field image creation means 101 and a second interpolation field image creation step of the second interpolation field image creation means 102 The processing time for creating an interpolation pixel for one field differs between the image creation step and the image creation step. For this reason, when a field image to be processed next is sent where the second interpolation field image creation step has not been completed, the transmitted field image is held in the memory until the current processing is completed. There is a need.
[0054]
On the other hand, in the third embodiment of the present invention, as shown in FIG. 8B, the first interpolation field image creation step of the first interpolation field image creation means 101 and the second interpolation field image creation means 102 In the second interpolation field image creation step, the processing time for creating one field of interpolation pixels is equal. Therefore, it is not necessary to hold the sent field image in the memory, and the field image can be processed by pipelining.
[0055]
As described above, according to the present embodiment, a configuration similar to that of Embodiment 1 or 2 is provided, and the first interpolation field image creation unit and the second interpolation field image creation unit are realized with the same processing content. In addition to the effects of the first or second embodiment, since a part of the processing can be pipelined, a memory for holding data necessary for the processing can be reduced.
[0056]
The field images input to the first interpolated field image creating means 101 and the second interpolated field image creating means 102 are the same as those of the first embodiment for one field. Fields may be used.
[0057]
Also, the pixel values of the first interpolation field image created by the first interpolation field image creation means 101 and the second interpolation field image creation means 102 are the pixel values of the pixel components of the pixel line above and below the position where the interpolation pixel is created. Although the average value is used, the average value of the pixel values of the set in which the absolute value of the difference is the smallest in the set of pixel components of the pixel line near the position where the interpolation pixel is created, or a conventional interlace-progressive conversion device Other methods may be used as long as similar effects can be obtained, such as by using the method described above.
[0058]
(Embodiment 4)
FIG. 13 is a block diagram showing a configuration of a video signal conversion device according to Embodiment 4 of the present invention. The video signal conversion device shown in FIG. 13 includes an interpolation field image creation unit 1301, a created image determination unit 1302, a mixed field image creation unit 1303, and a frame image creation unit 1304.
[0059]
The flowchart showing the procedure in the interpolated field image creating means 1302 according to the fourth embodiment of the present invention is the same as that in FIG.
[0060]
The difference from the first, second, and third embodiments is that a reference field image is input and a corresponding first interpolation field image is output, and the first interpolation field image is input. The means for outputting the corresponding second interpolated field image is the same interpolated field image creating means 1301 and is provided with the created image determining means 1302.
[0061]
The operation of the video signal conversion device configured as described above will be described below.
[0062]
As in the first embodiment, an NTSC video signal is input to the interpolated field image generating means 1301 of the video signal conversion device. The algorithm of the operation in the interpolated field image creation unit 1301 of the video signal conversion device will be described with reference to FIG. First, in step S901, when a field image for which a first interpolation field image is to be created is set as a reference field image, a video signal for one field of the reference field image is input. Next, in S902, the interpolated pixel to be supplemented on the non-pixel line of the reference field image is, as shown in FIG. 3, the average value of the pixel components of the pixel lines above and below the position where the interpolated pixel is created. create. A first interpolated field image composed of the interpolated lines is output in S903.
[0063]
The first interpolated field image output from the interpolated field image creating unit 1301 is set to a flag in the created image determining unit 1302, and is again input to the interpolated field image creating unit 1301.
[0064]
Next, the second interpolated field image output from the interpolated field image creating means 1301 is sent to the mixed field image creating means 1303 after confirming that a flag in the created image determining means 1302 is set, and Lower it.
[0065]
Subsequent operations are the same as in the first embodiment.
[0066]
As described above, according to the present embodiment, an interpolated field image generating means for inputting an arbitrary field image and outputting a corresponding interpolated field image, and an output destination of the interpolated field image depending on the number of processes of the interpolated field image generating means A mixed field image generating means for mixing pixel components of two field images having the same phase and outputting one mixed field image having the same phase; Frame image generating means for outputting a single frame image by combining the pixel components of the two field images, and when an image for one input field is used as a reference field image, an interpolation field is used by using the reference field image. A first interpolation field image is created by image creation means, and the first interpolation field image is created by created image determination means. The input is again input to the interpolation field image creation means and the frame image creation means, the second interpolation field image is created by the interpolation field image creation means using the first interpolation field image, and the second interpolation field image is created by the creation image determination means. The mixed field image is input to the mixed field image creating means, and the pixel components of the reference field image and the second interpolated field image are mixed by the mixed field image creating means to create a mixed field image. By creating the frame image by combining the components with the frame image creating means, it is possible to reduce the circuit scale for creating the interpolated field image in addition to the effect of the first or second or third embodiment. it can.
[0067]
Note that the created image determination unit 1302 uses a flag to indicate the number of times of processing. However, another method may be used as long as the same effect can be obtained, such as using a counter indicating the number of times of processing.
[0068]
【The invention's effect】
As described above, the present invention is excellent in that a high-frequency component of an original field image is reduced at the time of scanning line conversion, thereby suppressing line flicker and simultaneously obtaining a frame image suitable for highly efficient encoding. The effect is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a video signal conversion device according to Embodiments 1, 2, and 3 of the present invention.
FIG. 2 is an explanatory diagram showing lines constituting a reference field image in an output image according to the first embodiment of the present invention;
FIG. 3 is an explanatory diagram showing the positions of pixels used when the first interpolated field image creating means 101 according to the first embodiment of the present invention creates an interpolated pixel to be supplemented on a non-pixel line.
FIG. 4 is an explanatory diagram showing lines constituting a first interpolated field image in an output image according to Embodiment 1 of the present invention;
FIG. 5 is an explanatory diagram showing positions of pixels used when creating an interpolation pixel to be supplemented on a non-pixel line by the second interpolation field image creation means according to the first embodiment of the present invention;
FIG. 6 is an explanatory diagram showing positions of corresponding pixels in a reference field image, a second interpolation field image, and a mixed field image by the mixed field image creating means 103 according to the first embodiment of the present invention.
FIG. 7 is an explanatory diagram showing positions of corresponding pixels in the mixed field image, the first interpolated field image, and the frame image by the frame image creating unit 104 according to the first embodiment of the present invention.
FIG. 8 is a time chart showing the processing time of the first interpolated field image creating means 101 and the second interpolated field image creating means 102 according to the first and third embodiments of the present invention.
FIG. 9 is a flowchart showing a procedure in the first interpolation field image creation unit 101 or the second interpolation field image creation unit 102 according to the first, third, and fourth embodiments of the present invention.
FIG. 10 is a flowchart showing a procedure in a second interpolated field image creating means 102 according to the first embodiment of the present invention.
FIG. 11 is a flowchart showing a procedure in the first interpolated field image creating means 101 according to the second embodiment of the present invention.
FIG. 12 is a flowchart showing a procedure in the second interpolated field image creating means 102 according to the second embodiment of the present invention.
FIG. 13 is a block diagram illustrating a configuration of a video signal conversion device according to a fourth embodiment of the present invention.
FIG. 14 is an explanatory diagram showing a positional relationship between a pixel line and a non-pixel line constituting an input reference field image and a reference reference field image according to Embodiment 2 of the present invention, and the positions of pixels used for interpolation;
FIG. 15 shows a positional relationship between a pixel line and a non-pixel line constituting a reference first interpolated field image and a reference first interpolated field image input in Embodiment 2 of the present invention, and positions of pixels used for interpolation. Illustration
FIG. 16 is an explanatory diagram showing the position of an interpolation line for each temporally continuous frame image in the problem to be solved by the present invention.
[Explanation of symbols]
101 first interpolation field image creation means
102 Second interpolation field image creation means
103 Mixed field image creation means
104 frame image creation means
1301 interpolation field image creation means
1302 Created image determination means
1303 Mixed field image creation means
1304 Frame image creation means

Claims

An apparatus for converting an input field image into a frame image and outputting the frame image, wherein when an input image for one field is used as a reference field image, a first interpolation field image is created using the reference field image. First interpolated field image creating means, second interpolated field image creating means for creating a second interpolated field image using the first interpolated field image, and pixel components of the reference field image and the second interpolated field image. It is characterized by comprising a mixed field image creating means for creating a mixed field image by mixing, and a frame image creating means for creating a frame image by combining the pixel components of the mixed field image and the first interpolation field image. Video signal converter.

2. The video signal conversion apparatus according to claim 1, wherein said first interpolation field image creation means creates a first interpolation field image from an average value of pixels of said reference field image above and below an interpolation pixel to be created. .

The first interpolated field image creating means generates a first interpolated field image based on an average value of pixel values of a set of pixel components of the reference field image near the interpolated pixel to be created in which the absolute value of the difference is minimum. The video signal converter according to claim 1, wherein the video signal converter is created.

2. The video signal conversion apparatus according to claim 1, wherein said second interpolation field image creation means creates a second interpolation field image from an average value of said first interpolation field images above and below an interpolation pixel to be created. .

The second interpolated field image creating means is configured to calculate a second interpolated field image based on an average value of pixel values of a set of pixel components of the first interpolated field image in the vicinity of the interpolated pixel to be created in which the absolute value of the difference is minimum. The video signal conversion device according to claim 1, wherein the video signal conversion device creates an image.

2. The video signal according to claim 1, wherein the mixed field image creating means creates a mixed field image from an arbitrary mixing ratio of pixel components located at the same position of the reference field image and the second interpolation field image. Conversion device.

The mixed field image creating means creates a mixed field image with an arbitrary mixing ratio of the same position pixel of the reference field image and the second interpolation field image and a pixel component in the vicinity thereof. The video signal conversion device according to claim 1.

2. The video signal according to claim 1, wherein the frame image creating means creates a frame image by alternately arranging lines in the mixed field image and the lines in the first interpolation field image in the frame image. Conversion device.

An apparatus for converting an input field image into a frame image and outputting the frame image, wherein when an input image for one field is used as a reference field image, the reference field image and the reference field image are temporally shifted. First interpolated field image creating means for creating a first interpolated field image using n preceding and succeeding n reference fields (n is an integer of 1 or more); and the first interpolated field image and the first interpolated field image. A second interpolated field image creating means for creating a second interpolated field image using m reference fields (m is an integer of 1 or more) preceding and succeeding the interpolated field image by m fields; A mixed field image for generating a mixed field image by mixing pixel components of the reference field image and the second interpolation field image. And de image creating device, the video signal conversion apparatus comprising: a frame image generating means for generating frame images together pixel components of the mixed field image and the first interpolated field image.

The first interpolated field image creating means includes a set of pixel components of the reference field image above and below an interpolated pixel to be created, and a pixel component of a pixel line of a pixel line of a preceding and following reference field image at the same position as the interpolated pixel to be created. 10. The video signal conversion device according to claim 9, wherein the first interpolated field image is created from the average value of the pixel values of the pair having the smallest absolute value of the difference among the pairs.

The first interpolated field image creating means includes a set of pixel components of the reference field image that is located above and below the interpolated pixel to be created, and a pixel of a pixel line of the preceding and following reference field image at the same position as the interpolated pixel to be created. A first interpolated field image is created by calculating an average value using a set of components and selecting a pixel value that minimizes the absolute value of the difference between each pixel component and the calculated average value. The video signal conversion device according to claim 9.

The second interpolated field image creating means includes: a set of pixel components of the first interpolated field image above and below an interpolated pixel to be created; and a pixel line of a preceding and following reference field image at the same position as the interpolated pixel to be created. 10. The video signal conversion device according to claim 9, wherein a second interpolated field image is created from an average value of the pixel values of the pair having the smallest absolute value of the difference among the pixel component pairs.

The second interpolated field image creating means includes: a set of pixel components of the first interpolated field image that is located above and below the interpolated pixel to be created; and a pixel line of the front-back reference field image at the same position as the interpolated pixel to be created. Calculating an average value using the set of pixel components described above, and selecting a pixel value that minimizes the absolute value of the difference between each of these pixel components and the calculated average value to create a second interpolated field image. The video signal conversion device according to claim 9, wherein:

10. The video signal according to claim 9, wherein the mixed field image creating means creates a mixed field image from an arbitrary mixing ratio of pixel components at the same position in the reference field image and the second interpolation field image. Conversion device.

The mixed field image creating means creates a mixed field image with an arbitrary mixing ratio of the same position pixel of the reference field image and the second interpolation field image and a pixel component in the vicinity thereof. The video signal conversion device according to claim 9.

10. The video signal according to claim 9, wherein the frame image creating unit creates a frame image by alternately arranging lines in the mixed field image and the lines in the first interpolation field image in the frame image. Conversion device.

10. The video signal conversion device according to claim 1, wherein the first interpolated field image creating means and the second interpolated field image creating means are realized by the same processing content.

What is claimed is: 1. An apparatus for converting an input field image into a frame image and outputting the frame image, comprising: an interpolated field image generating means for inputting an arbitrary field image and outputting a corresponding interpolated field image; Created image determining means for determining the output destination of the interpolation field image based on the number of times, and a mixed field image for mixing pixel components of two field images having the same phase and outputting one mixed field image having the same phase A frame image generating unit that outputs a single frame image by combining pixel components of two field images having different phases with each other, wherein an image for one input field is used as a reference field image. A first interpolated field image is generated by the interpolated field image creating means using the reference field image. The first interpolated field image is input again to the interpolated field image generating unit and the frame image generating unit by the generated image determining unit, and the first interpolated field image is input by the interpolated field image generating unit using the first interpolated field image. A second interpolated field image is created, the created image determining unit inputs the second interpolated field image to the mixed field image creating unit, and creates a mixed field image by combining the pixel components of the reference field image and the second interpolated field image. A video signal conversion apparatus, wherein a mixed field image is created by mixing means, and a pixel image of the mixed field image and the first interpolation field image is combined by a frame image creating means to create a frame image.

19. The video signal conversion device according to claim 18, wherein said interpolation field image creation means creates a first interpolation field image from an average value of pixels of an input field image above and below an interpolation pixel to be created.

The interpolated field image creating means creates a first interpolated field image from an average value of pixel values of a set of pixel components of an input field image in the vicinity of an interpolated pixel to be created in which the absolute value of the difference is minimum. 19. The video signal conversion device according to claim 18, wherein:

19. The video signal according to claim 18, wherein the mixed field image creating means creates a mixed field image from an arbitrary mixing ratio of pixel components at the same position of the input field image and the interpolated field image. Conversion device.

The mixed field image creating means creates a mixed field image with an arbitrary mixing ratio of the same position pixel of the input field image and the same position pixel of the interpolation field image and a pixel component in the vicinity thereof. The video signal conversion device according to claim 18.

19. The video signal conversion device according to claim 18, wherein the frame image creation unit creates a frame image by alternately arranging lines in the mixed field image and the interpolation field image in the frame image.

A method of converting an input field image into a frame image and outputting the frame image, wherein when an input image for one field is used as a reference field image, a first interpolation field image is created using the reference field image. A first interpolation field image creation step, a second interpolation field image creation step of creating a second interpolation field image using the first interpolation field image, and a pixel component of the reference field image and the second interpolation field image. A mixed field image creating step of creating a mixed field image by mixing, and a frame image creating step of creating a frame image by combining the pixel components of the mixed field image and the first interpolation field image. Video signal conversion method.