JP2010268025A - 映像信号処理装置、映像信号処理方法及び映像信号処理プログラム - Google Patents

Abstract

【課題】インタレース映像信号からプログレッシブ映像信号を生成する場合に、動画を含む領域と静止画のみの領域が混在した画像において画質の劣化を低減することができる映像信号処理装置、映像信号処理方法及びそのプログラムを提供すること
【解決手段】本発明にかかる映像信号処理装置は、入力インタレース映像信号が示す入力画像と、任意の静止画画像を合成し、合成インタレース映像信号を生成し、当該合成インタレース映像信号により特定される合成画像のうち、任意の静止画画像が合成された領域を特定する静止画領域情報を出力する合成管理部と、合成画像中の領域毎に静止画であるか否かを判定する静止画判定部８と、判定結果に基づき、出力プログレッシブ映像信号を生成するプログレッシブ映像生成部を備える。静止画判定部８は、合成管理部から出力された静止画領域情報に基づいて、任意の静止画画像が合成された領域については静止画であると判定する。
【選択図】図１

Description

本発明は、映像信号処理装置、映像信号処理方法及び映像信号処理プログラムに関し、特にインタレース映像信号をプログレッシブ映像信号にＩＰ(Interlace to Progressive)変換する場合に、画質劣化を低減する技術に関する。

現行の映像信号方式は、インタレース走査を前提としたインタレース方式と、プログレッシブ走査を前提としたプログレッシブ方式に大別される。
インタレース走査とは、映像の１画面を構成する５２５本または１１２５本の走査線中、１本ずつ走査線を飛び越して走査する方式である。この方式では、１つの表示画面は、２回のインタレース走査により生成され、走査線が互い違いの２つの走査画面により１つの表示画面が構成される。ここで、表示画面はフレームといい、走査画面はフィールドという。
一方、プログレッシブ走査は、走査線を１本ずつ順次に走査する方式である。

例えば、地上デジタル放送の場合、テレビ局から送られてくるストリームの解像度は １９２０×１０８０ｉ／１４４０×１０８０ｉのインタレース映像信号となっている。
近年発売されているプラズマディスプレイパネル、液晶表示パネル、有機ＥＬ(Electro Luminescence)表示パネル等のディスプレイ装置は、マトリクス駆動方式の表示パネルを搭載したものとなっている。このようなディスプレイ装置では、入力映像信号に応じた画像表示、１表示ライン分ずつ順次実行するプログレッシブ駆動を行うようにしている。言い換えると、画素データの書込みを１表示ライン分ずつ順次実行している。
そのため、地上デジタル放送のようにインタレース映像信号が表示装置に入力される場合は、これをプログレッシブ方式の映像信号に変換する必要がある。ここで、インタレース方式の映像信号をプログレッシブ方式の映像信号に変換することをＩＰ変換という。

インタレース映像信号をプログレッシブ映像信号に変換する手法の１例としては、１画面内において表示物体が静止している静止画領域に対しては、入力インタレース映像信号における奇数フィールド映像信号と偶数フィールド映像信号とを組み合わせた１フレーム分の静止画用のプログレッシブ映像信号を生成する。他方、１画面内において表示物体が動いている動画領域に対しては、フィールド毎に、それぞれのフィールドにおける入力インタレース映像信号に対して上下補間処理を施すことにより、１フレーム分のプログレッシブ映像信号を生成する。

しかし、例えば、図６に例示するように、地上デジタル放送におけるデータ放送の受信時には、データ放送のように静止画のみの画像が表示される領域と、テレビ番組のように動画が含まれる画像が表示される領域とがはっきりと分かれているような画像が出力される。この場合、静止画のみの領域と、動画が含まれる領域との判断が正確に行えていないと、静止画のみの領域に対して動画用の混合比を適用してプログレッシブ映像信号を生成してしまい、その結果、静止画のみの領域に画質劣化が発生してしまう可能性がある。また、逆に動画が含まれる領域に対して静止画用の混合比を適用してプログレッシブ映像信号を生成してしまい、その結果、動画が含まれる領域に画質劣化が発生してしまう可能性がある。

また、例えば、地上デジタル放送において、デレビ番組のように動画が含まれるインタレース映像信号についてＩＰ変換処理を行った後に、このＩＰ変換により生成したプログレッシブ映像信号にデータ放送のような静止画のみの画像を表示する映像信号を合成することにより、図６に例示するような画像を出力することもできる。この場合、ＩＰ変換処理の対象を動画が含まれる領域のみとすることができるため、画質劣化の少ないプログレッシブ映像信号の生成が可能となる。しかし、複数のプログレッシブ映像信号を合成することになるため、インタレース映像信号に静止画のみの画像を表示する映像信号を合成してからプログレッシブ映像信号を生成する場合に比べて、取り扱うデータ量が増大し、必要とされるメモリ帯域が増大してしまう。そのため、安価なシステム構成では、メモリ帯域に余裕がないため、この方法を適用できないという問題があった。

ところで、特許文献１には、１画面内の一部の領域に、垂直周波数成分の高い横縞模様の如き画像、又はフレーム単位で周期的に変化する炎や滝の画像が含まれていても、正確に静止画及び動画の判別がなされるようになる技術が開示されている。
特許文献１では、インタレース方式の入力映像信号に対して、補間演算又は補外演算を施すことにより１フレーム分の第１プログレッシブ映像信号を生成すると共に、入力映像信号において隣接する２つのフィールド毎に一方のフィールド及び他方のフィールドを組み合わせることにより１フレーム分の第２プログレッシブ映像信号を生成する。

そして、入力映像信号に基づく、１画面、１画面を複数に分割した表示領域毎、もしくは、画素の周辺に隣接する画素群を判定対象とした画素毎に、静止画であるか否かの静止画判定を行い、静止画であると判定された場合と静止画ではないと判定された場合とで異なる混合比にて、第１及び第２のプログレッシブ映像信号を混合することによりプログレッシブ映像信号を生成する。なお、静止画の判定は、入力映像信号における互いに隣接する２つのフィールド間での判定対象における同一画素同士の差分値の総和が所定の第１閾値よりも小さく、かつ、入力信号における各フィールドの直前及び直後の２つのフィールド間での判定対象における同一画素同士の差分値の相和が所定の第２閾値よりも小さい場合に、静止画であると判定するようにしている。

しかし、図６に例示したように、はっきりと動画を含む領域と静止画のみの領域が分かれている画像に対して、特許文献１に開示の技術によって、１画面、もしくは、１画面を複数に分割した表示領域毎に静止画判定を行った場合、動画を含む領域があるため、動画と判定されてしまう可能性がある。この場合、静止画のみの領域にも、動画に対する混合比によって、動画用及び静止画用のプログレッシブ映像信号が混合されてしまい、画質が劣化してしまう。

また、画素毎に静止画判定を行った場合、静止画判定を行う画素とその周囲に隣接する画素の合計９画素の領域に対して判定を行うため、例えば、図７に例示するように、画素Ｐ(１，１)〜画素Ｐ(１，３)が動画を含む領域であり、画素Ｐ(２，１)〜Ｐ(２，３)及び画素Ｐ(３，１)〜画素Ｐ(３，３)が静止画のみの領域であると、画素Ｐ(２，２)の静止画判定を行う場合に、画素Ｐ(１，１)〜画素Ｐ(１，３)の画素の動きが大きいと、画素Ｐ(２，２)は動画であると判定されてしまう可能性がある。この場合、画素Ｐ(２，２)は、動画に対する混合比によって、動画用及び静止画用のプログレッシブ映像信号が混合されてしまう。

つまり、特許文献１に開示の技術では、動画を含む領域と静止画のみの領域が混在した画像の場合、画素Ｐ(１，１)〜画素Ｐ(１，３)と画素Ｐ(２，１)〜Ｐ(２，３)の間にあるそれぞれの領域の境界を確実に判定することができない。
その結果、それぞれの領域の境界面がぼやけたようなプログレッシブ映像信号ができてしまう場合と、そうでない場合が発生し、それらによる画像を連続でディスプレイ装置に出力すると境界面がぼやけた画像とはっきりした画像が入れ替わり表示されることとなり、境界面がちらついて見えてしまう。
つまり、上述した場合においては、静止画のみの領域における画質が劣化してしまうという問題がある。

また、図８に例示するように、１画面を複数に分割した表示領域毎に静止画判定を行った場合、Ａの領域については動画が含まれる領域のみで静止画判定が行われる。しかし、Ｂ、Ｃ及びＤの領域では、動画が含まれる領域と静止画のみの領域が含まれるため、静止画のみの領域における画素も使用して、静止画判定をしてしまう。そのため、動画が含まれる領域における動きがある程度大きい場合であっても、静止画と判定され、静止画に対する混合比によって、プログレッシブ映像信号が混合されてしまい、その領域の画質が劣化してしまう可能性がある。

さらに、図９に例示するように、画素Ｐ(１，１)〜画素Ｐ(１，３)及び画素Ｐ(２，１)〜Ｐ(２，３)が動画を含む領域であり、画素Ｐ(３，１)〜画素Ｐ(３，３)が静止画のみの領域であると、画素Ｐ(２，２)の静止画判定を行う場合に、静止画のみの領域である画素Ｐ(３，１)〜画素Ｐ(３，３)における画素も使用して、静止画判定をしてしまう。そのため、動画が含まれる領域である画素Ｐ(１，１)〜画素Ｐ(１，３)及び画素Ｐ(２，１)〜Ｐ(２，３)における動きがある程度大きい場合であっても、静止画と判定され、静止画に対する混合比によって、プログレッシブ映像信号が混合されて画質が劣化してしまうこととなる。
つまり、上述した場合においては、動画が含まれる領域における静止画判定の精度が悪くなっているという問題がある。これにより、動画が含まれる領域における画質も劣化してしまうという問題もある。

なお、特許文献２には、入力される映像信号のフレーム間差分値に基づいて、ある一定画素間隔を動き領域として、隣接する３つのフィールドの中間値ではなく、生成されるフィールド内補間値を補間走査線の画素として出力することにより、入力された映像信号が動画であるにもかかわらず、補間走査線の画素として、中間値が出力されるのを防止する技術が開示されている。これにより、飛び越し走査の映像信号から順次走査の映像信号への変換を簡単な構成で実現でき、かつ映像の破綻をきたすことがなく、静止画、動画ともに良好な画質を得ることができるようにしている。

また、特許文献３には、飛び越し走査の画像信号における画像パターンが横縞模様の領域と、縦縞模様の領域のそれぞれにおける動きベクトルの動きに基づいて、フレーム間補間またはフィールド内補間により補間走査線の信号を生成する技術が開示されている。これにより、動き適用型の補間における画質劣化を低減し、かつ、動き補償型と同等の高画質が達成できるようにしている。

特開２００７−０９７１５０号公報 特開２００３−３３３５４２号公報 特開平１０−１１２８４５号公報

背景技術として説明したように、特許文献１に開示の技術では、インタレース映像信号からプログレッシブ映像信号を生成する場合に、動画を含む領域と静止画のみの領域が混在した画像において画質が劣化してしまうという問題がある。

本発明の第１の態様にかかる映像信号処理装置は、入力インタレース映像信号が示す入力画像と、任意の静止画画像とを合成し、合成インタレース映像信号を生成するとともに、当該合成インタレース映像信号により特定される合成画像のうち、前記任意の静止画画像が合成された領域を特定する静止画領域情報を出力する合成管理部と、前記合成インタレース映像信号により特定される合成画像中の領域毎に静止画であるか否かを判定する静止画判定部と、前記静止画判定部の判定結果に基づいて、前記合成インタレース映像信号から出力プログレッシブ映像信号を生成するプログレッシブ映像生成部とを備え、前記静止画判定部は、前記合成管理部から出力された静止画領域情報に基づいて、前記任意の静止画画像が合成された領域については静止画であると判定するものである。

静止画判定において、静止画のみの領域を動画と判定することがなくなり、動画が含まれる領域における静止画判定の精度を向上することができるため、インタレース映像信号からプログレッシブ映像信号を生成する場合における画質の劣化を低減することができる。

本発明の第２の態様にかかる映像信号処理方法は、入力インタレース映像信号が示す入力画像と、任意の静止画画像とを合成した合成画像を示す合成インタレース映像信号を生成し、前記合成画像中の領域毎に静止画であるか否かを判定し、前記静止画判定部の判定結果に基づいて、前記合成インタレース映像信号から前記出力プログレッシブ映像信号を生成する映像信号処理方法であって、前記静止画の判定においては、前記合成した静止画画像の領域情報に基づいて、この領域は静止画であると判定するものである。

静止画判定において、静止画のみの領域を動画と判定することがなくなり、動画が含まれる領域における静止画判定の精度を向上することができるため、インタレース映像信号からプログレッシブ映像信号を生成する場合における画質の劣化を低減することができる。

本発明の第３の態様にかかる映像信号処理プログラムは、入力インタレース映像信号が示す入力画像と、任意の静止画画像とを合成した合成画像を示す合成インタレース映像信号を生成する処理と、前記合成画像中の領域毎に静止画であるか否かを判定する処理と、前記静止画判定部の判定結果に基づいて、前記合成インタレース映像信号から前記出力プログレッシブ映像信号を生成する処理をコンピュータに実行させる映像信号処理プログラムであって、前記静止画の判定においては、前記合成した静止画画像の領域情報に基づいて、この領域は静止画であると判定するものである。

静止画判定において、静止画のみの領域を動画と判定することがなくなり、動画が含まれる領域における静止画判定の精度を向上することができるため、インタレース映像信号からプログレッシブ映像信号を生成する場合における画質の劣化を低減することができる。

上述した各態様により、インタレース映像信号からプログレッシブ映像信号を生成する場合に、動画を含む領域と静止画のみの領域が混在した画像において画質の劣化を低減することができる映像信号処理装置、映像信号処理方法及び映像信号処理プログラムを提供することができる。

本発明の実施の形態にかかる映像信号処理装置の構成図である。 本発明の実施の形態にかかる映像信号処理装置の処理を示すフローチャートである。 本発明の実施の形態にかかる第１変換部においてインタレース映像信号の画像とそれに基づいて生成されるプログレッシブ映像信号の画像の例を示す図である。 本発明の実施の形態にかかる第２変換部においてインタレース映像信号の画像とそれに基づいて生成されるプログレッシブ映像信号の画像の例を示す図である。 本発明の実施の形態にかかる画素毎に静止画判定を行う際の動作を説明するための図である。 地上デジタル放送のデータ放送受信時の画像の一例を示す図である。 画素毎に静止画判定を行う際の動作を説明するための図である。 地上デジタル放送のデータ放送受信時の画像を分割した領域の一例を示す図である。 画素毎に静止画判定を行う際の動作を説明するための図である。

以下、図面を参照して本発明の実施の形態について説明する。
まず、図１を参照して、本発明の実施の形態にかかる映像信号処理装置の構成について説明する。図１は、本発明の実施の形態にかかる映像信号処理装置の構成図である。
映像信号処理装置は、映像合成部１、１Ｆｉｅｌｄ遅延部２、３、第１変換部４、第２変換部５、領域指定部６、領域切出し部７、静止画判定部８、混合比算出部９及び混合部１０を有する。

映像合成部１は、入力されたインタレース映像信号によって表示される入力画像と、任意の静止画画像を合成した合成画像を表示するインタレース映像信号を生成する。また、映像合成部１は、合成画像のうち、任意の静止画画像が表示される領域と、入力画像が表示される領域とを示す領域情報を生成する。

ここで、入力画像は、例えば、地上デジタル放送におけるデータ放送のような静止画のみの画像であり、任意の静止画画像は、例えば、デレビ番組のような動画が含まれる画像である。つまり、合成画像は、例えば、図６に例示するように、データ放送のような静止画のみが表示される画像の領域と、デレビ番組のような動画が含まれる画像の領域から構成される。よって、領域情報は、静止画のみの領域と、それ以外の領域となる動画が含まれる領域とを示す情報となる。

なお、合成画像は、図６に例示するように、テレビ番組における画像を縮小して、それ以外の領域にデータ放送における画像を表示するように合成した画像の他に、入力画像と、任意の静止画画像とを重ね合わせて合成した画像であってもよく、静止画画像のみの領域を特定することができるように合成されている画像であればどのような画像であってもよい。

また、映像合成部１は、例えば、プロセッサ(図示せず)及びメモリ(図示せず)から構成される。そして、プロセッサが上述した合成処理をプロセッサに実行させるプログラムを、ＨＤＤ(Hard Disk Drive)や不揮発性メモリ等の記憶装置(図示せず)からメモリにロードし、このプログラムに基づいて動作することにより、上述した合成処理を行う。この場合、プロセッサは、入力画像を合成する領域や任意の静止画画像を合成する領域をプログラムもしくは記憶装置に格納された情報に基づいて特定し、特定した領域のそれぞれに入力画像や任意の静止画画像を合成する。つまり、映像合成部１は、入力画像が表示される領域と、任意の静止画画像が表示される領域とを、言い換えると、静止画のみの領域と、それ以外の領域とを特定することができるため、領域情報を生成することができる。

１Ｆｉｅｌｄ遅延部２、３は、入力されたインタレース映像信号を１フィールド遅延させたインタレース映像信号を出力する。
第１変換部４は、補間処理又は補外処理を施すことにより、インタレース映像信号に基づいて、１フレーム分のプログレッシブ信号を生成する。
第２変換部５は、隣接する２つのフィールドにおけるインタレース映像信号を組み合わせて、１フレーム分のプログレッシブ映像信号を生成する。

領域指定部６は、映像合成部１が生成した領域情報に基づいて、静止画判定部８に対して、合成画像のうちの静止画のみの領域を指定する。また、領域指定部６は、領域切出し部７に対して、静止画のみの領域以外の領域となる動画が含まれる領域を指定する。
領域切出し部７は、入力されたインタレース映像信号のうち、領域指定部６から指定された動画が含まれる領域に対応する部分を切り出す。映像合成部１及び領域指定部６は、合成管理部として機能する。
静止画判定部８は、領域切出し部７が切り出した映像信号によって表示される画像について、静止画であるか否かの判定を行う。また、静止画判定部８は、領域指定部６から指定された静止画のみの領域については静止画であるとの判定を行う。

混合比算出部９は、第１変換部４において生成されたプログレッシブ映像信号と、第２変換部５において生成されたプログレッシブ映像信号とを合成する混合比を画素毎に算出する。なお、混合比は、静止画判定部８において静止画と判定された画素と、静止画ではないと判定された画素とで、異なる混合比が算出される。
混合部１０は、第１変換部４において生成されたプログレッシブ映像信号と、第２変換部５において生成されたプログレッシブ映像信号とを、混合比算出部９が算出した混合比によって、画素毎に合成してプログレッシブ映像信号を生成する。混合部１０は、プログレッシブ映像生成部として機能する。

なお、１Ｆｉｅｌｄ遅延部２、３、第１変換部４、第２変換部５、領域指定部６、領域切出し部７、静止画判定部８、混合比算出部９及び混合部１０は、例えば、上述したそれぞれの処理を実行する回路により構成される。

続いて、図２を参照して、本発明の実施の形態にかかる映像信号処理装置の処理について説明する。図２は、本発明の実施の形態にかかる映像信号処理装置の処理を示すフローチャートである。

まず、映像合成部１は、インタレース映像信号が入力されると、入力されたインタレース映像信号によって表示される入力画像と、任意の静止画画像を合成した合成画像を表示するインタレース映像信号を生成する(Ｓ１００)。言い換えると、映像合成部１は、動画が含まれる画像と、静止画のみの画像とを合成した合成画像を表示するインタレース映像信号を生成する。そして、映像合成部１は、生成したインタレース映像信号を１Ｆｉｅｌｄ遅延部２、第２変換部５、領域指定部６、領域切出し部７及び混合比算出部９に出力する。また、映像合成部１は、合成画像のうち、静止画のみの領域と、それ以外の領域となる動画が含まれる領域とを示す領域情報を領域指定部６に出力する。

次に、１Ｆｉｅｌｄ遅延部２は、映像合成部１から出力されたインタレース映像信号を１Ｆｉｅｌｄ遅延させたインタレース映像信号を１Ｆｉｅｌｄ遅延部３、第１変換部４、第２変換部５、領域切出し部７及び混合比算出部９に出力する。また、１Ｆｉｅｌｄ遅延部３は、１Ｆｉｅｌｄ遅延部２から出力されたインタレース映像信号を１Ｆｉｅｌｄ遅延させたインタレース映像信号を領域切出し部７及び混合比算出部９に出力する(Ｓ１０１)。

つまり、この処理により、最新のインタレース映像信号、１Ｆｉｅｌｄ遅延されたインタレース映像信号を(最新のインタレース映像信号より１Ｆｉｅｌｄ前に入力されたインタレース映像信号)及び２Ｆｉｅｌｄ遅延されたインタレース映像信号(最新のインタレース映像信号より２Ｆｉｅｌｄ前に入力されたインタレース映像信号)が同時に存在することになる。
以下、最新のインタレース映像信号をＦｉｅｌｄ１映像信号、１Ｆｉｅｌｄ遅延されたインタレース映像信号をＦｉｅｌｄ２映像信号、２Ｆｉｅｌｄ遅延された映像信号をＦｉｅｌｄ３映像信号として説明する。

次に、第１変換部４は、１Ｆｉｅｌｄ遅延部２から出力されたＦｉｅｌｄ２映像信号に対して、補間処理又は補外処理を行うことによって、1フレーム分のプログレッシブ映像信号を生成する(Ｓ１０２)。例えば、図３に例示するように、プログレッシブ映像信号によって表示される画像の第２ラインの画像を、Ｆｉｅｌｄ２映像信号によって表示される画像の第１ライン及び第３ラインの画像に基づいて、上下補間処理を行うことにより、プログレッシブ映像信号を生成する。そして、第１変換部４は、生成したプログレッシブ映像信号を混合部１０に出力する。

また、第２変換部５は、映像合成部１から出力されたＦｉｅｌｄ１映像信号と、１Ｆｉｅｌｄ遅延部２から出力されたＦｉｅｌｄ２映像信号とを組み合わせて、１フレーム分のプログレッシブ映像信号を生成する(Ｓ１０３)。例えば、図４に例示するように、Ｆｉｅｌｄ１映像信号によって表示されるラインの画像と、Ｆｉｅｌｄ２映像信号によって表示されるラインの画像を組み合わせることにより、プログレッシブ映像信号を生成する。そして、第２変換部５は、生成したプログレッシブ映像信号を混合部１０に出力する。

また、領域指定部６は、映像合成部１から出力された領域情報に基づいて、合成画像のうちの静止画のみの領域を示す静止画領域情報を静止画判定部８に出力することにより、静止画のみの領域を指定する。また、領域指定部６は、静止画のみの領域以外の動画が含まれる領域を示す非静止画領域情報を領域切出し部７に出力することにより、動画が含まれる領域を指定する(Ｓ１０４)。

次に、領域切出し部７は、領域指定部６から出力された非静止画領域情報に基づいて、入力されたインタレース映像信号のうち、動画が含まれる領域に対応する部分を切り出したインタレース映像信号を取得する(Ｓ１０５)。そして、領域切出し部７は、取得したインタレース映像信号を静止画判定部８に出力する。
以下、Ｆｉｅｌｄ１映像信号から切り出した映像信号をＦｉｅｌｄ１'映像信号、Ｆｉｅｌｄ２映像信号から切り出した映像信号をＦｉｅｌｄ２'映像信号、Ｆｉｅｌｄ３映像信号から切り出した映像信号をＦｉｅｌｄ３'映像信号として説明する。

次に、静止画判定部８は、領域切出し部７から出力されたＦｉｅｌｄ１'映像信号、Ｆｉｅｌｄ２'映像信号およびＦｉｅｌｄ３'映像信号に基づいて、Ｆｉｅｌｄ２'映像信号によって表示される画像について、静止画であるか否かの判定を行う(Ｓ１０６)。また、静止画判定部８は、領域指定部６から出力された静止画領域情報が示す静止画のみの領域については静止画であるとの判定を行う。

ここで、静止画であるか否かの判定は、Ｆｉｅｌｄ１'映像信号によって表示される画像と、Ｆｉｅｌｄ２'映像信号を上下補間処理して生成した映像信号によって表示される画像とによって表示される画像との同一画素どうしの差分値の総和であるＦｉｅｌｄ差分値を算出する。また、Ｆｉｅｌｄ１'映像信号によって表示される画像と、Ｆｉｅｌｄ３'映像信号によって表示される画像との同一画素どうしの差分値の総和であるＦｒａｍｅ差分値を算出する。そして、Ｆｉｅｌｄ差分値及びＦｒａｍｅ差分値のそれぞれが、予めそれぞれの差分値について定めた閾値以下である場合は、静止画と判定し、それ以外の場合は、動画と判断する。なお、画素どうしの差分値とは、例えば、画素値の差分値である。

なお、ここでの静止画であるか否かの判定は、各映像信号における画像について判断してもよく、画像を複数に分割したそれぞれの領域毎に判断してもよく、画素毎に判断してもよい。
画素毎に判断する場合は、例えば、図５に例示するように、画素Ｐ(２，２)に対して静止画判定を行う場合、画素Ｐ(１，１)〜画素Ｐ(３，３)の９画素のそれぞれについて、画素どうしの差分値の総和を算出することにより判断する。
そして、静止画判定部８は、静止画判定の結果を示す判定結果情報を混合比算出部９に出力する。なお、判定結果情報は、画素毎に動画と判定されたのか、静止画と判定されたのかが判断できる情報であればどのようなものであってもよい。

次に、混合比算出部９は、映像合成部１から出力されたＦｉｅｌｄ１映像信号、１Ｆｉｅｌｄ遅延部２から出力されたＦｉｅｌｄ２映像信号および１Ｆｉｅｌｄ遅延部３から出力されたＦｉｅｌｄ３映像信号に基づいて、Ｆｉｅｌｄ間の動きと、Ｆｒａｍｅ間の動きを画素毎に算出する(Ｓ１０７)。
ここで、Ｆｉｅｌｄ間の動きとは、Ｆｉｅｌｄ１映像信号によって表示される画像と、Ｆｉｅｌｄ２映像信号を上下補間処理して生成した映像信号によって表示される画像との同一画素どうしの差分の値の絶対値のことである。
また、Ｆｒａｍｅ間の動きとは、Ｆｉｅｌｄ１映像信号によって表示される画像と、Ｆｉｅｌｄ３映像信号によって表示される画像との同一画素どうしの差分の値の絶対値のことである。

次に、混合比算出部９は、判定結果情報が示す静止画判定の結果に基づいて、第１変換部４において生成されたプログレッシブ映像信号と、第２変換部５において生成されたプログレッシブ映像信号とを合成する混合比を画素毎に算出する(Ｓ１０８)。なお、混合比は、静止画判定部８において静止画と判定された画素の場合は、Ｆｒａｍｅ間の動きに基づいて混合比を算出し、静止画ではないと判定された画素の場合は、Ｆｒａｍｅ間もしくはＦｉｅｌｄ間の動きに基づいて混合比を算出する。ここで、静止画ではないと判定された画素の場合は、Ｆｉｅｌｄ間の動きに所定の係数を乗じた値と、Ｆｒａｍｅ間の動きとを比較して、値の大きい方を混合比の算出に用いる。

なお、混合比は、Ｆｒａｍｅ間の動き、もしくは、Ｆｉｅｌｄ間の動きが大きくなるに従って、第１変換部４において生成されたプログレッシブ映像信号を混合する割合が大きくなるようにされる。
そして、混合比算出部９は、算出された混合比を画素毎に示す混合比情報を混合部１０に出力する。

次に、混合部１０は、第１変換部４において生成されたプログレッシブ映像信号と、第２変換部５において生成されたプログレッシブ映像信号とを、混合比算出部９から出力された混合比情報が示す混合比によって画素毎に合成し、１つのプログレッシブ映像信号を生成する(Ｓ１０９)。

以上に説明したように、本実施の形態によれば、図２に示すステップＳ１０４における処理に基づいて、静止画のみの領域と、動画が含まれる領域を指定しているため、静止画判定を行う場合に、静止画のみの領域が判明している。そのため、判明している静止画のみの領域については、静止画判定を行う必要はなく、判定結果を静止画とすることができる。
そうすることで、判明している静止画のみの領域については、動画と判定することがなくなるため、背景技術として説明したような、静止画のみの領域と、動画が含まれる領域との境界部分に発生する可能性のあったちらつき等の画質の劣化を低減することができる。

また、本発明の実施の形態によれば、予め静止画のみ領域を把握しておくことによって、静止画のみの領域を静止画判定の対象外とし、領域切出し部７によって切り出した動画が含まれる領域を静止画判定の対象としている。例えば、背景技術の説明において例示した図８におけるＢ、Ｃ及びＤの領域であっても、動画が含まれる領域によって静止画判定を行うこととなる。同様に、図９に例示したように、画素Ｐ(２，２)について静止画判定を行う場合でも、静止画のみの領域である画素Ｐ(３，１)〜画素Ｐ(３，３)は静止画判定の対象外となる。
そのため、動画が含まれる領域における静止画判定の精度を向上することができ、画質の劣化を低減することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、映像合成部１が静止画のみの領域を示す情報のみを領域指定部６に出力するようにし、領域指定部６もしくは領域切出し部７において、合成画像から静止画のみの領域を除いた領域を算出することにより、動画が含まれる領域を特定するようにしてもよい。
また、領域切出し部７を設けないようにして、静止画判定部８に動画が含まれる領域も指定するようにして、静止画判定部８がＦｉｅｌｄ１映像信号、Ｆｉｅｌｄ２映像信号およびＦｉｅｌｄ３映像信号から動画が含まれる領域のみについて静止画判定を行うようにしてもよい。

また、判定結果情報に動画が含まれる領域における静止画か、静止画のみの領域における静止画かを判断可能な情報を含め、混合比算出部９において、静止画のみの領域における静止画の画素については、第２変換部５において生成されたプログレッシブ映像信号のみによって最終的なプログレッシブ映像信号を生成するような混合比としてもよい。
また、第１変換部４において補間処理又は補外処理によって生成されるラインのインタレース映像信号のみを生成するようにし、第１変換部４からは生成したインタレース映像信号を、映像合成部１からはＦｉｅｌｄ１映像信号を、１Ｆｉｅｌｄ遅延部２からＦｉｅｌｄ２映像信号を混合部１０に出力するようにして、混合部１０にて第１変換部４から入力されたインタレース映像信号及びＦｉｅｌｄ１映像信号を混合した後に、混合したインタレース映像信号とＦｉｅｌｄ２映像信号とを組み合わせて、最終的なプログレッシブ映像信号を生成するようにしてもよい。

以上に説明した本発明にかかる映像信号処理装置は、上述の実施の形態の機能を実現するプログラムを記憶した記憶媒体をシステムもしくは装置に供給し、システムあるいは装置の有するコンピュータ又はＣＰＵ(Central Processing Unit)、ＭＰＵ(Micro Processing Unit)がこのプログラムを実行することによって、構成することが可能である。

また、このプログラムは様々な種類の記憶媒体に格納することが可能であり、通信媒体を介して伝達されることが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＤＶＤ(Digital Versatile Disc)、ＢＤ(Blu-ray Disc)、ＲＯＭ(Read Only Memory)カートリッジ、バッテリバックアップ付きＲＡＭ(Random Access Memory)、メモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジを含む。また、通信媒体には、電話回線の有線通信媒体、マイクロ波回線の無線通信媒体を含み、インターネットも含まれる。

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現されるだけではなく、このプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ(Operating System)もしくはアプリケーションソフトと共同して上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。
さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットにより行われて上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。

１ 映像合成部
２ １Ｆｉｅｌｄ遅延部
３ １Ｆｉｅｌｄ遅延部
４ 第１変換部
５ 第２変換部
６ 領域指定部
７ 領域切出し部
８ 静止画判定部
９ 混合比算出部
１０ 混合比

Claims (9)

1. 入力インタレース映像信号が示す入力画像と、任意の静止画画像とを合成し、合成インタレース映像信号を生成するとともに、当該合成インタレース映像信号により特定される合成画像のうち、前記任意の静止画画像が合成された領域を特定する静止画領域情報を出力する合成管理部と、
   前記合成インタレース映像信号により特定される合成画像中の領域毎に静止画であるか否かを判定する静止画判定部と、
   前記静止画判定部の判定結果に基づいて、前記合成インタレース映像信号から出力プログレッシブ映像信号を生成するプログレッシブ映像生成部とを備え、
   前記静止画判定部は、前記合成管理部から出力された静止画領域情報に基づいて、前記任意の静止画画像が合成された領域については静止画であると判定する映像信号処理装置。
2. 前記合成管理部は、さらに前記合成画像のうち、前記任意の静止画画像以外の領域を特定する非静止画領域情報を出力し、
   前記映像信号処理装置は、さらに前記合成管理部から出力された非静止画領域情報に基づいて、前記合成インタレース映像信号から前記任意の静止画画像以外の領域の画像を示す映像信号を取得し、取得した映像信号を前記静止画判定部に出力する領域切出し部を備え、
   前記静止画判定部は、前記領域切出し部から出力された映像信号に基づいて、前記静止画であるか否かを判定する請求項１に記載の映像信号処理装置。
3. 前記映像信号処理装置は、さらに前記合成インタレース映像信号に基づいて、前記合成画像を補間又は補外した画像を示す第１のプログレッシブ映像信号を生成する第１変換部と、
   前記合成インタレース映像信号および当該合成インタレース映像信号におるフィールドと隣接するフィールドの隣接インタレース映像信号とに基づいて、前記合成画像と、前記隣接インタレース映像信号が示す画像とを組み合わせた画像を示す第２のプログレッシブ映像信号を生成する第２変換部と、
   前記静止画判定部の判定結果に基づいて、前記第１及び第２のプログレッシブ映像信号を混合する混合比を決定する混合比算出部を備え、
   前記プログレッシブ映像生成部は、前記混合比算出部が決定した混合比に基づいて、前記第１及び第２のプログレッシブ映像信号を混合することにより、前記出力プログレッシブ映像を生成する請求項１又は２に記載の映像信号処理装置。
4. 前記混合比算出部は、前記画素のそれぞれにおいて前記混合比を算出する請求項３に記載の映像信号処理装置。
5. 前記混合比算出部は、前記任意の静止画画像が合成された領域については、前記第２のプログレッシブ映像のみに基づいて、前記出力プログレッシブ映像信号を生成するように前記混合比を算出する請求項３又は４に記載の映像信号処理装置。
6. 前記合成管理部は、前記合成管理部における処理を実現するプログラムによって動作するプロセッサによって構成され、
   前記合成管理部以外の各部は、前記各部における処理を実現する回路によって構成される請求項１乃至５のいずれかに記載の映像信号処理装置。
7. 前記入力画像は、地上デジタル放送のテレビ番組における画像であり、
   前記静止画画像は、データ放送における画像である請求項１乃至６のいずれかに記載の映像信号処理装置。
8. 入力インタレース映像信号が示す入力画像と、任意の静止画画像とを合成した合成画像を示す合成インタレース映像信号を生成し、
   前記合成画像中の領域毎に静止画であるか否かを判定し、
   前記静止画判定部の判定結果に基づいて、前記合成インタレース映像信号から前記出力プログレッシブ映像信号を生成する映像信号処理方法であって、
   前記静止画の判定においては、前記合成した静止画画像の領域情報に基づいて、この領域は静止画であると判定する映像信号処理方法。
9. 入力インタレース映像信号が示す入力画像と、任意の静止画画像とを合成した合成画像を示す合成インタレース映像信号を生成する処理と、
   前記合成画像中の領域毎に静止画であるか否かを判定する処理と、
   前記静止画判定部の判定結果に基づいて、前記合成インタレース映像信号から前記出力プログレッシブ映像信号を生成する処理をコンピュータに実行させる映像信号処理プログラムであって、
   前記静止画の判定においては、前記合成した静止画画像の領域情報に基づいて、この領域は静止画であると判定する映像信号処理プログラム。

Images