JP2009239719A

JP2009239719A - 順次走査変換装置及び順次走査変換方法

Info

Publication number: JP2009239719A
Application number: JP2008084414A
Authority: JP
Inventors: Shogo Matsubara; 正悟松原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2009-10-15

Abstract

【課題】本発明によれば、画像を判定してより効果的に動き検出の補正を行うことにより、画質の劣化を防止することが可能な順次走査変換装置及び順次走査変換方法を提供する。
【解決手段】水平垂直低域通過フィルタを通した現フィールド信号と水平垂直低域通過フィルタを通した前フィールド信号の差を算出する差分絶対値算出器と、差分絶対値算出器出力の絶対値が大きいほど水平垂直低域通過フィルタを通した前フィールド信号の比重を多くし、絶対値が小さいほど水平低域通過フィルタを通した前フィールド信号の比重を多くする混合比率を決定する手段と、混合比率に基づき水平垂直低域通過フィルタを通した前フィールド信号と水平低域通過フィルタを通した前フィールド信号を混合する重み付き加算器と、加算器出力と水平垂直低域通過フィルタを通した現フィールド信号の差分絶対値をある小領域にて積分する積分器を備えることを特徴とする順次走査変換装置。
【選択図】図１

Description

本発明は、テレビジョン受像装置等に用いられる順次走査変換技術に関する。

映像信号の信号処理において、飛び越し走査の形態の映像信号を順次走査の形態の映像信号に変換する順次走査変換が知られている。この順次走査変換において、高画質画像に不可欠な物理要因である自然感を保存して、静止画像から動画像まで違和感なく高品質画像を再生することが求められている。

例えば順次操作変換において、概要としてフレーム間相関検出手段とフィールド間相関検出手段を有し、フレーム間相関の強さを示す信号とフィールド間の強さを示す信号に基づき補間信号の混合比を生成してIP変換を行う映像信号処理装置が提案されている（特許文献１参照）。

しかしながら上記の特許文献１に記載された映像信号処理装置では、混合比率に基づき水平垂直低域通過フィルタを通した前フィールド信号と水平低域通過フィルタを通した前フィールド信号を混合する重み付加算器を有する技術の開示は無く動き検出の誤判定を防止することが難しいという問題があった。
特開２００６−２５３７６６号公報

本発明は上記の問題点に鑑みて成されたものであって、画像を判定してより効果的に動き検出の補正を行うことにより、画質の劣化を防止することが可能な順次走査変換装置及び順次走査変換方法を提供することを目的とする。

上記課題を解決するために、本発明の順次走査変換装置は、画素毎に1フレーム間の動きを検出する動き検出手段と、前フィールド信号または後フィールド信号から静画用補間画素を生成する静画用補間画素生成手段と、現フィールド信号または前フィールド信号または後フィールド信号から動画用補間画素を生成する動画用補間画素生成手段と、現フィールドと前フィールドの間あるいは現フィールドと後フィールドの間の同じ画面位置にある小領域同士の相関を検出するフィールド間小領域動き検出手段と、前記フィールド間小領域動き検出手段出力から動きが大きいと判定した場合に、小領域内の前記動き検出手段の出力を動画判定寄りに補正をする動き検出補正手段を備える動き適応型順次走査変換装置において、前記フィールド間小領域動き検出手段にて、現フィールド信号を処理する水平垂直低域通過フィルタと、前フィールド信号を処理する水平垂直低域通過フィルタと、前フィールド信号を処理する水平低域通過フィルタと、前記水平垂直低域通過フィルタを通した現フィールド信号と前記水平垂直低域通過フィルタを通した前フィールド信号の差を算出する差分絶対値算出器と、差分絶対値算出器出力の絶対値が大きいほど前記水平垂直低域通過フィルタを通した前フィールド信号の比重を多くし、絶対値が小さいほど前記水平低域通過フィルタを通した前フィールド信号の比重を多くする混合比率を決定する手段と、前記混合比率に基づき前記水平垂直低域通過フィルタを通した前フィールド信号と前記水平低域通過フィルタを通した前フィールド信号を混合する重み付き加算器と、前記加算器出力と前記水平垂直低域通過フィルタを通した現フィールド信号の差分絶対値をある小領域にて積分する積分器を備えることを特徴とする。

本発明によれば、画像を判定してより効果的に動き検出の補正を行うことにより、画質の劣化を防止することが可能な順次走査変換装置及び順次走査変換方法を提供することができる。

以下、本発明の実施形態を説明する。

本発明による実施形態１を図１乃至図２及び図５，６を参照して説明する。図１は、この発明の一実施形態である順次走査変換装置１である。
後フィールド信号S1をフィールド遅延手段２により1フィールド遅延させた信号を現フィールド信号S2、さらにフィールド遅延手段３により1フィールド遅延させた信号を前フィールド信号S3とする。現フィールド信号S2のライン間に補間ライン信号を生成し、現フィールド信号S2そのものである直接ライン信号とその補間ライン信号を時系列変換手段４により順次走査信号に整列して出力する。動画用補間画素生成手段５は現フィールドS2のフィールド内補間、もしくは現フィールド信号S2および前後のフィールド信号S1,S3から動き補償による動画用補間画素を生成する。静画用補間画素生成手段６は補間画素と空間的に同じ位置の前フィールド信号S3の画素、または後フィールド信号S1の画素、もしくは前フィールド信号S3と後フィールド信号S1の画素の平均を静画用補間画素として出力する。動き検出手段７は前後のフィールド信号S1,S3から、画素毎にフレーム間の差分を求め大きいほど動画判定、小さいほど静画判定とするフレーム間動き検出値MD1を算出する。

フィールド間小領域動き検出手段８は、現フィールド信号S2と前フィールド信号S3の間の同じ画面位置にある小領域同士の動き情報FLZCVを検出する手段であり、現フィールド信号S2を水平垂直低域通過フィルタ９によりフィルタ処理した信号HVS2と、前フィールド信号S3を水平垂直低域通過フィルタ１０によりフィルタ処理した信号HVS3と、前フィールド信号S3を水平低域通過フィルタ１１によりフィルタ処理した信号HS3を用意する。前記算出信号HVS2とHVS3の差分絶対値１２をとることで、水平垂直低域通過フィルタ処理した信号のフィールド間差分絶対値HVFLを算出する。算出されたフィールド間差分値HVFLを用いて、HVFLの値が大きいほど水平垂直低域通過フィルタ処理前フィールドした信号HVS3の比重を多くし、値が小さいほど水平低域通過フィルタ処理した前フィールド信号HS3の比重を多くする、フィルタ処理済み前フィールド信号FS3を作成するための混合比率α（0≦α≦1）を決定（１３）することで、垂直低域通過フィルタ処理が適応制御される。算出されたフィルタ処理済み前フィールド信号FS3と水平垂直低域通過フィルタ処理現フィールド信号HSV2の差分絶対値１４出力のFLMDをフィールド間の動き情報としてある小領域にて積分（１５）し、フィールド間小領域動き検出手段出力FLZCVを得る。

動き検出補正手段１６では、前記フィールド間小領域動き検出手段出力FLZCVが大きいと判定した場合に、領域内の前記動き検出手段７の出力MD1を動画判定寄りに補正して出力MD2を生成することで、フレーム間の動き検出で静止と誤判定し、順次走査変換出力に誤補間ノイズが発生してしまうことを防止する。また、フィールド間小領域動き検出手段８は、現フィールド信号S2と後フィールド信号S1の間でも構成可能であり、静画用補間画素に用いているフィールド信号と現フィールド信号S2との間で検出することが好ましい。

動き検出補正手段１６出力MD2の値を用いて補間画素混合生成手段１７では、下記のような式で動画用補間画素と静画用補間画素を混合する。
補間ライン信号＝ MD2 x 動画用補間画素 + (1 - MD2) x 静画用補間画素
ここで、MD2は 0≦MD2≦1 とする。
本発明で解決したい従来の課題を従来例と併せて説明する。
従来例では、フレーム間の動き検出で静止と誤判定して、順次走査変換出力に誤補間ノイズが発生することを防ぐため、フィールド間小領域動き検出手段を利用した動き検出補正手段を備えており、フィールド間小領域動き検出手段出力FLZCVが大きいと判定した場合に、領域内の前記動き検出手段の出力MD1を動画判定寄りに補正して出力MD2を生成することで、誤補間ノイズの発生を防止している。ただし、補間したい画素位置のフィールド間の動きを検出する場合は、インターレース構造のフィールド間では垂直方向の同ライン位置に画素が存在せず、また対ノイズ耐性を高めるためにも、垂直方向低域通過フィルタを通した信号同士の差分HVFLを動き情報として得ることが望ましい。

次に解決したい課題を図５を用いて示す。
図５の左側に表すような、信号レベルが垂直方向にピーク・ボトム間である一定の周期を持つ画像が、上方向にスクロールした場合を扱う。画像の左側に表した数字はプログレッシブ画像の上側からインデックスを付けたライン数である。そして、図２の右側は、スクロールの動きが1/60fps毎にプログレッシブ画像のラインで2ラインづつ動くとした際の、後フィールド信号S1、現フィールド信号S2、及び前フィールド信号S3のそれぞれのラインに位置する画素の情報を表している。この動きでは、フレーム間の画素単位動き検出を行うと、後フィールド信号S1、前フィールド信号S3が同じ情報であるために、静止と誤判定して順次走査変換出力に誤補間ノイズの発生を招いてしまう。そこで前フィールド信号S3、現フィールド信号S2によるフィールド間小領域動き検出手段を利用するのだが、前フィールド信号S3でフィルタ処理をする場合、楕円で囲んだ画素を利用して垂直低域通過フィルタを通すと、楕円内に含まれるピークの信号とボトムの信号が平均化され、現フィールド信号S2に存在する中間レベルの画素との差が無くなり、フィールド間で静止と判定してしまい、補正が正しく成されない可能性がある。

図６に表す方法は先行技術の２番目に当たる方法を示している。補間位置に対し半画素分ずれた位置の画素レベル情報を、現フィールド信号S2、及び前フィールド信号S3にてそれぞれ上下の画素から１：３で加重平均して求めている。前フィールド信号S3側の加重平均値はピーク・ボトムの中間ではないため、現フィールド信号S2に存在する中間レベルとの差が算出できるが、所望の補間画素位置で算出されるべきFLMD（ピーク値と中間レベルの差）からは半減してしまい、正しく動き情報を得ることができない。

図１に示す本実施形態では、垂直方向低域通過フィルタを通した信号同士の差分HVFLが大きいほど水平垂直低域通過フィルタを通した前フィールド信号HVS3の比重を多くし、絶対値が小さいほど水平低域通過フィルタを通した前フィールド信号HS3の比重を多くする混合比率を決定する手段と、混合比率に基づいた重み付き加算器を備え、重み付き加算器出力FS3と水平垂直低域通過フィルタを通した現フィールド信号HVS2の差分絶対値FLMDを動き情報として用いる。

図２に本発明の第１の実施例で処理した、前記課題のスクロール画像の、フィールド間動き情報算出方法を示す。前フィールド信号S3でフィルタ処理をする場合、前記図５の説明で示したように上下のデータから、ピークの信号とボトムの信号が平均化されるため、現フィールド信号S2に存在する中間レベルの画素との差が無くなり、垂直方向低域通過フィルタを通した信号同士の差分HVFLは小さくなる。すると水平低域通過フィルタを通した前フィールド信号HS3の比重が高くなるため、結果として図２の楕円で示すように、前フィールド信号S3は垂直方向の情報を含めずにフィールド間の動き情報FLMDを得るため、フィールド間に現れる差分を検出でき、上方向のスクロール動作に対し、動画として処理するように補正が効くようになる。

本実施形態はフィールド間動き検出手段を利用した順次走査変換方法であり、フィールド間の動き検出方法として２系統用意したフィルタの出力の混合比率を適応的に制御する方法である。扱う絵柄に応じたフィールド間動き検出手段の最適化を行って、効果としてより正しく動きを検出できるよう改善することができる。

本発明による実施形態２を図３乃至図６を参照して説明する。実施形態１と共通する部分は説明を省略する。図３に提案の順次走査変換装置の第２の実施形態を示す。

第１の実施形態に加えて、前後のフィールド信号S1、S3の間の同じ画面位置にある小領域同士の動き情報FMZCVを検出するフレーム間小領域動き検出手段１８を持ち、フレーム間小領域動き検出手段１８の出力FMZCVが大きい場合は、動画である可能性が高いとし、動き検出補正手段１６に入力するフィールド間小領域動き検出手段１５出力の動きFLZCVの比重を高くし、フレーム間小領域の動きFMZCVが小さい場合は、静止画である可能性が高いとし、動き検出補正手段１６に入力するフィールド間小領域動き検出手段１５出力の動きFLZCVの比重を低くする、フィールド間動き情報による動き検出補正の制御手段を備える。

図３に示す本発明の第２の実施例では、第１の実施例に加えて、フレーム間小領域動き検出手段を持つ。フレーム間小領域の動きFMZCVが大きい場合は、動画である可能性が高いとし、動き検出補正手段に入力するフィールド間小領域動き検出手段出力の動きFLZCVの比重を高くし、フィールド間動き情報による動き検出補正を促進させる。また、フレーム間小領域の動きFMZCVが小さい場合は、静止画である可能性が高いとし、動き検出補正手段に入力するフィールド間小領域動き検出手段出力の動きFLZCVの比重を低くし、フィールド間動き情報による動き検出補正を抑制させる。このときフレーム間動き検出手段で捉える画素単位に対して、小領域が充分に大きいと仮定する。

前記課題のスクロール画像では、フレーム間小領域動き検出手段は、画素単位に対し充分に広い範囲で検出するため、フレーム間でも動きを捉えFMZCVが大きくなり、動き検出補正手段に入力するフィールド間小領域動き検出手段出力の動きFLZCVの比重は高くされ、第１の実施例と同様の効果で動画として処理するように補正が効くようになる。加えて図４に本発明の第２の実施例で処理した、前記課題の画像がスクロールせず静止した場合の、フィールド間動き情報算出方法を示す。現フィールド信号S2、及び前フィールド信号S3に現れる画素情報は、スクロールした際と同様のフィールド間の小領域動き情報FLZCVを得るが、静止画の場合にフレーム間小領域の動きFMZCVは小さくなり、フィールド間小領域動き検出手段出力の動きFLZCVの比重は低くなり補正を抑えるように働かせられるため、静止画に対してもより信頼性の高いフィールド間動き情報を得ることができる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば変形例としては、フィールド間、フレーム間で動きを検出する小領域及び、検出された動きを基に動き検出補正を行う割り当ての領域は、入力画像、システム規模を考慮して、適応的に設定することが可能である。例えば小領域の縦のサイズを大きくすれば、必要なメモリ規模は増大するが縦方向の動きを捕捉しやすくなる。横のサイズについては、更にシステム内の処理の遅延等を考慮して設定する。フィールド間、フレーム間で動きを検出する小領域は同一サイズでなくともよく適宜設定可能である。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

この発明の一実施形態の順次走査変換装置を示すブロック構成図。同実施形態のフィールド間動き検出の実施例。他の実施形態の順次走査変換装置を示すブロック構成図。同実施形態のフィールド間動き検出の実施例。課題となる動画の一例。従来のフィールド間動き検出の実施例。

符号の説明

１…順次走査変換装置、２…フィールド遅延手段、３…フィールド遅延手段、４…時系列変換手段、５…動画用補間画素生成手段、６…静画用補間画素生成手段、７…動き検出手段、８…フィールド間小領域動き検出手段、９…水平垂直低域通過フィルタ、１０…水平垂直低域通過フィルタ、１１…水平垂直低域通過フィルタ、１２…差分絶対値、１３…混合比率α決定、１４…差分絶対値、１５…小領域積分、１６…動き検出補正手段、１７…補間画素混合生成手段、１８…フレーム間小領域動き検出手段、２１…順次走査変換装置。

Claims

画素毎に1フレーム間の動きを検出する動き検出手段と、前フィールド信号または後フィールド信号から静画用補間画素を生成する静画用補間画素生成手段と、現フィールド信号または前フィールド信号または後フィールド信号から動画用補間画素を生成する動画用補間画素生成手段と、現フィールドと前フィールドの間あるいは現フィールドと後フィールドの間の同じ画面位置にある小領域同士の相関を検出するフィールド間小領域動き検出手段と、前記フィールド間小領域動き検出手段出力から動きが大きいと判定した場合に、小領域内の前記動き検出手段の出力を動画判定寄りに補正をする動き検出補正手段を備える動き適応型順次走査変換装置において、
前記フィールド間小領域動き検出手段にて、現フィールド信号を処理する水平垂直低域通過フィルタと、前フィールド信号を処理する水平垂直低域通過フィルタと、前フィールド信号を処理する水平低域通過フィルタと、前記水平垂直低域通過フィルタを通した現フィールド信号と前記水平垂直低域通過フィルタを通した前フィールド信号の差を算出する差分絶対値算出器と、差分絶対値算出器出力の絶対値が大きいほど前記水平垂直低域通過フィルタを通した前フィールド信号の比重を多くし、絶対値が小さいほど前記水平低域通過フィルタを通した前フィールド信号の比重を多くする混合比率を決定する手段と、前記混合比率に基づき前記水平垂直低域通過フィルタを通した前フィールド信号と前記水平低域通過フィルタを通した前フィールド信号を混合する重み付き加算器と、前記加算器出力と前記水平垂直低域通過フィルタを通した現フィールド信号の差分絶対値をある小領域にて積分する積分器を備えることを特徴とする順次走査変換装置。
前記フィールド間小領域動き検出手段に加えてさらに、前フィールドと後フィールドの間の、同じ画面位置にある小領域同士の相関を検出するフレーム間小領域動き検出手段を備え、前記フレーム間小領域動き検出手段出力の動きが大きいと判定した小領域内はフィールド間小領域動きの比重を高くし、前記フレーム間小領域動き検出手段出力の動きが小さいと判定した小領域内はフィールド間小領域動きの比重を低くする、動き検出補正の制御手段を備えることを特徴とする請求項１記載の順次走査変換装置。
画素毎に1フレーム間の動きを検出する動き検出手段と、前フィールド信号または後フィールド信号から静画用補間画素を生成する静画用補間画素生成手段と、現フィールド信号または前フィールド信号または後フィールド信号から動画用補間画素を生成する動画用補間画素生成手段と、現フィールドと前フィールドの間あるいは現フィールドと後フィールドの間の同じ画面位置にある小領域同士の相関を検出するフィールド間小領域動き検出手段と、前記フィールド間小領域動き検出手段出力から動きが大きいと判定した場合に、小領域内の前記動き検出手段の出力を動画判定寄りに補正をする動き検出補正手段を備える動き適応型順次走査変換装置における順次走査変換方法であって、
前記フィールド間小領域動き検出手段にて、現フィールド信号を処理する水平垂直低域通過フィルタと、前フィールド信号を処理する水平垂直低域通過フィルタと、前フィールド信号を処理する水平低域通過フィルタと、前記水平垂直低域通過フィルタを通した現フィールド信号と前記水平垂直低域通過フィルタを通した前フィールド信号の差を算出する差分絶対値算出器とを用い、
差分絶対値算出器出力の絶対値が大きいほど前記水平垂直低域通過フィルタを通した前フィールド信号の比重を多くし、絶対値が小さいほど前記水平低域通過フィルタを通した前フィールド信号の比重を多くする混合比率を決定し、
前記混合比率に基づき前記水平垂直低域通過フィルタを通した前フィールド信号と前記水平低域通過フィルタを通した前フィールド信号を混合する重み付き加算を行い、この加算結果と前記水平垂直低域通過フィルタを通した現フィールド信号の差分絶対値をある小領域にて積分することを特徴とする順次走査変換方法。
前記フィールド間小領域動き検出手段に加えてさらに、前フィールドと後フィールドの間の、同じ画面位置にある小領域同士の相関を検出するフレーム間小領域動き検出手段を用い、
前記フレーム間小領域動き検出手段出力の動きが大きいと判定した小領域内はフィールド間小領域動きの比重を高くし、前記フレーム間小領域動き検出手段出力の動きが小さいと判定した小領域内はフィールド間小領域動きの比重を低くする、動き検出補正の制御を行うことを特徴とする請求項３記載の順次走査変換方法。