JP2007502042A - グラフィクス重畳検出 - Google Patents

Abstract

ビデオ画像の表示シーケンスの第１の画像の特定の画素が、グラフィクスの重畳の一部を表すか否かを検出する重畳検出ユニット（３００）が開示される。重畳検出ユニット（３００）は、特定の画素（Ｐ（１，ｎ））の第１の値と、前記ビデオ画像の表示シーケンスの第２の画像の対応する画素（Ｐ（１，ｎ−１））の第２の値との間の第１の差（Ｄ１１）が、第１の所定の閾値（Ｔ１）よりも小さいか否かをテストする第１のテスト手段（３０２）と、前記特定の画素（Ｐ（１，ｎ））の空間的な近隣に位置する第２の画素（Ｐ（２，ｎ））の第３の値と、前記第２の画像の前記第２の画素に対応する第４の画素（Ｐ（２，ｎ−１））の第４の値との間の第２の差（Ｄ２２）が、第２の所定の閾値（Ｔ２）よりも小さいか否かをテストする第２のテスト手段（３０４）と、前記特定の画素（Ｐ（１，ｎ））の第１の値と、前記第２の画素（Ｐ（２，ｎ））の第３の値との間の第３の差（Ｄ１２）が、第３の所定の閾値（Ｔ３）よりも小さいか否かをテストする第３のテスト手段と、前記テスト手段の出力に基づいて、前記特定の画素が前記グラフィクスの重畳の一部を表すことを確認する確認手段（３０８）と、を有する。

Description

本発明は、ビデオ画像の表示シーケンスの第１の画像の特定の画素が、グラフィクスの重畳の一部を表すか否かを検出する重畳検出ユニットであって、前記グラフィクスの重畳の一部は、前記ビデオ画像の表示シーケンスを生成するためにビデオ画像の入力シーケンスとマージされた重畳検出ユニットに関する。

本発明は更に、
ビデオ画像の表示シーケンスに対応する信号を受信する受信手段と、
上述の重畳検出ユニットと、
前記ビデオ画像の表示シーケンスに基づいて、及び前記重畳検出ユニットによって供給されたグラフィクスの重畳検出信号に基づいて、出力画像のシーケンスを算出する画像処理ユニットと、
を有する画像処理機器に関する。

本発明は更に、ビデオ画像の表示シーケンスの第１の画像の特定の画素が、前記ビデオ画像の表示シーケンスを生成するためにビデオ画像の入力シーケンスとマージされたグラフィクスの重畳の一部を表すか否かを検出する方法に関する。

本発明は更に、ビデオ画像の表示シーケンスの第１の画像の特定の画素が、前記ビデオ画像の表示シーケンスを生成するためにビデオ画像の入力シーケンスとマージされたグラフィクスの重畳の一部を表すか否かを検出する命令を有する、コンピュータ装置によりロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有するコンピュータプログラムに関する。

画像レート変換、特に画像レートの上方変換（upconversion）は、ＴＶセットのような消費者向けビデオ機器において良く知られた概念である。例えば、G. de Haanによる書籍「Video processing for multimedia systems」（ISBN90-9014015-8）の第４章を参照されたい。動き補償（motion compensated）画像レート上方変換の目的は、優れた動きの描写を実現することである。このことは、画像のシーケンスの時間的な内挿を、該画像のシーケンスについて推定された動きベクトルに基づいて行うことにより達成される。一般に、例えば８＊８画素のような画素のブロックについて、種々の動きベクトルが計算される。画像がグラフィクスの重畳（overlay）を有し（グラフィクスの重畳は一般に時間に対して静的である）、且つ移動するオブジェクトを表す場合には、既知の画像レート上方変換方法は、前記グラフィクスの重畳の分解に帰着する。例えば図１Ａの画像を参照されたい。

グラフィクスの重畳は、コンテンツプロバイダ又は放送局によって提供される、字幕又はその他の情報に対応し得る。グラフィクスの重畳はまた、ＴＶセット、セットトップボックス、衛星チューナ、ＶＣＲ（Video Cassette Recorder）プレイヤ、ＤＶＤ（Digital Versatile Disk）プレイヤ又はレコーダのような、消費者向け装置のグラフィクスのユーザインタフェースの一部として生成される所謂ＯＳＤ（On Screen Display）情報に対応し得る。更なる選択肢は、グラフィクスの重畳が、ビデオデータと関連して交換されるメタデータに対応することである。

前記分解、即ちグラフィクスの重畳の歪は、該グラフィクスの重畳が動き推定のために利用される画素のブロックの小さな部分のみをカバーし、該画素のブロックの他の部分が移動する背景に対応する場合に生じる。一般に、単一の動きベクトルが、各画素のブロックについて推定される。結果として、該単一の動きベクトルは、かような画素のブロックにおける全ての画素の実際に動きには適合しない。移動する背景に対応する画素のブロックの一部に対して合致誤差が最小である場合には、推定された動きベクトルは背景の動きに合致する。このことは、画素のブロックの比較的大きな部分が正常に動き補償されるようにするが、グラフィクスの重畳の歪を引き起こし、それ故ビデオ品質の不快な劣化を引き起こす。

本発明の目的は、頑強な方法でグラフィクスの重畳を検出するように構成された、最初のパラグラフに記載された種類の重畳検出ユニットを提供することにある。

本発明の本目的は、
前記特定の画素の第１の値と、前記ビデオ画像の表示シーケンスの第２の画像の対応する画素の第２の値との間の第１の差が、第１の所定の閾値よりも小さいか否かをテストする第１のテスト手段と、
前記特定の画素の空間的な近隣に位置する第２の画素の第３の値と、前記ビデオ画像の表示シーケンスの第２の画像の前記第２の画素に対応する第４の画素の第４の値との間の第２の差が、第２の所定の閾値よりも小さいか否かをテストする第２のテスト手段と、
前記特定の画素の第１の値と、前記第２の画素の第３の値との間の第３の差が、第３の所定の閾値よりも小さいか否かをテストする第３のテスト手段と、
前記第１の差が前記第１の所定の閾値よりも小さく、前記第２の差が前記第２の所定の閾値よりも小さく、前記第３の差が前記第３の所定の閾値よりも小さい場合に、前記特定の画素が前記グラフィクスの重畳の一部を表すことを確認する確認手段と、
を有する重畳検出ユニットにより達成される。

換言すれば、３つのテストが実行され、３つのテスト結果が組み合わせられ、特定の画素がグラフィクスの重畳の一部を表しているか否かを確認する。第１のテストは、一種の静的テストである。このことは、特定の画素と、該特定の画素と同一の座標を持つ先行する又は後続する画像における画素とが、略等しい値を持つか否かがテストされることを意味する。前記値は、例えば輝度又は色のような、人間にとって可視な情報を表す。第２のテストもまた一種の静的テストであるが、該特定の画素に適用されるものではなく、該特定の画素の近隣における他の画素（第２の画素と呼ばれる）について適用される。ここで近隣とは、例えば２１＊２１画素の領域を意味する。第３のテストは、一種の均一性テストである。このことは、特定の画素と、該特性の画素の近隣における他の画素（第２の画素と呼ばれる）とが、略等しい値を持つか否かがテストされることを意味する。全てのテストが肯定的であった場合、該特定の画素はグラフィクスの重畳の一部として見なされ、そのようにラベル付けされる。静的テストと均一性テストとの組み合わせが、グラフィクスの重畳の頑強な検出に帰着する。

好ましくは、前記第１の所定の閾値と前記第２の所定の閾値とが、相互に等しい。

本発明による重畳検出ユニットの実施例は更に、第１の動きベクトルがゼロの動きベクトルに等しいと推定された画素の群に、前記特定の画素が属するか否かをテストする第４のテスト手段を有する。動きベクトル場によって、グラフィクス重畳検出が実行されるべき画像を最初にセグメント化することにより、検出の頑強さの更なる向上が達成される。セグメント化とは、ゼロに等しい動きベクトルを持つ画素のブロックが、ゼロと異なる動きベクトルを持つ画素のブロックから分離されることを意味する。前記重畳検出ユニットは、前記動きベクトル場に基づいて初期化される。グラフィクスの重畳の一部の表現の検出は、ゼロの動きベクトルが割り当てられた第１の画像の画素について、上述のように実行される。その後、ゼロでない動きベクトルが割り当てられた画素について、一種の拡大又は拡張が任意に実行される。前記動きベクトルに基づく初期化は、計算の複雑さ及び検出の頑強さのために有利である。前記動きベクトル場は好ましくは前記第１の画像について計算されるが、第２の画像について計算されたものであっても良い。

本発明による重畳検出ユニットの実施例は、前記特定の画素の第１の値と、前記ビデオ画像の表示シーケンスの第３の画像の対応する画素の第４の値との間の第４の差が、前記第１の所定の閾値よりも小さいか否かをテストするように構成される。第３の画像に基づく付加的な静的テストにより、検出の頑強さが更に増大させられる。

本発明による重畳検出ユニットの実施例は、前記特定の画素の第１の値と、前記特定の画素の空間的な近隣に位置する第３の画素の第４の値との間の第５の差が、前記第３の所定の閾値よりも小さいか否かをテストするように構成される。第１の画像の第３の画素に基づく付加的な均一性テストにより、検出の頑強さが更に増大させられる。好ましくは、前記特定の画素、前記第２の画素及び前記第３の画素が、相互に接続された画素のセットを形成する。換言すれば、隣接する画素の経路がある。画素の接続性の条件をテストすることは、頑強さのために有利である。

本発明による重畳検出ユニットの実施例においては、前記第２の画素が、グラフィクスの重畳の更なる部分を表すことが確認された画素のセットから選択される。本発明による本実施例は、前記第１の画像の最初の走査において、グラフィクスの重畳の一部を表すとラベル付けされた画素のセットを拡大又は拡張するために、前記第１の画像に一種の第２の反復を実行するように構成される。検出の品質が、前記第２の反復によって更に向上させられる。

本発明の更なる目的は、重畳検出ユニットが頑強な方法でグラフィクスの重畳を検出するように構成された、最初のパラグラフに記載された種類の画像処理機器を提供することにある。

本発明の本目的は、
前記特定の画素の第１の値と、前記ビデオ画像の表示シーケンスの第２の画像の対応する画素の第２の値との間の第１の差が、第１の所定の閾値よりも小さいか否かをテストする第１のテスト手段と、
前記特定の画素の空間的な近隣に位置する第２の画素の第３の値と、前記ビデオ画像の表示シーケンスの第２の画像の前記第２の画素に対応する第４の画素の第４の値との間の第２の差が、第２の所定の閾値よりも小さいか否かをテストする第２のテスト手段と、
前記特定の画素の第１の値と、前記第２の画素の第３の値との間の第３の差が、第３の所定の閾値よりも小さいか否かをテストする第３のテスト手段と、
前記第１の差が前記第１の所定の閾値よりも小さく、前記第２の差が前記第２の所定の閾値よりも小さく、前記第３の差が前記第３の所定の閾値よりも小さい場合に、前記特定の画素が前記グラフィクスの重畳の一部を表すことを確認する確認手段と、
を有する重畳検出ユニットによって達成される。前記画像処理ユニットは、グラフィクスの重畳の検出された部分を保護するように構成された時間的上方変換ユニットであっても良い。前記画像処理ユニットは任意に、出力画像を表示するための表示装置を有する。

本発明の更なる目的は、頑強な方法でグラフィクスの重畳を検出する、最初のパラグラフに記載された種類の方法を提供することにある。

本発明の本目的は、
前記特定の画素の第１の値と、前記ビデオ画像の表示シーケンスの第２の画像の対応する画素の第２の値との間の第１の差が、第１の所定の閾値よりも小さいか否かをテストするステップと、
前記特定の画素の空間的な近隣に位置する第２の画素の第３の値と、前記ビデオ画像の表示シーケンスの第２の画像の前記第２の画素に対応する第４の画素の第４の値との間の第２の差が、第２の所定の閾値よりも小さいか否かをテストするステップと、
前記特定の画素の第１の値と、前記第２の画素の第３の値との間の第３の差が、第３の所定の閾値よりも小さいか否かをテストするステップと、
前記第１の差が前記第１の所定の閾値よりも小さく、前記第２の差が前記第２の所定の閾値よりも小さく、前記第３の差が前記第３の所定の閾値よりも小さい場合に、前記特定の画素が前記グラフィクスの重畳の一部を表すことを確認するステップと、
を有する方法によって達成される。

本発明の更なる目的は、頑強な方法でグラフィクスの重畳を検出する、最初のパラグラフに記載された種類のコンピュータプログラムを提供することにある。

本発明の本目的は、ロードされた後に、
前記特定の画素の第１の値と、前記ビデオ画像の表示シーケンスの第２の画像の対応する画素の第２の値との間の第１の差が、第１の所定の閾値よりも小さいか否かをテストするステップと、
前記特定の画素の空間的な近隣に位置する第２の画素の第３の値と、前記ビデオ画像の表示シーケンスの第２の画像の前記第２の画素に対応する第４の画素の第４の値との間の第２の差が、第２の所定の閾値よりも小さいか否かをテストするステップと、
前記特定の画素の第１の値と、前記第２の画素の第３の値との間の第３の差が、第３の所定の閾値よりも小さいか否かをテストするステップと、
前記第１の差が前記第１の所定の閾値よりも小さく、前記第２の差が前記第２の所定の閾値よりも小さく、前記第３の差が前記第３の所定の閾値よりも小さい場合に、前記特定の画素が前記グラフィクスの重畳の一部を表すことを確認するステップと、
を実行する機能を前記処理手段に備えさせるコンピュータプログラムにより達成される。重畳検出ユニットの変更及び変形例は、記載された画像処理機器、方法及びコンピュータプログラムの変更及び変形例に対応しても良い。

本発明による重畳検出ユニット、画像処理機器、方法及びコンピュータプログラムのこれらの及び他の態様は、以下に説明される実装及び実施例に関して、及び添付する図を参照しながら説明され、明らかとなるであろう。

図を通して、同一の参照番号が類似の部分を示すために利用される。

図１Ａは、先行技術の上方変換ユニットの出力画像１００を示す。出力画像１００は、入力画像の時間的な内挿に基づくものである。前記入力画像は、車が道路を走っている、映画の一部に対応する。前記入力画像の取得の間、連続する画像の中央に前記車を維持するために、カメラがパン（pan）した。結果として、前記入力画像について推定された動きベクトルの殆どが、ゼロに等しくない。出力画像１００は更に、ＤＶＤプレイヤによって生成されたものであり、ＤＶＤに保存された画像と混合させられたグラフィクスの重畳を有する。混合された画像、即ち保存された画像とグライフィクスの重畳との混合は、上方変換のために利用される。不運にも、前記上方変換は、グラフィクスの重畳１０２及び１０４において可視のアーティファクト（artifact）に帰着している。このことは、先行技術による上方変換ユニットによって提供された出力画像１００は、必要とされるよりも可視性が低いグラフィクスの重畳１０２及び１０４を有することを意味する。例えば文字列「１：２１：２４」のような幾つかのテキスト情報の表現１０２が歪ませられていることが明らかに分かる。先行技術による上方変換ユニットによって提供された出力画像１００を、図１Ｂに示された本発明による上方変換ユニットによって提供された別の出力画像１０６と比較すると、幾つかのアイコンの表現１１０がかなり改善されていることが分かる。

図２Ａは、ビデオ画像の入力シーケンスのうちの２つの連続する画像２００及び２０２、並びにこれら画像の幾つかの画素Ｐ（１，ｎ）、Ｐ（１，ｎ−１）、Ｐ（２，ｎ）及びＰ（２，ｎ−１）を模式的に示す。特定の画素Ｐ（１，ｎ）がグラフィクスの重畳の一部を表すか否かを決定するため、幾つかのテストが実行される。即ち、幾つかの差Ｄ１１、Ｄ１２及びＤ２２が計算され、それぞれの閾値と比較される。このことは、図３Ａと共により詳細に説明される。

図２Ｂは、ビデオ画像の入力シーケンスのうちの３つの連続する画像２００乃至２０４、並びにこれら画像の幾つかの画素Ｐ（１，ｎ）、Ｐ（１，ｎ−１）、Ｐ（１，ｎ＋１）、Ｐ（２，ｎ）、Ｐ（２，ｎ−１）及びＰ（３，ｎ）を模式的に示す。特定の画素Ｐ（１，ｎ）がグラフィクスの重畳の一部を表すか否かを決定するため、幾つかのテストが実行される。即ち、幾つかの差Ｄ１１、Ｄ１２、Ｄ１３、Ｄ２２及びＤ１１ｐが計算され、それぞれの閾値と比較される。このことは、図３Ｂと共により詳細に説明される。

図３Ａは、本発明による重畳検出ユニット３００の実施例を模式的に示す。重畳検出ユニット３００は、ビデオ画像の表示シーケンスに対応するビデオ信号を供給される。該ビデオ画像の表示シーケンスは、グラフィクスの重畳とマージされるビデオ画像の入力信号に基づくものであっても良い。重畳検出ユニット３００は、前記ビデオ画像の表示シーケンスの第１の画像の特定の画素が、かようなグラフィクスの重畳の一部を表すか否かを検出するように構成される。重畳検出ユニット３００は、
−特定の画素Ｐ（１，ｎ）の第１の値と、前記ビデオ画像の表示シーケンスの第２の画像の対応する画素Ｐ（１，ｎ−１）の第２の値との間の第１の差Ｄ１１が、第１の所定の閾値Ｔ１よりも小さいか否かテストする第１の評価ユニット３０２と、
−特定の画素Ｐ（１，ｎ）の空間的な近隣に存在する第２の画素Ｐ（２，ｎ）の第３の値と、前記第２の画素Ｐ（２，ｎ）に対応する前記ビデオ画像の表示シーケンスの第２の画像の第４の画素Ｐ（２，ｎ−１）の第４の値との第２の差Ｄ２２が、第２の所定の閾値Ｔ２よりも小さいか否かテストする第２の評価ユニット３０４と、
−特定の画素Ｐ（１，ｎ）の第１の値と、第２の画素Ｐ（２，ｎ）の第３の値との間の第３の差Ｄ１２が、第３の所定の閾値Ｔ３よりも小さいか否かテストする第３の評価ユニット３０６と、
−第１の差Ｄ１１が第１の所定の閾値Ｔ１よりも小さく、第２の差Ｄ２２が第２の所定の閾値Ｔ２よりも小さく、第３の差Ｄ１２が第３の所定の閾値Ｔ３よりも小さい場合、前記特定の画素がグラフィクスの重畳の一部を表していると確認する結合ユニット３０８と、
を有する。

重畳検出ユニット３００は任意に、ビデオ画像及び中間結果を一時的に保存するためのメモリ装置３１０を有する。代替として、メモリ装置３１０は、重畳検出ユニット３００が属する機器の他の構成要素と共有される。

重畳検出ユニット３００の出力は、出力コネクタ３１４において供給される。好ましくは前記出力は、前記入力画像の画素毎に、該画素がグラフィクスの重畳の一部に対応するか否かを示す、入力画像毎のバイナリのビットマップである。代替として前記出力は、グラフィクスの重畳の一部を表すことが確認されている画素についての、適切な色又は輝度値を有する多次元信号である。

ビデオ画像の表示シーケンスの画像の画素は、走査手法で評価される。該走査は、線毎又は列毎であっても良い。値が時間的に静的であり、値が同じく時間的に静的である第２の画素の値に略等しい各画素は、グラフィクスの重畳の一部を表すものとしてラベル付けされる。

好ましくは、相互に等しい座標を持つ連続する画像の画素が比較される。代替として、動きベクトルによって関連付けられる連続する画像の画素が比較される。それ故、「対応する（corresponding）」なる語は、必ずしも等しい座標を意味しない。

第１の評価ユニット３０２、第２の評価ユニット３０４、第３の評価ユニット３０６及び結合ユニット３０８は、１つのプロセッサを利用して実装されても良い。通常、これらの機能はソフトウェアプログラムの制御下で実行される。実行の間、通常前記ソフトウェアプログラムはＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭ、ハードディスク又は磁気及び／又は光記憶装置のようなバックグラウンドメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が、開示される機能を提供する。

図３Ｂは、本発明による重畳検出ユニット３０１の代替実施例を模式的に示す。重畳検出ユニット３０１の本実施例の入力及び出力は、図３Ａと共に説明された重畳検出ユニット３００の実施例の入力及び出力と等しい。重畳検出ユニット３０１の本実施例は、３つの連続する画像に基づき、画素がグラフィクスの重畳のそれぞれの部分を表すか否かを検出するように構成される。

重畳検出ユニット３０１は、
−例えば特定の画素Ｐ（１，ｎ）の第１の値と、ビデオ画像の表示シーケンスの第２の画像の対応する画素Ｐ（１，ｎ−１）の第２の値との間の第１の差Ｄ１１が、第１の所定の閾値Ｔ１よりも小さいか、及び特定の画素Ｐ（１，ｎ）の第１の値と、ビデオ画像の表示シーケンスの第３の画像の対応する画素Ｐ（１，ｎ＋１）の第１の値との間の第４の差Ｄ１１ｐが、第１の所定の閾値Ｔ１よりも小さいか、といったような時間的安定性をテストする第１の評価ユニット３０２と、
−例えば特定の画素Ｐ（１，ｎ）の第１の値と、第２の画素Ｐ（２，ｎ）の第３の値との間の第３の差Ｄ１２が、第３の所定の閾値Ｔ３よりも小さいか、及び特定の画素Ｐ（１，ｎ）の第１の値と、第３の画素Ｐ（３，ｎ）の第５の値との間の第５の差Ｄ１３が、第３の所定の閾値Ｔ３よりも小さいか、といったような均一性をテストする第３の評価ユニット３０６と、
−評価ユニット３０２及び３０６の出力に基づいて、前記特定の画素がグラフィクスの重畳の一部を表すことを確認する結合ユニット３０８と、
を有する。

重畳検出ユニット３０１は任意に、動きベクトルを計算するための動き推定ユニット３１６を有する。代替として、動き推定ユニット３１６は、重畳検出ユニット３０１が属する機器の他の構成要素と共有される。動き推定ユニット３１６は、例えばG. de Haanらによる論文「True-Motion Estimation with 3-D Recursive Search Block Matching」（「IEEE Transactions on circuits and systems for video technology」、vol.3、no.5、1993年10月、368-379頁）において記載されている。

結合ユニット３０８は、動きに関する情報を受信するため、動き推定ユニット３１６に接続される。該情報は、以下に説明されるように結合ユニット３０８によって利用される。結合ユニット３０８はまた、中間結果の一時的な保存のためにメモリ装置３１０に接続される。

重畳検出ユニット３０１の動作は以下のとおりである。最初のステップは、静的テストであり、第１の評価ユニット３０２によって実行される。本ステップは、潜在的に静的な画素によって重畳検出ユニット３０１を初期化するためのものである。３つのビデオ画像の間静的であり、且つ動き推定ユニット３１６がゼロのベクトルを見出した全ての画素は、値１でラベル付けされる。より正確には、式２が、どの画素

が値１でラベル付けされるかを規定する。他の全ての画素は値０でラベル付けされる。静的であることについてのチェックは、式１において規定される関数

に基づく。

関数

は、時間経過に対して画素

の輝度値が安定に留まるか否か、即ち３つの連続する画像について略同一の値であるか否かを決定するため、第１の所定の閾値αに対してチェックする。

は画像ｎにおける画素

についての輝度である。

ここで

は画素

についての動きベクトルである。ゼロベクトルのチェックは任意であるが、チェックが無い場合には結果がかなり頑強でなくなることを実験が示している。ゼロベクトルのチェックのため、画像ｎ−１、ｎ又はｎ＋１のベクトル場が利用されても良い。

次のステップは均一性テストに基づく縮小ステップであり、第３の評価ユニット３０６によって実行される。前記縮小ステップは、誤って検出された画素を除去する。値１でラベル付けされた全ての画素

について、接続された画素

の領域が、以下の条件で決定される。
−画素

はＮ＊Ｍ画素の空間的な近隣内にある。典型的には、Ｎ＊Ｍ＝２１＊２１画素である。
−

及び

の画素値は略相互に等しい。それ故、

である。本類似度は、輝度又は輝度と色差との両方を利用して算出されることができる。
−

は、上述の２つの条件に従う画素の経路によって

に接続される。本条件は、厳密に必須というわけではない。本条件を満たさない場合、本検出方法はより頑強でなくなるが、計算的にはかなりコストの掛からないものとなる。
これらの画素

の大多数について

が当てはまり、これらの画素の残りについて

が当てはまる場合、画素

は値１でラベル付けされたままである。そうでなければ、

は値０でラベル付けされる。

好ましくは、次の繰り返しとして増大ステップが前記画像に対して実行される。前記増大ステップは、静的な領域を、静的な領域に類似する画素に伸張する。値１でラベル付けされていない全ての画素ｐが考慮される。前記縮小ステップについて規定されたものと同様に、接続される画素

の領域は、以下の条件で決定される。
−画素

はＮ＊Ｍ画素の空間的な近隣内にある。典型的には、Ｎ＊Ｍ＝２１＊２１画素である。
−

及び

の画素値は略相互に等しい。それ故、

である。

図４は、本発明による画像処理機器４００の実施例を模式的に示す。本機器は、
−ビデオ画像の表示シーケンスを表すビデオ信号を受信する受信ユニット４０２と、
−図３Ａ及び３Ｂのいずれかと共に説明された重畳検出ユニット４０８と、
−前記ビデオ画像の表示シーケンスに基づいて、及び重畳検出ユニット４０８によって供給されたグラフィクスの重畳検出信号に基づいて、出力画像のシーケンスを算出する画像処理ユニット４０４と、
−前記画像処理ユニットによって供給された前記出力画像のシーケンスを表示する表示装置４０６と、
を有する。前記ビデオ信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はディジタル・バーサタイル・ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は入力コネクタ４１０において供給される。画像処理機器４００は、例えばＴＶであっても良い。代替として、画像処理機器４００は、任意の表示装置を有しないが、表示装置４０６を有する機器に前記出力画像を供給する。このとき画像処理機器４００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレイヤ、ＤＶＤプレイヤ又はレコーダであっても良い。任意に、画像処理機器４００は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体に記憶するための手段を有する。画像処理機器４００は、映画スタジオ又は放送局によって利用されるシステムであっても良い。

上述の実施例は、本発明を限定するものではなく説明するものであって、当業者は添付される請求の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列挙されていない要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記するユニット請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。

先行技術による上方変換ユニットの出力画像を示す。 本発明による上方変換ユニットの出力画像を示す。 ビデオ画像の入力シーケンスの２つの連続する画像を模式的に示す。 ビデオ画像の入力シーケンスの３つの連続する画像を模式的に示す。 本発明による重畳検出ユニットの実施例を模式的に示す。 本発明による重畳検出ユニットの代替実施例を模式的に示す。 本発明による画像処理機器の実施例を模式的に示す。

Claims (11)

1. ビデオ画像の表示シーケンスの第１の画像の特定の画素が、グラフィクスの重畳の一部を表すか否かを検出する重畳検出ユニットであって、前記グラフィクスの重畳の一部は、前記ビデオ画像の表示シーケンスを生成するためにビデオ画像の入力シーケンスとマージされ、前記重畳検出ユニットは、
   前記特定の画素の第１の値と、前記ビデオ画像の表示シーケンスの第２の画像の対応する画素の第２の値との間の第１の差が、第１の所定の閾値よりも小さいか否かをテストする第１のテスト手段と、
   前記特定の画素の空間的な近隣に位置する第２の画素の第３の値と、前記ビデオ画像の表示シーケンスの第２の画像の前記第２の画素に対応する第４の画素の第４の値との間の第２の差が、第２の所定の閾値よりも小さいか否かをテストする第２のテスト手段と、
   前記特定の画素の第１の値と、前記第２の画素の第３の値との間の第３の差が、第３の所定の閾値よりも小さいか否かをテストする第３のテスト手段と、
   前記第１の差が前記第１の所定の閾値よりも小さく、前記第２の差が前記第２の所定の閾値よりも小さく、前記第３の差が前記第３の所定の閾値よりも小さい場合に、前記特定の画素が前記グラフィクスの重畳の一部を表すことを確認する確認手段と、
   を有する重畳検出ユニット。
2. 第１の動きベクトルがゼロの動きベクトルに等しいと推定された画素の群に、前記特定の画素が属するか否かをテストする第４のテスト手段を更に有する、請求項１に記載の重畳検出ユニット。
3. 前記特定の画素の第１の値と、前記ビデオ画像の表示シーケンスの第３の画像の対応する画素の第４の値との間の第４の差が、前記第１の所定の閾値よりも小さいか否かをテストするように構成された、請求項１に記載の重畳検出ユニット。
4. 前記特定の画素の第１の値と、前記特定の画素の空間的な近隣に位置する第３の画素の第４の値との間の第５の差が、前記第３の所定の閾値よりも小さいか否かをテストするように構成された、請求項１に記載の重畳検出ユニット。
5. 前記特定の画素、前記第２の画素及び前記第３の画素が、相互に接続された画素のセットを形成するか否かをテストするように構成された、請求項４に記載の重畳検出ユニット。
6. 前記第２の画素が、前記グラフィクスの重畳の更なる部分を表すと確認された、請求項１に記載の重畳検出ユニット。
7. ビデオ画像の表示シーケンスに対応する信号を受信する受信手段と、
   前記ビデオ画像の表示シーケンスの第１の画像の特定の画素が、前記ビデオ画像の表示シーケンスを生成するためにビデオ画像の入力シーケンスとマージされたグラフィクスの重畳の一部を表すか否かを検出する重畳検出ユニットと、
   前記ビデオ画像の表示シーケンスに基づいて、及び前記重畳検出ユニットによって供給されたグラフィクスの重畳検出信号に基づいて、出力画像のシーケンスを算出する画像処理ユニットと、
   を有する画像処理機器。
8. 前記画像処理ユニットは、時間的上方変換ユニットである、請求項７に記載の画像処理機器。
9. 前記出力画像を表示する表示装置を更に有する、請求項７に記載の画像処理機器。
10. ビデオ画像の表示シーケンスの第１の画像の特定の画素が、前記ビデオ画像の表示シーケンスを生成するためにビデオ画像の入力シーケンスとマージされたグラフィクスの重畳の一部を表すか否かを検出する方法であって、前記方法は、
    前記特定の画素の第１の値と、前記ビデオ画像の表示シーケンスの第２の画像の対応する画素の第２の値との間の第１の差が、第１の所定の閾値よりも小さいか否かをテストするステップと、
    前記特定の画素の空間的な近隣に位置する第２の画素の第３の値と、前記ビデオ画像の表示シーケンスの第２の画像の前記第２の画素に対応する第４の画素の第４の値との間の第２の差が、第２の所定の閾値よりも小さいか否かをテストするステップと、
    前記特定の画素の第１の値と、前記第２の画素の第３の値との間の第３の差が、第３の所定の閾値よりも小さいか否かをテストするステップと、
    前記第１の差が前記第１の所定の閾値よりも小さく、前記第２の差が前記第２の所定の閾値よりも小さく、前記第３の差が前記第３の所定の閾値よりも小さい場合に、前記特定の画素が前記グラフィクスの重畳の一部を表すことを確認するステップと、
    を有する方法。
11. ビデオ画像の表示シーケンスの第１の画像の特定の画素が、前記ビデオ画像の表示シーケンスを生成するためにビデオ画像の入力シーケンスとマージされたグラフィクスの重畳の一部を表すか否かを検出する命令を有する、コンピュータ装置によりロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後に、
    前記特定の画素の第１の値と、前記ビデオ画像の表示シーケンスの第２の画像の対応する画素の第２の値との間の第１の差が、第１の所定の閾値よりも小さいか否かをテストするステップと、
    前記特定の画素の空間的な近隣に位置する第２の画素の第３の値と、前記ビデオ画像の表示シーケンスの第２の画像の前記第２の画素に対応する第４の画素の第４の値との間の第２の差が、第２の所定の閾値よりも小さいか否かをテストするステップと、
    前記特定の画素の第１の値と、前記第２の画素の第３の値との間の第３の差が、第３の所定の閾値よりも小さいか否かをテストするステップと、
    前記第１の差が前記第１の所定の閾値よりも小さく、前記第２の差が前記第２の所定の閾値よりも小さく、前記第３の差が前記第３の所定の閾値よりも小さい場合に、前記特定の画素が前記グラフィクスの重畳の一部を表すことを確認するステップと、
    を実行する機能を前記処理手段に備えさせるコンピュータプログラム。

Images