JP2004518341A

JP2004518341A - 単一のテレビジョン信号フィールド中で並行して生ずるフィルム及びビデオオブジェクトの認識

Info

Publication number: JP2004518341A
Application number: JP2002557128A
Authority: JP
Inventors: ハーン，ヘラルトデ; ベーウィッテブロート，リンメルト
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-01-11
Filing date: 2002-01-04
Publication date: 2004-06-17
Also published as: US6937655B2; CN1456015A; EP1352528A1; WO2002056597A1; KR20030008150A; US20020131499A1

Abstract

一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する方法及び装置であり、装置は処理手段とメモリ（Ｍ）とを含み、処理手段は、連続するフィールド中の、単一の動きモデルで表わされうる連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトをセグメンテーション法を用いて識別する段階と、複数のオブジェクトの夫々について、連続するフィールド中のオブジェクトの夫々のための動きパラメータパターンを定める段階と、動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、前の段階の結果を用いてオブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行うよう配置される。

Description

【０００１】
［発明の分野］
本発明は、フィルム材料中の映画フィルムソースを検出する分野に関連する。
【０００２】
［従来技術］
米国特許第５，７３４，７３５号明細書には、一連のビデオ画像を解析する方法及びシステムが記載されている。これらのビデオ画像を製作するのに使用された製作媒体の種類が検出される。各一連のビデオ画像は、空間的な情報を保持するために一連のセルへ分割される。空間的な情報は、製作媒体の種類を検出するために使用される。１つの画像において、異なるソースから得られ単一の画像を形成するよう混合された異なるシーンについての製作の種類を検出する技術は開示されていない。
【０００３】
米国特許第６，０１４，１８２号明細書は、映画フィルムソースを検出する方法に関連する。かかる検出は、例えば、ラインダブラー（ｌｉｎｅｄｏｕｂｌｅｒ）、テレビジョン規格変換器、テレビジョンスローモーション処理、及び、ビデオ圧縮等の幾つかの環境で有用であり得る。例えば、６０ＨｚのＮＴＳＣテレビジョン信号は、そのソースとして２４フレーム毎秒の映画フィルムを有する。この場合は、３−２プルダウン比が用いられ、即ち、３つのビデオフィールドが１つのフィルムフレームから得られ次の２つのビデオフィールドが次のフィルムフレームから得られる等とされる。例えば、連続するビデオフィールドをＡ，Ｂ，Ｃ，Ｄ，Ｅとすると、３−２プルダウン比はＡＡＡＢＢＣＣＣＤＤＥＥＥのようになる。他のソースは、当業者によって知られているように、２−２プルダウン比を有するものであるかビデオカメラに関連するものである。このように、連続するフィールドを比較することにより、使用されている映画ソースについての情報が得られる。
【０００４】
米国特許第５，３６５，２８０号明細書では、異なるフィールドに対して異なる動きベクトルを使用し、映画フィルム又は映画でないフィルムに関連するフィールドの標識としてテレビ受像機によって使用されうるピクチャ信号処理モード制御信号を発生することを提案している。
【０００５】
動き推定アルゴリズムは、エム・テカルプ（Ｍ．Ｔｅｋａｌｐ）による「ディジタルビデオ処理（ＤｉｇｉｔａｌＶｉｄｅｏＰｒｏｃｅｓｓｉｎｇ）」，プレンティス・ホール（ＰｒｅｎｔｉｃｅＨａｌｌ）出版，ＩＳＢＮ０−１３−１９００７５−７に記載されている。オブジェクトに基づく動き推定方法については、パオロ・ヴィカリ（ＰａｏｌｏＶｉｃａｒｉ）による「領域に基づくモデルを用いた動きフィールドの表現及び規則化（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｎｄｒｅｇｕｌａｒｉｚａｔｉｏｎｏｆｍｏｔｉｏｎｆｉｅｌｄｓｗｉｔｈｒｅｇｉｏｎ−ｂａｓｅｄｍｏｄｅｌｓ）」，ミラノ理工科大学論文（ｔｈｅｓｉｓｆｏｒｔｈｅＰｏｌｉｔｅｃｎｉｃｏｄｉＭｉｌａｎｏ），第５９８０３４番に記載されている。
【０００６】
［発明の概要］
これまで、従来技術では、単一の映画ソースから生ずるフィールドを有するフィルムの映画ソース又は２以上の異なる映画ソースから生ずるフィールドを有するフィルムの映画ソースのいずれかを検出することについて着目してきた。しかしながら、異なる映画ソースから生じたフィールドの中の画像の混合を含むフィルムがますます多くなっている。上述の従来技術のいずれもフィルムのフィールド中の個々の画像の画像繰り返しモードを検出することができるものではない。例えば、ピクチャレート変換の適用では、フィールド内の個々の画像のソースのしるしを知ることが必要である。更に特定的には、インタレース解除及びフィルム・ジャダー除去を最適に行うために、ビデオがフィルム素材から生じたものであるかを知ることが必要である。
【０００７】
従って、本発明は、フィールド中の個々のオブジェクトのピクチャ繰り返しモードを検出することを可能とする装置及び方法を提供することを目的とする。このような場合、「オブジェクト」とはフィールド中の個々の画像の一部でありうる。「オブジェクト」は、単一の動きモデルで表わされうる画像部分として定義される。かかる「オブジェクト」は、必ずしも１つの「物理的な」オブジェクト、例えば一人の人物のピクチャを含む必要はない。オブジェクトは、１よりも多い物理的なオブジェクトに関連するものであってもよく、例えば、一人の人物が自転車に乗っており人物と自転車の動きが本質的には同じ動きモデルによって表わされてもよい。一方で、このようにして識別されるオブジェクトは、単一のフィルムソースから生じた単一の画像に属すると想定することができる。
【０００８】
本発明の目的を達成するために、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
パターンを多数の所定の動きパラメータパターンと比較する段階と、
比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを含む、
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する方法であって、
連続するフィールド中の、単一の動きモデルで表わされうる連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
連続するフィールド中のオブジェクトの夫々のための動きパラメータパターンを定める段階と、
動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前の段階の結果を用いてオブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行う段階とを含むことを特徴とする方法が提供される。
【０００９】
このように、本発明によれば、フィルムモードを検出する前に、テレビジョン信号のフィールドはセグメンテーション技術によって異なるオブジェクトへ分けられる。これを行うために任意の公知の技術が使用されうる。次に、個々のオブジェクトのフィルムモードが検出される。これを行うために任意の公知の技術が使用されうる。
【００１０】
望ましくは、動きパラメータ推定技術も使用される。
【００１１】
これまでのところ、異なるソースから生じた異なる画像部分（オブジェクト）を識別するために動きパラメータ推定の技術を用いることは、混合を理由に試みられていなかった。
【００１２】
本発明は、また、処理手段とメモリとを含み、
処理手段は、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
パターンを多数の所定の動きパラメータパターンと比較する段階と、
比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを含む、
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する装置であって、
処理手段は、
連続するフィールド中の、単一の動きモデルで表わされうる連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
連続するフィールド中のオブジェクトの夫々のための動きパラメータパターンを定める段階と、
動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前の段階の結果を用いてオブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行うよう配置されることを特徴とする装置に関する。
【００１３】
このような装置は、有利にはチップ上に実現されうる。このようなチップを含むテレビジョンは、チップ自体と共に、本発明の請求の範囲に記載されている。
【００１４】
本発明は、また、一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する命令を含み、処理手段とメモリとを含むコンピュータ装置によってロードされるべきであり、ロードされた後は前記処理手段に、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
パターンを多数の所定の動きパラメータパターンと比較する段階と、
比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを実行させる能力を与えるコンピュータプログラムプロダクトであって、
処理手段は、
連続するフィールド中の、単一の動きモデルで表わされうる連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
連続するフィールド中のオブジェクトの夫々のための動きパラメータパターンを定める段階と、
動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前の段階の結果を用いて前記オブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行う段階とを含むことを特徴とするコンピュータプログラムプロダクトに関する。
【００１５】
［望ましい実施例の説明］
以下、本発明を図示するためのものであって本発明の範囲を制限するものではない幾つかの図面を参照して、本発明について説明する。発明の範囲は特許請求の範囲によってのみ制限される。
【００１６】
［はじめに］
シーン中の個々のオブジェクトのフィルムモードを検出する方法について以下説明する。そのために、まず、シーン中の個々のオブジェクトを識別する方法について説明する。個々のオブジェクトは動き推定によって識別され、即ち、シーンのうち同じ動きモデルで示されうる部分は、シーン中の同じオブジェクトに属すると識別される。動き推定器については、例えば、参考文献［１］、［３］、［４］、［５］及び［６］等の従来技術から公知である。これらの参考文献のうち、参考文献［１］は画像のセグメンテーションを適用する必要なしにシーン中のオブジェクトを識別することを可能とする動き推定器について記載している。
【００１７】
本発明のためには、家庭用電化製品の用途に適した計算上の複雑さで、ピクチャレート変換に適しているよう、即ち参考文献［５］、［６］と同様に設計された動き推定器が望ましい。
【００１８】
前述の参考文献［１］に記載のオブジェクト動き推定器の最も大きな特徴は、他の従来技術のオブジェクト動き推定器のようにモデルパラメータの推定の前に画像をオブジェクトへとセグメンテーションする努力がいらないことである。つまり、比較的少数の関心となる画像部分が選択され、多数の並列の動きモデルパラメータ推定器が夫々のパラメータをこのデータセットに最適化しようと試みている。関心となる画像部分のうちの幾つかにおいて推定器のうちの１つが他の推定器よりもうまくいくと、その推定器はこれらの部分に焦点を当て、残る推定器は他の部分に焦点を当てる。つまり、個々の推定器は、互いに画像部分を奪い取ろうとすることで画像全体を「オブジェクト」へ分割する。従来技術のオブジェクト動き推定器は、リアルタイムのオブジェクトに基づく動き推定を可能とし、本発明のフィルム検出技術において有利に使用されうる。
【００１９】
基本的には、費用のかかる画像のセグメンテーションに対する努力という無駄のないこのようなオブジェクトに基づく動き推定器は、ブロックに基づく動き推定器に対して動作回数で対抗することが可能なはずである。なぜならば、写実的な画像ではブロックの数よりもオブジェクトの数の方が少ないと予想されるはずだからである。ブロック毎の候補ベクトルの評価と同様の努力が必要とされるのは、オブジェクトへの画像部分の割り当てだけである。オブジェクトの数が候補ベクトルの数を過度に超過するものではない場合、オブジェクトに基づく動き推定器のオーバーヘッドは無視できるほど小さいはずである。ここでは、オブジェクト一つ当たりの動きは、かなり簡単なパラメータモデルで示されうると想定する。
【００２０】
以下の説明では、使用される望ましい動きモデル、動きモデルパラメータの推定、使用される望ましい費用関数、セグメンテーション処理、及びシーン中の個々のオブジェクトのフィルムモード検出について説明する。
【００２１】
［動きモデル］
複雑さを抑えるため、各オブジェクトｏの動きは、平行移動と拡大縮小のみを示しうる単純な１次の線形モデルによって示される。当業者によれば、例えば回転を含むモデル等の更に複雑なパラメトリック動きモデルが知られており、本願で提案するアルゴリズムと組み合わせて適用されうるが、本発明によればかかる複雑なモデルはもはや時代遅れとなるような改善が提案されるため、これらの複雑なモデルについては考えないものとする。
【００２２】
使用されるモデルは、
【００２３】
【数１】

であり、式中、
【００２４】
【外１】

は添え字ｎを伴う画像中の
【００２５】
【外２】

におけるオブジェクトｏの変位ベクトルを示す。
【００２６】
【外３】

は、画素位置に関連付けられることがわかる。
【００２７】
［パラメータ推定］
動きモデルが与えられると、次にそのパラメータは画像中の所与のオブジェクトについて最適化される必要がある。静止画像部は殆ど全てのシーケンス中に生ずるため、動きが
【００２８】
【外４】

、即ちゼロベクトルで示される「オブジェクトｏ，ｏ＞０」が存在すると仮定する。明らかに、これを利用可能とするには推定の努力は必要でない。追加的なオブジェクトｏ，ｏ＞０のパラメータベクトルは、別々に、並列に、図１に示されるように夫々のパラメータ推定器（ＰＥ_ｍ，ｍ＝１，２，．．．，Ｍ）によって推定される。
【００２９】
図１は、データ整理ユニット（ＤａｔａＲｅｄｕｃｔｉｏｎＵｎｉｔ）ＤＲＵの出力に並列に接続される複数のパラメータ推定器ＰＥ_ｍ（ｎ）を含む装置を示すブロック図である。データ整理ユニットＤＲＵは、行われるべき計算において使用されるべき一組の関心となる画素を選択するよう配置される。データ整理ユニットＤＲＵへの入力は、時間ｎにおける画像と時間ｎ−１における当該の画像である。ＰＥ_ｍ（ｎ）の各出力は、セグメンテーション装置ＳＵに接続される。
【００３０】
セグメンテーション装置ＳＵの出力はパラメータ推定器ＰＥ_ｍ（ｎ）へフィードバックされる。なぜならばこれらは一緒となって以下に示す反復的な動作を行うことが望ましいからである。セグメンテーション処理の最終的な結果は、シーンの画素の群によって形成され、各画素群は異なるオブジェクトに属し、それに対して異なる動きベクトルが割り当てられている。これらの出力データは、オブジェクト毎のフィルムソースの種別を検出し、ピクチャレート変換等の所定のタスクを異なるオブジェクトに対して実行する処理装置ＰＵに供給される。処理装置ＰＵは、以下説明するようにフィルムソースの種別を検出するのに使用される所定の動きパラメータパターンを格納するメモリＭに接続される。メモリＭは、任意の種類、例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ハードディスク等でありうる。処理装置ＰＵの出力は、例えば、テレビ画面を制御する。
【００３１】
データ整理装置ＤＲＵ、パラメータ推定器ＰＥ_ｍ（ｎ）、セグメンテーション装置ＳＵ、及び処理装置ＰＵは、別々のブロックとして示されている。これらのブロックは、別個のプロセッサ及びメモリを有する別々のインテリジェントな装置として実施されてもよい。しかしながら、当業者によれば明らかであるように、これらの装置は、例えばプロセッサと適当なソフトウエアがロードされた適当なメモリとを含む汎用マイクロプロセッサといった単一の装置に一体化されてもよい。かかるマイクロプロセッサについては、図示しないが、いかなるコンピュータハンドブックからも公知である。或いは、図１に示す装置は、当業者によって知られているようなハード配線論理ユニットとして実施されうる。望ましくは、図１に示される装置全体が単一のパッケージ内に単一のチップとして封入される。かかる単一チップパッケージは、テレビジョン装置内に容易に含まれうる。
【００３２】
各ＰＥ_ｍ（ｎ）は、以前に推定されたパラメータベクトルを更新し、その後、費用関数に従ってそのオブジェクトに対する結果パラメータベクトルとして最善のパラメータ候補ベクトルが選択される。
【００３３】
式（１）の４つのパラメータモデルを考えると、オブジェクトｏ、ｏ＞０のパラメータは、
【００３４】
【外５】

と考えることができ、これは、
【００３５】
【数２】

で表わされ、本発明においては、多数の候補パラメータベクトル
【００３６】
【外６】

から
【００３７】
【外７】

を選択するタスクは、後述する費用関数の最小値を有するものを選択することであると定義する。
【００３８】
望ましくは、候補は参考文献［５］、［６］に記載の方法と同様に生成され、即ち、予測ベクトルをとり、少なくとも１つの更新ベクトルを加え、誤差規準に従って最善の候補パラメータベクトルを選択することにより生成される。候補パラメータ集合ＣＳ_ｏ（ｎ）は、以下の式、
【００３９】
【数３】

に従って３つの候補
【００４０】
【外８】

を含み、更新パラメータ
【００４１】
【外９】

は更新パラメータ集合ＵＳ_ｏ（ｎ）、即ち、
【００４２】
【数４】

から選択される。
【００４３】
［費用関数］
動きモデルと幾つかの候補パラメータ集合が与えられているとき、所与のオブジェクトに対する結果として、費用関数に従って最善の候補を選択する必要がある。費用関数は、ベクトルが（候補）動きモデルで発生される場合、近傍の画像からの動き補償された画素間の絶対差でありうる。しかしながら、動きモデルが割り当てられるべき領域を知る必要がある。２つの問題、即ちセグメンテーションと動き推定は、相互に依存する。１つのオブジェクト中の動きを正しく推定するには、オブジェクトが知られていなくてはならず、またオブジェクトを知らなくては１つのオブジェクト中の動きを正しく推定することができない。
【００４４】
動き推定処理の最初の段階として、関心となる画素ブロックを有する集合を定義する。これらは、全てのパラメトリックモデルの最適化の基礎として使用される「関心となる」画像部分の集合ＳＩ（ｎ）を形成する。
【００４５】
ここで、個々のパラメータ推定器の焦点は異なるオブジェクトに当てられねばならない。このために、各パラメータ推定器ＰＥ_ｍ（ｎ）はその費用関数を集合ＳＩ中で定義される関心位置の同じ集合に対して計算し、異なる場所に対して異なる重み係数
【００４６】
【外１０】

を与える。ここでは、
【００４７】
【外１１】

は画素のブロックのブロックに関連付けられる。与えられるアルゴリズムは以下のとおり直接的なものである。
・以前の画像セグメンテーション段階により、ＳＩ（ｎ）中の画素が同じオブジェクト、即ち、同じパラメータ推定器に属するとき、画素値は、１よりも大きい例えば８である第１の重み係数で乗算される。
・セグメンテーションによってその位置が他のパラメータ推定器に対して割り当てられ、この推定器が低いマッチ誤差を達成したとき、画素値は１よりも小さい例えば０．１である第２の重み係数で乗算される。
【００４８】
図２は、一つの動くオブジェクト、即ち自転車に乗っている人及び動く背景を有する画像中の関心となる画素ブロックの選択の例を示す。この選択は、データ整理装置ＤＲＵによって行われる。このように、データ整理装置は最も関心となる画素（ＳＩ）の集合を表示し、かなり安価な（計算の少ない）有効なパラメータ推定を生じさせる。図２は、パラメータ推定器によりパラメータが最適化される関心となる点を選択する処理を示す画面の写真を示す。２つの連続する画像の間の時間的な差の画像は実際には計算されないが、ベクトル
【００４９】
【外１２】

の高いマッチ誤差、即ち関心となる点を有する全体集合がなぜ図３Ｃに示す位置にあるかを理解するために用いられる。図３Ｄにおいて、この例において、２つのパラメータ推定器の焦点がどのようにして関心となる点の間で分けられるかが示されている。即ち、図３Ｄは、２つの異なる動きモデルが検出されることを示す。２つの部分集合は、異なる明るさで示され、即ち一つは黒、他方は灰色で示される。
【００５０】
画像の動く背景は、オブジェクトｏ＝１であり、自転車に乗る人はオブジェクトｏ＝２である。関心となるブロックを含む同じ集合に対して両方とも最適化される２つのパラメータ推定器があるが、セグメンテーションにおいて一方の推定器が領域中で最善であると選択されるとすぐに、その領域中の関心となる画素ブロックは費用関数で強調される。しばらくしてから、図示される状況に収束し、一方の推定器はＳＩ（ｎ）中の灰色のブロックに焦点を当て、他方はＳＩ（ｎ）中の白い画素ブロックに焦点を当てる。
【００５１】
更に形式的には、費用関数は以下の式、
【００５２】
【数５】

に従って計算され、式中、
【００５３】
【外１３】

は、添え字ｎを伴うサブサンプリングされた画像中の
【００５４】
【外１４】

における輝度値であり、
【００５５】
【外１５】

は
【００５６】
【外１６】

における
【００５７】
【外１７】

から得られるベクトルである。
【００５８】
サブサンプリングは、必要とされるメモリ帯域幅を効果的に減少させる。画像は、フィールド毎に水平方向に４倍で垂直方向に２倍でサブサンプリングされ、各元のフィールドＦ（ｎ）からサブサンプリングされた画像Ｆ_ｓ（ｎ）を発生する。Ｆの元の画素のグリッドに対して画素の精度を達成するために、サブサンプリンググリッドに対して補間が必要である。
【００５９】
［再帰的セグメンテーション］
セグメンテーションはアルゴリズムで最も重要な段階である。セグメンテーションの役割は各画素群に１つの動きモデルを割り当てることである。各ブロックに対して、夫々の
【００６０】
【外１８】

に対応する
【００６１】
【外１９】

は、
【００６２】
【数６】

に従って計算されうる。このセグメンテーションが有効な時点は、αによって定義される。
【００６３】
本発明では、例えば参考文献［５］に記載されるような３次元ＲＳブロックマッチング装置（３−ＤＲＳｂｌｏｃｋｍａｔｃｈｅｒ）の技術に似た再帰的セグメンテーション法を採用し、即ち、最善のＰＥ_ｍ（ｎ）の空間的及び時間的な予測を用い、空間的・時間的に近傍に生じないＰＥ_ｍ（ｎ）を選択することによってペナルティを課すことによって行われる。式で表わすと、
【００６４】
【外２０】

は最も低い局所的な変更された
【００６５】
【外２１】

を有するオブジェクトｏに
【００６６】
【外２２】

を割り当て、但し、
【００６７】
【数７】

であり、
【００６８】
【外２３】

は以下の規則、
【００６９】
【数８】

かつ
【００７０】
【数９】

に従って選択されるペナルティである。
【００７１】
参考文献［５］の３次元ＲＳブロックマッチング装置のために提案されているものと同様に、Ｐ_ｕは最大のペナルティであり、Ｐ_ｔは単に小さいものであり、Ｐ_ｓがゼロであってはいけないかという理由はない。かなり明らかな簡単化としては、
【００７２】
【外２４】

を走査方向とは逆の方向に固定し、フィールド毎に走査を変えることが行われる。図３Ａ乃至図３Ｄは、元の輝度画像でオブジェクトに基づく動き推定方法に従ったセグメンテーションの例を与える。図３Ａ乃至図３Ｄは、テレビ画面から得られた写真を示し、セグメンテーションの処理を示すものである。図３Ａは元の画像を示し、図３Ｂ乃至図３Ｄは続くセグメンテーションの結果を示す。明らかに、図３Ａ中の最初の画像は、質の低い殆どランダムなセグメンテーションを有する。しかしながら、セグメンテーションの際に個々の推定器がそれらの領域に焦点を当てることにより、すばやく有用なセグメンテーションへ収束する。図３Ｄは、２つの異なるオブジェクトが区別されることを示しており、図３Ｄの例では、自転車に乗る人に関するオブジェクトと背景に関するオブジェクトが区別されうる。
【００７３】
［従来技術のフィルムモード認識］
画像中の各オブジェクトのための動きベクトルの計算のほかに、ピクチャレート変換における適用は、画像シーケンスが最初に生成された出所を示す標識を必要とする。特に、最適にインタレース解除を行うため及びフィルムジャダーを除去するために映像がフィルム材料から生成されたものであるか否かを知る必要がある。更に、２−２プルダウン画像素材、２−３プルダウン素材、及びビデオカメラからの映像を区別することが必要である。
【００７４】
上述のように、従来技術の方法では、この検出は大局的な検出に関連し、即ちビデオカメラと様々なフィルム形式の間の区別は画像全体に対してのみなされる。
【００７５】
参考文献［８］の適用として、オブジェクトに基づく動き推定器について、画像の最も大きい領域を網羅するパラメータ推定器のみによって表わされる動きを解析し、明らかにゼロベクトル「推定器」を無視して、信頼性の高いムービー検出器が実現されうる。
【００７６】
ここで、ｍａｘ（ｎ）はパラメータベクトルＰ_Ｏ（ｎ）の最大の成分と定義し（パラメータベクトルの最大の成分をとるのではなく、パラメータ成分のいずれか又は両方の平均、絶対値又は加算された絶対値を用いることも同様に可能である）、即ち、
【００７７】
【数１０】

である。ここで、最近の履歴の集合ＲＨ（ｎ）を、
【００７８】
【数１１】

として集め、これは適応閾値操作により、２値ムービー検出集合ＭＤ（ｎ）へ変換され、２−２プルダウンについては、例えば、
【００７９】
【数１２】

が得られ、２−３プルダウンについては、例えば、
【００８０】
【数１３】

が得られ、ビデオについては、例えば、
【００８１】
【数１４】

が得られる。
【００８２】
実際の集合をメモリＭに格納された限られた数の公知のパターンと比較すると、ムービーの種類とフェーズについての情報が得られる。シーンカットの場合、検出器は、信頼性が低いという出力を発生し、これは動き補償がオフとされた方がよいことを示す。
【００８３】
［本発明によるフィルムモード認識］
本発明は、シーン中の個々のオブジェクトのフィルムモードの検出に関連する。最近では制作中に異なるソースからの画像が混合されることがますます多くなっている。従って、本発明では、オブジェクトに基づく動き推定器を、シーン中のオブジェクトの動きパラメータ推定を行うと共に、どこから発生したのかを決定するよう適合することを提案する。
【００８４】
このために、全ての個々のパラメータ推定器によって示される動きを解析する。
【００８５】
ここで、ｍａｘ_ｏ（ｎ）をパラメータベクトルＰ_ｏ（ｎ）の最大の成分であると定義し（パラメータベクトルの最大の成分をとるかわりに、パラメータ成分のいずれか又は両方の平均値、絶対値、又は加算された絶対値を用いることも同様に可能である）、即ち、
【００８６】
【数１５】

となる。ここで、最近の履歴の集合ＲＨ_ｏ（ｎ）を、
【００８７】
【数１６】

として集め、これは適応閾値処理により２値のムービー検出集合ＭＤ_ｏ（ｎ）へ変換され、２−２プルダウンオブジェクトについては、例えば、
【００８８】
【数１７】

が得られ、２−３プルダウンについては、例えば、
【００８９】
【数１８】

が得られ、ビデオについては、例えば、
【００９０】
【数１９】

が得られる。
【００９１】
実際の集合をメモリＭに格納された限られた数の公知のパターンと比較すると、個々のオブジェクトに対するムービーの種類とフェーズについての情報が得られる。シーンカットの場合、検出器は、信頼性が低いという出力を発生し、これは全てのオブジェクトについて動き補償がオフとされた方がよいことを示す。
【００９２】
［参考文献］
［１］国際公開第９９／１６２５１号パンフレット、ジー・デハーン（Ｇ．ｄｅＨａａｎ）、アール・ジェイ・シュッテン（Ｒ．Ｊ．Ｓｃｈｕｔｔｅｎ）及びエイ・ペラゴッティ（Ａ．Ｐｅｌａｇｏｔｔｉ）による「動き推定及び動き補償された補間（Ｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎａｎｄｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｅｄｉｎｔｅｒｐｏｌａｔｉｏｎ）」
［２］デハーン（Ｇ．ｄｅＨａａｎ）、「ＰＣ上のジャダーなしのビデオ（Ｊｕｄｄｅｒ−ｆｒｅｅｖｉｄｅｏｏｎＰＣ’ｓ）」、Ｐｒｏｃ．ｏｆｔｈｅＷｉｎＨＥＣ’９８、１９９８年３月、米国、オーランド、（ＣＤ−ＲＯＭ）
［３］ジー・デハーン（Ｇ．ｄｅＨａａｎ）及びピー・ダブリュ・エイ・シー・ビーゼン（Ｐ．Ｗ．Ａ．Ｃ．Ｂｉｅｚｅｎ）、「パラメトリック動きモデルからの候補ベクトルを用いる効率的な真の動き推定器（Ａｎｅｆｆｉｃｉｅｎｔｔｒｕｅ−ｍｏｔｉｏｎｅｓｔｉｍａｔｏｒｕｓｉｎｇｃａｎｄｉｄａｔｅｖｅｃｔｏｒｓｆｒｏｍａｐａｒａｍｅｔｒｉｃｍｏｔｉｏｎｍｏｄｅｌ）」、ＩＥＥＥビデオ技術のための回路及びシステムに関する議事録（ＩＥＥＥＴｒ．ｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ）、第８巻、第１号、１９９８年３月、ｐ．８５−９１
［４］アール・ジェイ・シュッテン（Ｒ．Ｊ．Ｓｃｈｕｔｔｅｎ）及びジー・デハーン（Ｇ．ｄｅＨａａｎ）、［プログラマブルな装置に動き推定／補償を適用するリアルタイム２−３プルダウン除去（Ｒｅａｌ−ｔｉｍｅ２−３ｐｕｌｌ−ｄｏｗｎｅｌｉｍｉｎａｔｉｏｎａｐｐｌｙｉｎｇｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎ／ｃｏｍｐｅｎｓａｔｉｏｎｏｎａｐｒｏｇｒａｍｍａｂｌｅｄｅｖｉｃｅ）］ＩＥＥＥ家庭用電化製品に関する議事録（ＩＥＥＥＴｒ．ｏｎＣｏｎｓｕｍｅｒＥｌｅｃｔｒｏｎｉｃｓ）、第４４巻、第３号、１９９８年８月、ｐ．９３０−９３８
［５］ジー・デハーン（Ｇ．ｄｅＨａａｎ）、ピー・ダブリュ・エイ・シー・ビーゼン（Ｐ．Ｗ．Ａ．Ｃ．Ｂｉｅｚｅｎ）、エイチ・ヒュイジェン（Ｈ．Ｈｕｉｊｇｅｎ）及びオー・エイ・オジョ（Ｏ．Ａ．Ｏｊｏ）、「３次元リカーシブ・サーチ・ブロックマッチングを用いた真の動き推定（ＴｒｕｅＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎｗｉｔｈ３−ＤＲｅｃｕｒｓｉｖｅＳｅａｒｃｈＢｌｏｃｋ−Ｍａｔｃｈｉｎｇ）」、ＩＥＥＥビデオ技術のための回路及びシステムに関する議事録（ＩＥＥＥＴｒ．ｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ）、第３巻、１９９３年１０月、ｐ．３６８−３８８
［６］ジー・デハーン（Ｇ．ｄｅＨａａｎ）及びピー・ダブリュ・エイ・シー・ビーゼン（Ｐ．Ｗ．Ａ．Ｃ．Ｂｉｅｚｅｎ）、「３次元リカーシブ・サーチ・ブロックマッチングを用いたサブピクセル動き推定（Ｓｕｂ−ｐｉｘｅｌｅｓｔｉｍａｔｉｏｎｗｉｔｈ３−Ｄｒｅｃｕｒｓｉｖｅｓｅａｒｃｈｂｌｏｃｋ−ｍａｔｃｈｉｎｇ）」、信号処理（ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ）：画像通信６（ＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ６）、１９９４年、ｐ．２２９−２３９。ジー・デハーン（Ｇ．ｄｅＨａａｎ）、ジェイ・ケテニス（Ｊ．Ｋｅｔｔｅｎｉｓ）、及びビー・デロール（Ｂ．Ｄｅｌｏｏｒｅ）、「動き補償された１００ＨｚＴＶ用のＩＣと平滑動きムービーモード（ＩＣｆｏｒＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｅｄ１００ＨｚＴＶ，ｗｉｔｈａＳｍｏｏｔｈＭｏｔｉｏｎＭｏｖｉｅ−Ｍｏｄｅ）」、ＩＥＥＥ家庭用電化製品に関する議事録（ＩＥＥＥＴｒ．ｏｎＣｏｎｓｕｍｅｒＥｌｅｃｔｒｏｎｉｃｓ）、第４２巻、第２号、１９９６年５月、ｐ．１６５−１７４
［７］ジー・デハーン（Ｇ．ｄｅＨａａｎ）及びピー・ダブリュ・エイ・シー・ビーゼン（Ｐ．Ｗ．Ａ．Ｃ．Ｂｉｅｚｅｎ）、「高画質テレビ受像機用の時間リカーシブのインタレース解除（Ｔｉｍｅ−ｒｅｃｕｒｓｉｖｅｄｅ−ｉｎｔｅｒｌａｃｉｎｇｆｏｒｈｉｇｈ−ｑｕａｌｉｔｙｔｅｌｅｖｉｓｉｏｎｒｅｃｅｉｖｅｒｓ）」、ＨＤＴＶ及びテレビジョンの進化に関する国際研究会の議事録（Ｐｒｏｃ．ｏｆｔｈｅＩｎｔ．ＷｏｒｋｓｈｏｐｏｎＨＤＴＶａｎｄｔｈｅＥｖｏｌｕｔｉｏｎｏｆＴｅｌｅｖｉｓｉｏｎ）、台湾、台北、１９９５年１１月、ｐ．８Ｂ２５−８Ｂ３３
［８］米国特許第５，３６５，２８０号、１９９４年１１月１５日、ジー・デハーン（Ｇ．ｄｅＨａａｎ）、エイチ・ヒュイジェン（Ｈ．Ｈｕｉｊｇｅｎ）、ピー・ダブリュ・エイ・シー・ビーゼン（Ｐ．Ｗ．Ａ．Ｃ．Ｂｉｅｚｅｎ）及びオー・エイ・オジョ（Ｏ．Ａ．Ｏｊｏ）、「ムービーフィルムと非ムービーフィルを区別しピクチャ信号処理モード制御信号を発生する方法及び装置（Ｍｅｔｈｏｄａｎｄａｐｐａｒａｔｕｓｆｏｒｄｉｓｃｒｉｍｉｎａｔｉｎｇｂｅｔｗｅｅｎｍｏｖｉｅｆｉｌｍａｎｄｎｏｎ−ｍｏｖｉｅｆｉｌｍａｎｄｇｅｎｅｒａｔｉｎｇａｐｉｃｔｕｒｅｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇｍｏｄｅｃｏｎｔｒｏｌｓｉｇｎａｌ）」
【図面の簡単な説明】
【図１】
多パラメータ推定器及びセグメント化装置を示すブロック図である。
【図２Ａ】
パラメータ推定器がそれらのパラメータを最適化する関心点を選択する処理を示すテレビジョン画面の写真を示す図である。
【図２Ｂ】
パラメータ推定器がそれらのパラメータを最適化する関心点を選択する処理を示すテレビジョン画面の写真を示す図である。
【図２Ｃ】
パラメータ推定器がそれらのパラメータを最適化する関心点を選択する処理を示すテレビジョン画面の写真を示す図である。
【図２Ｄ】
パラメータ推定器がそれらのパラメータを最適化する関心点を選択する処理を示すテレビジョン画面の写真を示す図である。
【図３Ａ】
セグメント化の処理を示すテレビジョン画面の写真を示す図である。
【図３Ｂ】
セグメント化の処理を示すテレビジョン画面の写真を示す図である。
【図３Ｃ】
セグメント化の処理を示すテレビジョン画面の写真を示す図である。
【図３Ｄ】
セグメント化の処理を示すテレビジョン画面の写真を示す図である。

Claims

一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
前記パターンを多数の所定の動きパラメータパターンと比較する段階と、
前記比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを含む、
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する方法であって、
前記連続するフィールド中の、単一の動きモデルで表わされうる前記連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
前記連続するフィールド中の前記オブジェクトの夫々のための動きパラメータパターンを定める段階と、
前記動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前記段階の結果を用いて前記オブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行う段階とを含むことを特徴とする方法。
処理手段とメモリとを含み、
前記処理手段は、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
前記パターンを多数の所定の動きパラメータパターンと比較する段階と、
前記比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを含む、
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する装置であって、
前記処理手段は、
前記連続するフィールド中の、単一の動きモデルで表わされうる前記連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
前記連続するフィールド中の前記オブジェクトの夫々のための動きパラメータパターンを定める段階と、
前記動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前記段階の結果を用いて前記オブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行うよう配置されることを特徴とする装置。
前記処理手段は、動き推定技術も用いて前記複数の異なるオブジェクトを識別するよう配置される、請求項２記載の装置。
前記動き推定技術を行うために並列に動作する複数の動きモデルパラメータ推定器を含む、請求項３記載の装置。
前記複数のオブジェクトを識別するために再帰的セグメンテーション法を実行するセグメンテーションユニットを含む、請求項２記載の装置。
データ整理ユニットを含む、請求項２記載の装置。
前記所定の動きパラメータパターンは、２−２プルダウンモード、３−２プルダウンモード、及びビデオモードのうちの少なくとも１つに関連する、請求項２記載の装置。
フィルム素材処理段階を行うフィルム処理ユニットを含む、請求項２記載の装置。
前記フィルム処理ユニットは、ピクチャレート変換、インタレース解除、及びフィルムジャダー除去のうちの少なくとも１つの段階を行うよう配置される、請求項８記載の装置。
請求項２乃至９のうちいずれか一項記載の装置を具備したチップ。
請求項１０記載のチップを具備したテレビジョン装置。
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する命令を含み、処理手段とメモリとを含むコンピュータ装置によってロードされるべきであり、ロードされた後は前記処理手段に、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
前記パターンを多数の所定の動きパラメータパターンと比較する段階と、
前記比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを実行させる能力を与えるコンピュータプログラムプロダクトであって、
前記処理手段は、
前記連続するフィールド中の、単一の動きモデルで表わされうる前記連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
前記連続するフィールド中の前記オブジェクトの夫々のための動きパラメータパターンを定める段階と、
前記動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前記段階の結果を用いて前記オブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行う段階とを含むことを特徴とするコンピュータプログラムプロダクト。
請求項１２記載のコンピュータプログラムプロダクトを載せたデータ担体。