JP2010206801A - 高信頼性を有する運動ベクトルを提供するための方法及びシステム - Google Patents

Abstract

【課題】高信頼性を有する運動ベクトルを提供する。
【解決手段】
後方推定及び前方推定で２つの画像（６１、６２）間の運動ベクトル（６６、６７）を決定するステップ（Ｓ１、Ｓ２）と、後方推定された運動ベクトルと前方推定された運動とを比較するステップ（Ｓ３）と、前記比較した結果に基づいて信頼できない運動ベクトル（６７）を検出するステップ（Ｓ４）と、を含む、信頼のある運動ベクトルを提供するための方法。
本発明は、更に、信頼できる運動ベクトルを提供するためのシステムに関する。
【選択図】図１０

Description

本発明は、高信頼性を有する運動ベクトルを提供するための方法及び高信頼性を有する運動ベクトルを提供するためのシステムに関する。特に、本発明は、信頼性を有さない運動ベクトルの検出及び除去に関する。

運動ベクトルは、画像処理の分野で重要な役割を担う。動き補償補間技術等の動き推定と、画像の質を向上させるための運動ベクトルを利用する方法とを含む画像の改良に対して常時需要がある。動きの曖昧さ及び振動の影響を低減するために２４ヘルツ／２５ヘルツ／５０ヘルツ／６０ヘルツから１００ヘルツ／１２０ヘルツに変換する技術は、動き推定を含むアルゴリズムの連続的な改良を必要とする。

動き推定方法およびシステムは、バックグラウンドを対象としたり、対象としなかったりする場合がある領域に対して適切に機能しない。それらの対象としたり、対象としなかったりする領域に割り当てられる運動ベクトルは、通常、画像は関連付けられず、不規則に分配された運動ベクトルである。このことは、図１に典型的に示されている。

図１では、異なる時間の２つの画像フレーム又は異なる時間の２つの画像フレームの部分が示されている。より早い時点はｔ−１で図示され、より早い時点はｔで図示される。示される画像フレームの夫々は、１又は複数のピクセルに対応するブロック６３を有する。それによって、図１に示される２つの画像フレーム又は画像フレームの部分は、異なる時間で同一のブロック又はピクセルを示す。

ブロック６３は、異なる様式で色づけられ、それによって、バックグラウンドブロック及び対象物６４を示唆する。対象物６４は黒いブロックにより示唆され、動いている、すなわち、より早い時間６１の画像フレームとより遅い時間６２の画像フレームとの間において画像内でその位置を変えている。白いブロック６３はバックグラウンドである。

より遅い時間６２の画像フレームの位置毎に対する後方動き推定プロセスの示されたケースにおいて、より早い時間６１の画像フレームの位置が割り当てられる。これは、運動ベクトル６６、６７によって示唆される。例えば、より遅い時間６２の画像フレーム内のブロック数６から明らかなように、より早い時間６１の画像フレーム内のブロック数６が運動ベクトル６６によって割り当てられる。同様に、より遅い時間６２の画像フレームの対象物６４の上方のブロックに対する運動ベクトル６６を介して、より早い時間６１の画像フレームの対象物６４の上方のブロックが割り当てられる。

本発明の例では、より遅い時間６２の画像フレームのバックグラウンドブロック数１７〜２２を有する対象とされない領域６５で、問題が生じる。これらのブロックでは、より早い時間の画像フレームに対応するブロックがない。この時点で起こることは、（図１の点線で示されている）不規則な運動ベクトル６７が対象とされていない領域６５のバックグラウンドブロックに対して生成されるということであり、これは正確には現実の動きを表現していない。

これらの不規則な運動ベクトル６７は、正確に実際の運動を表現しておらず、それにもかかわらず、例えば、運動ベクトルの画像や中間画像補間等の処理に基づいて、より遅い運動ベクトルで用いられる。これは、例えば、広範囲なパニング動作を有する画像の境界で、実質的に最終的な補間結果の品質を劣化させることとなる。前方動き推定のケースでも同様の問題が対象となる領域で起こる。

特許文献１では、運動ベクトル分野及びその近隣の切れ目に基づいて対象とされる領域及び対象とされない領域を決定することにより補間結果を改良するためのシステム及び方法について開示されている。上述したように、対象とされる領域や対象とされない領域の運動ベクトルは、実際の現在の動きに相関しない特性を有している。従って、それらの領域は対称とされない領域を安定に検出するために利用することはできず、結果として補間された画像又は処理に基づいた他の運動ベクトルの質は劣ったものとなる。

特許文献２及び特許文献３では、前方推定及び後方推定の運動ベクトル分野を用いるために運動ベクトル分野の切れ目が拡張されるシステム及び方法について開示されている。また、この方法は近隣の切れ目に基づいた対象及び非対象の検出に関し、上述したものと同様な問題が発生する。

特許文献４は、動き推定のシステムで不規則な運動ベクトルを取り除く技術について開示している。従って、統計的に計算された不規則な要素に基づいて近隣の関係をチェックすること、及び単純な閾値を設定することが提案されている。よって、時間を超えた運動ベクトルの近隣の関係は、不規則性を識別するために用いられる。また、対象物の現実の動作に対応する運動ベクトルは不規則なベクトルとして識別されてもよいので、このように提案された方法は非常に信頼できないものである。

米国特許第６４８７３１３号明細書 米国特許第６２１９４３６号明細書 米国特許第２００５１６３３５５号明細書 米国特許第２００６０２４４８６６号明細書

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、高信頼性を有する運動ベクトルを提供することにある。

上記課題を解決するために、本発明のある観点によれば、後方及び前方の推定で２つの画像間の運動ベクトルを決定するステップと、後方の推定された運動ベクトルと前方の推定された運動とを比較するステップと、前記比較した結果に基づいて信頼できない運動ベクトルを検出するステップと、を含む、信頼のある運動ベクトルを提供するための方法が提供される。

上記方法は、供試ブロックとして１つの画像フレーム内の１つのブロックを選択するステップと、前記選択されたブロックと関連付けられた前記後方の推定された運動ベクトルと前記前方の推定された運動とを比較するステップと、を更に含んでいてもよい。

上記方法は、信頼できない運動ベクトルを除去するステップを更に含んでいてもよい。

上記方法は、信頼できる運動ベクトルを取り除かれた運動ベクトルと置き換えるステップを更に含んでいてもよい。

上記方法は、より遅い時間で画像フレーム内のブロックを供試ブロックとして選択するステップと、前記供試ブロックに対して前記後方の推定された運動ベクトルを決定するステップと、前記後方の推定された運動ベクトルが指し示すより早い時間の前記画像フレーム内のブロックを見出すステップと、前記見出されたブロックに対して前記前方の推定された運動ベクトルを決定するステップと、前記決定された後方の推定された運動ベクトルと前記決定された前方の推定された運動ベクトルとを比較するステップと、
を更に含んでいてもよい。

上記方法は、より早い時間で画像フレーム内のブロックを供試ブロックとして選択するステップと、前記供試ブロックに対して前記前方の推定された運動ベクトルを決定するステップと、前記前方の推定された運動ベクトルが指し示すより遅い時間の前記画像フレーム内のブロックを見出すステップと、前記見出されたブロックに対して前記後方の推定された運動ベクトルを決定するステップと、前記決定された前方の推定された運動ベクトルと前記決定された後方の推定された運動ベクトルとを比較するステップと、を更に含んでいてもよい。

上記方法は、前記比較するステップは、好ましくは、ユークリッド距離又はマンハッタン距離を算出するステップである、前記比較された運動ベクトル間の前記ベクトル距離を算出するステップを含んでいてもよい。

上記方法は、前記比較するステップは、前記算出されたベクトル距離が所定の閾値を超えるか否かを検出するステップを含んでいてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、後方推定で２つの画像フレーム間の運動ベクトルを決定するための後方運動推定手段と、前方推定で２つの画像フレーム間の運動ベクトルを決定するための前方運動推定手段と、後方の推定された運動ベクトルと前方の推定された運動ベクトルとを比較するための比較手段と、前記比較された結果に基づいて信頼できない運動ベクトルを検出するための検出手段と、を備える、信頼できる運動ベクトルを提供するためのシステムが提供される。

前記比較手段は、供試ブロックとして１つの画像フレーム内の１つのブロックを選択し、前記選択されたブロックと関連付けられた前記後方の推定された運動ベクトルと前記前方の推定された運動ベクトルとを比較するように適合されてもよい。

上記システムは、信頼できない運動ベクトルを取り除くための除去手段を更に備えていてもよい。

上記システムは、信頼できる運動ベクトルで取り除かれた運動ベクトルを置換する、置換手段を更に備えていてもよい。

前記比較手段は、更に、より遅い時間で前記画像フレーム内のブロックを供試ブロックとして選択し、前記供試ブロックに対して前記後方の推定された運動ベクトルを決定し、後方の推定された運動ベクトルが指し示すより早い時間の前記画像フレーム内のブロックを見出し、前記見出されたブロックに対して前記前方の推定された運動ベクトルを決定し、前記決定された後方の推定された運動ベクトルと前記決定された前方の推定された運動ベクトルとを比較するように適合されてもよい。

前記比較手段は、更に、より早い時間で前記画像フレーム内のブロックを供試ブロックとして選択し、前記供試ブロックに対して前記前方の推定された運動ベクトルを決定し、前方の推定された運動ベクトルが指し示すより遅い時間の前記画像フレーム内のブロックを見出し、前記見出されたブロックに対して前記後方の推定された運動ベクトルを決定し、前記決定された前方の推定された運動ベクトルと前記決定された後方の推定された運動ベクトルとを比較するように適合されてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、上記システムを備え、好ましくは、テレビ受信機である、電子機器が提供される。

以上説明したように本発明によれば、高信頼性を有する運動ベクトルを提供することができる。

後方の動き推定の概略図を示す。 ２つの画像フレーム間を補間するための概略図を示す。 本発明の実施形態に係る信頼性のある運動ベクトルを提供するためのシステムを備える電子機器の概略的なブロック図を示す。 本発明の実施形態に係る信頼できない運動ベクトルを検出するための方法の概略図を示す。 本発明の他の実施形態に係る信頼できない運動ベクトルを検出する方法を説明するための概略図である。 本発明の他の実施形態に係る信頼できない運動ベクトルを検出する方法を説明するための概略図である。 本発明の他の実施形態に係る信頼できない運動ベクトルを検出する方法を説明するための概略図である。 本発明の他の実施形態に係る信頼できない運動ベクトルを検出する方法を説明するための概略図である。 本発明の実施形態に係る信頼性のある運動ベクトルを提供するための方法の概略図である。 本発明の実施形態に係る信頼性のある運動ベクトルを提供するための方法の工程段階を示すフローチャートである。 本発明の実施形態に係る信頼できない運動ベクトルを検出する工程段階を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

上述したように、運動ベクトルを利用する多様なアルゴリズム及び処理形式が存在する。全ての方法が信頼性のある運動ベクトルの利用を必要とし、信頼できない運動ベクトルが存在する場合には、質及び信頼性が低下する。以下、一例として、画像フレーム補間を参照し、信頼できない運動ベクトルがもたらす問題について説明する。しかし、本発明が画像フレーム補間の適用に限定されるものではなく、画像処理に基づいたあらゆるタイプの運動ベクトルに適用されるという点には留意すべきである。

図２ａは、より早い時点ｔ−１における画像フレーム６１及びより遅い時点ｔにおける画像フレーム６２を示す。これらの画像フレーム間に補間された画像フレームが作成される。このため、既に説明したように、後方推定運動ベクトルが作成される。これにより、再び、覆われていない領域６５の場合には信頼できないランダムな運動ベクトルが作成されるという問題がもたらされる。これにより、補間された対象物の中で白点６９で示される複数の投影点６９がもたされる。これらの複数の投影点６９は、１または複数の運動ベクトルが指し示すポイントである。

同様に、図２ｂは、同じ２つの時間フレーム６１、６２に対する前方推定運動ベクトルを示す。この場合、本実施形態ではブロックナンバー９〜１４で示されている覆われている領域６８に対して、問題が生じ、覆われている領域６８に割り当てられている前方検出運動ベクトルは信頼できないものである。また、図２ｂでは、複数の投影点６９が補間された位置で作成され、複数の運動ベクトルの投影が存在する。

図２ｃでは、結果としての補間された対象物を示す。明らかなように、対象物は、信頼できる運動ベクトルに基づいた作成された信頼できる領域７１、及び信頼できない運動ベクトルも利用しながら作成しており、実際には対象物６４の現実の動きには対応していない２つの信頼できない領域を含む。従って、結果として補間された対象物は、信頼できず、表示された画像のエラーをもたらす。

信頼できず、ランダムに作成された運動ベクトルにおける問題を、補間を参照して説明した。しかし、信頼できない運動ベクトルは、常に、画像の質の大幅な低下をもたらすので、アルゴリズム及び処理方法に基づいた他の運動ベクトルを利用する際には、類似の問題も生じる。

従って、本発明は、信頼できない運動ベクトルを取り除くように、安定に信頼できない運動ベクトルを検出することができる方法及びシステムを適用することを提案する。所望の適用に応じて、取り除かれた運動ベクトルを他の信頼できるベクトルに置き換えることができるので、修正された運動ベクトルを他の適用及び処理方法に対して高品質で利用することができる。

本発明は、２つの画像フレーム間の双方向動き推定の考え、及び前方及び後方の動き推定間の運動ベクトルの一貫性をチェックすることに基づいている。

より具体的には、本実施形態では、後方推定及び前方推定で２つの画像フレーム間の運動ベクトルを決定することを提案し、後方推定運動ベクトルと前方推定運動ベクトルとを比較し、比較の結果に基づいて信頼できない運動ベクトルを検出する。

図３は、本実施形態に係るシステムを適用する電子機器５０を示す。上記電子機器は、例えば、アルゴリズムに基づいた運動ベクトルの利用により質を向上させた画像を提供する必要性を有するテレビジョン受像機や他の電子機器であってもよい。

電子機器５０は、映像信号の画像フレームを受信する受信手段５８を有する。電子機器５０は、更に、記憶装置５９と、処理された映像信号を表示する表示装置６０を有する。記憶装置５９は、１以上の揮発性メモリ及び／又は不揮発性メモリの記憶装置部分を有することができる。表示装置６０は、例えば、液晶ディスプレイ（ＬＣＤ）等のあらゆるタイプの今後の表示手段を把握しているものである。

受信手段５８、記憶装置５９、及び表示装置６０は、電子機器５０内で全ての処理を指揮する処理部５７と情報伝達に接続される。

本実施形態に係る処理部５７は、本実施形態に係る段階を実行するように構成されるいくつかの構成５１〜５６を有する。それゆえ、構成５１〜５６は、創作性のあるアルゴリズム内の処理段階、又は、夫々のアルゴリズム段階を実行するためのハードウェア成分でありうる。

特に、処理部５７は、後方動き推定を有する２つの画像フレーム間の運動ベクトルを決定するための後方動き検出手段５１を有する。処理部５７は、更に、前方動き推定を有する２つの画像フレーム間の運動ベクトルを決定するための前方動き検出手段５１を有する。比較手段５３は、後方検出運動ベクトルと、前方検出運動ベクトルとを比較するように構成される。次いで、検出手段５４は、比較手段５３によって提示される比較結果に基づいて信頼できない運動ベクトルを検出する。

更に、検出手段５４によって既に検出された信頼できない運動ベクトルを除去するための除去手段５５が提供されうる。所望の適用に応じて、置換手段５６が除去された信頼できない運動ベクトルを正確な、又は信頼できる運動ベクトルに置き換えることができる。

電子機器５０は、図３に示された構成に限定されず、簡略化のために図では省略されている電池、電源等の電子機器５０の機能のために必要なあらゆる他の構成も含む。

図４は、信頼できない、すなわち、ランダムに作成された運動ベクトルを検出するための本実施形態の処理段階についての概略図を示す。上述したように、本実施形態によれば、双方向の動き推定が利用される。この目的のために、２つの画像フレーム６１、６２間で後方推定運動ベクトル及び前方推定運動ベクトルが決定される。上述したように、後方推定の場合には、覆われていない領域６５内のブロックで問題が生じ、信頼できない後方推定運動ベクトルがもたらされる。同様に、前方推定では、覆われている領域６８内のブロックで問題が生じ、信頼できない前方推定運動ベクトルがもたらされる。

図示された画像フレームは、必ずしも完全な画像フレームを表示せずに、画像フレームの一部分のみを表示することもできるという点は、留意すべきである。それにも係らず、“画像フレーム”という用語は、本実施形態では、完全な画像フレーム及び部分的な画像フレームのために用いられる。更に、示されたブロックは、用いられるアルゴリズム及び適用に応じて１以上の画素を有することができる。

図４では、明確化のために、より早い時間６１における画像フレーム及びより遅い時間６２における画像フレームは、２回示され、すなわち、１回は後方動き推定であって、１回は前方動き推定である。前方推定運動ベクトル及び後方推定運動ベクトルを１つの画像へ挿入すると、図４を不明確にするであろう。

本実施形態では、後方推定運動ベクトルと前方推定運動ベクトルとを比較し、一貫したチェックを適用することを提案する。

これは、図４を参照して説明される。より遅い時間６２における画像フレームでは、１つのブロックが、供試ブロックとして選択される。本実施形態の例では、このブロックはＡと表記される。次いで、より早い時間６１における画像フレームの中の、後方推定運動ベクトルＭＶ_ｂｗｄが指し示すブロックが決定される。本実施形態の例では、対応する運動ベクトルはブロックＢ、すなわち、ＭＶ_ｂｗｄ’＝ＭＶ_ｂｗｄ（Ｘ＋ＭＶ_ｂｗｄ）を指し示している。

より早い時間６１における画像フレームのこの検出されたブロックＢのために、次いで次の段階では、対応する前方推定運動ベクトルが決定される。本実施形態の図４では、同一の画像フレームが２回、すなわち、前方推定で１回、後方推定で１回示されているので、前方推定画像のブロックＣは、後方推定画像のブロックＢにおいて始まる矢印７３によって示される。ブロックＢとＣとが異なる画像で示されているとしても、これらのブロックは同一のものである。（ブロックＢと同一である）ブロックＣに対して、対応する前方検出運動ベクトルが次いで決定される。

決定された前方検出運動ベクトルと、既に決定された後方推定運動ベクトルとが、次いで決定され、一貫したチェックが適用され、すなわち、ＭＶ_ｂｗｄ’とＭＶ_ｆｗｄとの間の類似性が適用される。すなわち、ブロックＣに関連づけられた前方推定運動ベクトルが、ブロックＡに対応するより遅い時間６２における画像フレームのブロックを指し示しているのであれば、次いで、このことは結果として、ブロックＡに関連づけられた後方推定運動ベクトルが信頼できるものであるということを意味する。このように、供試ブロックＡ及び対応する後方推定運動ベクトルは信頼できるものとして特徴付けられる。

他の例としては、信頼できない運動ベクトルも図４を参照して説明される。この例では、供試ブロックはブロックＡ’である。後方推定運動ベクトルは、ブロックＢ’を指し示す。上述したように、ブロックＢ’は、ブロックＣ’に対応し、次の段階では、ブロックＣ’に関連付けられた前方推定運動ベクトルが決定される。明らかなように、前方推定運動ベクトルは、ブロックＢ’を指し示している後方推定運動ベクトルとは類似しない。従って、ブロックＡ’から始まる運動ベクトルは、信頼できないものとして特徴付けられる。

２つの運動ベクトル間の類似性をチェックするために多様な方法が適用可能である。１つの可能性としては、２つの運動ベクトル間の単純なベクトル距離（例えば、ユークリッド距離、マンハッタン距離、又は他の距離）を用いることが挙げられる。

他の可能性としては、上述した距離の１つを用い、より多くの情報を評価することが挙げられる。例えば、運動ベクトルを作成するために用いられる整合基準である。一例を以下に示す；ブロック整合動き推定方法では、通常、ブロック由来の置換フレーム差分値が、整合基準として利用される。より洗練された運動ベクトルに類似性の測定を提供する距離に付加して、これを用いることができる。類似性の単純な決定を取得することが必要であるので、運動ベクトルが類似しているのか否かを明確にする条件を導くことが必要である。スカラーの結果を提供する単純な距離の測定の場合に、これは閾値を用いることで実行されることが可能である。例えば、ｄ＝‖ＭＶ_ｂｗｄ’＋ＭＶ_ｆｗｄ‖＞所定の閾値である。ｄがより大きいものであれば、運動ベクトル及びＭＶ_ｂｗｄが覆われていないベクトルとして特徴付けられると推定することができる。

多くのハードウェア関連の適用では、低いメモリを利用することが強く要求される。特に、テレビジョン受像機の場合には、記憶及び処理能力が通常は完全に限定される。垂直な運動ベクトルのアクセスに対してよくあるように、メモリの利用は垂直な情報（行バッファー）におけるフリーアクセスに大いに依存する。従って、本発明の一実施形態では、メモリを利用しないが、それでも水平方向の動きによって引き起こされる、覆われていたり、又は覆われていなかったりする領域の検出を提供する方法が提案される。上述した検出ルールで実行されたように、ＭＶ_ｂｗｄ’＝ＭＶ_ｂｗｄ（Ｘ＋ＭＶ_ｂｗｄ）の割り当ての代わりに、例えば、ＭＶ_ｂｗｄ’＝ＭＶ_ｂｗｄ（Ｘ＋ＭＶ_{ｂｗｄ、ｈｏｒｉｚｏｎａｌ ｃｏｍｐｏｎｅｎｔ}）のように、運動ベクトルの水平方向成分のみを用いることができる。そうであっても、類似性の測定は十分な運動ベクトルに適用される。

図５〜図８を参照して、本実施形態に係るアルゴリズムがどのように補間されうるのかということについてのいくつかの例を示す。

それゆえに、図５は、静的なバックグラウンドが提供され、動きが対象物よりも小さい場合について示す。図４とは対照的に図５では、より早い時間６１における画像フレームおよびより遅い時間６２における画像フレームの１セットのみが示されており、後方推定運動ベクトル及び前方推定運動ベクトルが同一の図に含まれる。

明らかなように、この場合にも、覆われていない領域６５及び覆われている領域６８の問題が生じる。信頼できない運動ベクトルを決定するために、本発明の好適な実施形態では、覆われている場合又は覆われていない場合が発生するのかどうかを示唆するための指標を適用することを提案する。この指標は、数、シンボル、又は他の指標形式であってよい。本実施形態では、指標としてゼロ“０”、マイナス“−”、ダブルマイナス“−−”、プラス“＋”、ダブルプラス“＋＋”が用いられる。

最後の指標カラム８５では、夫々のブロックに対して最終的に計算された指標が示されている。処理の始めにおける最終の指標は、夫々のブロックに対して０にセットされる。次いで、上述した方法で、信頼できない後方推定運動ベクトル及び信頼できない前方推定運動ベクトルが決定される。

より早い時間６１における画像フレームの夫々のブロックに対する前方指標カラム８３では、指標は、最後の指標が保たれるか、減少するか、増加するのかを定義する前方推定運動ベクトルの信頼性に基づいて決定される。本実施形態の例では、覆われている領域６８がある。上述した方法で、覆われている領域６８に対する前方推定運動ベクトルは信頼できないものと決定される。この信頼できない運動ベクトルに対する前方指標カラム８３では、指標はゼロ７４にセットされる。他の運動ベクトルに対して、指標はダブルマイナス７５にセットされる。

同様に、より遅い時間６２における画像フレームの夫々のブロックに対する後方指標カラム８４では、指標は、最後の指標が保たれるか、減少するか、増加するのかを定義する後方推定運動ベクトルの信頼性に基づいて決定される。本実施形態の例では、覆われていない領域６５が存在する。上述した方法で、覆われていない領域６５に対する後方推定運動ベクトルは信頼できないものとして決定される。これらの信頼できない運動ベクトルに対する後方指標カラム８４では、指標はゼロ７４にセットされる。他の運動ベクトルに対して、指標はダブルプラス７６にセットされる。

ここで、前方指標カラム制御部８３及び後方指標カラム８４の指標は、初期にセットされた最後の指標が保たれるか、減少するか、増加するのかを決定するために用いられる。それゆえに、ゼロ７４は、最後の指標が一定を保つべきであると規定し、ダブルマイナス７５は、最後の指標が減少すべきであると規定し、ダブルプラス７６は、最後の指標が増加すべきであると規定する。これらの規則は、ここでは、初期にセットされた最後の指標に適用される。

ブロックナンバー１〜８に対して、前方指標カラム８３によれば、最後の指標は減少すべきであり、後方指標カラム８４によれば最後の指標は増加すべきである。要するに、これは、最後の指標を一定に保つこと、すなわち、ゼロ７４の値を保つことをもたらす。ブロックナンバー９〜１４に対して、前方指標カラム８３によれば、最後の指標は一定を保つべきであり、後方指標カラム８４によれば、最後の指標は増加すべきである。要するに、これは、増加した最後の指標をもたらし、ブロックナンバー９〜１４に対してプラス７７の評価で最後の指標カラム８５に示される。

同様に、他のブロックに対する最後の指標が決定され、ブロックナンバー１５〜１６、及び２３〜３０に対してゼロ７４の最後の指標をもたらし、ブロックナンバー１７〜２２に対してマイナス７８の指標をもたらす。この最後の指標から明らかなように、最後の指標プラス７７を有するブロックは、覆われている領域６８のブロックであり、最後の指標マイナス７８を有するブロックは、覆われていない領域６５のブロックである。

覆われている領域及び覆われていない領域を規定するこの最後の指標には、他の処理段階が基づきうる。上記の実施形態が補間の一例に過ぎないという点、及び本発明が上記の実施形態に限定されないという点については、再度留意すべきである。

静的なバックグラウンドと、対象物よりも大きい動きとに対して、最後の指標と同一の計算方法を図６に示す。

図７は、バックグラウンドと同一の方向に対象物が動いているバックグラウンド及び動きのケースを示している。この特定な場合において、同時に覆われている場合及び覆われていない場合があるのであれば、最後の指標がゼロにセットされるということが起こるかもしれない。用いたアルゴリズムに応じてこの特別な最後の指標８６を信頼できない運動ベクトルも示唆しているものとして検出することができ、それに応じて処理することができる。

図８は、反対の方向の対象物の動いているバックグラウンド及び動きのケースを示している。

図９ａ〜図９ｃでは、本実施形態の適用の一例が示されている。それゆえ、一例として本実施形態に係る、覆われていない訂正フィルター（ＵＣＦ）を用いる補間が示されている。

本実施形態で説明した方法に基づいて、信頼できない後方推定運動ベクトル及び前方推定運動ベクトルが検出される。次いで、覆われている領域及び覆われていない領域は、投影から排除される。

最後に補間された図が図９ｃに示され、対象物８０の信頼でき投影可能な部分が色付きで示されている。対象物の投影できない領域８１は、色無しで示されている。

補間する必要がある中間位置は、まずバックグラウンド運動ベクトルでプリセットされる。それらのバックグランド運動ベクトルは、大域的運動のパラメータ化又は他の方法で、例えば、優先的な投影結果のフィードバックによって優先して決定される。次いで、クリーンにされた運動ベクトル８２は、中間位置で投影され、補間運動ベクトル領域を初期化したバックグラウンド運動ベクトルの上書きも可能にする。図９ｃから明らかなように、結果としての補間運動ベクトル領域は、覆われていない領域からランダムに作成された運動ベクトルによって妨害されることはもはやない。同一の処理が前方推定運動ベクトル及び覆われているケースに適用される。

本実施形態では、覆われている領域及び覆われていない領域の検出は、非常に信頼できる状態で実現されるので、運動ベクトルに基づいた良好な補間結果又は他の高品質な処理を適用可能である。

ここで、図１０を参照しながら本実施形態の基本的な概念について説明する。図１０は、本実施形態に係る信頼できる運動ベクトルを提供するためのフローチャートである。

処理は、ステップＳ０で始まる。ステップＳ１では、後方動き推定が実行され、ステップＳ２では、前方動き推定が実行される。ステップＳ１及びＳ２を同時に、又は異なる方法で実現することも可能である点については留意すべきである。

ステップＳ３では、後方推定運動ベクトルと、前方推定運動ベクトルとが比較される。次のステップＳ４の比較結果に基づいて、信頼できない運動ベクトルが検出される。次のステップＳ５では、信頼できない運動ベクトルが除去される。所望の適用に応じて、ステップＳ６では、除去された運動ベクトルを信頼できる運動ベクトルに置き換えることができる。次いで、ステップＳ７では、修正された運動ベクトルを、すなわち、信頼できない運動ベクトルのない運動ベクトル、又は置換された運動ベクトルを含む運動ベクトルを更なる処理のために利用することができる。

ステップＳ８では、処理が終了する。

図１１では、信頼できない運動ベクトルを検出するための本実施形態の処理をより詳細に説明する。ここで、処理については、後方推定運動ベクトルの信頼性が決定される場合を参照して説明するが、上記処理は、当然前方推定運動ベクトルの信頼の決定に対応して適用することも可能である。

処理は、ステップＳ２０で始まる。ステップＳ２１では、より遅い時間における画像フレームのブロックが実際の供試ブロックとして選択される。次のステップＳ２２では、後方推定運動ベクトルが実際の供試ブロックとして決定される。次のステップＳ２３では、後方推定運動ベクトルが指し示しているより早い時間における画像フレームのブロックが検出される。次のステップＳ２４では、既に検出されたブロックに対する前方推定運動ベクトルが決定される。

次のステップＳ２５では、決定された前方推定運動ベクトルと決定された後方推定運動ベクトルとが比較される。ステップＳ２６では、運動ベクトルが類似又は同一であるかどうかがチェックされる。運動ベクトルが類似ならば、次いで、ステップＳ２７では、対応する後方運動ベクトルが信頼できるものとして特徴付けられる。さもなければ、ステップＳ２８で、運動ベクトルが類似でないならば、後方運動ベクトルが信頼できないものとして特徴付けられる。

処理は、ステップＳ２９で終了する。

本実施形態が図４〜図１１を参照して説明され、覆われていない訂正フィルターが用いられ、より遅い時間における画像フレームで始まるという点については、留意すべきである。しかし、前方推定運動ベクトルの信頼性を検出するために処理が対応して適用されるという点については、留意すべきである。この場合、処理はより早い時間における画像のブロックで開始し、次いで、対応して、より早い時間における画像フレーム内の実際の供試ブロックに対する前方推定運動ベクトルが決定される。この場合、前方推定運動ベクトルが指し示すより遅い時間における画像のブロックが検出され、検出されたブロックに対応する後方推定運動ベクトルが決定される。次いで、双方の運動ベクトルが比較され、プロセスは上述したものと同様に続いていく。

本実施形態を利用することができる他の適用は、例えば、運動ベクトル由来の映像分類、対象追跡、又は他の運動ベクトル関連の方法である。本実施形態は、間違った運動ベクトル、これと共に運動ベクトルの領域を抑圧するので、シーンの変化、大規模な運動の動き、又は他の映像的特徴を検出するために運動ベクトルを用いる、運動ベクトル由来の映像分類システムは、本実施形態から得られるものである。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

５０ 電子機器
５１ 後方運動推定手段
５２ 前方運動推定手段
５３ 比較手段
５５ 除去手段
５６ 置換手段
６１、６２ 画像フレーム
６６、６７ 運動ベクトル

Claims (15)

1. 後方及び前方の推定で２つの画像間の運動ベクトルを決定するステップと、
   後方推定運動ベクトルと前方推定運動とを比較するステップと、
   前記比較した結果に基づいて信頼できない運動ベクトルを検出するステップと、
   を含む、信頼できる運動ベクトルを提供するための方法。
2. 供試ブロックとして１つの画像フレーム内の１つのブロックを選択するステップと、
   前記選択されたブロックと関連付けられた前記後方推定運動ベクトルと前記前方推定運動とを比較するステップと、
   を更に含む、請求項１に記載の方法。
3. 信頼できない運動ベクトルを除去するステップを更に含む、請求項１又は２に記載の方法。
4. 信頼できる運動ベクトルを取り除かれた運動ベクトルと置き換えるステップを更に含む、請求項３に記載の方法。
5. より遅い時間で画像フレーム内のブロックを供試ブロックとして選択するステップと、
   前記供試ブロックに対して前記後方推定運動ベクトルを決定するステップと、
   前記後方推定運動ベクトルが指し示すより早い時間の前記画像フレーム内のブロックを見出すステップと、
   前記見出されたブロックに対して前記前方推定運動ベクトルを決定するステップと、
   前記決定された後方推定運動ベクトルと前記決定された前方推定運動ベクトルとを比較するステップと、
   を更に含む、請求項２〜４のいずれか１項に記載の方法。
6. より早い時間で画像フレーム内のブロックを供試ブロックとして選択するステップと、
   前記供試ブロックに対して前記前方推定運動ベクトルを決定するステップと、
   前記前方推定運動ベクトルが指し示すより遅い時間の前記画像フレーム内のブロックを見出すステップと、
   前記見出されたブロックに対して前記後方推定運動ベクトルを決定するステップと、
   前記決定された前方推定運動ベクトルと前記決定された後方推定運動ベクトルとを比較するステップと、
   を更に含む、請求項２〜４のいずれか１項に記載の方法。
7. 前記比較するステップは、好ましくは、ユークリッド距離又はマンハッタン距離を算出するステップである、前記比較された運動ベクトル間の前記ベクトル距離を算出するステップを含む、請求項１〜６のいずれか１項に記載の方法。
8. 前記比較するステップは、前記算出されたベクトル距離が所定の閾値を超えるか否かを検出するステップを含む、請求項７に記載の方法。
9. 後方推定で２つの画像フレーム間の運動ベクトルを決定するための後方動き推定手段と、
   前方推定で２つの画像フレーム間の運動ベクトルを決定するための前方動き推定手段と、
   後方推定運動ベクトルと前方推定運動ベクトルとを比較するための比較手段と、
   前記比較された結果に基づいて信頼できない運動ベクトルを検出するための検出手段と、
   を備える、信頼できる運動ベクトルを提供するためのシステム。
10. 前記比較手段は、
    供試ブロックとして１つの画像フレーム内の１つのブロックを選択し、
    前記選択されたブロックと関連付けられた前記後方推定運動ベクトルと前記前方推定運動ベクトルとを比較するように構成される、請求項９に記載のシステム。
11. 信頼できない運動ベクトルを取り除くための除去手段を更に備える、請求項９又は１０に記載のシステム。
12. 信頼できる運動ベクトルで取り除かれた運動ベクトルを置換する、置換手段を更に備える、請求項１１に記載のシステム。
13. 前記比較手段は、更に、
    より遅い時間で前記画像フレーム内のブロックを供試ブロックとして選択し、
    前記供試ブロックに対して前記後方推定運動ベクトルを決定し、
    前記後方推定運動ベクトルが指し示すより早い時間の前記画像フレーム内のブロックを見出し、
    前記見出されたブロックに対して前記前方推定運動ベクトルを決定し、
    決定された前記後方推定運動ベクトルと決定された前記前方推定運動ベクトルとを比較するように構成される、請求項１０〜１２のいずれか１項に記載のシステム。
14. 前記比較手段は、更に
    より早い時間で前記画像フレーム内のブロックを供試ブロックとして選択し、
    前記供試ブロックに対して前記前方推定運動ベクトルを決定し、
    前方推定運動ベクトルが指し示すより遅い時間の前記画像フレーム内のブロックを見出し、
    前記見出されたブロックに対して前記後方推定運動ベクトルを決定し、
    決定された前記前方推定運動ベクトルと決定された前記後方推定運動ベクトルとを比較するように構成される、請求項１０〜１２のいずれか１項に記載のシステム。
15. 請求項９〜１４のいずれか１項に記載のシステムを備え、好ましくは、テレビ受信機である、電子機器。
    

Images