JP2014059875A - 画像内のロゴの存在を検出する装置、及び方法 - Google Patents

Abstract

【課題】画像シーケンスのうちのある画像におけるロゴの存在を検出する。
【解決手段】本願発明に係る方法は、現在の画像における現在の候補ロゴ境界形状と、及び現在の画像に先行する画像における先行の候補ロゴ境界形状と、を決定するステップと、少なくとも１つの条件が満たされた場合に現在の画像におけるロゴの存在を検出するステップであって、当該条件が、現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、又は現在の候補ロゴ境界形状、及び現在の画像の、特性ピークの周辺にある領域を特定するための特性マスクの間の重なり部分が第３の閾値よりも大きい、ことである、検出するステップと、を含む。
【選択図】図１

Description

本発明は、画像処理に関する。特に、本発明は、画像シーケンスのうちのある画像におけるロゴの存在を検出する方法、及びその装置に関する。本方法はさらに、より正確にロゴ（つまりその位置）を決定することができる。

画像におけるロゴ検出は、あらゆるアプリケーションに関し注目されている。例えば、再標的画像においてロゴ部分を含むことを避けるために、このような検出が、再標的装置で用いられる。その他のアプリケーションは、ロゴが画像から取り除かれることを要求する。例えば、初めにＴＶチャンネル（例えばスポーツの試合）で放送される番組は、同一チャンネル上のキャッチアップ・モードで後にアクセスすることができ、又はハイライトに関して別のＴＶチャンネルに売られることができる。前者の場合、ＴＶチャンネルのロゴは、通常取り除かれて、番組がキャッチアップ・モードであることを表示する特定のロゴに置き換えられる。後者の場合、第１のＴＶチャンネルのロゴは、第２のＴＶチャンネルに表示される前に取り除かれる。

２０１２年１月６日に発行された特許文献１により、特性情報のみを用いて画像におけるロゴを検出することが知られている。より正確には、ロゴは、特性情報に基づいて、画像内の探索領域において大まかに検出される。探索領域は例えば、画像の４つの角である。この解決法では、全体のビデオ・セグメントが処理される間にロゴの制約が存在するようにして統計的に不透明なロゴの最も簡単な場合のみが取り扱われる。さらに、この解決法は、ロゴが画像内において最大の視覚的特性領域ではないとき、例えばハイ・コントラストのオブジェクトが画像内に存在するとき、機能しない。

一方、非特許文献１により、各画像間で統計的エッジの累計に基づいてロゴを検出することが知られている。より正確には、この方法に従うと、Ｎ画像間でエッジが検出される。これらエッジは、次にこれらＮ画像間で累計される。Ｎが十分に多ければ、累計されたエッジはロゴを検出するための良い情報となる。しかし、再標的アプリケーションのようなリアルタイム・アプリケーションでは、Ｎは、ロゴ検出のための関連情報を得るには十分多くは無い。

欧州特許出願第２１４１６５８号明細書 欧州特許１６９５２８８号明細書

Ｏｚａｙ等、"Automatic TV logo detection and classification in broadcast videos"、ＥＵＳＩＰＣＯ ２００９

本発明の目的は、従来技術の少なくとも１つの不利益を克服することである。この目的を達成するために、本発明は、ビデオの現在の画像におけるロゴの存在を検出する方法に関し、当該方法は、
現在の画像における現在の候補ロゴ境界形状と、及び現在の画像に先行する画像における先行の候補ロゴ境界形状と、を決定するステップと、
少なくとも１つの条件が満たされた場合に現在の画像におけるロゴの存在を検出するステップであって、当該条件が、
現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、または
現在の候補ロゴ境界形状、及び現在の画像の、特性ピークの周辺にある領域を特定するための特性マスクの間の重なり部分が第３の閾値よりも大きい、
ことである、検出するステップと、
を含む。

従って、ロゴ検出は、より強固である。

特定の特徴によれば、候補ロゴ境界形状は、候補ロゴ境界ボックスである。

有利には、ロゴの存在がビデオの現在の画像について検出されるごとに信頼度がＮ増加し、及び他方、信頼度が正のときにロゴの存在が現在の画像について最終的に検出されて、信頼度がＮ減少する。これにより、ビデオの間にロゴが現れ、及び消滅するような状況を取り扱うことができる。

特定の特徴によれば、Ｎ＝１である。

別の特徴によれば、各連続の検出、又は非検出がなされた後に、Ｎの値が増加する。

別の実施形態によれば、ロゴの存在が現在の画像について検出されるとき、現在の画像におけるロゴは、次に従って決定される：現在の候補ロゴ境界ボックスが特性ピークを含むかどうかを確認し、この確認が肯定の場合、現在の候補ロゴ境界ボックスをロゴ候補境界ボックスのリストに加え、このリストがＭ候補ロゴ境界ボックスを含むとき、候補ロゴ境界ボックスのリストから現在の画像におけるロゴが計算され、他方、現在の画像におけるロゴが、現在の候補ロゴ境界ボックスである。ロゴの局在は、従ってビデオにおいて安定し、正確である。

特定の特徴によれば、Ｍは１０に等しい
本願発明の別の態様によれば、現在の候補ロゴ境界ボックスを決定するステップは、
ａ）少なくとも１つの検索領域における検出窓の各画像についてエッジ・マップを計算することであって、検出窓が、現在の画像、及び現在の画時に先行するＰ画像を有する、計算することと、
ｂ）累計エッジ・マップに画像間のエッジ・マップを合計し、累計エッジ・マップを２値化することと、
ｃ）２値化した累計エッジ・マップをフィルタリングして、フィルタリングされたエッジ・マップにすることと、
ｄ）フィルタリングされたエッジ・マップを２値化して、ブロブのマップにすることと、
ｅ）フィルタリングされたエッジ・マップにおいて最高値である画素値を含むブロブの間で、フィルタリングされたエッジ・マップにおける画素値の最大値の合計を含むブロブを選択することと、
ｆ）選択されたブロブの境界となる、候補境界ボックスであるボックスを決定することと、
を含む。

ロゴが透明、又は半透明のとき、候補境界ボックスの決定において、ステップａ）からｆ）が役に立つ。

有利には、検出窓がｋ画像分スライドされて、スライドされた検出窓上でステップａ）からｆ）が繰り返されて、スライドされた検出窓の１つの画像についてロゴを検出し、次の画像が呼び出される。

本願発明の別の態様によれば、少なくとも１つの検索領域は、現在の画像の４つの角、並びに上部水平バナー及び底部水平バナーを含む。

本願発明は、さらに、ビデオの現在の画像におけるロゴの存在を検出する装置に関連し、当該装置は、
現在の画像における現在の候補ロゴ形状、及び現在の画像に先行する画像における先行の候補ロゴ形状を決定する手段と、
少なくとも１つの条件が満たされた場合に現在の画像におけるロゴの存在を検出する手段であって、当該条件が、
現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、または
現在の候補ロゴ境界形状、及び現在の画像の、およそ特性ピークにある領域を特定するための特性マスクの間の重なり部分が第３の閾値よりも大きい、
ことである、検出する手段と、
を備える。

特定の特徴によれば、候補ロゴ境界形状は、候補ロゴ境界ボックスである。

有利には、当該装置は、ロゴの存在がビデオの現在の画像について検出されるごとに信頼度がＮ増加し、及び他方、信頼度が正のときにロゴの存在が現在の画像について最終的に検出されて、信頼度がＮ減少する、手段をさらに備える。

特定の特徴によれば、Ｎは１に等しい。

特定の特徴によれば、各連続の検出、又は非検出がなされた後に、Ｎの値が増加する。

本願発明の別の態様によれば、当該装置は、ロゴの存在が検出されたときに、現在の画像におけるロゴを決定する手段を備え、ロゴを決定する手段は、現在の候補ロゴ境界ボックスが特性ピークを有するかを確認し、確認が肯定の場合にロゴ候補境界ボックスのリストに現在の候補ロゴ境界ボックスを加え、当該リストがＭ候補ロゴ境界ボックスを含むとき、現在の画像におけるロゴが候補ロゴ境界ボックスのリストから計算され、他方のとき、現在の画像におけるロゴが、現在の候補ロゴ境界ボックスである。

特定の特徴によれば、Ｍは１０に等しい。

本発明の他の特徴、及び利点は、その実施形態のいくつかの以下の記載で見られ、この記載は、次の図面と関連してなされる。
本発明の第１の実施形態に係るビデオにおけるロゴの存在を検出する方法のフローチャートである。 本発明の第１の実施形態に係る方法の詳細なフローチャートである。 本発明の第１の実施形態に係る方法の詳細なフローチャートである。 本発明に係る時間的コヒーレンスを示す図である。 本発明の第２の実施形態に係るビデオにおけるロゴの存在を検出する方法のフローチャートである。 本発明の第２の実施形態に係る方法の詳細なフローチャートである。 本発明の第２の実施形態に係る方法の詳細なフローチャートである。 本発明の第２の実施形態に係る方法の詳細なフローチャートである。 本発明に係る候補ロゴ境界ボックスを決定する方法のフローチャートである。 本発明に係る候補ロゴ境界ボックスを決定する方法の第１の詳細なフローチャートである。 本発明に係る候補ロゴ境界ボックスを決定する方法の第２の詳細なフローチャートである。 本発明に係る特性マスクを決定する方法のフローチャートである。 ビデオにおけるロゴの存在を検出する装置を示す図である。

本発明は、ビデオ内のロゴの存在を検出する方法に関する。ロゴは、任意の形状からなる。マップは、輝度又はクロミナンス以外の情報、例えば特性情報、階調度情報、等が、画素と関連付けられる画像である。

図１は、本発明の第１の実施形態に係るロゴの存在を検出する方法のフローチャートを表す。

ステップ１０において、候補ロゴ境界ボックスが、現在の画像I(t)において決定され、及びこの現在の画像に先行する画像I(t-1)において別の候補ロゴ境界ボックスが決定される。本発明は、候補ロゴ境界ボックスが決定される方法によって限定されるものではない。第１の例では、候補ロゴ境界ボックスが、オペレーターにより手動で決定される。変形例では、図９を参照して説明されるような画像処理方法に従って候補ロゴ境界ボックスが決定される。候補ロゴ境界ボックスは、ロゴであると決定される可能性のある、画像内の領域の境界ボックスを表している。領域の境界ボックスは、この領域を含む最小の矩形である。

変形例では、候補ロゴ境界ボックスは、任意の形状について中心を決定できる場合、この任意の形状で置き換えられる。一例として、この任意の形状は、円、三角形、ひし形、四角形である。その結果、ステップ１０において、候補ロゴ境界形状が、現在の画像I(t)において決定され、及びこの現在の画像に先行する画像I(t-1)において別の候補ロゴ境界形状が決定される。この候補ロゴ境界形状は、ロゴであると決定される可能性のある、画像内の領域の形状を表している。

ステップ１２において、候補ロゴ境界ボックスに基づき、及び現在の画像I(t)の特性マスクに更に基づいて、２つのスコアが計算される。本発明は、特性マスクが決定される方法によって限定されるものではない。特性マスクは、特性ピークを特定する画像である。第１の例として、特性マスクは、特性マップを閾値化することにより得られる。特性マスクは、従って、最大突出画素が第１の値（例えば値２５５）を有し、その他の画素の全てが別の値（例えば値０）を有するような２値化画像である。特性マップは、特性値が画像の各ピクセルと関連付けられる画像である。特性値は、画素の視覚的な重要性を表す。より視覚的に注意を引く画素は、より高い特性値を有する。特性マップは、従って、画像において視覚的に注目の領域を特定できるようにすることができる。通常、特性マップは、視覚システムのモデル化に基づいて決定される。このような視覚注目モデルは、特許文献２として２００５年６月３０日に発行されたEP特許出願04804828.4において特許されている。変形例によれば、図１２を参照して説明されるような画像処理方法に従って、特性マスクが決定される。

本実施形態によれば、両方のスコア値は、２値である。スコア１は、図２に示すように、現在の画像、及び先行する画像について候補ロゴ境界ボックスに関する情報を用いることにより計算される。ステップ１２０で、現在の候補ロゴ境界ボックスの中心が計算される。ステップ１２２で、先行の候補ロゴ境界ボックスの中心が計算される。ステップ１２４で、両方の中心間の空間距離が計算される。例えば、この空間距離は、(x-x’)*(x-x’)+(y-y’)*(y-y’)の平方根を用いて計算される。ここで、(x,y)、及び(x’,y’)は、現在及び先行の候補ロゴ境界ボックスそれぞれの中心座標である。ステップ１２６で、この差が、閾値THRESHOLD_BB_CENTROIDと比較される。ステップ１２８で、２つの候補ロゴ境界ボックスが比較され、両方の候補ロゴ境界ボックスの間で十分な重なり部分があるかどうかを確認する。十分な重なり部分がある場合、又はステップ１２４で計算された差がTHRESHOLD_BB_CENTROIDより小さい場合、スコア１＝１となり、それ以外の場合、スコア１＝０となる。スコア１＝１のとき、これは、候補ロゴ境界ボックスの中心が、連続する画像間で大きく変化していないことを意味する。共通する画素の数が閾値よりも大きい場合、２つの候補ロゴ境界ボックス間の重なり部分が十分にある。例えば、候補ロゴ境界ボックス間に存在する重なり部分を決定するために閾値１が用いられる。しかし、この閾値は、より高い値に有利に設定することが可能であり、重なり部分のテストに対して厳格な制限を設けることができる。

スコア２は、図３に示すようにして計算される。ステップ１３０で、現在の候補ロゴ境界ボックスが、現在の特性マスクと比較されて、それら両方の間で十分な重なり部分があるかどうかを確認する。重なり部分が十分な場合、スコア２＝１となり、それ以外の場合、スコア２＝０となる。共通する画素の数が閾値よりも大きい場合、２つの候補ロゴ境界ボックス間の重なり部分が十分にある。２つの候補ロゴ境界ボックス間で共通する画素の数、及び特性マスクが閾値よりも大きい場合、重なり部分が十分にある。この閾値は、ステップ１２８で用いられるものと同一である。

ステップ１６において、ステップ１２で計算されたスコア値に基づいて、ロゴの存在が検出される。スコア１＝１、又はスコア２＝１の場合、現在の画像においてロゴの存在が検出され、それ以外の場合、ロゴは検出されない。変形例によれば、図１の方法は、ロゴの存在の検出を確認するためのステップ１４をさらに備える。

選択的ステップ１４において、図４に示すように、ロゴの存在についての最終決定がされる前に時間的コヒーレンスが確認される。ロゴの存在についての初期の一時的決定が、スコア１及びスコア２の値に基づいてされる。より正確には、スコア１＝１、又はスコア２＝１の場合、現在の画像においてロゴの存在が検出され、そうでなければ、ロゴは検出されない。しかし、最終決定が時間的コヒーレンスの統合の後にされる。時間的コヒーレンスは、次の原則に基づく。

１）現在の画像について初期の一時的決定が、肯定的答えをもたらす場合（スコア１又はスコア２が１に等しいため、ロゴが検出されている）、現在の画像に関する検出結果が真の検出であるか又は偽の肯定であるかどうかを決定するために、過去の決定履歴に対して決定が確認される。

２）現在の画像について初期の一時的決定が、否定的答えをもたらす場合（ロゴが検出されていない）、現在の画像に関する検出結果が真の否定であるか又は偽の否定であるかどうかを決定するために、過去の決定履歴に対して決定が確認される。

この目的のために信頼度が計算される。この信頼度は、現在の画像についてロゴの存在が検出されるたびにＮだけ増加し、他方であればＮだけ減少し、信頼度が正のときに現在の画像についてロゴの存在が最終的に決定される。信頼度がヌル（null）のまま、又は負である限り、最終決定は、「ロゴが存在しない」となる。例えば、Ｎ＝１。

変形例によれば、ロゴの存在の各検出が連続してされるとき、存在信頼度は、より早く増加する（例えば、Ｎ＝２）。非検出のそれぞれが連続してなされるとき、存在信頼度は、より早く減少する。

図５は、本願発明の第２の実施形態に係るロゴの存在の検出方法のフローチャートを示す。ここで、第１の実施形態に係る方法のステップと同じステップは、図５において同一の参照番号により特定される。

第１の実施形態のステップ１２を置き換えるステップ１３において、スコア１及びスコア２に加えて、第３のスコアが計算される。スコア１及びスコア２は、ステップ１２のように計算される。スコア３は、図６に示すようにして計算される。ステップ１３２で、視覚特性のピークが、現在の候補ロゴ境界ボックス内に存在するかどうかが確認される。特性ピークが存在する場合にスコア３＝１となり、存在しない場合にスコア３＝０となる。このスコアを用いることにより、決定そのものを操るよりも、他のテストで得られる検出決定に対する信頼性を増すことができる。これは、ロゴがしばしば、常時ではないが視覚的に目立っているということの観察に基づいている。

ステップ１５において、リファレンス境界ボックスが、図７に示すように現在の画像について計算される。リファレンス境界ボックスは、ロゴの存在、及び位置の信頼性に関する情報を一時的に記憶することによって計算される。これは、ロゴの大きさ、及び位置が一連の画像に渡り同一のままであるべきであるという発想に基づいている（ロゴがビデオにおいて後に消滅、又は再登場するとしても）。

ひとたび、候補境界ボックスが現在の画像について見つけられれば、スコア３の値がステップ７０で用いられる。

１）スコア３＝１の場合：ロゴの存在について、より高い信頼性があり、ステップ７２で、現在の候補ロゴ境界ボックスがリファレンス・リストに加えられる。

２）スコア３＝０の場合：現在の画像の候補境界ボックスが、前の画像のうちの１つに十分に類似しているとき、ステップ７４で類似連続候補ロゴ境界ボックスのカウンター（SimilarBBConsecCount）を増加することによって、時間的類似性の原理が適用される。２つの候補境界ボックス間の類似性を決定するために、２つの境界ボックスの最上左の角と、最下右の角とへの座標が比較される。一方の最上左の角と、他方の最下右の角との間で計算される両方の空間距離が閾値よりも小さい場合、境界ボックスは類似するであろうと考えられる。例えば、閾値は、５ピクセルのように設定される。次に、カウンター値が、ステップ７６で、閾値THRESHOLDと比較される。SimilarBBConsecCount ＞ THRESHOLD の場合、現在の候補ロゴ境界ボックスが、ステップ７２で、リファレンス・リストに加えられる。一方、現在の候補境界ボックスと、前の候補境界ボックスとの間で非類似であることが見出された場合、ステップ７８でカウンターがゼロにリセットされる。

ステップ８０で、SizeListの値によって示される、リファレンス・リストに存在する候補境界ボックスの数が、閾値REFERENCE_BUFFER_SIZEと比較される。REFERENCE_BUFFER_SIZEは例えば、１０に等しい。リファレンス・リストにおける候補境界ボックスの数がREFERENCE_BUFFER_SIZEに到達したときに、ロゴが高い信頼性で十分な回数検出されたことが決定されると、リファレンス境界ボックスが計算される。ひとたびリファレンス境界ボックスが計算されると、毎回新しい候補ロゴ境界ボックスが全てのテストを通過させてロゴの存在の検出をもたらし、リファレンス境界ボックスの座標が、現在の候補ロゴ境界ボックスの座標の代わりに用いられる。ReferenceBoundingBoxが計算されており、その後の処理で再度計算する必要が無いことを示すフラグconf_position_flagが１にセットされる。変形例によれば、ReferenceBoundingBoxは、後の処理で再計算される。この場合、フラグconf_position_flagを１に設定する必要はない。

リファレンス境界ボックスの座標は、最上左の角、及び最下右の角のＸ、Ｙ座標をソートし、リストの値の１つ、例えば３番目の値を選択することにより、リストから計算される。理想的なシナリオでは、リファレンス・リストにおける境界ボックスは、非常に類似しており、結果物のリファレンス境界ボックスはまた、リストの境界ボックスに非常に類似するであろう（３番目の値が１番目の値に類似しうるので）。一方、リファレンス・リストにおける境界ボックスが全く異なる場合、次にこのアプローチでは、リストの境界ボックス間で非常に重なり合う領域を選択することとなる。リファレンス境界ボックスを計算する別の方法では、リファレンス・リストにおける境界ボックスの座標のヒストグラムを計算して、各座標についてピーク値を検討することとなる。

ステップ１７において、ロゴの存在に関する最終決定が、図８に示すようになされる。ロゴの検出についての初期の一時的決定は、スコア１及びスコア２の値に基づく。しかし、ロゴの存在についての最終決定は、時間的コヒーレンスの統合の後に行う。リファレンス境界ボックスが計算される場合、次に、ロゴの存在についての決定がポジティブであるときは、リファレンス境界ボックスの情報が、現在の候補ロゴ境界ボックスの情報を無効にする。一方、現在の境界ボックスの情報が用いられる。ひとたび、リファレンス境界ボックスが計算されると、ロゴが後に検出されたときにビデオの残りの画像において、同じリファレンス境界ボックスが用いられる。変形例によれば、新しいリファレンス境界ボックスが、画像I(t)の後の画像において計算される。

図９、１０、１１は、候補ロゴ境界ボックスを決定するための方法のフローチャートを示す。ステップ９２において、エッジ検出器、例えばSobelエッジ検出器が、現在の画像、及び現在の画像に先行する画像(ACCU_LENGTH-1)に適用される。変形例によれば、エッジ検出器は、画像の探索領域、例えば画像の４つの角、又は上部及び底部の水平バナーにのみ適用される。変形例によれば、より堅牢で精密な検出器、例えばCannyエッジ検出器が用いられる。より堅牢で精密な検出器を用いることにより、半透明のロゴやソフト・エッジのロゴについて、エッジ検出を改善する。

ステップ９４において、Sobelエッジ検出器の出力であるエッジの２値化マップが、累計エッジ・マップに総計される。累計エッジ・マップは、累計エッジ・マップにおける最大合計値MaxEdgeValueに等しい値の画素のみを考慮することにより、２値化される。変形例によれば、例えばK=0.8のK*ACCU_LENGTH以上の値の画素が考慮される。選択ステップ９５において、２値化した累計エッジ・マップにおけるヌルではない画素の数が、閾値LOGO_MINIMUM_EDGE_PTSと比較される。この閾値より小さい場合、時間的コヒーレンスが確認され（選択ステップ１４）、そうでなければ、ステップ９６に進む。

ステップ９６において、２値化した累計エッジ・マップは、平均フィルターでフィルタリングされ、フィルタリングされた画像の位置が特定される。

ステップ９８において、フィルタリングされた画像が２値化されて、時間的累計静的エッジのブロブ（blob）表示領域が生成される。

ステップ１００において、ブロブが処理される。より正確には、フィルタリングされた画像においてピーク値を含むブロブが特定される。それぞれ特定されたブロブについて、フィルタリングされた画像における対応画素の値の合計が計算される。合計値が最高のブロブが、次に選択される。選択されたブロブの境界を示す矩形ボックスが、候補ロゴ境界ボックスである。変形例によれば、選択されたブロブの境界を示す矩形ボックスの表面、高さ、及び幅が、ステップ１０２において閾値と比較される。それらのうちの１つが閾値よりも小さい場合、矩形ボックスは、破棄される。

図１２は、現在の画像について特性マップから特性マスクを決定するための方法のフローチャートを示す。ステップ１２００において、グレースケール空間特性マップにおける最大値が決定される。ステップ１２０２において、最大値が、閾値SALIENCY_PEAK_MINと比較される。この最大値が、この閾値よりも小さい場合、特性情報を用いるためにはとても弱いものであると判断される。他方、ステップ１２０４で、特性マスクが構築される。２値画像SaliencyMask1が構築される。２値画像SaliencyMask1は、特性空間マップにおける最大値に等しいこれらの画素の位置を示すものである。第１の特性マスクにおいてそれぞれアクティブにした位置の周りのNEIGH画素の近隣を考慮する第２の特性マスクの構築が可能になる。スコア２及びスコア３を計算するために、両方の特性マスクを用いることができる。変形例により、最高特性値NB_SALIENCY_TOP_VALUESが、ステップ１２０６で考慮される。SaliencyMask1は、スコア３を計算するために優先的に用いられる。SaliencyMask2は、スコア２を計算するために用いられる。

図１３は、特定かつ非限定の実施形態に係るロゴ検出器２の例示的アーキテクチャを示す。ロゴ検出器は、例えば、タブレット、携帯電話、又はＰＤＡに搭載されます。ロゴ検出器２はデータがアドレスバス２４により互いにリンクされる以下の要素を含む。（ｉ）マイクロプロセッサー２１（すなわちＣＰＵ）、例えばＤＳＰ（すなわちデジタルシグナルプロセッサー）。（ｉｉ）ＲＯＭ２２（すなわちRead Only Memory）。（ｉｉｉ）ＲＡＭ２３（すなわちRandom Access Memory）。（ｉｖ）１又は複数の入力／出力インターフェース２５、例えばキーボードやマウス。（ｖ）バッテリー２６。

図１３の各要素は、当業者によく知られているものであり、さらなる開示は必要ではないであろう。ロゴ検出器２は、処理画像を表示するスクリーンのような表示手段を含むことができる。前述のメモリーのそれぞれにおいて、本明細書で使われる単語<<register>>は、小容量（又は数ビット）の領域、又は非常に大きな領域（例えばプログラム全体、又は大容量の受信若しくは復号データ）に対応することができる。本願発明に係る処理方法のアルゴリズムは、ＲＯＭ２２に記憶される。ＲＡＭ２３は、レジスターに、ＣＰＵ２１により実行され、かつ起動後にアップロードされる処理装置２のプログラムを含む。起動したときに、ＣＰＵ２１は、ＲＡＭにプログラムをアップロードし、対応する命令を実行する。処理されることとなる画像は、入力／出力インターフェース２５のうちの１つで受信される。

変形例によれば、本発明と互換性のあるロゴ検出器２が、単にハードウェアの実現に従って実装され、例えば、専用コンポーネント（例えば、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)、ＶＬＳＩ(Very Large Scale Integration)、装置に搭載されるあらゆる電子コンポーネント、又はハードウェア要素とソフトウェア要素との混合形態）の形態で実装される。

スコア値（スコア１、スコア２、スコア３）は、２値である必要は無い。代わりに確率値とすることができる。実際、２値を用いることにより、これらのスコアが用いられる異なるステップでの決定が困難なこともある。代わりに確率値を用いることにより、決定の際に特定の信頼度を与え、あいまいな論理アプローチを用いてこれらのスコアが用いられる異なるステップでの決定をすることができる。

Claims (18)

1. ビデオの現在の画像のロゴの存在を検出する方法であって、当該方法は、
   前記現在の画像における現在の候補ロゴ境界形状と、前記現在の画像に先行する画像における先行の候補ロゴ境界形状と、を決定するステップ(10)と、
   少なくとも１つの条件(12)が満たされた場合に前記現在の画像におけるロゴの前記存在を検出するステップ(16)であって、当該条件が、
   前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、
   前記現在の候補ロゴ境界形状、及び前記現在の画像の、特性ピークの周辺にある領域を特定するための特性マスクの間の重なり部分が第３の閾値よりも大きい、
   ことである、前記検出するステップと、
   を含む、前記方法。
2. 前記候補ロゴ境界形状は、候補ロゴ境界ボックスである、請求項１に記載の方法。
3. ロゴの前記存在が前記ビデオの現在の画像について検出されるごとに信頼度がＮ増加し(14)、及び他方の場合にＮ減少し、前記信頼度が正のときに、ロゴの前記存在が前記現在の画像について最終的に検出される、請求項２に記載の方法。
4. Ｎが１に等しい、請求項３に記載の方法。
5. 各連続の検出、又は非検出がなされた後に、Ｎの前記値が増加する、請求項３に記載の方法。
6. ロゴの前記存在が前記現在の画像について検出されたときに、前記現在の画像における前記ロゴが、
   前記現在の候補ロゴ境界ボックスが特性ピークを含むかを確認し、前記確認が肯定の場合に、前記現在の候補ロゴ境界ボックスをロゴ候補境界ボックスのリストに加え、候補ロゴ境界ボックスのリストがＭ候補ロゴ境界ボックスを含むとき、前記現在の画像における前記ロゴが候補ロゴ境界ボックスの前記リストから計算される境界ボックスであり、他の場合に前記現在の画像における前記ロゴが前記現在の候補ロゴ境界ボックスである、請求項２から５のうちのいずれか１項に記載の方法。
7. Ｍが１０に等しい、請求項６に記載の方法。
8. 前記現在の候補ロゴ境界ボックスを決定するステップは、
   ａ）少なくとも１つの検索領域における検出窓の各画像についてエッジ・マップを計算することであって、前記検出窓が、現在の画像及び前記現在の画時に先行するＰ画像を有する、前記計算すること(92)と、
   ｂ）累計エッジ・マップに画像間のエッジ・マップを合計し、前記累計エッジ・マップを２値化すること(94)と、
   ｃ）前記２値化した累計エッジ・マップをフィルタリングして(96)、フィルタリングされたエッジ・マップにすることと、
   ｄ）前記フィルタリングされたエッジ・マップを２値化して(98)、ブロブのマップにすることと、
   ｅ）前記フィルタリングされたエッジ・マップにおいて最高値である画素値を含む前記ブロブの間で、前記フィルタリングされたエッジ・マップにおける画素値の最大値の合計を含むブロブを選択すること(100)と、
   ｆ）前記選択されたブロブの境界となる、前記候補境界ボックスであるボックスを決定することと、
   を含む、請求項２から７のうちのいずれか１項に記載の方法。
9. 前記検出窓は、ｋ画像分スライドされ、前記ａ）からｆ）までのステップは、前記スライドされた検出窓上で繰り返されて前記スライドされた検出窓の１つの画像についてロゴが検出され、次の画像が呼び出される、請求項８に記載の方法。
10. 前記少なくとも１つの探索領域は、前記現在の画像の前記４つの角と、上部と底部の水平バナーを含む、請求項８又は９に記載の方法。
11. ビデオの現在の画像におけるロゴの存在を検出する装置であって、
    前記現在の画像における現在の候補ロゴ形状、及び前記現在の画像に先行する画像における先行の候補ロゴ形状を決定する手段(21,22,23,24,25,26)と、
    少なくとも１つの条件(21,22,23,24,25,26)が満たされた場合に前記現在の画像におけるロゴの前記存在を検出する手段(21,22,23,24,25,26)であって、当該条件が、
    前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、
    前記現在の候補ロゴ境界形状、及び前記現在の画像の、特性ピークの周辺にある領域を特定するための特性マスクの間の重なり部分が第３の閾値よりも大きい、
    ことである、前記検出する手段と、
    を備える、前記装置。
12. 前記候補ロゴ境界形状は、候補ロゴ境界ボックスである、請求項１１に記載の装置。
13. ロゴの前記存在が前記ビデオの現在の画像について検出されるごとに信頼度がＮ増加し、他の場合にＮ減少する手段であって、前記信頼度が正のときに、ロゴの前記存在が前記現在の画像について最終的に検出される、手段をさらに備える、請求項１２に記載の装置。
14. Ｎが１に等しい、請求項１３に記載の装置。
15. 各連続の検出、又は非検出がなされた後に、Ｎの前記値が増加する、請求項１３に記載の装置。
16. 前記ロゴの前記存在が前記現在の画像について検出されたときに、前記現在の画像におけるロゴを決定する手段を備え、
    ロゴを決定する前記手段は、前記現在の候補ロゴ境界ボックスが特性ピークを含むかを確認し、前記確認が肯定の場合に、前記現在の候補ロゴ境界ボックスをロゴ候補境界ボックスのリストに加え、前記リストがＭ候補ロゴ境界ボックスを含むとき、前記現在の画像における前記ロゴが候補ロゴ境界ボックスの前記リストから計算される境界ボックスであり、他の場合に前記現在の画像における前記ロゴが前記現在の候補ロゴ境界ボックスである、請求項１２から１５のうちのいずれか１項に記載の装置。
17. Ｍが１０に等しい、請求項１６に記載の装置。
18. 請求項１から１０のうちのいずれか１項による前記方法のステップを実行するためのプログラムコードの命令を含むコンピュータープログラム製品であって、前記プログラムがコンピューター上で実行される、前記コンピュータープログラム製品。