JP2008527525A - グラフィカルなオブジェクトを検出するための方法及び電子装置 - Google Patents

グラフィカルなオブジェクトを検出するための方法及び電子装置 Download PDF

Info

Publication number
JP2008527525A
JP2008527525A JP2007549987A JP2007549987A JP2008527525A JP 2008527525 A JP2008527525 A JP 2008527525A JP 2007549987 A JP2007549987 A JP 2007549987A JP 2007549987 A JP2007549987 A JP 2007549987A JP 2008527525 A JP2008527525 A JP 2008527525A
Authority
JP
Japan
Prior art keywords
value
region
image
logo
graphical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007549987A
Other languages
English (en)
Inventor
アフメト エキン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008527525A publication Critical patent/JP2008527525A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635Overlay text, e.g. embedded captions in a TV program
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Abstract

画像中のグラフィカルなオブジェクトを検出する方法は、前記グラフィカルなオブジェクトを含み得る前記画像のオブジェクト領域31、33、37及び39における特徴の第1の値を決定するステップと、前記グラフィカルなオブジェクトを含み見込みの低い前記画像の基準領域32及び38における特徴の第2の値を決定するステップと、前記第1の値と第2の値との差が特定の閾値を超えるか否かに依存して、オブジェクト領域31、33、37及び39が前記グラフィカルなオブジェクトを含むか否かを決定するステップと、を有する。電子装置は、本発明の方法を実行するように動作可能な電子回路を有する。

Description

本発明は、例えばビデオシーケンス中のチャネルのロゴのような、画像中のグラフィカルなオブジェクトを検出する方法に関する。
本発明は更に、プログラム可能な装置が、画像中のグラフィカルなオブジェクトを検出する方法を実行するように動作可能とするソフトウェアに関する。
本発明はまた、画像中のグラフィカルなオブジェクトを検出するための電子装置に関する。
本発明は更に、画像中のグラフィカルなオブジェクトを検出するための電子装置における使用のための電子回路に関する。
斯かる方法の例は、米国特許US6100941に記載されている。米国特許US6100941に記載された方法は、ビデオシーケンス中の静的なロゴを検出する。該方法は、ビデオのフレームの四隅におけるフレーム差分絶対値を利用する。四隅が変化のない多くの画素を示す(ゼロの差分値を持つものとして測定される)場合、アルゴリズムはこれらセグメントがロゴに対応すると推定する。本既知の方法の欠点は、場面に動きがあるまで、ロゴが検出されることができないという点である。
本発明の第一の目的は、動きのない場面における、例えばロゴのようなグラフィカルなオブジェクトを検出することができる、最初のパラグラフにおいて記載された種類の方法を提供することにある。
本発明の第2の目的は、動きのない場面における、例えばロゴのようなグラフィカルなオブジェクトを検出することができる、最初のパラグラフにおいて記載された種類の電子装置を提供することにある。
第1の目的は、本発明により、前記方法が、前記グラフィカルなオブジェクトを含み得る前記画像のオブジェクト領域における特徴の第1の値を決定するステップと、前記グラフィカルなオブジェクトを含み見込みの低い前記画像の基準領域における特徴の第2の値を決定するステップと、前記第1の値と第2の値との差が特定の閾値を超えるか否かに依存して、前記オブジェクト領域が前記グラフィカルなオブジェクトを含むか否かを決定するステップと、を有することにより達成される。例えばTVロゴ又は他の重畳されたグラフィカルなオブジェクトのようなグラフィカルなオブジェクトを、場面からの(色のような何らかの特徴空間における)逸脱としてモデル化することにより、時間的な(静止画/動画)推定は為されることがなく、それ故グラフィカルなオブジェクトが動きのない場面において検出されることができる。ロゴを迅速に見つけ出すことは、幾つかのコマーシャル検出器において重要である。ユーザが新しいチャネルに同調した場合、堅固なコマーシャル検出性能を提供することを可能とするため、ロゴの迅速な検出が必要である。利用可能である場合には、時間的な情報が、付加的にロゴ検出器に組み込まれても良い。
更なる利点として、本発明の方法は、透明なロゴ及び動画のロゴを検出するために利用されることができる。幾つかのタイプのロゴがある。動きの特徴の点では、ロゴは静的であり得るし、又は動画(ロゴが移動するか、又はロゴの色/強度特性が変化する)でもあり得る。不透明さの点で言えば、ロゴは不透明であり得るし、又は透明でもあり得る。既存のロゴ検出器の圧倒的多数は、ロゴが静的且つ不透明であること、又はせいぜい少し透明であることを仮定している。本発明の方法は、そう仮定しない。更なる利点として、本発明の方法は、16:9フォーマットから4:3フォーマットへの変換に利用される垂直/水平方向の黒いバーのような、完全に静的なセグメントに挿入されたロゴや、強度/色の特性が周期的に変化するロゴを検出する。
本発明の方法は、米国特許US6100941に記載されたコマーシャル検出、及び/又は米国特許出願公開US2003/0091237に記載されたコマーシャル識別のために利用されることができる。米国特許US6100941及び米国特許出願公開US2003/0091237は、ここで参照により本明細書に組み込まれたものとする。TVロゴの検出は、内容理解及び表示保護のために必須である。前者のためには、TVロゴの寿命が、コマーシャルセグメントを識別するための貴重な手掛かりである。なぜなら、コマーシャルは通常、チャネルのロゴが消えることに帰着するからである。後者は、主として非CRTディスプレイを焼き付けから防ぐことを目的とする。焼き付け問題は、ディスプレイがスイッチオフされた後でさえも、ディスプレイ上に長時間の静的な場面がゴースト的に出現することである。このことは、ディスプレイの化学的な特性における永続的な変形により引き起こされ、当該ディスプレイを新しくすることを必要とする。チャネルのロゴの幾つかの又は全ての画素は同じ位置に留まるため、ロゴ検出は、焼き付け保護アルゴリズムの動作領域を特定することを支援することができる。
本発明の方法の実施例においては、前記第1の値は、前記オブジェクト領域における複数の画素の値を表し、少なくとも一定量の前記複数の画素の値と前記第2の値との差が前記特定の閾値を超えるか否かに依存して、前記オブジェクト領域が前記グラフィカルなオブジェクトを含むと決定される。画素の群(例えばヒストグラム値)ではなく個々の画素について、該画素の値と第2の値との間の差が特定の閾値を超えているか否かを決定することによって、より正確なロゴ検出が達成される。第2の値との間の差が特定の閾値を超えている個々の画素は、異常値(outliers)とも呼ばれる。
本方法は、値が前記特定の閾値を超える画素の空間的な分布がグラフィカルなオブジェクトの典型的な分布と一致するか否かに依存して、前記オブジェクト領域が前記グラフィカルなオブジェクトを含むと決定しても良い。グラフィカルなオブジェクトについて場面からの他の逸脱を誤認することを防ぐため、異常値の空間的な分布が、グラフィカルなオブジェクトの典型的な分布と照合される。
前記特徴は色であっても良い。このことは、殆どのロゴはカラーで出現し、コンテンツから容易に区別されるという事実のため、有利である。
前記第2の値は、前記基準領域の確率密度関数を表すものであっても良い。確率分布関数(pdf)は、例えば色又はテクスチャのような、幾つかの選択された特徴空間において、エンティティをモデル化するために有用であることが分かっている。
前記第2の値は、前記基準領域のノンパラメトリック確率密度関数を表すものであっても良い。パラメトリックモデルは強力な密度推定法であるが、推定されたpdfについて、「通常の分布」のような仮定を為す。ロゴの特徴及びpdfはチャネル毎に変化するため、このことは不利である。それ故、pdfの形状について仮定を行わず、いずれのタイプのpdfをもモデル化することができる、ノンパラメトリック密度推定が利用される。
前記基準領域の確率密度関数を推定するため、ヒストグラムが利用されても良い。ヒストグラムは、強力なノンパラメトリック推定法であることが分かっている。
前記画像は少なくとも9個の領域を有しても良く、前記9個の領域のうち4個が隅領域であり、前記オブジェクト領域は前記4個の隅領域のうち少なくとも1つを有しても良い。黄金分割律(Golden Section Rule(GSR)、G. Millersonによる「The technique of television production」(第12版、Focal、New York、1990年3月)を参照のこと)は、専門家に広く利用されている映画の手法であり、3:5:3の割合でのフレームの水平及び垂直の分割と、GSR線の交点に主要なオブジェクトを配置することとを推奨している。本発明者は、フレームが黄金分割律を利用して分割された場合、ロゴはしばしばフレームの隅領域に配置されることを認識した。
本方法は、前記第2の値は前記基準領域のサブ領域について決定しても良く、ここで前記オブジェクト領域及び前記サブ領域は比較的互いに近い。オブジェクト領域及び基準領域は、好ましくは互いに対して比較的近い。基準領域が大きい場合、オブジェクト領域に比較的近い、より小さなサブ領域を利用することが有利である。このことは、オブジェクト領域と基準領域との、より正確な比較を可能とする。個々の画素の値が第2の値と比較される場合、異なる個々の画素については、サブ領域が異なっても良い。サブ領域は、オブジェクト領域に近い基準領域における画素の値により高い値を付与し、オブジェクト領域に近くない基準領域における画素の値を除去することにより、生成されても良い。
第2の目的は、本発明により、電子装置が、前記グラフィカルなオブジェクトを含み得る前記画像のオブジェクト領域における特徴の第1の値を決定し、前記グラフィカルなオブジェクトを含み見込みの低い前記画像の基準領域における特徴の第2の値を決定し、前記第1の値と第2の値との差が特定の閾値を超えるか否かに依存して、前記オブジェクト領域が前記グラフィカルなオブジェクトを含むか否かを決定するように動作可能な電子回路を有することにより達成される。
本発明の装置のこれら及び他の態様は、図面を参照しながら更に説明され明らかとなるであろう。
図面内の対応する要素は、同一の参照番号により識別される。
本発明の、画像における(重畳された)グラフィカルなオブジェクトを検出する方法(図1を参照)は、ステップ1、3及び5を有する。ステップ1は、画像のオブジェクト領域における特徴の第1の値を決定するステップを有し、オブジェクト領域は(重畳された)グラフィカルなオブジェクトを含み得る。ステップ3は、画像の基準領域における特徴の第2の値を決定するステップを有し、基準領域は(重畳された)グラフィカルなオブジェクトを含む見込みが低い領域である。ステップ5は、オブジェクト領域が(重畳された)グラフィカルなオブジェクトを含むか否かを、第1の値と第2の値との差が特定の閾値を超えているか否かに依存して決定するステップを有する。第1及び/又は第2の値は、画像を分析することにより、又は画像を分析した電子装置から受信されたデータ(第1及び/又は第2の値を含むデータ)を処理することにより決定されても良い。
本方法の実施例においては、チャネルロゴがフレームの隅に配置されていることを仮定する。それぞれの隅について、それぞれの隅の近隣の画素を利用することにより、1つの場面モデルが推定される。黄金分割律(GSR)が隅及びその近隣を定義するために利用される。なぜならGSRは、専門家により広く適用されている映画の手法であるからである。GSRは、3:5:3の割合でのフレームの水平及び垂直の分割と、GSR線の交点(又は場面中の単一のオブジェクトについては中央の領域)に主要なオブジェクトを配置することとを推奨している。CNNからキャプチャされたコンテンツ(図3に示される)は、2つのオブジェクトの頭部が交点にあるため、完全にGSRに従っている。
図4に示されるように、左上から右下へのラスタ走査により、領域は1から9まで番号を付与されることができる。殆どの場合において、ロゴは領域1、3、7及び9(図3の領域31、33、37及び39)にのみ出現する見込みが高い。本実施例において、領域1及び3(図3の領域31及び33)の場面モデルは領域2(図3の領域32)における画素から計算され、領域7及び9(図3の領域37及び39)の場面モデルは領域8(図3の領域38)における画素から計算される。中央の水平方向の領域4、5及び6からの画素は本実施例においては利用されないが、代替の実施例においては利用されても良い。例えば、領域3、6及び9をカバーする、起立している人間のような垂直方向のオブジェクトは、領域6からの画素が基準として利用される場合にのみ、ロゴから区別され得る。水平方向及び垂直方向の中央の領域が、例えばそれぞれの隅領域についての2つの基準ヒストグラム(一方が例えば2及び8のような水平方向の領域から、他方が例えば4及び6のような垂直方向の領域からのもの)のように、共に利用されても良い。
しかしながら、本実施例においては、四隅のそれぞれについて、1つの場面ヒストグラムが定義される(領域1、3、7及び9について、それぞれH、H、H及びHの合わせて4つのヒストグラム)。4つの異なるヒストグラムを定義する理由は、色の特性が、上下又は左右で著しく変化することである。各ヒストグラムは、同じ行の中央のエリアにおける画素を利用することにより構築される。例えば、それぞれ領域1及び3のヒストグラムであるH及びHは領域2からの画素のみを利用し、それぞれ領域7及び9のヒストグラムであるH及びHは領域8からの画素から構築される。ロゴ領域からの水平方向の距離に基づいて画素を重み付けするため、ガウス核が水平方向に適用される。1次元ガウス核が垂直方向のGSR線においてセンタリングされ、領域2及び8の水平方向の中央位置と一致するように3σ値が計算される。中央の領域において全ての画素について1つの代わりに、画素の重みが色ヒストグラムに加算される。結果として、各ヒストグラムは、それぞれの隅からの水平方向の距離を増大させることにより、減少させる寄与を得る。最後に、ヒストグラムが正規化される。本実施例においては、領域2及び8における全ての線が利用される。
代替の実施例においては、ヒストグラムは現在の画素の近隣の線のみを利用して構築されても良い。このことは、ハードウェア実装のために好適である。更に、このことはロゴと同じ色を持つ遠くの画素を無視するための堅固な方法となり得る。
個々のロゴ画素を識別するため、場面モデルからの逸脱が決定される。サンプルにおける異常値を識別する方法の1つは、N番目のパーセンタイル値を超える値を異常値と定義することである。本実施例においては、サンプル空間は、対応するロゴエリアの色場面モデルに対する、ロゴエリア中の画素の色距離である。図5の式51において、d(x,y)は、輝度Yxy並びに色差CBxy及びCRxyを持つ画素(x,y)の、i番目の場面モデルHに対する色距離である。関数Q()は、入力輝度−色差値のi番目のヒストグラムインデクスを計算し、H(k)は以前に計算されたi番目のヒストグラム(場面モデル)のヒストグラムエントリである。原則として、距離値はN番目のパーセンタイル値を計算するために保存されるべきであり、ロゴ画素の候補がN番目のパーセンタイル値(閾値)を超えるものとして定義される。しかしながら、このことは、例えばハードウェアの制約により修正されても良い。距離値の全てを保存するためのメモリのコストを回避するため、距離値は量子化されても良く、距離ヒストグラムが利用されても良い。同様に重要な理由は、ロゴはN番目のパーセンタイル値を超える画素の数よりも多い画素を持ち得るという点である。量子化された距離のN番目のパーセンタイル値が最初に計算されるが、最も大きな量子化された距離がヒストグラムのエントリ数の(100−N)%よりも多い画素を持つためにN番目のパーセンタイル値が正確に見出され得ない場合には、最も大きな量子化された距離を持つ全ての画素が異常値として定義される。
代替の実施例においては、領域1、3、7及び9における各画素について、画素の色を利用して、それぞれのヒストグラム即ちH、H、H及びHにおけるエントリをそれぞれ考慮することにより、ヒストグラムのビン値が計算される。ヒストグラム中のエントリが所定のパラメータ(閾値)T_MinSceneEntryよりも低い場合に、該画素が異常値(グラフィック又は場面からの逸脱)として定義される。大きい場合には、該画素は場面の画素(黒)として識別される。実験において、T_MinSceneEntryとして値0.01が堅固な性能に帰着した。該処理の結果はバイナリの画像であり、場面からの逸脱は白に割り当てられ、場面の画素は黒に割り当てられる。図7は、場面(図6を参照)からの逸脱が白に割り当てられ、場面の画素が黒に割り当てられた画像の例を示す。図7において示される画像の殆どが黒であるが、チャネルロゴは明らかに識別可能である。
提案されるロゴ検出アルゴリズムの最終段階は、異常値の空間的な分布の、典型的なロゴ画素の分布との照合である。チャネルのロゴのテキスト内容に依存して、ロゴ画素の空間的な分布は変化を示す。図3におけるCNNのロゴのような文字から成るロゴは、分離した繋がっていない異常値画素に帰着するが、絵入りのロゴは通常、他の異常値の塊よりもかなり大きな単一の塊に帰着する。前者のタイプのロゴは、2段階の垂直/水平投射を利用することにより検出されることができ、後者のタイプのロゴは、他の塊よりもかなり大きなサイズを持つ塊を識別することにより検出されることができる。両方の場合において、候補となる領域は、特定の形態的な制約を従うようにされる。
ロゴを識別するため、幾つかのノイズ除去手法とともに、モルフォロジー演算が適用される。最初に、非常に大きい数の白の画素を持つ全てのノイズの多い線が除去される。なぜなら、これら線は、場面において明確に識別可能なロゴが存在する場合には、予期されないからである。更に、フレーム境界において出現し得る、全ての黒の境界が除去される。第1の又は第2のタイプのロゴが存在するか否かを決定するために、大きなパーセンテージの白の画素(例えば80%)を囲む長方形であるROIが計算される。ROIにおいて、最も大きいサイズの繋がった構成要素の、他の全てのセグメントの平均サイズに対する比率が計算される。該比率はピーク比率と呼ばれ、ピークの強度の指標となる。該比率が大きければ、第1のタイプのロゴが存在する。そうでなければ、第2のタイプのロゴが存在する。次いで、密集度(充填比)、アスペクト比、境界に対する接近度及びサイズのような幾つかの特徴が計算され、フレーム中の1以上のロゴを見出す。
垂直/水平方向の投射を利用することによりロゴを検出するため、垂直方向における画素クラスタの先頭及び末尾セグメントが最初に識別される。この段階は、ヒストグラムのピークを繰り返し見出し、次いでピーク値を含むクラスタの垂直方向の先頭及び末尾座標を計算することを含む。垂直方向のクラスタが識別された後、割り当てられていない垂直方向の投射のピークが見出され、該処理は全ての垂直方向のクラスタが識別されるまで繰り返される。該最初のステップの後、各セグメントの水平方向の投射が計算され、クラスタの水平方向の先頭及び末尾点が見出される。最後の段階において、クラスタについての境界箱(bounding box)の、アスペクト比、充填比、高さ及び幅が照合され、ロゴを検出する。ロゴは通常、1よりも大きなアスペクト比、ビデオの高さ(黒のバーを除く)の2%よりも大きな高さ、及び0.5よりも大きな充填比を持つ境界箱を形成する。見逃しの割合を犠牲にして、誤った検出の割合を低減するため、境界箱Bの周囲の領域が滑らか(clean)であることも確認される。このことは、Bと、Bと同じ中心を持ち幅及び高さがBの幅及び高さの1.25倍である拡大された箱との間のエリアにおける、異常値の数を計数することにより達成される。当該エリアにおける許容可能な異常値の最大の数は、非常に低い値に設定される。
ロゴが純粋に絵のものである場合には、他の全てのものよりもかなり大きなサイズを持つ塊の検出が試みられる。この目的のため、繋がった領域を見出すため、接続構成要素ラベリングアルゴリズムが最初に実行される。その後、高さ交差比(pは図5の式53において高さにより置き換えられる)又は幅交差比(pは図5の式53における箱の幅である)が所定の閾値よりも大きい近隣の塊が接続される。境界箱の特徴を利用することにより、オブジェクトベースの拡張が、画素ベースの拡張の代わりに適用される。なぜなら、後者は通常、同一のオブジェクトに属するものではない画素を接続し、性能を劣化させるからである。最後に、最も大きな塊のサイズを全ての他の塊の平均サイズに分割することにより、ピーク突出比(peak saliency ratio、PSR)が計算される。特定の閾値(本発明者による実験において7が好適な値であることが分かっている)よりも大きいPSR値は、ロゴの候補となる塊を示す。最後に、該塊のアスペクト比、充填比、幅及び高さのパラメータが照合され、ロゴ決定を完成させる。テキストのロゴとは異なり、絵入りのロゴについてはアスペクト比閾値として0.5が利用される。
提案されるアルゴリズムは空間的な情報のみを利用するため、動画のロゴは静的なロゴと異ならない。検出精度は、通常ヒストグラムのビンのサイズにより影響を受ける。幾つかの実験の結果、8x8x8のYCが堅固な性能に帰着することが決定された。より大きな量子化値は非常に粗く、十分に識別可能ではない。距離値は1000の間隔で場面モデルに量子化され、Nは90番目のパーセンタイル値と定義された。距離値は、0.9より大きい場合にのみ許容された。8x8x8はRGBに対して堅固な性能に帰着し、4x4x4は非常に粗く十分に識別可能でないことが観測された。一方で、8x8x8よりも大きなビン数は、より遅い処理に帰着し、より大きなメモリ要件に帰着する。本発明の方法によっても幾つかのロゴは見逃され得るが、見逃されるロゴの幾つかは場面特性が好適となった場合に検出されることができる。同様に、幾つかのフレームにわたる統合の決定は、背景とは異なる色の小さなオブジェクトに通常起因する、誤った検出を排除することができる。
本発明の、画像中の(重畳された)グラフィカルなオブジェクトを検出するための電子装置21(図2を参照されたい)は、電子回路23を有する。電子回路23は、画像のオブジェクト領域における特徴の第1の値を決定するように動作可能であり、オブジェクト領域は(重畳された)グラフィカルなオブジェクトを含み得る。電子回路23はまた、画像の基準領域における特徴の第2の値を決定するように動作可能であり、基準領域は(重畳された)グラフィカルなオブジェクトを含む見込みが低い領域である。電子回路23は更に、オブジェクト領域が(重畳された)グラフィカルなオブジェクトを含むことを、第1の値と第2の値との差が特定の閾値を超えているか否かに依存して決定するように動作可能である。電子装置21は例えば、PC、TV、ビデオプレイヤ及び/又はレコーダ又は携帯電話であっても良い。電子回路23は、例えばIntel社のPentium(登録商標)やAMD社のAthlonといったCPUのような汎用プロセッサであっても良いし、又はPhilips社のTrimediaメディアプロセッサのような特殊用途向けプロセッサであっても良い。電子装置21は、例えばロゴが除去されている画像のような、処理された画像を保存するための、及び/又は処理されていない画像を保存するための、記憶手段25を有しても良い。該記憶手段は例えば、ハードディスク、固体メモリ又は光ディスク読み取り器及び/又は書き込み器であっても良い。電子装置21は、例えばアナログ又はディジタル無線受信器、コンポジット・シンチ入力、SVHS入力、SCART入力、DVI/HDMI入力又はコンポーネント入力のような入力部27を有しても良い。電子装置21は、例えば無線送信器、コンポジット・シンチ出力、SVHS出力、SCART出力、DVI/HDMI出力又はコンポーネント出力のような出力部29を有しても良い。出力部29は、処理された画像を出力するために利用されても良い。代替として、又は加えて、電子装置21は、処理された及び/又は処理されていない画像を出力するためのディスプレイを有しても良い。電子装置21は、消費者向け電子装置であっても良いし、又は例えばサーバPCのような専門家向け電子装置であっても良い。
本発明は好適な実施例に関連して説明されたが、以上に説明された原理内の変更は当業者に明らかであり、従って本発明は好適な実施例に限定されるものではなく、斯かる変更を包含することを意図されたものであることは理解されるであろう。本発明は、それぞれの及び全ての新規な特徴並びに特徴のそれぞれの及び全ての組み合わせに存する。請求項における参照番号は、保護範囲を限定するものではない。動詞「有する」及びその活用の使用は、請求項に記載されたもの以外の要素の存在を除外するものではない。要素に先行する冠詞「1つの(a又はan)」は、複数の斯かる要素の存在を除外するものではない。
当業者には明らかであるように、「手段(means)」は、単独で又は他の機能と共に、分離して又は他の要素と協働して、動作時に特定の機能を実行する、又は実行するように構成された、いずれのハードウェア(別個の若しくは集積された回路又は電子素子のような)又はソフトウェア(プログラム又はプログラムの一部のような)をも含むことを意図されている。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。「ソフトウェア」は、フロッピー(登録商標)ディスクのようなコンピュータ読み取り可能な媒体に保存された、インターネットのようなネットワークを介してダウンロード可能な、又は他のいずれかの態様で取引可能な、いずれのソフトウェアをも意味するものと理解されるべきである。
本発明の方法のフロー図である。 本発明の電子装置のブロック図である。 領域に分割された画像の例である。 図3の画像を分割するために利用される領域を示す。 本発明の方法の実施例において利用される式を示す。 場面に重畳されるチャネルロゴの例である。 図6の場面から逸脱した画素を示す。

Claims (12)

  1. 画像中のグラフィカルなオブジェクトを検出する方法であって、
    前記グラフィカルなオブジェクトを含み得る前記画像のオブジェクト領域における特徴の第1の値を決定するステップと、
    前記グラフィカルなオブジェクトを含み見込みの低い前記画像の基準領域における特徴の第2の値を決定するステップと、
    前記第1の値と第2の値との差が特定の閾値を超えるか否かに依存して、前記オブジェクト領域が前記グラフィカルなオブジェクトを含むか否かを決定するステップと、
    を有する方法。
  2. 前記第1の値は、前記オブジェクト領域における複数の画素の値を表し、少なくとも一定量の前記複数の画素の値と前記第2の値との差が前記特定の閾値を超えるか否かに依存して、前記オブジェクト領域が前記グラフィカルなオブジェクトを含むと決定される、請求項1に記載の方法。
  3. 異常値の空間的な分布がグラフィカルなオブジェクトの典型的な分布と一致するか否かに依存して、前記オブジェクト領域が前記グラフィカルなオブジェクトを含むと決定され、前記異常値は、値が前記特定の閾値を超える画素である、請求項2に記載の方法。
  4. 前記特徴は色である、請求項1に記載の方法。
  5. 前記第2の値は、前記基準領域の確率密度関数を表す、請求項1に記載の方法。
  6. 前記第2の値は、前記基準領域のノンパラメトリック確率密度関数を表す、請求項5に記載の方法。
  7. 前記基準領域の確率密度関数を推定するためヒストグラムが利用される、請求項6に記載の方法。
  8. 前記画像は少なくとも9個の領域を有し、前記9個の領域のうち4個が隅領域であり、前記オブジェクト領域は前記4個の隅領域のうち少なくとも1つを有する、請求項1に記載の方法。
  9. 前記第2の値は前記基準領域のサブ領域について決定され、前記オブジェクト領域及び前記サブ領域は比較的互いに近い、請求項1に記載の方法。
  10. プログラム可能な装置を請求項1に記載の方法を実行するように動作可能とするソフトウェア。
  11. 画像中のグラフィカルなオブジェクトを検出するための電子装置であって、前記グラフィカルなオブジェクトを含み得る前記画像のオブジェクト領域における特徴の第1の値を決定し、前記グラフィカルなオブジェクトを含み見込みの低い前記画像の基準領域における特徴の第2の値を決定し、前記第1の値と第2の値との差が特定の閾値を超えるか否かに依存して、前記オブジェクト領域が前記グラフィカルなオブジェクトを含むか否かを決定するように動作可能な電子回路を有する電子装置。
  12. 請求項11に記載の電子回路。
JP2007549987A 2005-01-07 2006-01-02 グラフィカルなオブジェクトを検出するための方法及び電子装置 Pending JP2008527525A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05100069 2005-01-07
PCT/IB2006/050006 WO2006072896A2 (en) 2005-01-07 2006-01-02 Method and electronic device for detecting a graphical object

Publications (1)

Publication Number Publication Date
JP2008527525A true JP2008527525A (ja) 2008-07-24

Family

ID=36353810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007549987A Pending JP2008527525A (ja) 2005-01-07 2006-01-02 グラフィカルなオブジェクトを検出するための方法及び電子装置

Country Status (6)

Country Link
US (1) US20080044102A1 (ja)
EP (1) EP1839122A2 (ja)
JP (1) JP2008527525A (ja)
KR (1) KR20070112130A (ja)
CN (1) CN101103376A (ja)
WO (1) WO2006072896A2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2912237A1 (fr) * 2007-02-07 2008-08-08 Thomson Licensing Sas Procede de traitement d'image
CN101620731B (zh) * 2008-06-30 2013-10-16 汤姆森许可贸易公司 检测布局区域的方法以及生成尺寸减小的图像的方法
US8374436B2 (en) 2008-06-30 2013-02-12 Thomson Licensing Method for detecting layout areas in a video image and method for generating an image of reduced size using the detection method
US8595781B2 (en) 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
US9071868B2 (en) * 2009-05-29 2015-06-30 Cognitive Networks, Inc. Systems and methods for improving server and client performance in fingerprint ACR systems
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
CN102625028B (zh) * 2011-01-30 2016-09-14 索尼公司 对视频中存在的静态徽标进行检测的方法和设备
US20130060790A1 (en) * 2011-09-07 2013-03-07 Michael Chertok System and method for detecting outliers
CN103634652B (zh) * 2013-11-06 2017-06-16 小米科技有限责任公司 台标识别方法、装置、电视机和系统
US9785852B2 (en) 2013-11-06 2017-10-10 Xiaomi Inc. Method, TV set and system for recognizing TV station logo
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
CN103745201B (zh) * 2014-01-06 2018-01-12 Tcl集团股份有限公司 一种节目识别方法及装置
WO2016123495A1 (en) 2015-01-30 2016-08-04 Vizio Inscape Technologies, Llc Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
MX2017013128A (es) 2015-04-17 2018-01-26 Inscape Data Inc Sistemas y metodos para reducir densidad de los datos en grandes conjuntos de datos.
CA2992319C (en) 2015-07-16 2023-11-21 Inscape Data, Inc. Detection of common media segments
US10080062B2 (en) 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
US10902048B2 (en) 2015-07-16 2021-01-26 Inscape Data, Inc. Prediction of future views of video segments to optimize system resource utilization
WO2017011768A1 (en) 2015-07-16 2017-01-19 Vizio Inscape Technologies, Llc Systems and methods for partitioning search indexes for improved efficiency in identifying media segments
KR20170052364A (ko) 2015-11-04 2017-05-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP7118998B2 (ja) 2017-04-06 2022-08-16 インスケイプ データ インコーポレイテッド メディア視聴データを使用してデバイスマップの精度を改善させるためのシステムおよび方法
SG10201802668QA (en) 2018-03-29 2019-10-30 Nec Asia Pacific Pte Ltd Method and system for crowd level estimation
EP3582182B1 (en) * 2018-06-12 2020-07-29 Axis AB A method, a device, and a system for estimating a sub-pixel position of an extreme point in an image
KR102077923B1 (ko) * 2018-06-28 2020-02-14 중앙대학교 산학협력단 건설 현장의 안전 문서를 분류하는 방법 및 이를 수행하는 서버
CN111629215B (zh) * 2020-07-30 2020-11-10 晶晨半导体(上海)股份有限公司 检测视频静态标识的方法及电子设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973682A (en) * 1997-10-17 1999-10-26 Sony Corporation Method and apparatus for indicating functional areas of a graphical user interface
US6100941A (en) 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
US6425129B1 (en) * 1999-03-31 2002-07-23 Sony Corporation Channel preview with rate dependent channel information
EP1098244A3 (en) * 1999-11-02 2001-06-13 CANAL + Société Anonyme Graphical user interface
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7020336B2 (en) 2001-11-13 2006-03-28 Koninklijke Philips Electronics N.V. Identification and evaluation of audience exposure to logos in a broadcast event
AU2003278710A1 (en) * 2002-08-15 2004-03-03 Lc Technologies, Inc. Motion clutter suppression for image-subtracting cameras
US7483484B2 (en) * 2003-10-09 2009-01-27 Samsung Electronics Co., Ltd. Apparatus and method for detecting opaque logos within digital video signals
US7599558B2 (en) * 2005-08-24 2009-10-06 Mavs Lab. Inc. Logo processing methods and circuits

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JPN6010053668, NAVON E ET AL, ""Color image segmentation based on adaptive local thresholds"", IMAGE AND VISION COMPUTING, 20050101, vol. 23, no. 1, GB, GUILDFORD *
JPN6010053670, FRANK ALDERSHOFF, THEO GEVERS, ""Visual tracking and localization of billboards in streamed soccer matches"", STORAGE AND RETRIEVAL METHODS AND APPLICATIONS FOR MULTIMEDIA 2004,, 200312, vol. 5307, pages 408−416, International Society for Optical Engineering *
JPN6010053672, UTSUMI O ET AL, ""An object detection method for describing soccer games from video"", MULTIMEDIA AND EXPO, 2002. ICME ’02. PROCEEDINGS.2002 IEEE INTERNATIONAL CONFERENCE ON LAUSANNE, SW, 20020826, vol. 1, pages 45−48, US, IEEE *
JPN6010053674, ALBIOL A ET AL, ""Detection of tv commercials"", ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, 2004. PROCEEDINGS. (ICASSP ’04). IEEE INTERNATIONAL CONFER, 20040517, vol. 3, pages 541−544, US, IEEE *

Also Published As

Publication number Publication date
CN101103376A (zh) 2008-01-09
WO2006072896A2 (en) 2006-07-13
KR20070112130A (ko) 2007-11-22
EP1839122A2 (en) 2007-10-03
US20080044102A1 (en) 2008-02-21
WO2006072896A3 (en) 2006-09-21

Similar Documents

Publication Publication Date Title
JP2008527525A (ja) グラフィカルなオブジェクトを検出するための方法及び電子装置
CN106254933B (zh) 字幕提取方法及装置
KR101802146B1 (ko) 화상처리장치 및 화상처리방법
JP4664432B2 (ja) ショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラム
CN109214999B (zh) 一种视频字幕的消除方法及装置
US8320664B2 (en) Methods of representing and analysing images
JP2008165792A (ja) 画像処理方法及び装置
KR20010033552A (ko) 비디오 시퀀스의 변환 검출
JP2006318474A (ja) 画像シーケンス内のオブジェクトを追跡するための方法及び装置
CN109977952B (zh) 基于局部最大值的候选目标检测方法
KR101652261B1 (ko) 카메라를 이용한 오브젝트 검출 방법
US10832044B2 (en) Image recognition device and image recognition program
US7826667B2 (en) Apparatus for monitor, storage and back editing, retrieving of digitally stored surveillance images
EP2372640A1 (en) Methods of representing and analysing images
CN116363753A (zh) 一种基于运动历史图像的摔倒检测方法和装置、电子设备
Ekin et al. Spatial detection of TV channel logos as outliers from the content
US7477759B2 (en) Adaptive artificial vision method and system
US9159118B2 (en) Image processing apparatus, image processing system, and non-transitory computer-readable medium
JP4396328B2 (ja) 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム
KR101706347B1 (ko) 샷 경계 검출 방법, 그리고 이를 구현한 영상 처리 장치 및 방법
JP4662169B2 (ja) プログラム、検出方法、及び検出装置
Jang et al. Realtime coarse pose recognition using a multi-scaled local integral histograms
JP2010183575A (ja) ビデオフレームのシーケンスを処理してシーケンスのショット間にワイプ遷移が存在するか否かを判断する方法及び装置
Bui et al. Illumination Invariant Face Tracking on Smart Phones using Skin Locus based CAMSHIFT
CN116310351A (zh) 一种图像处理方法、装置和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100916

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110301

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110301