JP2005509962A

JP2005509962A - 放送イベントにおけるロゴの視聴者への公表についての識別と評価

Info

Publication number: JP2005509962A
Application number: JP2003545014A
Authority: JP
Inventors: コーエン−ソラル，エリック; フィロミン，ヴァサント
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-11-13
Filing date: 2002-10-22
Publication date: 2005-04-14
Also published as: US7020336B2; KR20040054773A; CN1586069A; WO2003043311A1; EP1449355A1; US20030091237A1

Abstract

１つ以上のデータストリームにおいてロゴの存在を検出して分析する方法とシステムである。前記方法において、イベントの少なくとも１つの映像データストリームがまず受信される。次に、少なくとも１つのデータストリームを有する１つ以上の画像において、ロゴの１つ以上の関心領域（ROI）が識別される。１つ以上のROIが分析され、ロゴがROIに存在するかどうかを検出する。

Description

本発明は映像データストリームのログオンを識別するコンテンツに基づく映像分析に関するものである。

広告は、新しい及び／又は現存するブランドに対する購入する公衆の熟知を導入し、促進し、維持する必須の手段である。広告の努力には、一般的に独自のロゴを選択することと、積極的な製品属性をロゴに関連付ける方法で公衆にロゴを表示することと、購入する公衆にそのロゴの公表を最大限にすることとが含まれる。更に成功したロゴは、形、大きさ、又は色や構成のような他の特徴において一般的に独自である（例えば、マクドナルド（McDonald’s）（商標）の金色のアーチ、ナイキ（Nike）（商標）の口笛の動きのシンボル等）。

スポーツイベントのような放送イベント中の広告は、製品とブランドのロゴを広く多様化した視聴者に公表する最も効率的な方法の１つである。放送広告の成功は、コストの増大を結果として生じ、この成功がその高コストによって証拠になる。広告主は、一般的に放送イベント中の広告に費やした金額の効果を評価することが困難である。広告主は、他の広告によって得られた公表の行動比較調査に同様に関心がある。

新しい形式の広告に加えて、テレビ視聴者の最近取得された習性と能力は、広告主の努力を複雑化し、広告主が放送広告を自主的に監視する必要性を高めている。テレビ視聴者の総数は増え続けているが、視聴者は一般的に15分間隔で現れる従来のコマーシャル時間を回避することに更に熟練してきている。回避方法には、コマーシャル時間の開始時にチャネルを変えること、又はショーをテープに記録してコマーシャル時間を早送りするVCR若しくはTiVo（商標）のレコーダーを用いることが含まれる。標準的なコマーシャル時間のセグメントを回避することにより、視聴をフィルタリングする現代の視聴者の前記新しく得られた能力を克服するために、広告主は、ロゴの配置又は製品の配置形式の広告のいずれかによって、ショー自体の中にロゴ及び／又は製品を配置している。

ロゴの配置は、実際に各スポーツイベントで見られ、ロゴが野球スタジアム、レースカーのトラック及びフットボールのスタジアムの壁や、バスケットボールのコートの床を飾る。ロゴの配置と同様に、製品の配置は、視聴者のフィルタリングの努力を妨げるばかりでなく、広告主のブランドを特定のショーの属性に更に密接に関連させる（例えばコパトーン（Coppertone）（商標）の日焼けローションの瓶を入江のショーのセットに配置する）追加の利益を有する。

製品とロゴの配置の有意な欠点は、広告主が標準的な30秒のコマーシャルの製作と放送に対する支配を放棄し、ロゴが正しい方法で適切な時間だけ放送に現れるように見えることをショーの製作者に主に任せなければならない。製作者は、ブランドのロゴが視聴者に見える方法で表示されているかどうかについての広告主の焦点を常に共有しているとは限らない。このロゴの支配の放棄は、広告主が自主的に広告への支払いの受け入れられる放送を確認する必要性を高めている。

仮想的なロゴは製作の何らかの段階で放送に挿入され得るため、仮想的なロゴへの視聴者の公表を確認することは更なる課題である。仮想的な広告はイベント放送のデジタル拡張であり、それは一般的にスタジアムの壁の余白に加えられるが、それはまた同様の大きさの他の広告を交換するために用いられ得る。それが実際の生活に存在しないという事実にも関わらず、仮想的なロゴは視聴者に実際に見える。仮想的な広告の出現は、視聴者への放送時に、ロゴが実際に最終的なイベントに入れられているかどうかを自主的に監視する必要性を増加させる。仮想的な広告の利用は初期の段階であり、その利用は有意に増えることが期待される。

個人による放送の非定型の手動の読み取りが、ロゴの出現を識別する試みに用いられ得る。そのようなタスクは、他の困難性の中でも注意散漫や識別の主観的な性質等を含む人為的なミスを受ける。放送イベントの仮想的な広告を追跡するタスクは、イベント製作者又は放送画像をその後操作し得る放送職員のいずれかによる代わりの仮想的な画像の突然のランダムな配置の可能性により、更に不確定になる。タスクを更に悪化させることは、テレビ局と放送イベントの急増であり、調査すべき情報の豊富な量を増加させる。人々は、必要に応じてイベント放送を調査し、ロゴのそれぞれの出現の持続時間をまとめる大量のデータの分単位の分析のための手段を欠いている。

広告を配置する人間の主観性に依存する困難性の他に、先行技術は、再現可能な非主観的な方法でロゴの公表時間を計算する機構を提供しない。人間の生成したデータに基づく何らかの統計的な分析は、評価者の特有の主観性を受ける。更に、一般的にスポーツイベントをカバーする複数のカメラ間を変更することが、表示されたロゴの視点と位置を変え、観察者がロゴの公表時間の一部を見過ごすことを潜在的に引き起こす。

映像ストリームのオブジェクトの存在を検出する多数の処理が存在する。例えば、Courtneyによる米国特許第5,969,755号は、その内容が参照として取り込まれるが、監視カメラから受信された映像におけるオブジェクトの移動の自動検出のための特定の動きに基づく技術を説明する。Courtneyは映像イメージをセグメントと映像オブジェクトに分割し、それが現在の画像と参照画像を比較することによってセグメントで識別され、受信映像フレームの間で変化領域を識別し、それを追跡し、更新された位置とオブジェクトの速度の推定を提供する。しかし、Courtney及び類似の技術はオブジェクトの移動の検出に限定される。それは、ロゴの出現又は配置を検出して分析する機構を提供しない。

本発明の目的は、正面から見られようと又は変換する視点から見られようと、１つ以上のデータストリームにおける２又は３次元のロゴの出現の品質と頻度をリアルタイムな再現可能な方法で積極的に識別し、追跡するシステムと方法を提供することである。データストリームにおけるロゴを自動的な客観的な方法で識別して追跡することが目的である。更なる目的は、イベント中のロゴの公表時間の分析（その後マーケティングや広告の判断に用いられ得る）と放送の判断（例えばイベントの放送に用いられるカメラの数を判断すること）を含む、更なる分析及び／又は意思決定のためにロゴの検出と追跡を用いることである。

本発明の他の目的は、ロゴ認識処理を自動化し、対象のロゴの表示の頻度と持続時間と突出度の詳細な非主観的な分析を提供することである。本発明は、放送画像に基づく再現可能な分析を実行する利点を提供し、番組の手動による視聴と対象のロゴのそれぞれの出現の検索の必要性を除去する。人間の操作者の主観性の除去と処理のデジタル化は、検索結果の更に大きい確実性を可能にし、実行される更なる信頼の置ける再現可能な分析を可能にする。加えて、本発明は、ロゴの表示の明瞭さ及び／又は大きさに従って変化する値でロゴのそれぞれの出現に値を割り当てることができ、それによって広告主にロゴの視聴能力を知らせることができる。

本発明の更に他の目的は、放送イベントを撮影するために一般的に用いられる複数のカメラの間での１つ以上の対象のロゴの出現を放送製作者にリアルタイムに通知することを提供することである。製作者は、例えば前記情報を用いて、どのカメラがイベントを放送するために使用されているかを選択し得る。

前記の目的に従って、本発明は、１つ以上のデータストリームでロゴの存在を検出して分析する方法を有する。まず、少なくとも１つのイベントの映像データストリームが受信される。次に、１つ以上の画像において１つ以上のロゴの関心領域（ROI）が識別され、前記１つ以上の画像は少なくとも１つのデータストリームを有する。前記１つ以上のROIが分析され、ROIにロゴが存在するかどうかを検出する。そうである場合には、ロゴの存在の検出が、放送の判断又は広告の判断のいずれかを行う際に用いられる。

１つの実施例において、少なくとも１つの映像データストリームは、単一の放送データストリームを有し、イベント中にロゴが検出される時間が集計され、検出の時間が広告の判断をするために用いられる。他の実施例において、少なくとも１つの映像データストリームは２つ以上の別の映像データストリームを有し、前記２つ以上の映像データストリームはイベントの放送に選択可能である。その場合、１つ以上のデータストリームにおけるロゴの検出は、放送の判断に用いられ、例えばロゴが検出された１つのデータストリームが選択され、イベントを放送するために用いられる。

ロゴの１つ以上のROIを識別するステップは、例えばロゴの色、形及び／又は構成に基づく。例えば色が用いられる場合、ロゴと同じ入りを有する複数の隣接した画素が、ROIを識別するために用いられ得る。例えば構成が用いられる場合、ロゴの境界に対応する画像の近似の位置の中央対称性の共分散の指標が、ROIを分析する際に用いられ得る。例えば形が用いられる場合、ロゴの形に対応する画像の形を識別するテンプレート照合が、ROIを識別する際に用いられ得る。

１つ以上のROIを分析し、ロゴがROIに存在するかどうかを検出するステップは、例えば放射基底関数（RBF）分類モデルを用いることを有する。RBF分類モデルは、多数の視点と大きさを有するロゴの画像を用いるトレーニングを有する場合がある。その他、例えば１つ以上のROIを分析し、ロゴがROIに存在するかどうかを検出するステップは、テンプレート照合の使用を有する。

本発明はまた、ロゴの存在を検出して分析するシステムを有する。前記システムは、例えばイベントの少なくとも１つの映像データストリームを受信する入力を有するプロセッサを有する。プロセッサは、少なくとも１つのデータストリームを有する１つ以上の画像においてロゴの１つ以上のROIを識別する処理ソフトウェア（又は他のデジタル書式のアルゴリズム）を有する。プロセッサは１つ以上のROIを分析し、ロゴがROIに存在するかどうかを検出し、検出されたロゴの存在を監視する。ロゴの存在の検出は、放送の判断又は広告の判断のいずれかを行う際に用いられる。１つの場合において、例えばプロセッサがイベントの１つの映像データストリームを受信し、前記１つの映像データストリームは単一の放送データストリームを有する。他の例示的な場合において、プロセッサは２つ以上の別の映像データストリームを受信し、前記２つ以上のデータストリームはイベントの放送に選択され得る。

本発明はまた、ロゴの存在を検出して分析するソフトウェアを有する。前記ソフトウェアは、イベントの少なくとも１つの映像データストリームを有する画像のデジタル表示を入力として受信する。前記ソフトウェアは、少なくとも１つのデータストリームを有する１つ以上の画像において、ロゴの１つ以上のROIを分析する。その後、前記ソフトウェアは１つ以上のROIを分析し、ロゴがROIに存在するかどうかを検出する。そうである場合には、前記ソフトウェアは検出されたロゴの存在を監視し、放送の判断又は広告の判断のいずれかを行う際に使用可能なロゴの存在の検出に関する出力を提供する。

本発明はまた、ロゴの存在を検出して分析するシステムを有する。前記システムはイベントの少なくとも１つの映像データストリームを受信する入力を有するプロセッサを有する。プロセッサは画像を分析し、ロゴが画像の少なくとも一部に存在するかどうかを判断し、検出されると画像におけるロゴの存在を監視する。ロゴの存在の検出は、放送の判断と広告の判断のうちの１つを行う際に用いられる。

本発明の前述と他の目的と特徴と利点が、添付の図面とともに考慮されると以下の詳細な説明から更に明らかになる。

図１ａは、イベントの画像を取得するために用いられ、それぞれ複数の映像データストリームを提供する、座標系のいくつかのカメラ101-103を表したものであり、スポーツイベントのようなイベントを放送するために選択され得る。異なるカメラ101-103は、異なる視点と角度から（重なり得る）イベントの一部に向けられる。イベントを放送するために選択されるカメラは、これまではイベント自体に一般的に関連していた放送の判断と検討事項に応じて、イベントを通じて変わる。カメラ自体の多様な位置と角度等が動かされ、調整され得る。

図１ａは、大きい“M”の形式で示された代表のロゴを示しており、カメラ101-103のいくつか又は全ての画像で取得され得る。イベントを放送しているカメラもまた、一時の間に視野の範囲内にロゴを取得し、イベントの他の部分にパン（pan）し、ロゴを放送から除外し得る。

カメラ101-103の全ての３つがその視野にロゴを取得するような位置に対象のロゴ100がある場合、多様なカメラからの画像に含まれ得る対象のロゴ100の異なる視点の例が図１ｂに示される。（ロゴは図１ｂで焦点が合わされるが、当然ながらイベントの広い画像の一部である。）従って、ロゴは異なるデータストリームにおいて多様な視点と大きさを有する場合があり、例えばイベントを放送する時に用いられるカメラに応じて、部分的に若しくは完全に見られる場合があり、又は全く見られない場合がある。

本発明の実施例が、図２のブロック図の形式で示される。システム120の中央は、デジタルプロセッサ124と、関連メモリ126と、以下に更に詳細に説明される付属ソフトウェアである。動作中に、すなわち以下の説明に従ってプログラムされた後に、プロセッサ124は入力インタフェース128を介して放送データストリームを受信し、データストリームを処理し、以下に詳細に説明される通り、中でも特定のロゴを検出する。この実施例において、どの映像ストリームを放送するかの判断が、システム120からのどこかの上流で行われ、前記システムが放送されるデータストリームを分析する。従って、一般的に放送される映像は、イベントをカバーする他のカメラ（図１ａのカメラ102又は103等）のデータストリームからの画像等に続いて、イベントをカバーする１つのカメラ（図１ａのカメラ101等）のデータストリームからの画像を有する。映像放送は、例えばデジタル映像データストリームである。放送がアナログ信号である場合、プロセッサ124又はシステム120の他の構成要素がA/D変換器を有し得る。

外部インタフェース130は、ユーザが映像放送における（中でも）ロゴの検出のために、システム120の動作を起動することを可能にする。それはまた、ユーザが以下に更に詳細に説明される通りシステム120をプログラムすることを可能にする。中でも、システムのプログラムに付随するものは、一般的に放送におけるロゴの検出を実行する際にシステム120によって用いられる画像に関する基準データをロードすることを含む。

図３は、映像放送でプロセッサ124により実行される処理段階を表したブロック図である。プロセッサはまず、受信映像放送（映像データストリームとも称される）でROI分析124aを実行する。概して、ROI分析124aは、その後のロゴ識別分析を画像の部分に焦点を合わせるために、ロゴを含む可能性のより高い画像の特定のサブ領域を迅速に識別する。更に以下に説明される通り、ROI分析124aは、ロゴの形、色及び／又は構成のようなロゴの１つ以上の一般的特徴を含むロゴの１つ以上の一部を識別することに焦点を合わせ得る。何らかのそのように識別された領域が、更なる分析のために検討されるROIである。

ロゴ識別分析124bにおいて、プロセッサ124は、データストリームの画像で識別されたROIを用いる。以下に更に詳細に説明される通り、この分析の処理は、ロゴが何らかのROIに存在するかどうかを判断する。ロゴ（又はロゴ群）が画像データストリームに肯定的に識別されると、追跡処理124dで用いる画像において追跡される。（１つ以上のロゴが識別された場合、それらすべてが画像で同時に追跡され得る。）ロゴが画像に識別されると、前記処理は概してロゴを追跡し、ROIとロゴ識別ステップを停止する。しかし、例えばカメラが旋回され、又は放送がイベントをカバーする他のカメラに切り替えられることにより、ロゴが画像から（データストリームを提供するカメラの視野の外部に）出ると、ROIとロゴ識別処理124a、124bが再起動される。

図３に示される通り、プロセッサ124はまた、出力処理124cを実行するために追跡データを用いる。これは、例えば他の分析の中でもロゴがデータストリームに現れる時間の総計を集計することを含む。出力はグラフィックディスプレイのようなユーザインタフェース130に提供される。

ROI分析124aは、プロセッサ124により複数の方法のうちの少なくとも１つで実行される。受信画像が読み取られ、例えば他の中でもロゴの色、形及び／又は構成に基づいて画像内のROI領域を識別し得る。図１ａと１ｂに示される“M”のロゴについて、“M”が連続的な赤色である場合、ROI分析124aは、特定の数の隣接する赤色の画素を有するサブ領域について入力画像を分析し得る。この分析は、ROIとして識別される前に特定の数の隣接する赤色の画素を必要とし得る（このようにして例えば解決され得ない画像の特徴を除去する）。

同様に、ROI分析は、検討中のロゴのパラメータに広く適合する画像内のサブ領域の構成を判断し得る。例えば、画像の領域は、ロゴを部分的に含む可能性のあるROIとして連続して判断される。各サブ領域について、画像のサンプルが判断され、部分的な中央対称性の自己相関の指標がそのサンプルについて生成される。このことは、関連する共分散の指標と分散比とともに、線形の品等法を含む。関連する共分散の指標の他に、前記サンプルについて生成される全てのそのような指標が回転に不変の頑強な指標であり、部分的にグレースケールに不変である。従って、（図１ｂに示される“M”のような）ロゴの多様な可能性のある視点は、前記指標に影響を与えない。指標は全て構成パターン及び大きさ毎の抽象的な指標であり、それ故にサンプルにおける部分的な構成のレベルについての高度な識別情報を提供する。ROI内のサンプリングされた構成の指標をロゴの既知の構成の指標と比較し、サンプリングされた指標と既知の指標との間の関連が閾値のレベルに合致することを判断することによって、サブ領域がROIであるという判断が行われる。そのような画像の構成分析は、David Harwood他によるパターン認識文字16(1995)の1-10ページの“分配のカルバック識別を用いた中央対称性の自己相関による構成分類（Texture Classification By Center Symmetric Auto-Correlation, Using Kullback Discrimination Of Distributions）”に更に説明され、その内容が参照として取り込まれる。

更に、ROI分析は、検討中のロゴのパラメータに広く適合する画像内のサブ領域にある形を判断し得る。例えばロゴが円形の境界を有する場合、多様な視点において、それが円形又は楕円に現れ得る。このように画像が分析され、特定の閾値の大きさの楕円を有するサブ領域を判断し得る。適合する形を判断するために、ROI処理は、画像のサブ領域及び／又は例えば勾配分析を分析する際にテンプレート照合を用い得る。そのような処理技術は、1999年のギリシャのケルキラ（Kerkyra）でのコンピュータ・ビジョンについてのIEEE国際会議の会報のD.M. GavrilaとV. Philomnによる““スマート”乗物のリアルタイムのオブジェクト検出（Real-time Object Detection for “Smart”Vehicles）”に説明される階層的テンプレート照合法から適応する場合があり、その内容が参照として取り込まれる（前記文献はwww.gavrila.netで利用可能である）。画像の勾配の分析はまた、2001年2月27日に出願されたSrinivas GuttaとVasanth Philominによる“モデルの集合を通じたオブジェクト分類（Classification Of Objects Through Model Ensembles）”という題名の米国特許出願第09/794,443号、代理人管理番号US010040号に更に説明され、それが参照として取り込まれ、“`443出願”と称される。

従って、前記技術の少なくとも１つを用いて、プロセッサ124は画像処理を行い、検討中の特定のロゴのROIを識別するようにプログラムされる。その他、プロセッサ124はロゴの正面画像を受け入れ、例えば前述の多様な（色や構成や形等のような）ROI分析技術に対応するロゴに関するパラメータを生成するようにプログラムされ得る。異なる大きさと視点と照度を表す一連のロゴもまた生成され得る。プロセッサ124は、例えば背景画像におけるロゴの一連の画像を用いて異なるROI分析技術をテストして発展したパラメータを用い得る。背景画像でROIとしての最大の数の一連のロゴを識別する技術が、特定のロゴについてプロセッサ123によるROI分析124aとして用いられる。

画像において１つ以上のROIが識別されると、それらは更に分析され、ロゴが実際にそれに見つけられるかどうかを判断する。前述の通り、この処理は図３のロゴID分析124bの規定に分類される。１つのROIが便宜上以下の説明で参照されるが、同じロゴID処理が画像で識別された全てのROIに適用される。ロゴID分析124bを実行するために、プロセッサ124は、特に信頼できる分類モデルである放射基底関数（RBF）分類のような複数の多様な分類モデルのうちの１つでプログラムされる。`443出願は、ロゴになり得る画像のオブジェクトの識別のためのRBF分類技術を説明しており、それ故にROIの特徴がロゴであるかどうかを識別するためにプロセッサ124をプログラムする好ましい実施例に用いられる。`443出願はまた、画像で動くオブジェクトの分類を処理する。従って、RBF分類技術は、オブジェクトが画像の連続についてROI内で動くロゴID（例えば画像を提供するカメラが回転する）と、画像のROI内で静止しているオブジェクト（すなわちゼロの動きを有する）に用いられ得る。

要約すれば、説明されたRBF分類技術は、ROIの各オブジェクトから２つ以上の特徴を抽出する。好ましくは、x勾配とy勾配と結合されたx-y勾配が、各検出オブジェクトから抽出される。勾配は、移動体の映像データストリームに与えられる画像強度のサンプルの配列である。X勾配とy勾配と結合されたx-y勾配のそれぞれが、異なる分類を提供する３つの異なるRBF分類によって使用される。更に以下に説明される通り、オブジェクトに対するRBF分類の集合（ERBF）が識別を改善する。

各RBF分類は、３つのレイヤで構成されるネットワークである。第１の入力レイヤは起点ノード又はセンサ部で構成され、第２の（隠された）レイヤは基本関数（BF）ノードで構成され、第３の出力レイヤは出力ノードで構成される。入力レイヤから隠されたレイヤへの変換は非線形である。一般的に、隠されたレイヤの各BFノードは、分類のための画像を用いて適切なトレーニングをした後に、（ロゴのような）オブジェクト分類の形の空間を通じた共通の特徴のうちの１つの機能的な表示である。トレーニングには、異なる視点や異なる大きさや異なる照度等からの大量のロゴの画像を入力することが含まれ得る。（前述の通り、画像のトレーニングは、図２に示されるユーザインタフェース130とデータ入力132を介して供給される。）その他、プロセッサ124はロゴの正面の視点を受け入れ、ロゴの数学モデルを生成し、そのロゴの数学モデルを内部で回転させ、再設計する等して、それによって異なる視点や大きさ等を有するロゴの多様な図形を作る。隠されたレイヤの各BFノードは、ロゴの分類のための画像を用いた適切なトレーニングの後に、入力ベクトルを、その入力ベクトルによりBFの起動を反映する大きさの値に変換し、BFにより表された特徴が検討中の画像のオブジェクト（この場合はロゴ）のベクトルに存在する量を定量化する。

出力ノードは、移動オブジェクトの形の空間に従った特徴の値と、オブジェクトの形式の１つ以上の識別分類とをマッピングし、画像のオブジェクトについて対応する重み係数を判断する。RBF分類は、オブジェクトが最大値の重み係数を有する分類のものであることを判断する。好ましくは、RBF分類は、オブジェクトがオブジェクトの識別された分類に属する確率を示す値を出力する。

このように、例えば入力としてROIのオブジェクトのx勾配ベクトルを受信するRBF分類は、それがロゴである確率を出力する。ロゴID分析を有するRBFプログラムが、ロゴの多様な視点（回転を含む）と明暗と大きさでRBF分類をトレーニングすることを有するため、図１ｂのロゴ“M”で示されるような多様な視点と明暗と大きさを有する場合のある画像のロゴについて確率が提供される。RBF分類の集合（すなわちy勾配とx-y勾配のためのRBF分類）を有する他のRBF分類もまた、分類の出力と、オブジェクトの入力ベクトルの確率を提供する。３つのRBF分類により識別された分類と関連する確率が計算の機構で使用され、ROIのオブジェクトがロゴであるかどうかの結論を出す。

各ROIのオブジェクトが、このようにロゴID分析によって分析され、オブジェクトがロゴであるかどうかを判断する。ROIのオブジェクトがロゴと判断されると、図３に示される追跡分析ブロック124dに示す通り、ロゴが受信画像において追跡される。前述の通り、画像を送信するカメラが例えば回転され、その他動かされるため、ロゴが画像のフレーム内で動くと、前記処理はロゴを追跡する。カメラがパン（pan）され、その他動かされると、ロゴは背景のオブジェクトに関して動かず、それ故に映像の画像のそれ自体“動いている”オブジェクトではない。（カメラを動かすことにより、ロゴの位置が画像の他の特徴に関してわずかに変化し得るが、このことは、それ自体が実際に動いているオブジェクトを対象とした技術を用いて追跡され得る実質的な動きではない。）
前記の画像のフレーム内でロゴの位置を追跡することは、例えば前述のロゴID分析処理124bでロゴとして識別されると、データストリームのフレームからロゴのテンプレートを作ることによって行われる。テンプレートは、例えば前述のロゴID分析124bのRBF処理でロゴについて抽出された抽出x-y勾配に基づく場合がある。x-y勾配は、定期的な間隔で（例えばデータストリームで受信される10画像毎に）その後の画像の同じ位置に生成される場合がある。抽出された勾配は比較され、その後の画像のx-y勾配の特徴と合致するかどうか判断され得る。そうである場合には、その間隔の間に同じ位置でロゴの画像がデータストリームに維持されているという結論が出される。（前記間隔は一般的にカメラが動かされ、前記間隔で同じ位置に戻ることのできないほど十分に短い持続時間である。）
そうでない場合、画像のロゴの最後の既知の位置を囲む画像のサブ領域についてx-y勾配が生成される。サブ領域の範囲は、操作者がパン（pan）し、又はその他カメラを動かすことにより、どのくらい画像が前記間隔の間に画像のフレーム内でおそらく動き得るかによって定められる。（前述の通り、前記間隔は、一般的に操作者がその後の画像のフレーム内のロゴの位置を有意に変化するのに十分に物理的にカメラを動か動かすことができないほど短い。）抽出された勾配がサブ領域のオブジェクトの勾配と適合する場合、（カメラが動かされても）ロゴの画像がデータストリームに維持されているという結論が出され、画像のロゴの位置がプロセッサ124で更新される。

このように、データストリームで識別されたロゴは、それが画像に検出されなくなるまで追跡される。一般的に：1)ロゴが視野の外になるように、画像を供給するカメラがパン（pan）され、その他動かされる場合、2)ロゴが画像を供給するカメラの視界で完全に又は実質的にあいまいになる場合、3)イベントの映像データストリームを供給するカメラが変わり、ロゴが新しいカメラの視野の外にある場合、4)例えばコマーシャルのため、イベントの送信に中断が存在する場合、を含む複数の理由のうちの１つでロゴがデータストリームから消える。その場合、プロセッサ124で実行される処理は、前述の通り、データストリームのROI分析124aと、その後にロゴID分析124bに戻る。ロゴがデータストリームで再度識別された場合、前述の通り、追跡124dと出力処理124cが再び実行される。ロゴがデータストリームから消え、その後再現すると、処理の連続が繰り返される。

特定の状況において、ロゴは画像内であいまいになる場合がある。例えば、野球ゲームにおいて、選手がロゴとカメラの間を歩き、送信画像からロゴを遮る。ロゴが完全に又は実質的にあいまいになると、ロゴは事実上データストリームから消え、前述の通り、ROI分析124aとロゴID分析124bに実行される処理が戻る。ロゴが画像で見ることができるようになると、それがROI分析124aとロゴID分析124bで検出され、再び追跡される。

ロゴが画像であいまいになり得る状況、例えば選手がカメラからロゴの一部を遮る場合が存在し得る。必要に応じて、ROI分析124aでROIを判断する処理は、ROIを識別する更に小さい閾値を有するように調整される。例えば前述の“M”の例の際に、画像のROIを識別するために構成が用いられる場合、２つのみの（又はそれより大きい）線形の特徴を有するサブ領域がROIに見つけられ得る。従って、遮られたロゴを見ることができる最小の数の規定する特徴が更に存在する場合、ROIがROI処理124bで見つけられる。同様に、ロゴID分析124bで用いられたRBF分類が、ロゴの部分的な画像でトレーニングされ、及び／又は、オブジェクトがロゴであるかどうかを判断するために用いられる閾値の確率が、部分的な画像を収容するように調整され得る。このように、プロセッサ124はデータストリームで部分的にあいまいなロゴを識別するようにプログラムされる。同様に、追跡処理124cにおける抽出された勾配とその後の画像から生じた勾配との間で必要とされる適合は、追跡中に部分的にあいまいになるロゴが追跡され続けるように小さくなる場合がある。

図３に戻ると、追跡処理124bは、プロセッサ124によって行われる出力処理124cのためのデータを提供する。出力処理124cは、例えばイベントのデータストリームでロゴが見ることができる合計時間や、ロゴが見ることができる時間の割合等である場合がある。従って、追跡処理124bは、ロゴがデータストリームで検出された時と、その後データストリームで検出されない時の継続的な指示を提供し得る。例えば出力処理は、ロゴがデータストリームで検出された合計時間（“検出時間”）と、イベントの合計時間とを記録し得る。検出時間は、絶対数でどのくらいの時間だけロゴが見ることができるかを提供し、検出時間は、合計イベント時間とともに用いられ、イベントの過程でロゴが見ることができる時間の割合を提供し得る。ロゴの大きさや視点や照度等に関するロゴID処理124bと追跡処理124dで生成されたデータはまた、出力処理124cに送信され得る。そのデータを用いて、プロセッサ124はロゴが見ることができる時間の合計を生成し得るのみならず、イベントの間のロゴの可視性の品質を記録し得る。

他の統計的な分析が実行され得ることもまたわかる。例えば、前記システムは、会社のロゴの公表の時間とイベント中の他のロゴの公表の時間とを比較するために用いられ得る。プロセッサは前述の方法でプログラムされ、画像データストリームにおいて会社のロゴと他のロゴとを同時に識別して追跡し得る。このように、イベントについて各ロゴが見ることができる時間が集計され、比較され得る。更に、会社に請求される金額が、イベント中にそのロゴが見ることができる時間の合計に基づく場合がある。

ロゴの公表時間の分析の他の出力の判断を提供するために、前述の実施例の他の変形が用いられ得る。前述の通り、前述の実施例は放送データストリームにおけるロゴの公表を分析するために用いられる。従って、どの（イベントの異なる映像データストリームを生成する）カメラがイベント中の何らかの時点でイベントを放送するために選択されるかの判断は、上流（すなわち図２のデジタルプロセッサ124による受信の前）で行われている。他の実施例において、図４は、イベントをカバーする複数のカメラ（図１ａの３つのカメラ101-103で示される）から複数のデータストリームを受信するデジタルプロセッサ124を示したものである。各データストリームは同時にプロセッサ124で処理され、その中のロゴを検出する。すなわち、図３で示され、前述された通り、各受信データストリームがプロセッサ124によって別々に処理される。全てではないがいくつかのデータストリームにおけるロゴの検出は、どのカメラを用いて特定の時間にイベントを放送するべきか判断する際に、イベント製作者によって用いられ得る。例えばスポンサーのロゴが３つのカメラのうちの１つのデータストリームに見ることができる場合であって、製作者がちょうどその時点にイベントを放送し得るカメラを選択することができる場合、製作者はロゴを表示するそのカメラを用いることを決定し得る。

本発明の例示的な実施例が添付の図面を参照して説明されたが、本発明はこの正確な実施例に限定されないことがわかる。例えば、プロセッサ124によって実行されるロゴID処理124bについて前述の実施例で用いられるRBF分類は、テンプレート照合ソフトウェア技術に交換され得る。異なる視点や大きさ等を有するロゴの一連のテンプレートが、プロセッサ124に入力され、又はロゴの入力の正面図に基づいて内部で生成され得る。前述の通り、画像においてROIが識別された後に、そのオブジェクトについて勾配が画像で生成され得る。テンプレートがオブジェクトと比較され、テンプレートの範囲に入る各オブジェクトの画素の割合が生成され得る。割合が閾値の量より小さい場合、ロゴID分析は、オブジェクトがロゴであるという結論を出す。従って、本発明の範囲は特許請求の範囲によって定められた通りであることが意図される。

背景としてロゴを含むイベントを放送するために用いられる複数の映像データストリームを撮影して生成するために用いられるカメラの一般的な配置の図である。図１ａのカメラにより取得されたロゴの画像を表したものである。本発明の１つの実施例によるシステムを描いたものである。図２の構成要素のうちの１つの詳細を描いたものである。本発明の第２の実施例によるシステムを描いたものである。

Claims

ロゴの存在を検出して分析する方法であって、
イベントの少なくとも１つの映像データストリームを受信するステップと、
前記少なくとも１つのデータストリームを有する１つ以上の画像において、前記ロゴの１つ以上の関心領域（ROI）を識別するステップと、
前記１つ以上のROIを分析し、前記ロゴが前記ROIのうちの少なくとも１つに存在するかどうかを検出するステップと、
放送の判断と広告の判断のうちの１つを行う際に、前記ロゴの前記存在の前記検出を用いるステップと
を有する方法。
請求項１に記載の方法であって、
前記少なくとも１つの映像データストリームが、単一の放送データストリームを有する方法。
請求項２に記載の方法であって、
前記イベントの間に前記ロゴが検出された時間を集計するステップを更に有する方法。
請求項３に記載の方法であって、
前記イベントの間に前記ロゴが検出された時間が、広告の判断を行うために用いられる方法。
請求項１に記載の方法であって、
前記少なくとも１つの映像データストリームが、２つ以上の別の映像データストリームを有し、前記２つ以上のデータストリームが前記イベントの放送に選択可能である方法。
請求項５に記載の方法であって、
前記１つ以上のデータストリームにおける前記ロゴの検出が、放送の判断で用いられる方法。
請求項６に記載の方法であって、
前記ロゴが検出された前記データストリームのうちの１つが、前記イベントを放送するために用いられる方法。
請求項１に記載の方法であって、
前記ロゴの１つ以上のROIを識別するステップが、前記ロゴの色、形及び構成のうちの少なくとも１つに基づく方法。
請求項８に記載の方法であって、
前記ロゴの１つ以上のROIを識別することが、前記ロゴと同じ色を有する複数の隣接する画素を識別することを有する方法。
請求項８に記載の方法であって、
前記ロゴの１つ以上のROIを識別することが、前記ロゴの構成の同様の指標に対応する、前記画像内の位置のサンプルにおける構成の指標を識別することを有する方法。
請求項８に記載の方法であって、
前記ロゴの１つ以上のROIを識別することが、前記ロゴの前記形に対応する前記画像内の形を識別するテンプレート照合を用いることを有する方法。
請求項１に記載の方法であって、
前記１つ以上のROIを分析し、前記ロゴが前記ROIのうちの少なくとも１つに存在するかどうかを検出することが、放射基底関数（RBF）分類モデルを用いることを有する方法。
請求項１２に記載の方法であって、
前記RBF分類モデルが、多数の視点と大きさを有する前記ロゴの画像を用いたトレーニングを有する方法。
請求項１に記載の方法であって、
前記１つ以上のROIを分析し、前記ロゴが前記ROIのうちの少なくとも１つに存在するかどうかを検出することが、テンプレート照合を用いることを有する方法。
ロゴの存在を検出して分析するシステムであって、
イベントの少なくとも１つの映像データストリームを受信し、
前記少なくとも１つのデータストリームを有する１つ以上の画像において、前記ロゴの１つ以上の関心領域（ROI）を識別し、
前記１つ以上のROIを分析し、前記ロゴが前記ROIのうちの少なくとも１つに存在するかどうかを検出し、
検出された場合に、前記画像における前記ロゴの前記存在を監視する入力を有するプロセッサを有し、
前記ロゴの前記存在の前記検出が、放送の判断と広告の判断のうちの１つを行う際に用いられるシステム。
ロゴの存在を検出して分析するソフトウェアであって、
イベントの少なくとも１つの映像データストリームを有する画像の入力デジタル表示として受信し、
前記少なくとも１つのデータストリームを有する１つ以上の画像において、前記ロゴの１つ以上の関心領域（ROI）を識別し、
前記１つ以上のROIを分析し、前記ロゴが前記ROIのうちの少なくとも１つに存在するかどうかを検出し、
検出された場合に、前記画像における前記ロゴの前記存在を監視し、
放送の判断と広告の判断のうちの１つを行う際に使うことができる前記ロゴの前記存在の検出に関する出力を提供するソフトウェア。