JP2014519253A - 放送番組コンテンツを認識するシステム及び方法 - Google Patents

放送番組コンテンツを認識するシステム及び方法 Download PDF

Info

Publication number
JP2014519253A
JP2014519253A JP2014510280A JP2014510280A JP2014519253A JP 2014519253 A JP2014519253 A JP 2014519253A JP 2014510280 A JP2014510280 A JP 2014510280A JP 2014510280 A JP2014510280 A JP 2014510280A JP 2014519253 A JP2014519253 A JP 2014519253A
Authority
JP
Japan
Prior art keywords
content
sample
broadcast program
program content
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014510280A
Other languages
English (en)
Other versions
JP5907632B2 (ja
Inventor
アレックス ディー. イバスコ,
エドゥアルド ラモン ジー. ジョソン,
ウィリアム エマニュエル エス. ユ,
マヌエル オー.(ジュニア) ディアス,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VOYAGER INNOVATIONS HOLDINGS PTE. LTD.
Original Assignee
VOYAGER INNOVATIONS HOLDINGS PTE. LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VOYAGER INNOVATIONS HOLDINGS PTE. LTD. filed Critical VOYAGER INNOVATIONS HOLDINGS PTE. LTD.
Publication of JP2014519253A publication Critical patent/JP2014519253A/ja
Application granted granted Critical
Publication of JP5907632B2 publication Critical patent/JP5907632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/372Programme
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/64Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for providing detail information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Circuits Of Receivers In General (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

放送源から放送番組コンテンツをサンプリングする少なくとも1つの受信機と、サンプリングされた放送番組コンテンツを認識し且つ格納するコンテンツ認識エンジンと、クライアント装置からクエリを受け取ると放送番組コンテンツに関連する情報を返す、コンテンツ認識手段とデータ通信するコンテンツデータベースとを備える、放送番組コンテンツ認識システムを開示する。このシステムは、コンテンツ認識エンジンが、サンプルの放送番組コンテンツを認識できない場合、コンテンツ認識エンジンが、認識されないサンプルを少なくとも第1及び第2の連続した部分に分割し、第1の部分をすでに認識したサンプルに追加するように構成される。
【選択図】 図1

Description

発明の分野
本発明は、放送番組コンテンツを認識するシステム及び方法に関する。このシステム及び方法は、限定ではないが特に通信デバイスのユーザが同調する、音楽のような放送番組コンテンツを認識するのに適しており、これに関連してこのシステム及び方法を説明する。
発明の背景についての次の説明は、単に本発明の理解を容易にすることを意図している。当然のことながらこの説明は、言及する題材のいずれも、本出願の優先日の時点でいかなる管轄においても、公開されていた、知られていた、又は当業者の一般的常識の一部であったと確認するか又は認めるものではない。
現在の音楽認識システム及び方法は、典型的には、音楽認識エンジンの使用を含んでいる。このような音楽認識エンジンは、典型的には音楽認識アルゴリズムのある形式を用いる。周知の音楽認識アルゴリズムが、典型的には音声サンプルを取得し、この音声サンプルをそのデータベース中のエントリと比較し、識別された音声サンプルで入手可能なある情報を返す。
現在の音楽認識システムは、主としてスタンドアローン機能に、又は複数のユーザによってアクセスできるオンラインサービスにとどまっていた。複数のユーザからの同時要求を処理するその機能を強化するために、概略的にはオンライン音楽認識システムが、負荷バランシングを備えたサーバファームとして実装され、すなわち、音楽認識システムは、同時要求が殺到するとき、負荷を共有するサーバファームに、自らの多くのインスタンスを複製することになる。しかしながらこのような実装は、接続的に高帯域ネットワークを想定する。オンライン認識エンジンは、相当量のインターネット帯域幅に恵まれているので、大量の要求があるにもかかわらず、依然として優れた応答時間を提供する。
しかしながら、現在の音楽認識システムがモバイルサービスに関連して実装されるとき、サーバファームのモデルは同様にうまく機能しない可能性がある。これは、通常、GSM(登録商標)のネットワークであるモバイルネットワークの限られた帯域幅によるものである。何百万人ものユーザをサポートするモバイルサービスでは、サーバの負荷は重くなりすぎて認識エンジンが処理できなくなり、結果として許容しがたいユーザエクスペリエンス及び/又は実際のサービスの障害が生じる。このような障害及びボトルネックは、ネットワークの非データ利用にも悪影響を及ぼすことになる。サービス品質の劣化は、加入者離反(subscriber churn)を非常に高める原因となり、これは、市場の飽和に近い状態及び激しい競争のこの時代において、移動体通信事業者の消滅につながる恐れがある。
上記に加えて、モバイルサービスに関連する現在の先行技術のシステムは、ユーザが音声クリップとしてこの歌の断片(snippet)を取り込んで、同じものを歌認識エンジンに送信する必要がある。音声クリップは、いかに短くとも、また圧縮技術にかかわらず、かなりのサイズである。
本発明は、上述の欠点を軽減するコンテンツ認識システム及び方法を提供しようとするものである。
本発明は、音楽認識要求に伴うオーバヘッドを軽減し、したがって比較的低帯域幅のGSM(登録商標)のネットワークにおける障害及びボトルネックを回避するという課題に対処するために開発された。
本発明の第1の態様によれば、
放送源から放送番組コンテンツをサンプリングする少なくとも1つの受信機と、
サンプリングされた放送番組コンテンツを認識して格納するコンテンツ認識エンジンと、
クライアント装置からクエリを受け取ると放送番組コンテンツに関連する情報を返す、コンテンツ認識手段とデータ通信するコンテンツデータベースと、
を含む、放送番組コンテンツ認識システムが提供される。
クライアント装置は、放送番組コンテンツを受信するモバイルデバイスであることが好ましい。
クエリはSMSクエリ又はHTTP postクエリであることが好都合である。クエリは、放送番組コンテンツのタイムスタンプ及び放送源に関連する識別情報を含む。
クライアント装置は、定期的な時間間隔で、ステーションID及びタイムスタンプに関する受動的情報をコンテンツデータベースに自動的に送信するように構成されることが好ましい。このような構成では、コンテンツデータベースは、受信した受動的情報を処理して、クライアント装置への放送番組コンテンツをカスタマイズするアプリケーションコンテンツマネージャとさらにデータ通信する。
受動的情報は、SMS、MMS、IP、独自のメッセージング、又は、Wi−fi、Bluetooth(登録商標)、若しくはNear Field Communication(近距離無線通信、NFC)のような他の利用できる無線接続によって、送信可能であることが好ましい。
システムはさらに、コンテンツデータベースとデータ通信するプロファイリングデータベースを含み、コンテンツデータベース及びプロファイルデータベースからの情報が、あるユーザ指定の結論に到達するように構成され、集約され、統合されることが好ましい。
本発明の第2の態様によれば、放送番組コンテンツをサンプリングする少なくとも1つの受信機と、サンプリングされた放送番組コンテンツを認識して格納するコンテンツ認識エンジンとを含み、コンテンツ認識エンジンが、サンプルの放送番組コンテンツを認識できない場合、コンテンツ認識手段が、認識されないサンプルを少なくとも第1及び第2の連続した部分に分割し、第1の部分又は第2の部分をすでに認識されたサンプルに追加する、放送番組コンテンツ認識システムを提供する。
システムは、終了条件に到達するか、追加された第1又は第2の部分が認識可能になるまで、認識されないサンプルを繰り返して分割し、追加するように構成されることが好ましい。
システムは、認識されないサンプルに失敗サンプルとして印を付けるように構成されることが好ましい。
本発明の第3の態様によれば、
a.放送番組コンテンツのサンプルを受信するステップと、
b.受信したサンプルが認識可能であるかどうかを判断するステップと、
c.受信したサンプルが認識可能ではないと判断される場合、受信したサンプルを第1及び第2の連続した部分に分割するステップと、
d.第1の部分をすでに認識可能なサンプルに追加するステップと、
を含む、放送された番組コンテンツを認識する方法を提供する。
この方法は、追加されたサンプルが認識可能になるまで、ステップ(b)から(d)を繰り返すステップを含むことが好ましい。
次に本発明について、単に例として添付の図面を参照して説明する。
本発明の第1の実施形態に従ったコンテンツ認識システムの略図である。 本発明の第2の実施形態に従ったコンテンツ認識システムの略図である。 本発明の諸実施形態によるサンプリングアルゴリズムを示す流れ図である。 結果として失敗としてコンテンツ認識システムによって認識される、コンテンツ継続時間に入らないサンプルを示す図である。 様々なシナリオにおける認識できないサンプルの分割を示す図である。
発明の実施形態の説明
本発明の第1の態様によれば、放送番組コンテンツ認識システム10がある。コンテンツ認識システム10は、1つ又は複数の放送源12から放送された番組コンテンツを受信する複数の放送受信機14と、コンテンツ認識エンジン16と、コンテンツデータベース18とを含む。放送源12は、典型的には放送局である。説明のために、放送源12は、周波数変調(FM)周波数放送局である。各放送局12は、異なるFM周波数帯域で番組コンテンツを放送する。この実施形態の説明のために、各放送源からの放送コンテンツは音楽であるが、放送コンテンツは、音声広告などの他の音声コンテンツとすることもできることは容易に理解される。
各受信機14は、その対応する放送源12と通信する。各受信機14は、放送源の同じエリアに配置することがある、又は地理的に分散することもあると理解されたい。各受信機14は、放送された音楽をその対応する放送源12から連続してサンプリングするように構成される。各受信機14は、サンプリング時間tに放送番組コンテンツをサンプリングするように構成される。
音楽認識エンジン16は、当業者に知られている第三者のソフトウェアアプリケーション(例えば、SoundHound(商標))とすることもできるプログラムを含む。音楽認識エンジン16は、各受信機14から音楽サンプルを受信し、処理するように構成される。音楽認識エンジン16によって行われる処理は、定められた認識時間内のサンプルをパースし(parsing)、識別することを含む。
コンテンツデータベース18には、コンテンツ認識エンジン16が常に設けられる。認識エンジン16からコンテンツデータベース18に送信されるデータは、いかなる所望のフォーマットとすることもできる。例えば、コンテンツデータベース18は、認識エンジン16からコードを復号し、同じものを、単純なデータベースのルックアップクエリ、例えば限定ではないがSQLクエリによって、歌のタイトル、ジャンル、アーティストなどのような関連情報に変換するデコーダの独自のセットを有することもできる。コンテンツデータベース18は、少なくとも1つのクライアント装置20からクエリを受け取るように構成され、各クエリは、タイムスタンプ及びクライアント装置20を同調する放送局12に対応する局IDを含んでいる。コンテンツデータベース18は、受け取った時間に従って認識エンジン16から受け取った情報をまとめ、したがって、コンテンツ認識エンジン16から受け取ったコンテンツの履歴記録を提供することができる。ユーザが取得することもできる履歴記録は、データベース18のサイズ及び容量によって決まる。
クライアント装置20は、典型的にはモバイルデバイスである。この実施形態では、モバイルデバイス20は、FMチューナを備え、したがってモバイルデバイス20のユーザは、選択した放送局12に周波数を合わせることができる。モバイルデバイス20は、コンテンツデータベース18とデータ通信するように構成され、HTPP POSTリクエスト、メソッド呼び出し、キーワードに基づくSMSクエリなどのようなデータクエリ機構を使用して、コンテンツデータベース18に問い合わせることもできる。
次にシステム10について、その動作と関連して説明する。
例示のように、モバイルデバイス20のユーザは、モバイルデバイス20に組み込まれているFMチューナを調整することによって複数の放送局12のうちの特定の放送局12に同調する。ユーザは、ユーザが同調した、放送された曲のタイトルを知ることを希望し、したがってユーザは、モバイルデバイスのインタフェースにアクセスして、前述のプロトコルに基づいて(HTTP POST、SMSクエリなどにより)プレイリストデータベース18にクエリを送信する。
コンテンツデータベース18は、以下の2つのパラメータに基づいて単純なルックアップを実行する:
a.クエリのタイムスタンプ
b.局ID
コンテンツデータベース18は、クエリのタイムスタンプをチェックして、タイムスタンプが既知の一定のサンプリング間隔t内に入るかどうかを判断する。ここで、サンプリング間隔tは、放送番組コンテンツが放送されることになっている時間である。タイムスタンプが、既知のサンプリング間隔t内に入らない場合、コンテンツデータベース18は、クライアント装置20に検出失敗エラーを返し、必要に応じてクライアント装置20のユーザに再試行を促す。
典型的には、サンプリング間隔tの値は、音楽サンプルの識別に成功するために必要とされる最小サンプル時間を考慮して音楽認識アルゴリズムによって決定される。時間間隔がより短いと、事実上、認識エンジン14が音声サンプルを識別することを阻むことになる。
しかしながら、サンプリングが2つの異なる音楽サンプルにわたり、認識エンジンがサンプルを識別することを阻むことのないように、サンプリング間隔tをできるだけ短く保つことが望ましい。したがって、重複サンプルのサンプリングを防止するために、サンプリング間隔tは、理想的には放送コンテンツの再生の長さよりも短く、長くとも同じに保たれなければならないということになる。しかしながら、事実上、各放送コンテンツは、同じ再生の長さを有することはなく、したがってサンプリング間隔tは小さく、最大でも、最も短い放送コンテンツの再生の長さと等しく保たれるべきである。たとえそうであっても、各放送される番組コンテンツの再生の長さは変わるので、重複の可能性はある。この実施形態における手法は、コンテンツ認識エンジン16によって必要とされるサンプリング間隔tを最小サンプリング間隔に一致させ、いかなる重複サンプルも解消することである。(重複の状態/シナリオとして知られる)サンプルの重複が発生する場合、コンテンツ認識エンジン16内のサンプルアルゴリズムが、重複状態(以下に説明する)を解消するために必要な動作を実行する。
リクエストが(1人又は複数の)ユーザによって行われるかどうかにかかわらず、各受信機14は、その放送局12によって放送される音楽を連続してサンプリングする。サンプリングは、図3に示し以下のように説明するサンプリングアルゴリズムに基づいて行われる:
この処理は、放送源12から放送されたコンテンツのサンプルを取ることから始める(ステップ32)。サンプリングは連続的であるが、1つのサンプルは、有限周期で取られ、サンプルを取るステップとして理解される。
アルゴリズムは、サンプルが準備できているかどうかをチェックする(ステップ34)。チェックするステップは、サンプルが利用できるかどうかを確認することを含む。デフォルトにより、サンプルは生サンプルである。チェックするステップは、代替的にはトランスコードされたサンプルで実行することもできる(すなわち、生サンプルを16進数の、プレーンテキスト、又は任意の一意のコードに変換する、オプションのトランスコードするステップを含む)。このような場合、チェックするステップは、トランスコードされたサンプルの有効性を確認する。サンプルが準備できると、認識エンジン16へ送られる(ステップ36)。認識エンジン16は、知られている技術に基づいてコンテンツの認識を実行し、認識が成功であるかどうかをチェックする(ステップ38)。コンテンツ認識が成功であると判断される場合、情報はコンテンツデータベース18に格納される(ステップ40)。サンプルはまた、サーキュラーキューバッファ(circular queue buffer)に保持される。サーキュラーキューバッファは、先入れ先出しキューシステムとすることもでき、バッファに格納されたコンテンツがもはや必要ではない場合、このコンテンツを廃棄する手段である。コンテンツ認識が成功ではない場合、失敗マークが作成される(ステップ42)。失敗した認識とは、サンプルが重複状態のカテゴリに入り、したがって、分割を必要とする(ステップ44)ことを意味し、このステップについては図5に示している。分割されたサンプル及び第1の部分は、格納バッファキューに保有されている以前のサンプルに追加される(ステップ46)。連結されたサンプルは、次にコンテンツ認識エンジンへ送られる(ステップ36参照)。この処理は、サンプルが認識され、格納されるまで繰り返す(ステップ40)。認識が失敗する場合、先に分割されたサンプルの第1の部分の半分が分割され、その後バッファキュー内の以前のサンプルに追加される。
ステップ44について以下にさらに説明し、図5に示す。
図5は、特定の放送局12で再生されている番組コンテンツA及びB、並びに番組コンテンツA及びBが連続して再生される間に取られるサンプル1、2、3、及び4を示す。サンプル1、2、及び4が決定的であること、すなわちコンテンツAはサンプル1及び2を使用して確認することができ、コンテンツBはサンプル4を使用して確認することができることが容易に理解される。しかしながらサンプル3は、サンプル3の一部がコンテンツAの放送中に取られ、サンプル3の別の部分はコンテンツBの放送中に取られるので、重複問題を生み出す。
結果として、サンプル3の認識は、音楽認識アルゴリズムがサンプル3をコンテンツAと関連付けるべきか、コンテンツBと関連付けるべきかを判断できないとき、ステップ38に基づいて失敗となる。失敗サンプル3を検出すると、サンプリングアルゴリズムは、引き続いて失敗サンプルに印を付け(ステップ42)、サンプル3をサンプルS3L(第1の部分)とサンプルS3Rとに分割する。サンプルS3Lをサンプル2に追加すると、コンテンツ認識エンジンは、サンプル2+S3Lの有効な認識を行うことができる。しかしながら、サンプルS3Rがステップ38に基づいてさらに失敗し、したがって重複問題として残る。失敗サンプルS3Rはその後、サンプルRLとサンプルRRの別の分割をトリガする。RRをサンプル4に追加すると、結果としてコンテンツBの有効な識別になることに注意する。しかしながらRLをサンプル2又はサンプル4に追加することは、ともに結果として識別プロセスの失敗となる。例示及び説明は、「左に追加(left append)」のシナリオを述べたが、「右に追加(right append)」(すなわち、例えばサンプルS3Rをサンプル3に追加する)もこのシステムによって等しく対応されることがわかる。
図5に示すように、重複サンプル、サンプル3が分割されるにつれて、確定の間隔(interval of certainty)は増大する。分割するステップ44がなければ、確定の間隔、すなわち、第1の確定の間隔(First Interval of Certainty)として知られる、コンテンツ認識エンジン16が放送される番組コンテンツを明確に識別することができる期間は、サンプル3が重複状態にあるのでより短くなる。第1の確定の間隔後の、サンプル3内に入る時間のユーザクエリは、したがってエラーを返す。
しかしながら、分割するプロセス/ステップ44を適用すると、確定の間隔が増大する。第1の部分のサンプルS3Lは、第1の確定の間隔に追加され、結果としてより長い第2の確定の間隔となる。したがって、第2の確定の間隔に入る同じユーザクエリは、結果として番組コンテンツAの確実な識別になる。図示するようにクエリの同じポイントについては、第2の確定の間隔の下で、結果はよりよいものとなる。
認識が成功すると、サンプル及びその情報は格納され、認識エンジン16は既知の間隔tを更新して、サンプリング時間tと追加部分にかかる時間を含める。各格納されたサンプルについて、システムは、ステップ42下の失敗マークが作成されたかどうかをチェックする(ステップ48)。失敗マークが検出される場合、最近処理されたサンプルが(通常の長さのサンプルと対照的に)分割され、連結/追加されたサンプルであることを意味し、したがって、次の通常の長さのサンプルに移るべき時となる(ステップ32)。失敗マークがないとき、システムは、処理するさらなる分割があるかどうかをチェックする(ステップ50)。処理する他のサンプルがない場合、サンプリングアルゴリズムは、次のサンプルへ進む(ステップ32)。
説明するように分割(ステップ44)及び追加の処理は繰り返しであるが、終了条件を有する。このような条件は、例えば繰り返しの数をある数nに決定すること、又は1/2tが最小サンプリング時間tminの持続となるまで、などビジネスルールによって規定することもできる。tminは、有益なサンプルを有するのに必要とされる最小サンプリング時間であり、tmin未満にサンプリングされたサンプルは認識できないものとなる。nは、最初に2に設定することができる。
同じ参照符号が同じ部分を示す本発明の第2の実施形態に従った、コンテンツ認識システム10がある。
コンテンツ認識システム10は、放送源12から放送番組コンテンツを受信するようにそれぞれ構成された複数の放送受信機14と、コンテンツ認識エンジン16と、コンテンツデータベース18とを含む。放送源12は、典型的には放送局である。説明のために、放送源12は、FM周波数放送局である。各放送局は、異なるFM周波数帯域で番組コンテンツを放送する。この実施形態の説明の目的で、各放送源からの放送コンテンツは音楽であるが、広告などを含む、他の音声コンテンツとすることもできることは容易に理解される。
第1の実施形態に加えて、移動体通信事業者若しくはアプリケーションコンテンツマネージャ900及びプロファイリングデータベース950がある。
第1の実施形態に記載する通常クエリの代わりに、クライアント装置20は、局ID及びタイムスタンプに関する受動的情報を、ユーザが情報を能動的に要求することなく定期的に、コンテンツデータベース18に送信する。これは、例えばクライアント装置の設定によって行うこともできるが、さらに詳細には説明しない。このように送信される受動的情報は、クライアント装置20のユーザが別の局12に切り換えた場合、(局IDの切り換えに基づいて)反映することができる。受動的情報は、クライアント装置20が使用しているSMS、MMS、IP、独自のメッセージング機構などにより、GSM(登録商標)のネットワークを通じて、又は、クライアント装置20に装備されている場合、Wi−fi、Bluetooth(登録商標)、近距離無線通信(NFC)などのような他の利用可能な無線接続を通じて、送信することができる。
コンテンツデータベース18は、プロファイリングデータベース950とデータ通信する。コンテンツデータベース18及びプロファイルデータベース950からの情報をさらに適用し、集約し、統合して(データマイニングして)、あるユーザ指定の結論に到達することもできる。例えば、どの特定のコンテンツによりクライアント装置20のユーザはチャンネルを切り換えるか、及び何によりユーザはチャンネルをそのままにするかを示すこと、ユーザの好みを聞くことなどであるが、聴いた歌、特定のチャンネルにとどまる長さ、ユーザがチャンネルを変えた時に放送されていたコンテンツなどのような他の情報を追跡することもできる。プロファイリングデータベース950は、この情報を移動体通信事業者又はアプリケーションコンテンツマネージャ900に送る。コンテンツマネージャ900はその後、例えば、加入者が好む同じジャンルのオプションメディアコンテンツの販売を利用できる、又はそのようなジャンルに識別されるアーティストの近く行われるコンサートなどのような、示唆的マーケティング及びターゲット広告によって、モバイルデバイス20用のコンテンツをカスタマイズすることができる。
データベース18及びプロファイルデータベース950からの情報を、様々な方法でさらに利用することもできる。ユーザ行動に関する情報は、どの特定の放送番組コンテンツによってクライアント装置20のユーザが別のチャンネルに移るか、何によってユーザはそのチャンネルにとどまるかを示すように、集約し、統合することができる。所与の時間に放送局12にチャンネルを合わせているリスナーの数に関する情報が利用可能であり、特定の番組コンテンツを放送する最良の時間/期間に関して、アプリケーションコンテンツマネージャ900にとって利用可能な情報を作成する。情報はその後、コンテンツプロバイダ及び放送局12が使用して、リスナーをさらに魅了する関連番組を決定することができる。さらに、この実施形態は、放送局12を評価することに関連することもある。伝統的には、情報収集及び評価は、手動の無作為調査から家庭及び個人に無作為に配置された装置を使用した自動データ収集まで様々である手段を使用して行われることが理解される。この実施形態を用いて、内蔵チューナを備えたすべてのモバイルデバイス20は、何人のクライアント装置20(したがってエンドユーザ)が任意の時間に特定の放送チャンネル12を聴いているかをリアルタイムに判断することを可能にする統合報告システムを付けることもできる。現在の実施形態により、広告主は、ターゲット視聴者によって決まるどの放送チャンネル12を使用すべきかに関してよりよくアドバイスされるようになる。
上述の統合報告システムは、バックグラウンドで実行され、クライアント装置20によって送信される受動的情報と同様である。受動的情報は、クライアント装置20のユーザが特定のチャンネルに合わせるとき単純な通知とすることができ、このような通知は、データベースで照合され、そこからのレポートは、無料でアクセス可能、購読料を払う、ペイパービュー、又はその後決定することができる他のビジネスモデルの別のサービスとすることもできる。
この実施形態は、定義された領域で最も再生される音楽をランク付けするためにさらに使用することもできる。いかなるエンドユーザの参加も必要なしに、組み合わされた要素14、16、及び18を使用して、任意の所与の期間で人気のある音楽、歌、又はアルバムをモニタし、ランク付けすることもできる。リスナーの密度は、位置及びモバイルデバイス20の数に基づいて同様に判断することもできる。さらに、位置情報は、移動体通信事業者900によりプロファイリングデータベース950を介して提供することもできる。情報を用いて、地理的プロファイリングを作成して、より関連のあるコンテンツ及び番組を配信することができる。
本発明のさらなる実施形態では、受信機14及び音楽認識エンジン16は、ハイブリッド放送局に置き換えることもできる。
コンテンツ認識システム10の関連する利点は、履歴データを追跡する能力である。この点において、ユーザが「最近再生したあの歌は何か」を問い合わせるとき、コンテンツデータベース18は情報を検索し、歌情報を提供する。
さらに、記載した実施形態は、ユーザデバイスの比較的古い世代と下位互換性がある。このような場合、ユーザは、単純なテキストリクエスト(局IDを含む)をさらに送信することもでき、システム10は、例えばラジオ局から再生中の歌のタイトルに関するテキストメッセージで返信する。
変形形態
・プロファイルデータベース950並びに結合された要素14、16、及び18から生じる位置に基づくサービスは、同じユーザからの以前のトランザクション若しくはイベントの記録、又は利用可能な記録から調べることができる任意のパターンなど、同等の任意の関連機能に置き換えることができる。
・受信機14による連続的なサンプリングを毎日24時間行うこともできる。
上述の実施形態は、以下に詳細に記載するような本発明を単に例示する目的で提供されていること、並びに当業者には明らかであるさらなる変形形態及び改良形態が、記載する本発明の範囲及び領域に入ると考えられることを理解されたい。さらに、本発明の個々の実施形態について述べることもできたが、本発明は、前述の実施形態の組合せもまた含むものとする。

Claims (13)

  1. 放送番組コンテンツ認識システムであって、
    放送源から放送番組コンテンツをサンプリングする少なくとも1つの受信機と、
    前記サンプリングされた放送番組コンテンツを認識して格納するコンテンツ認識エンジンと、
    前記コンテンツ認識手段とデータ通信するコンテンツデータベースであって、クライアント装置からクエリを受け取ると前記放送番組コンテンツに関連する情報を返すコンテンツデータベースと、
    を備える、システム。
  2. 前記クライアント装置が、前記放送番組コンテンツを受信するモバイルデバイスである、請求項1に記載のシステム。
  3. 前記クエリが、SMSクエリ又はHTTP postクエリである、請求項1に記載のシステム。
  4. 前記クエリが、前記放送番組コンテンツのタイムスタンプ及び前記放送源に関連する識別子を含む、請求項1に記載のシステム。
  5. 前記クライアント装置が、定期的な時間間隔で、前記局ID及び前記タイムスタンプに関する受動的情報を前記コンテンツデータベースに自動的に送信するように構成される、請求項4に記載のシステム。
  6. 前記コンテンツデータベースが、前記受信した受動的情報を処理して前記クライアント装置への放送番組コンテンツをカスタマイズするアプリケーションコンテンツマネージャとさらにデータ通信する、請求項5に記載のシステム。
  7. 受動的情報を、SMS、MMS、IP、独自のメッセージング、又は、Wi−fi、Bluetooth(登録商標)、若しくはNear Field Communication(NFC)のような他の利用できる無線接続によって送信することができる、請求項5に記載のシステム。
  8. 当該システムが、前記コンテンツデータベースとデータ通信するプロファイリングデータベースをさらに備え、前記コンテンツデータベース及びプロファイルデータベースからの情報が、あるユーザ指定の結論に到達するように構成され、集約され、統合される、請求項1に記載のシステム。
  9. 放送番組コンテンツをサンプリングする少なくとも1つの受信機と、前記サンプリングされた放送番組コンテンツを認識し且つ格納するコンテンツ認識エンジンとを備える放送番組コンテンツ認識システムであって、
    前記コンテンツ認識エンジンが、前記サンプリングされた放送番組コンテンツを認識できない場合、前記コンテンツ認識エンジンが、前記認識されないサンプルを少なくとも第1及び第2の連続した部分に分割し、前記第1の部分又は前記第2の部分をすでに認識したサンプルに追加する、システム。
  10. 当該システムが、前記認識されないサンプルを失敗サンプルとして印を付ける、請求項9に記載のシステム。
  11. 当該システムが、終了条件に到達するか、前記追加された第1又は第2の部分が認識可能になるまで、前記認識されないサンプルを繰り返して分割し、追加する、請求項9に記載のシステム。
  12. 放送された番組コンテンツを認識する方法であって、
    a.放送番組コンテンツのサンプルを受信するステップと、
    b.前記受信したサンプルが認識可能であるかどうかを判断するステップと、
    c.前記受信したサンプルが認識可能ではないと判断される場合、前記受信したサンプルを第1及び第2の連続した部分に分割するステップと、
    d.前記第1の部分又は第2の部分をすでに認識可能であるサンプルに追加するステップと、
    を含む、方法。
  13. 前記追加されたサンプルが認識可能になるまで、ステップ(b)から(d)を繰り返すステップを含む、請求項12に記載の方法。
JP2014510280A 2011-05-10 2012-04-30 放送番組コンテンツを認識するシステム及び方法 Active JP5907632B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG2011033289A SG185833A1 (en) 2011-05-10 2011-05-10 System and method for recognizing broadcast program content
SG201103328-9 2011-05-10
PCT/SG2012/000155 WO2012154125A1 (en) 2011-05-10 2012-04-30 System and method for recognizing broadcast program content

Publications (2)

Publication Number Publication Date
JP2014519253A true JP2014519253A (ja) 2014-08-07
JP5907632B2 JP5907632B2 (ja) 2016-04-26

Family

ID=47139419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014510280A Active JP5907632B2 (ja) 2011-05-10 2012-04-30 放送番組コンテンツを認識するシステム及び方法

Country Status (18)

Country Link
US (1) US20140089309A1 (ja)
EP (1) EP2707975B1 (ja)
JP (1) JP5907632B2 (ja)
KR (1) KR101602175B1 (ja)
CN (1) CN103718482B (ja)
AR (1) AR086333A1 (ja)
AU (1) AU2012254217B2 (ja)
BR (1) BR112013028532A2 (ja)
CA (1) CA2834837A1 (ja)
CO (1) CO6801659A2 (ja)
MX (1) MX2013012668A (ja)
MY (1) MY184999A (ja)
RU (1) RU2585250C2 (ja)
SG (2) SG185833A1 (ja)
TW (1) TWI563809B (ja)
UA (1) UA113173C2 (ja)
WO (1) WO2012154125A1 (ja)
ZA (1) ZA201309176B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560057B1 (en) 2012-08-06 2020-02-11 Google Llc Measuring media attention over time based on long term heterogeneous archive data
US9871606B1 (en) * 2013-05-13 2018-01-16 Twitter, Inc. Identification of concurrently broadcast time-based media
CN104066009B (zh) * 2013-10-31 2015-10-14 腾讯科技(深圳)有限公司 节目识别方法、装置、终端、服务器及系统
US9363551B2 (en) 2013-10-31 2016-06-07 Tencent Technology (Shenzhen) Company Limited TV program identification method, apparatus, terminal, server and system
US20160132600A1 (en) * 2014-11-07 2016-05-12 Shazam Investments Limited Methods and Systems for Performing Content Recognition for a Surge of Incoming Recognition Queries
CN104640059A (zh) * 2015-01-23 2015-05-20 小米科技有限责任公司 数据传输方法、装置及设备
WO2016162723A1 (en) * 2015-04-09 2016-10-13 Airshr Pty Ltd Systems and methods for providing information and/or content associated with broadcast segments
CN105487788B (zh) * 2016-01-20 2018-12-11 广东欧珀移动通信有限公司 一种音乐信息实时获取方法及装置
US10574373B2 (en) * 2017-08-08 2020-02-25 Ibiquity Digital Corporation ACR-based radio metadata in the cloud
US20190179598A1 (en) * 2017-12-11 2019-06-13 Panasonic Automotive Systems Company Of America Division Of Panasonic Corporation Of North America Suggestive preemptive radio turner

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002258873A (ja) * 2001-03-01 2002-09-11 Sony Corp 音楽認識装置及び音楽サービスシステム
JP2005517245A (ja) * 2002-02-06 2005-06-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 高速ハッシュに基づくマルチメディアオブジェクトのメタデータ検索
JP2007529029A (ja) * 2004-02-19 2007-10-18 ランドマーク、ディジタル、サーヴィセズ、エルエルシー 放送源の識別のための方法および装置
JP2007534030A (ja) * 2004-04-21 2007-11-22 キャッチ・メディア・インコーポレイティッド 携帯音楽プレーヤ及び送信機
US20080082510A1 (en) * 2006-10-03 2008-04-03 Shazam Entertainment Ltd Method for High-Throughput Identification of Distributed Broadcast Content
JP2009065551A (ja) * 2007-09-07 2009-03-26 Fujifilm Corp 関連情報伝達方法、関連情報伝達サーバ、端末装置、関連情報伝達システム
WO2009042697A2 (en) * 2007-09-24 2009-04-02 Skyclix, Inc. Phone-based broadcast audio identification

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266343B1 (en) * 1999-09-29 2007-09-04 Nokia Corporation Method of and system for providing identification of a piece of information
GB2375263A (en) * 2001-05-01 2002-11-06 Roke Manor Research Monitoring of vehicle radio
US20060003753A1 (en) * 2003-09-15 2006-01-05 Baxter John F Jr Method of Identifying Media Content Contemporaneous with Broadcast
KR100782055B1 (ko) * 2005-05-25 2007-12-04 (주)뮤레카 오디오유전자를 이용한 음악관련 정보 제공방법 및 시스템
KR101147753B1 (ko) * 2005-07-06 2012-05-25 엘지전자 주식회사 방송 프로그램 정보 송수신 기능을 갖는 이동통신단말기,기지국 서버 및 이를 이용한 방법
US20070011699A1 (en) * 2005-07-08 2007-01-11 Toni Kopra Providing identification of broadcast transmission pieces
US8296195B2 (en) 2006-11-13 2012-10-23 Joseph Harb Broadcast programming data capture
US8219399B2 (en) * 2007-07-11 2012-07-10 Garmin Switzerland Gmbh Automated speech recognition (ASR) tiling
CN100530196C (zh) * 2007-11-16 2009-08-19 北京交通大学 一种基于分层匹配的快速音频广告识别方法
US20090276801A1 (en) * 2008-04-30 2009-11-05 David Wayne Reece Method and system for customizing information
US8112494B2 (en) * 2008-08-13 2012-02-07 Mediawave International Corporation Systems and methods for provision of content data
CN101763848B (zh) * 2008-12-23 2013-06-12 王宏宇 一种用于音频内容识别的同步方法
CN102023995B (zh) * 2009-09-22 2013-01-30 株式会社理光 语音检索设备和语音检索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002258873A (ja) * 2001-03-01 2002-09-11 Sony Corp 音楽認識装置及び音楽サービスシステム
JP2005517245A (ja) * 2002-02-06 2005-06-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 高速ハッシュに基づくマルチメディアオブジェクトのメタデータ検索
JP2007529029A (ja) * 2004-02-19 2007-10-18 ランドマーク、ディジタル、サーヴィセズ、エルエルシー 放送源の識別のための方法および装置
JP2007534030A (ja) * 2004-04-21 2007-11-22 キャッチ・メディア・インコーポレイティッド 携帯音楽プレーヤ及び送信機
US20080082510A1 (en) * 2006-10-03 2008-04-03 Shazam Entertainment Ltd Method for High-Throughput Identification of Distributed Broadcast Content
JP2009065551A (ja) * 2007-09-07 2009-03-26 Fujifilm Corp 関連情報伝達方法、関連情報伝達サーバ、端末装置、関連情報伝達システム
WO2009042697A2 (en) * 2007-09-24 2009-04-02 Skyclix, Inc. Phone-based broadcast audio identification

Also Published As

Publication number Publication date
AU2012254217A1 (en) 2013-05-02
CN103718482A (zh) 2014-04-09
EP2707975B1 (en) 2019-01-02
AU2012254217B2 (en) 2014-11-27
AR086333A1 (es) 2013-12-04
BR112013028532A2 (pt) 2017-01-17
SG192711A1 (en) 2013-09-30
KR20140033397A (ko) 2014-03-18
MY184999A (en) 2021-04-30
SG185833A1 (en) 2012-12-28
EP2707975A1 (en) 2014-03-19
ZA201309176B (en) 2017-09-27
MX2013012668A (es) 2014-04-30
CA2834837A1 (en) 2012-11-15
EP2707975A4 (en) 2014-12-31
RU2013154588A (ru) 2015-06-20
TWI563809B (en) 2016-12-21
JP5907632B2 (ja) 2016-04-26
RU2585250C2 (ru) 2016-05-27
CO6801659A2 (es) 2013-11-29
CN103718482B (zh) 2017-05-17
WO2012154125A1 (en) 2012-11-15
TW201301802A (zh) 2013-01-01
UA113173C2 (xx) 2016-12-26
US20140089309A1 (en) 2014-03-27
KR101602175B1 (ko) 2016-03-10

Similar Documents

Publication Publication Date Title
JP5907632B2 (ja) 放送番組コンテンツを認識するシステム及び方法
US9563699B1 (en) System and method for matching a query against a broadcast stream
US7720432B1 (en) Content customization in asymmetric communication systems
US8571501B2 (en) Cellular handheld device with FM Radio Data System receiver
EP2415189B1 (en) Method for measuring audience to broadcast service and content at terminal
US20070011699A1 (en) Providing identification of broadcast transmission pieces
MXPA03002785A (es) Arquitectura de seleccion de sistema de insercion de anuncio multimedia por internet.
US11373215B2 (en) Substituting streaming station for over-the-air broadcast
US20080293393A1 (en) System and Method for Providing Commercial Broadcast Content Information to Mobile Subscribers
WO2006033835A2 (en) Method of identifying media content contemporaneous with broadcast
JP2003535555A (ja) マルチメディア・インターネット放送における広告を挿入するためのシステムおよび方法
US20200153522A1 (en) Acr-based radio metadata in the cloud
US20160182172A1 (en) Data communication with acoustic signal communication
US9467239B1 (en) Content customization in communication systems
US10283128B2 (en) Coded acoustic signal communication with separate code-associated data communication
US20080256176A1 (en) Internet radio system and the broadcasting method thereof
US20120172013A1 (en) mPulseRadio: An interactive broadcast radio system that enables real-time demographics collection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160318

R150 Certificate of patent or registration of utility model

Ref document number: 5907632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250