JP2017515429A - 低電力関連コンテンツ提供システム、方法、及びプログラムを記録したコンピューターで読むことができる記録媒体 - Google Patents

Abstract

コンテンツ（「主コンテンツ」という）を再生するコンテンツ再生機器から出力される音響を感知するステップと、感知した前記音響をデジタルデータに変換するステップと、デジタルデータから音波ＩＤを抽出するステップと、音波ＩＤに対応する関連コンテンツを選択するステップと、関連コンテンツをモバイル受信機が映像及び／または音声で表示するステップとを含むことを特徴とする関連コンテンツ提供方法が提供される。

Description

本発明は、コンテンツに含まれた音響を低電力で受信して、関連コンテンツを提供する低電力関連コンテンツ提供システム、方法、及びプログラムを記録したコンピューターで読むことができる記録媒体に関する。
本発明は、地方中小企業庁の国家研究開発事業（主管機関：中小企業技術情報振興院、課題固有番号：Ｓ２１４５０３２、研究事業名：健康診断連係創業成長技術開発事業、研究課題名：スマートフォンで精密な室内位置把握をするための音波多重接続技術開発）により支援を受けたものである。
［この発明を支援した国家研究開発事業］
［課題固有番号］Ｓ２１４５０３２
［部署名］地方中小企業庁
［研究管理専門機関］中小企業技術情報振興院
［研究事業名］健康診断連係創業成長技術開発事業
［研究課題名］スマートフォンで精密な室内位置把握をするための音波多重接続技術開発

従来の商品広告は、新聞、ラジオ及びＴＶ放送による直接的な広告だけでなく、映画、ドラマ、ラジオ放送などのコンテンツに登場する小品あるいは自然にコンテンツの一部として言及される商品に広告を出そうとする商品を適用して、間接的に商品を広告する技法（以下、商品間接広告あるいは間接広告と記す）などが広範囲に使用されている。特に、商品間接広告の場合は、視聴者及び聴取者に強い広告効果を提供するから、その比重がますます高まっている。しかしながら、従来の間接広告の場合、単純に画面に商品を露出したり音響で言及する水準に止まる。このために、視聴者あるいは聴取者は、商品に対する購買欲求が発生した場合にも、商品に対する関連情報と販売処を別に検索し、検索された情報に基づいて商品を購買しなければならないという問題点があり、このような問題点を解決するための技術が提案されている。例えば、韓国特許登録番号１０-１３１０９４３号（２０１３．９．１１）（放送コンテンツと関連したコンテンツ関連情報を提供するシステム及び方法）、韓国特許登録番号１０-１３１３２９３号（２０１３．９．２４）（放送コンテンツの付加情報提供システム及びその方法）、韓国特許登録番号１０-０８９３６７１号（２００９．４．９）（マルチメディアコンデンツのハッシュの生成及びマッチング）では、放送あるいは再生されるコンテンツの音響特徴を利用して、視聴者あるいは聴取者のモバイル受信機で視聴あるいは聴取しているコンテンツに含まれた商品間接広告に対する関連コンテンツを提供する方法を開示している。さらに他の一例を挙げると、韓国特許登録番号１０-１３６３４５４号（２０１４．２．１０）（ＴＶから出力される音響信号に基づいたユーザお誂え向き広告提供システム、ユーザお誂え向き広告を提供する方法、及びＭＩＭサービスプログラムを記録したコンピューターで読むことができる記録媒体）では、放送あるいは再生されるコンテンツに非可聴音波を挿入して、視聴者あるいは聴取者のモバイル受信機で視聴あるいは聴取しているコンテンツに含まれた商品間接広告に対する関連コンテンツを提供する方法を開示している。

しかしながら、上記の開示された技術では、視聴者あるいは聴取者がモバイル受信機を利用して積極的に関連コンテンツを要請しなければならないという問題点が依然として存在する。すなわち、コンテンツの再生時に関連コンテンツを受信するために、モバイル受信機のアプリケーションを実行するか、または関連コンテンツを提供するモバイル受信機のアプリケーションにコンテンツ認識を指示しなければならない。このように関連コンテンツを受信するにおいて、別の努力が必要なことは、受動的にコンテンツを楽しむ視聴者あるいは聴取者の行動パターンに反対になるか、別の努力をすることが視聴者あるいは聴取者の没入を妨害するから、提供される関連コンテンツの効用が低下するおそれがある。
一方、かかる問題は、モバイル受信機が音響特徴あるいは非可聴音波を持続的に抽出することによって解決できるが、これは制限されたバッテリーで動作するモバイル受信機に電力不足問題を引き起こす。

本発明の一実施の形態によれば、常時低電力で動作しながら視聴あるいは聴取中である主コンテンツに対する関連コンテンツを視聴者あるいは聴取者が積極的に探さなくても自動的に提供できる低電力関連コンテンツ提供システムが提供されることができる。

本発明の一実施の形態によれば、コンテンツ再生機器を介して放送あるいは再生される主コンテンツに含まれた音波ＩＤを低電力で抽出して、視聴者あるいは聴取者であるユーザのモバイル受信機を介してユーザの特別の努力なしであるいはユーザの主コンテンツに対する没入を妨害しないながら、主コンテンツに含まれた間接広告商品に対する関連コンテンツを提供する低電力関連コンテンツ提供システムが提供されることができる。

本発明の一実施の形態によれば、常時低電力で動作しながら視聴あるいは聴取中である主コンテンツに対する関連コンテンツを視聴者あるいは聴取者が積極的に探さなくても自動的に提供できる低電力関連コンテンツ提供方法が必要である。

本発明の一実施の形態によれば、コンテンツ再生機器を介して放送あるいは再生される主コンテンツに含まれた音波ＩＤを低電力で抽出して、視聴者あるいは聴取者であるユーザのモバイル受信機を介してユーザの特別の努力なしであるいはユーザの主コンテンツに対する没入を妨害しないながらコンテンツに含まれた間接広告商品に対する関連コンテンツを提供する方法が提供されることができる。

本発明の一実施の形態によれば、常時低電力で動作しながら視聴あるいは聴取中である主コンテンツの関連コンテンツを視聴者あるいは聴取者が積極的に探さなくても自動的に提供できる低電力関連コンテンツ提供方法をコンピューターで実行させるプログラムの記録された記録媒体が提供されることができる。

本発明の一実施の形態によれば、コンテンツ再生機器を介して放送あるいは再生される主コンテンツに含まれた音波ＩＤを低電力で抽出して、視聴者あるいは聴取者であるユーザのモバイル受信機を介してユーザの特別の努力なしであるいはユーザの主コンテンツに対する没入を妨害しないながら、主コンテンツに含まれた間接広告商品に対する関連コンテンツを提供する方法をコンピューターで実行させるプログラムの記録された記録媒体が提供されることができる。

本発明の一実施の形態によれば、低電力関連コンテンツ提供システム、方法、またはプログラムを記録したコンピューターで読むことができる記録媒体が提供されることができる。

本発明の一実施の形態によれば、コンテンツ（「主コンテンツ」という）を再生するコンテンツ再生機器から出力される音響を感知するステップと、感知した前記音響をデジタルデータに変換するステップと、前記デジタルデータから音波ＩＤを抽出するステップと、前記音波ＩＤに対応する関連コンテンツを選択するステップと、前記関連コンテンツをモバイル受信機が映像及び／または音声で表示するステップとを含むことを特徴とする関連コンテンツ提供方法が提供されることができる。

本発明の一実施の形態によれば、メモリ及びプロセッサを含むモバイル受信機において、コンテンツ（「主コンテンツ」という）を再生するコンテンツ再生機器から出力される音響を感知するマイクと、前記マイクが感知した音響をデジタルデータに変換するＡＤＣと、前記デジタルデータから音波ＩＤを抽出する音波ＩＤ抽出部と、前記音波ＩＤに対応して選択された関連コンテンツを表示する表示部とを備えることを特徴とする関連コンテンツを提供できるモバイル受信機が提供される。

本発明の一実施の形態によれば、メモリ、プロセッサ、コンテンツ（「主コンテンツ」という）を再生するコンテンツ再生機器から出力される音響を感知するマイク、前記マイクが感知した音響をデジタルデータに変換するＡＤＣを含むコンピューターに関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体であって、前記関連コンテンツ提供方法は、前記デジタルデータから音波ＩＤを抽出するステップと、前記音波ＩＤに対応して選択された関連コンテンツを前記コンピューターが備えた表示部を介して表示するステップと、を含むことを特徴とする関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体が提供されることができる。

本発明の一つ以上の実施の形態によれば、コンテンツ再生機器を介して放送あるいは再生される主コンテンツに含まれた音波ＩＤを低電力で抽出して、視聴者あるいは聴取者であるユーザのモバイル受信機を介してユーザの特別の努力なしであるいはユーザの主コンテンツに対する没入を妨害しないながら、主コンテンツに含まれた間接広告商品に対する関連コンテンツを提供できる。

本発明の一実施の形態にかかる関連コンテンツを音波ＩＤを利用して提供する関連コンテンツ提供システムを説明するための図である。 モバイル受信機の一実施の形態を説明するための図である。 モバイル受信機の他の実施の形態を説明するための図である。 本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。 本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。 本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。 本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。 主コンテンツを説明するための図である。 音響認識モジュールが低電力で動作するために、決まった周期に従って活性化されることを説明するための図である。 音響認識モジュールが主コンテンツの放送及び再生時間途中、音波ＩＤが抽出可能な時間に合せて活性化されることを説明するための図である。 音波ＩＤを抽出する過程を介して、音波ＩＤの存在が予め設定された確率以上と推定されるとき、音響認識モジュールの活性化周期を説明するための図である。 モバイル受信機内部の共有資源であるマイクを使用する他のアプリケーションが活性化されるイベントに応じて音響認識モジュールの周期が調整されることを説明するための図である。 モバイル受信機内部で共有資源であるマイクを使用する他のアプリケーションが実行されるイベントに応じて音響認識モジュールの周期が調整されることを説明するための図である。 音響認識モジュールが低電力で動作するために、モバイル受信機のイベントを通報される方法を説明するための図である。 音響認識モジュールが低電力で動作するために、モバイル受信機のイベントを通報される方法を説明するための図である。 音響認識モジュールが低電力で動作するために、モバイル受信機のイベントを通報される方法を説明するための図である。 本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。

以上の本発明の目的、他の目的、特徴及び利点は、添付された図面と関連した以下の好ましい実施の形態により容易に理解されるはずである。しかしながら、本発明は、ここで説明される実施の形態に限定されずに他の形態により具体化されうる。むしろ、ここで紹介される実施の形態は、開示された内容が徹底かつ完全になるように、そして当業者に、本発明の思想を十分に伝達させるために提供されるものである。

また、本明細書において使用された用語は、実施の形態を説明するためのもので、本発明を制限しようとするものではない。本明細書において、単数形は、文句において特に言及しない限り、複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」と言及された構成要素は、一つ以上の他の構成要素の存在又は追加を排除しない。

以下、図面を参照して本発明を詳細に説明する。以下の特定実施の形態を述べるにおいて、様々な特定の内容は、発明をさらに具体的に説明し理解に役立つために作成された。しかしながら、本発明を理解することができる程度のこの分野における知識を有した読者は、このような様々な特定の内容がなくても使用されうることを認知できる。ある場合には、発明を述べるにおいて周知で発明と大きく関連のない部分は、本発明を説明するにおいて特別の理由なしで混乱を引き起こすことを防止するために述べないことを予め言及しておく。

（１）用語の定義
-コンテンツ：映像、音響あるいは音響と映像とが複合した形態の構造的なデジタルデータであって、教育的、文化的、情報的、及び／または娯楽的価値を提供する情報を意味する。

-コンテンツ再生機器：コンテンツを再生する機器であって、例えばＴＶ、ラジオ、デスクトップコンピューターまたはモバイル機器（例：ラップトップコンピューター、タブレットコンピューター、スマートフォン、ウェアラブルコンピューターなど）のように、音響を再生するためのスピーカーあるいは音響出力端子を含み、追加的に映像を表示するためのモニターあるいは映像出力端子を含むことができる。

-コンテンツ：ｉ）主コンテンツまたは関連コンテンツを意味するか、またはｉｉ）主コンテンツと関連コンテンツともを通称する意味として使用される。

-主コンテンツ：コンテンツ再生機器を介して出力（放送あるいは再生）されるコンテンツである。

-関連コンテンツ：モバイル受信機を介して出力されるコンテンツであって、コンテンツ再生機器を介して出力される主コンテンツの内容あるいは内容を伝達するための背景知識と関連した音響、映像、文書、インターネットアドレスなどの情報及び／またはこれらを指すデジタル識別子値を意味する。例えば、関連コンテンツは、コンテンツ編成の制約あるいは諸般法規の制約などで主コンテンツに含まれ難いコンテンツ、視聴者あるいは聴取者の参加を誘導するコンテンツ、視聴者あるいは聴取者の注意を得難い間接広告に関するコンテンツ、または間接広告に出てくる商品に関する情報あるいは商品の購買に関するコンテンツでありうる。

-モバイル受信機：関連コンテンツを出力できる機器であって、主コンテンツに含まれた音響を分析することができるように、マイク及びＡＤＣ（Ａｎａｌｏｇ-Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を含み、主コンテンツの音響を分析して主コンテンツを把握するか、または主コンテンツの相対的時間位置を把握した後、主コンテンツの全てまたは主コンテンツに含まれた一部と関連している関連コンテンツを視覚あるいは聴覚で認知できる形態でコンテンツ視聴者あるいは聴取者に提供するモバイル機器である。このとき、視聴者あるいは聴取者は、モバイル受信機を所有した人でありうる。例えば、モバイル受信機は、ラップトップコンピューター、タブレットコンピューター、スマートフォン、またはウェアラブルコンピューターなどのようなモバイル機器でありうる。

-商品間接広告あるいは間接広告：主コンテンツの全てあるいは一部として含まれた商品、サービス、ブランドロゴ、タグラインなどのように広告として主コンテンツ映像の一部または音響の一部として出力される広告である。商品間接広告あるいは間接広告は、協賛広告（コンテンツの製作時に無料あるいは割引された価格で現物を提供して、コンテンツの一部として露出させる広告）を含む概念であって、関連コンテンツは、例えば商品間接広告または間接広告と関連したコンテンツである。

-間接広告商品：商品間接広告あるいは間接広告により主コンテンツの全てあるいは一部として出力される商品またはサービスであり、具体的な形態を有した商品だけでなく、サービス、ブランド、ロゴ、及びタグラインなどを含む意味として使用される。

-音波ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）：音波ＩＤは、（１）主コンテンツの音響に人為的に挿入された非可聴音響が表すデジタルデータ（非可聴音波ＩＤ）であるか、または（２）主コンテンツの一部として含まれている音響から抽出することができる音響の特徴を表す縮約されたデジタルデータ（可聴指紋ＩＤ）である。人為的に挿入された非可聴音波ＩＤは、心理音響（Ｐｓｙｃｈｏａｃｏｕｓｔｉｃｓ）を利用して人に聞こえない非可聴音波に変調された特徴を有する。音響の特徴を表す可聴指紋音波ＩＤは人為的な挿入を必要としないが、主コンテンツに音響がある時においてのみ抽出することができる。２種類の音波ＩＤは、全部（１）主コンテンツを識別するか、または（２）主コンテンツ内の相対的時間位置を識別するか、（３）主コンテンツ内の間接広告と関連した関連コンテンツを識別するか、または（４）主コンテンツ内の相対的時間位置での間接広告と関連した関連コンテンツを識別するのに使用されることができる。非可聴音波ＩＤは、一連番号、有意味な単語あるいはインターネットリンクなどを含むことができる。可聴指紋音波ＩＤは、ＳＶＤ／ＥＶＤ（Ｓｉｎｇｕｌａｒ／Ｅｉｇｅｎ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、最大ランドマーク感知（Ｐｅａｋ Ｌａｎｄｍａｒｋｓ Ｄｅｔｅｃｔｉｏｎ）、零点交差回数（Ｚｅｒｏ-ｃｒｏｓｓｉｎｇ ｃｏｕｎｔｉｎｇ）、ＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔ）、ＰＬＰＣ（Ｐｅｒｃｅｐｔｕａｌ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）、ＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）などの技術をハッシュ関数（Ｈａｓｈ Ｆｕｎｃｔｉｏｎ）として使用して抽出でき、抽出された値は、ハッシュキー（Ｈａｓｈ Ｋｅｙ）として使用されることができる。非可聴音波ＩＤの記述（ｄｅｓｃｒｉｐｔｉｏｎ）の便宜のために、非可聴音波ＩＤは、デジタルデータが変調されたアナログ形態の非可聴音波と変調前のデジタルデータ、復調後のデジタルデータのうちの何れか一つを指すことができる。また、記述の便宜のために、音響の特徴を抽出して得る可聴指紋音波ＩＤは、抽出された特徴デジタルデータ、これを抽出できる主コンテンツ音響の一部、モバイル受信機が感知した特徴デジタルデータを抽出できる主コンテンツ音響の一部、モバイル受信機が抽出した特徴デジタルデータのうちの何れか一つを指すことができる。

-音響認識モジュール：音波ＩＤを感知し抽出するために使用される少なくとも一つの構成要素を通称する意味として使用され、例えばマイク、ＡＤＣ、音波ＩＤ抽出部、及び関連コンテンツ提供アプリケーションのうちの何れか一つを通称できる。

（２）関連コンテンツ提供システム
図１は、本発明の一実施の形態にかかる関連コンテンツを音波ＩＤを利用して提供するシステム（以下、関連コンテンツ提供システムという）を説明するための図である。

図１を参照すると、関連コンテンツ提供システムは、コンテンツ再生機器１００から出力される主コンテンツの全てまたは一部と関連した関連コンテンツをモバイル受信機２００を介して提供するシステムである。

モバイル受信機２００は、例えば、主コンテンツとして出力される映像と音響のうち、少なくともいずれか一つと関連した広告を含む関連コンテンツを提供できる。一例として、モバイル受信機２００は、主コンテンツから出力される映像で表示されたあるいは音響で言及された間接広告商品に対する関連コンテンツを提供できる。一実施の形態によれば、モバイル受信機２００は、主コンテンツから出力される映像で表示されたあるいは音響で言及された間接広告商品が複数である場合、これらの各々と関連した関連コンテンツを提供できる。

本実施の形態にかかる関連コンテンツ提供システムは、コンテンツ再生機器１００、モバイル受信機２００、及びサーバ３００を備えることができる。

コンテンツ再生機器１００は、映像及び／または音響を出力できる。モバイル機器２００は、コンテンツ再生機器１００により出力される音響から音波ＩＤを少なくとも一つ以上抽出できる。例えば、音波ＩＤは、関連コンテンツデータベース（Ｄａｔａｂａｓｅ、ＤＢ）（音波ＩＤと関連コンテンツとが互いに対応したＤＢ）を介して関連コンテンツと対応していることができる。

例えば、音波ＩＤは、主コンテンツを識別するか、主コンテンツ内の相対的時間位置を識別するか、主コンテンツ内の間接広告と関連した（対応した）関連コンテンツを識別するか、または主コンテンツ内の相対的時間位置での間接広告と関連した（対応した）関連コンテンツを識別するのに使用されることができる。

コンテンツ再生機器１００は、例えば、ＴＶ、ラジオ、デスクトップコンピューター及びモバイル機器（例：ラップトップコンピューター、タブレットコンピューター、スマートフォン、ウェアラブルコンピューターなど）等、音響を再生するためのスピーカーあるいは音響出力端子を含み、追加的に映像を表示するためのモニターあるいは映像出力端子を含むことができる。

モバイル受信機２００は、コンテンツ再生機器１００から出力される主コンテンツの音響に含まれた音波ＩＤを抽出でき、音波ＩＤに対応する関連コンテンツを視覚あるいは聴覚で認知できる形態で主コンテンツ視聴者あるいは聴取者に提供するモバイル機器である。このとき、視聴者あるいは聴取者は、モバイル受信機を所有した人でありうる。例えば、モバイル受信機２００は、ラップトップコンピューター、タブレットコンピューター、スマートフォン、ウェアラブルコンピューターなどのモバイル機器を含むことができる。また、モバイル受信機２００は、音波ＩＤ受信のためのマイク（図示せず）とＡＤＣ（図示せず）を含むことができる。

本実施の形態において、モバイル受信機２００は、音波ＩＤを抽出すると、サーバ３００に音波ＩＤを送信し、サーバ３００から音波ＩＤに対応した関連コンテンツを受信して、音響または映像で表示できる。例えば、モバイル受信機２００は、お知らせメッセージ、映像、及び／または音声などの形態でユーザに音波ＩＤに対応した関連コンテンツを表示できる。

本実施の形態において、モバイル受信機２００は、ラップトップコンピューター、タブレットコンピューター、ウェアラブルコンピューター、スマートフォンなどのモバイル機器のように移動性を有した装置であって、音響を認識するためのマイク（図示せず）、サーバとの通信のための通信部（図示せず）、コンピュータープロセッサ（図示せず）、メモリ（図示せず）、及びプログラム（図示せず）を含むことができる。ここで、プログラムは、コンピュータープロセッサの制御下にメモリにローディングされて、諸動作（例えば、音波ＩＤを認識し、認識した音波ＩＤをサーバ３００に送信し、サーバ３００から受信した関連コンテンツをお知らせメッセージ、映像、及び／または音声などの形態で表現する動作）を行うことができる。

次に、音波ＩＤがコンテンツにどのように含まれることができるかについて説明する。
主コンテンツに音波ＩＤを挿入し抽出する技術は、以下のような特許出願文献に開示された技術を利用できる。

例えば、ＩＤを音響に挿入する技術と、そして音響に挿入されたコンテンツＩＤを抽出する技術は、例えば、本発明者が２０１２年４月１２日付で韓国特許庁に特許出願した特許出願番号１０-２０１２-００３８１２０号（音響システムを利用してモバイル端末機の位置を推定する位置推定方法、及び位置推定システムと、これに使用される音響システム）に開示された技術を利用できる。

他の例として、本発明者が２０１２年７月１８日付で韓国特許庁に特許出願した特許出願番号１０-２０１２-００７８４１０号（近接性データ収集方法及びシステム）に開示された技術（音響信号中にＩＤを含め、音響信号に含まれたＩＤを認識して抽出する技術）を利用することも可能である。

さらに他の例として、本発明者が２０１２年５月１８日付で韓国特許庁に特許出願した特許出願番号１０-２０１２-００５３２８６号（スピーカーの識別のためのシステム及びこれを利用した位置推定システム）に開示された技術（音響信号中にＩＤを含め、音響信号に含まれたＩＤを認識して抽出する技術）を利用することも可能である。

他の例として、本発明者が２０１２年７月１８日付で韓国特許庁に特許出願した特許出願番号１０-２０１２-００７８４４６号（近接性情報を利用したユーザ間親密度算出方法及び装置）に開示された技術（音響信号中にＩＤを含め、音響信号に含まれたＩＤを認識して抽出する技術）を利用することも可能である。

さらに他の例として、本発明者が２０１３年９月６日付で韓国特許庁に特許出願した特許出願番号１０-２０１３-０１０７６０４号（時変周波数基盤のシンボルを利用した音波送受信方法及びこれを利用した装置）に開示された技術（音響信号中にデジタル情報を含め、音響信号に含まれたデジタル情報を認識して抽出する技術）を利用することも可能である。

一方、上述の特許出願番号１０-２０１２-００３８１２０、１０-２０１２-００７８４１０、１０-２０１２-００５３２８６、１０-２０１２-００７８４４６、及び１０-２０１３-０１０７６０４の各々の明細書に開示された技術は、全部本願明細書に結合されて、本願明細書の一部として取り扱われる。

主コンテンツに含まれた音響の特徴に該当する可聴指紋音波ＩＤを抽出する技術は、以下のような特許出願文献に開示された技術を利用できる。

例えば、韓国特許登録番号１０-１３１０９４３号（２０１３．９．１１）（放送コンテンツと関連したコンテンツ関連情報を提供するシステム及び方法）、韓国特許登録番号１０-１３１３２９３号（２０１３．９．２４）（放送コンテンツの付加情報提供システム及びその方法）、韓国特許登録番号１０-０８９３６７１号（２００９．４．９）（マルチメディアコンデンツのハッシュの生成及びマッチング）に開示された技術を利用することが可能である。

一方、上述の韓国特許登録番号１０-１３１０９４３、１０-１３１３２９３、及び１０-０８９３６７１の各々の明細書に開示された技術は、全部本願明細書に結合されて、本願明細書の一部として取り扱われる。

サーバ３００は、モバイル受信機２００から音波ＩＤを受信することができ、音波ＩＤ別に関連コンテンツが対応した関連コンテンツＤＢ（図示せず）を参照して音波ＩＤに対応した関連コンテンツを選択し、選択した関連コンテンツをモバイル受信機２００に送信する。

本実施の形態におけるサーバ２００は、例えば、広告を格納及び管理する広告サーバであるか、または同じグループに属した友人に文字及び／またはマルチメディアデータを送信するＭＩＭ（Ｍｕｌｔｉｍｅｄｉａ Ｉｎｓｔａｎｔ Ｍｅｓｓｅｎｇｅｒ）サービスサーバでありうる。

サーバ２００がＭＩＭサービスサーバにより具現化される場合、サーバ２００は、ＭＩＭサービスサーバと相互作用するクライアントプログラムに、関連コンテンツを送信する。

（３）音波ＩＤを抽出するモバイル受信機
図２は、モバイル受信機の一実施の形態を説明するための図である。
図２を参照すると、モバイル受信機２００は、マイク２０１、ＡＤＣ２０３、プロセッサ２０７、メモリ２０９、格納装置２１１、表示部２１３、通信部２１５を備えることができる。

一実施の形態によれば、マイク２０１は、コンテンツ再生機器１００から出力される音響を感知できる。すなわち、受信される音響を電気的信号に変換できる。

一実施の形態によれば、ＡＤＣ２０３は、マイク１０１で感知したアナログ音波信号である音響をデジタルデータに変換する。一実施の形態においてＡＤＣ２０３は、マイクが感知した予め設定された周波数範囲あるいはハードウェアが許容する最大周波数範囲内の音波信号をデジタルデータに変換できる。

代案的な実施の形態によれば、ＡＤＣ２０３は、音響が予め設定された所定の閾値（Ｔｈｒｅｓｈｏｌｄ）以上の強度を有する時においてのみデジタルデータに変換することもできる。また、ＡＤＣ２０３は、予め設定された周波数範囲内の音響が予め設定された所定閾値以上の強度を有する時においてのみデジタルデータに変換することもできる。

閾値は、例えば、信号対雑音比（ＳＮＲ）のような相対的値または音響の強度のような絶対的値でありうる。

プロセッサ２０７は、コンピューター命令語を解析し実行する装置であって、一般的な汎用コンピューターの中央処理装置（ＣＰＵ）でありえ、スマートフォンのようなモバイルデバイスの場合、例えばアプリケーションプロセッサ（ＡＰ）を意味でき、メモリ２０９にローディングされたプログラムを実行できる。

メモリ２０９は、ランダムアクセスメモリ（ＲＡＭ）のような揮発性格納装置により具現化されることができ、モバイルデバイス２００の駆動に必要なオペレーティング・システム（ＯＳ）、アプリケーション、データなどがメモリ２０９にローディング（ｌｏａｄ）されることができる。格納装置２１１は、データを格納する非揮発性格納装置であって、例えば、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードなどの装置により具現化されることができる。

表示部２１３は、ユーザに音声、映像、及び／またはテキストでコンテンツを表示できる。例えば、表示部２１３は、ディスプレイ部と音響出力端子あるいはこれと接続したスピーカーのような装置により具現化されることができる。

通信部２１５を外部と通信をするための装置により具現化されることができる。例えば、通信部２１５は、サーバ１００と通信できる。

一実施の形態によれば、メモリ２０９には、プロセッサ２０７の制御下に関連コンテンツ提供アプリケーション２２３がローディングされて動作できる。このような関連コンテンツ提供アプリケーション２２３は、マイク２０１とＡＤＣ２０３を利用して音響を受信し、音響から音波ＩＤを成功的に抽出した場合、抽出された音波ＩＤを通信部２１５を介してサーバ３００に送信する。

一実施の形態によれば、関連コンテンツ提供アプリケーション２２３は、追加的な機能として、ＡＤＣ２０３により感知された音響が閾値以上の強度を有するかどうかを判断し、音響が予め設定された閾値以上の強度を有する時においてのみ音響から音波ＩＤを抽出する機能を具備できる。

他の一実施の形態によれば、関連コンテンツ提供アプリケーション２２３は、追加的な機能として、ＡＤＣ２０３により感知された音響が予め設定された周波数範囲内で閾値以上の強度を有するかどうかを判断し、音響が予め設定された周波数範囲内で予め設定された閾値以上の強度を有する時においてのみ感知された音響から音波ＩＤ抽出する機能を具備できる。

さらに他の実施の形態によれば、音波ＩＤを感知及び抽出する動作は、関連コンテンツ提供アプリケーション２２３でない別のハードウェアにより具現化されることも可能である。すなわち、図２において点線で表示した、音波ＩＤ抽出部２０５は、ハードウェアにより具現化されたものであって、モバイル受信機２００は、音波ＩＤ抽出部２０５をさらに備えるように構成されることができる。このような場合、音波ＩＤ抽出部２０５は、ＡＤＣ２０３により変換されたデジタルデータから音波ＩＤを抽出し、関連コンテンツ提供アプリケーション２２３は、音波ＩＤ抽出部２０５が抽出した音波ＩＤを通信部２１５を介してサーバ３００に送信する。

本発明の一実施の形態によれば、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、及び関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つは非活性化されている途中で、スケジュールまたは予め決められたイベントが発生する場合に活性化されて、自身の動作を行うことができる。

一例として、マイク２０１とＡＤＣ２０３とは、スケジュールまたは予め決められたイベントが発生する場合に活性化されて、自身の動作を行うことができる。このような例において、マイク２０１とＡＤＣ２０３とは非活性化されている途中で、スケジュールまたは予め決められたイベントが発生する場合に活性化される構成要素である。

一例として、関連コンテンツ提供アプリケーション２２３がマイク２０１により感知された音響が予め設定された周波数範囲内で閾値以上の強度を有するかどうかを判断する機能を具備するように具現化された場合には、マイク２０１とＡＤＣ２０３とが活性化される時、関連コンテンツ提供アプリケーション２２３も共に活性化されて諸動作を行う。

一例として、関連コンテンツ提供アプリケーション２２３が音波ＩＤを抽出する機能を具備するように具現された場合には、マイク２０１とＡＤＣ２０３が活性化される時に、関連コンテンツ提供アプリケーション２２３も共に活性化されて諸動作を行う。

一例として、音波ＩＤ抽出機能が音波ＩＤ抽出部２０５により行われる実施の形態においては、音波ＩＤの抽出が成功した場合においてのみ、関連コンテンツ提供アプリケーション２２３が活性化されることができる。活性化された関連コンテンツ提供アプリケーション２２３は、抽出された音波ＩＤをサーバ３００に送信しサーバ３００から音波ＩＤに対応する関連コンテンツを受信して、表示部２１３を介して音声及び／または映像で表示できる。これとは異なり、活性化された関連コンテンツ提供アプリケーション２２３は、抽出された音波ＩＤに対応する関連コンテンツを検索して選択し、表示部２１３を介して音声及び／または映像で表示できる。このような場合、メモリ２０９に関連コンテンツデータベースがローディングされていることができ、関連コンテンツ提供アプリケーション２２３は、関連コンテンツデータベースを検索して、音波ＩＤに対応する関連コンテンツを選択できる。

一例として、マイク２０１は、非活性化されている途中でスケジュールまたはイベントが発生した場合に活性化され、仮にマイク２０１が音響を感知するようになると（例えば、予め設定された帯域に属した音響を感知した場合）に、他の構成要素（例えば、ＡＤＣ２０３、関連コンテンツ提供アプリケーション２２３、音波ＩＤ抽出部２０５等）が同時または順次に活性化されることができる。

一例として、マイク２０１により音響が感知された場合に、感知された音響が予め設定された閾値以上の強度を有するかどうかを判断する構成要素（例えば、関連コンテンツ提供アプリケーション）が活性化されることができる。そして、感知された音響が予め設定された閾値以上の強度を有すると判断された場合に、音波ＩＤを抽出する構成要素（例えば、音波ＩＤ抽出部）が活性化される。

スケジュールに対するより詳細な説明は、図４を参照して説明した実施の形態を参照してほしい。スケジュールに従って規則的な周期でまたは不規則的な周期で活性化される動作については、図９ないし図１１を参照して説明した実施の形態を参照し、予め決められたイベントが発生する活性化される動作については、図１２ないし図１４を参照して説明した実施の形態を参照してほしい。

一例として、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つの構成要素は、非活性化されている途中で、主コンテンツスケジュールを参照して作成されたスケジュールに従って一定の周期でまたは不規則的な周期で活性化されることができる。例えば、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つの構成要素は、主コンテンツが再生される時間の間においてのみ予め設定された周期で活性化されることができる。これとは異なり、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つの構成要素は、主コンテンツが再生される時間の間には、予め設定された周期で行われ、主コンテンツが再生されない時間の間には、上記の予め設定された周期よりさらに長い周期で行われることができる。

一例として、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つの構成要素は、音波ＩＤスケジュールを参照して作成されたスケジュールに従って、一定の周期でまたは不規則的な周期で活性化されることができる。例えば、音波ＩＤを抽出できる時間において活性化されることができる。

一例として、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つの構成要素は、予め設定された周期で行われてから、音波ＩＤの抽出には失敗したが、音波ＩＤが存在すると判断される場合には、上記の予め設定された周期よりさらに短い周期で活性化されることができる。以後、ＩＤが抽出されると、本来の周期で行われることができる。

一例として、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つの構成要素は、予め設定された周期で行われている途中で、以下の式、
閾値＞感知された音響の強度＞（α×閾値）（式中、αは１より小さい）
を満たす場合には、上記の設定された周期より短い周期で行われることができる。すなわち、一実施の形態において、本発明の発明者は、感知された音響の強度が閾値よりは小さいが、閾値に近接する程の場合には、音波ＩＤが存在する音響が存在する可能性があると判断し、上記の式を満たす場合には、本来の周期よりさらに短い周期で、上記の構成要素が活性化されるように構成した。

一例として、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つの構成要素は、予め決められたイベントが発生すると、活性化されることができる。ここで、イベントは、例えば、特定アプリケーションが実行される場合、モバイル受信機２００が有した表示部が活性化または非活性化される場合、またはモバイル受信機２００が外部からプッシュメッセージを受信する場合を意味できる。

ここで、特定アプリケーションは、マイクを自分だけが専用で使用するアプリケーションでありうるが、これは例示に過ぎず、他のアプリケーションも該当することができる。

一例として、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つの構成要素は、予め設定された周期で行われている途中で、予め決められたイベントが発生すると、実行されないように構成されることができる。そして、予め決められたイベントが終了すると、本来の周期に従って活性化される。

一例として、マイク２０１、ＡＤＣ２０３、音波ＩＤ抽出部２０５、表示部２１３、通信部２１５、関連コンテンツ提供アプリケーション２２３のうち、少なくとも一つの構成要素は、予め決められたイベントが発生すると、プロセッサ２０７は、イベント発生事実をモバイル受信機２００が有したオペレーティング・システム（ＯＳ）（図示せず）（メモリ２０９にローディングされていることができる）に伝達し、オペレーティング・システムは、イベントの発生事実をモバイル受信機２００で動作するアプリケーションに各々対応して備えられたフィルタ（図示せず）（メモリ２０９にローディングされていることができる）に各々伝達し、これらの各々のフィルタは、予め設定されたことに従ってイベントの発生事実を自分に対応したアプリケーションに伝達するか、または伝達しない。これらの動作に対するさらに詳細な説明は、図１４を参照して説明した実施の形態を参照してほしい。

図３は、モバイル受信機の他の実施の形態を説明するための図である。
図３に示すように、本モバイル受信機４００は、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、プロセッサ４０７、メモリ４０９、格納装置４１１、表示部４１３、通信部４１５を含むことができる。

図３の実施の形態と図２の実施の形態とを比較すると、図２の音波ＩＤ抽出部２０５が低電力音響強度測定部４０２と音波パターン認識部４０４とに分離されて構成されたことが分かる。

一実施の形態によれば、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は、スケジュールに従って活性化されるか、または予め決められたイベントが発生すると、活性化されることができる。スケジュールは、一定の周期でまたは不規則的な周期で活性化されるように作成されたことでありうる。スケジュールに対するより詳細な説明は、図４を参照して説明した実施の形態を参照してほしい。スケジュールに従って一定の周期でまたは不規則的な周期で活性化される動作については、図９ないし図１１を参照して説明した実施の形態を参照し、予め決められたイベントが発生する活性化される動作については、図１２ないし図１４を参照して説明した実施の形態を参照してほしい。

一例として、マイク４０１、低電力音響強度測定部４０２、及びＡＤＣ４０３はスケジュールまたは予め決められたイベントが発生する場合に活性化されて自身の動作を行うことができる。このような例において、マイク４０１、低電力音響強度測定部４０２、及びＡＤＣ４０３は非活性化されてから、スケジュールまたは予め決められたイベントが発生する場合に活性化される構成要素である。

一例として、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、及び音波パターン認識部４０４は、スケジュールまたは予め決められたイベントが発生する場合に活性化されて、自身の動作を行うことができる。

一例として、音波ＩＤの抽出が成功した場合においてのみ、関連コンテンツ提供アプリケーション４２３が活性化されることができる。活性化された関連コンテンツ提供アプリケーション４２３は、抽出された音波ＩＤをサーバ３００に送信しサーバ３００から音波ＩＤに対応する関連コンテンツを受信して、表示部４１３を介して音声及び／または映像で表示できる。これとは異なり、活性化された関連コンテンツ提供アプリケーション４２３は、音波ＩＤに対応する関連コンテンツを検索して選択し、表示部４１３を介して音声及び／または映像で表示できる。このような場合、メモリ４０９に関連コンテンツデータベースがローディングされていることができ、関連コンテンツ提供アプリケーション４２３は、関連コンテンツデータベースを検索して音波ＩＤに対応する関連コンテンツを選択できる。

一例として、マイク４０１は、非活性化されている途中でスケジュールまたはイベントが発生した場合に活性化され、仮に、マイク４０１が音響を感知するようになると（例えば、予め設定された帯域に属した音響を感知した場合に）、他の構成要素（例えば、ＡＤＣ４０３、関連コンテンツ提供アプリケーション４２３、低電力音響強度測定部４０２、または音波パターン認識部４０４が同時または順次に活性化されることができる。

一例として、マイク４０１により音響が感知された場合に、感知された音響が予め設定された閾値以上の強度を有するかどうかを判断する低電力音響強度測定部が活性化されることができる。そして、感知された音響が予め設定された閾値以上の強度を有すると判断された場合に、音波ＩＤを抽出する音波パターン認識部４０４が活性化されることができる。

一例として、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は非活性化されている途中で、主コンテンツスケジュールを参照して作成されたスケジュールに従って、一定の周期でまたは不規則的な周期で活性化されることができる。例えば、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は、主コンテンツが再生される時間の間においてのみ予め設定された周期で活性化されることができる。これとは異なり、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は、主コンテンツが再生される時間の間には予め設定された周期で行われ、主コンテンツが再生されない時間の間には本来の周期よりさらに長い周期で行われることができる。

一例として、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は、音波ＩＤスケジュールを参照して作成されたスケジュールに従って、一定の周期でまたは不規則的な周期で活性化されることができる。例えば、音波ＩＤを抽出できる時間に活性化されることができる。

一例として、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は、予め設定された周期で行われている途中で、音波ＩＤの抽出には失敗したが、音波ＩＤが存在すると判断される場合には、本来の周期よりさらに短い周期で活性化されることができる。以後、ＩＤが抽出されると、本来の周期で行われることができる。

一例として、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は、予め設定された周期で行われている途中で、以下の式
閾値＞感知された音響の強度＞（α×閾値）（式中、αは１より小さい）
を満たす場合には、上記の設定された周期より短い周期で行われることができる。すなわち、一実施の形態において、本発明の発明者は、感知された音響の強度が閾値よりは小さいが、閾値に近接する程の場合には、音波ＩＤが存在する音響が存在する可能性があると判断して、上記の式を満たす場合には、本来の周期よりさらに短い周期で、上記の構成要素が活性化されるように構成した。

一例として、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は、予め決められたイベントが発生すると、活性化されることができる。ここで、イベントは、例えば、特定アプリケーションが実行される場合、モバイル受信機２００が有した表示部が活性化または非活性化される場合、またはモバイル受信機２００が外部からプッシュメッセージを受信する場合を意味できる。

ここで、特定アプリケーションは、マイクを自分だけが専用で使用するアプリケーションでありうるが、これは例示に過ぎず、他のアプリケーションも該当されることができる。

一例として、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は、予め設定された周期で行われている途中で、予め決められたイベントが発生すると、実行されないように構成されることができる。そして、予め決められたイベントが終了すると、本来の周期に従って活性化される。

一例として、マイク４０１、低電力音響強度測定部４０２、ＡＤＣ４０３、音波パターン認識部４０４、及び関連コンテンツ提供アプリケーション４２３のうち、少なくとも一つの構成要素は、予め決められたイベントが発生すると、プロセッサ４０７は、イベント発生事実をモバイル受信機４００が有したオペレーティング・システム（ＯＳ）（図示せず）（メモリ４０９にローディングされていることができる）に伝達し、オペレーティング・システムは、イベントの発生事実をモバイル受信機４００で動作するアプリケーションに各々対応して備えられたフィルタ（図示せず）（メモリ４０９にローディングされていることができる）に各々伝達し、これらの各々のフィルタは、予め設定されたことに応じて、イベントの発生事実を自分に対応したアプリケーションに伝達するか、または伝達しない。これらの動作に対するより詳細な説明は、図１４を参照して説明した実施の形態を参照してほしい。

一実施の形態によれば、低電力音響強度測定部４０２は、低い電力を消費するが、持続的に活性化されており、音波パターン認識部４０４は、低電力音響強度測定部４０２より相対的に電力をより消費するが、主に非活性化されており、スケジュールに従って活性化されるか、または予め決められたイベントが発生すると（すなわち、間歇的に）活性化される。低電力音響強度測定部４０２は、音響の特定周波数範囲内の音響を感知でき、感知した音響の強度が予め設定された閾値以上の強度を有するかどうかを持続的に判断できる。

本実施の形態において、低電力音響強度測定部４０２は、マイク４０１を介して入力された音響が予め設定された周波数範囲内で予め設定された閾値以上の強度を有するかどうかを判断する。万が一、強度が閾値以上の強度を有する場合、低電力音響強度測定部４０２は、低電力動作のために非活性化されていたＡＤＣ４０３と音波パターン認識部４０４とを活性化させることができる。このとき、活性化されたＡＤＣ４０３は、音響をデジタルデータに変換して、活性化された音波パターン認識部４０４に伝達できる。

一実施の形態によれば、音波パターン認識部４０４は、ＡＤＣ４０３からデジタルデータ形態の音響を受信し、受信した音響から音波ＩＤが含まれていると、音波ＩＤを抽出できる。このとき、プロセッサ４０７が低電力で動作するために非活性化されている場合、音波パターン認識部４０４は、プロセッサ４０７を活性化させる。本実施の形態において、音波パターン認識部４０４は、抽出した音波ＩＤを関連コンテンツ提供アプリケーション４２３に提供する。

他の実施の形態によれば、音波パターン認識部４０４は、ＡＤＣ４０３からデジタルデータ形態の音響を受信し、受信した音響と予め格納された少なくとも一つの音波ＩＤとを比較して、ＡＤＣ４０３から受信した音響から音波ＩＤが抽出されることができるかどうかを判断した後に、音波ＩＤが抽出されることができると判断されると、直接音波ＩＤを抽出する。代案的な実施の形態によれば、音波パターン認識部４０４は、ＡＤＣ４０３から受信した音響から音波ＩＤが抽出されることができるかどうかを判断し、仮に、音波ＩＤが抽出されることができると判断されると、ＡＤＣ４０３から受信した音響を関連コンテンツ提供アプリケーション４２３に提供し、関連コンテンツ提供アプリケーション４２３は、音波ＩＤを抽出できる。

一方、音波ＩＤを感知及び抽出する動作を別のハードウェアにより具現化する技術は、以下のような特許出願文献に開示された技術を利用できる。

例えば、低電力で非可聴音響に変調された音波を抽出する技術は、例えば、本発明者が２０１３年１１月２０日付で韓国特許庁に特許出願した特許出願番号１０-２０１３-０１４１５０４号（低電力音波受信方法及びこれを利用したモバイル機器）に開示された技術を利用できる。

一方、上述の特許出願番号１０-２０１３-０１４１５０４の明細書に開示された技術は、全部本願明細書に結合されて、本願明細書の一部として取り扱われる。

一方、メモリ４０９には、プロセッサ４０７の制御下に動作するＤＭＢアプリケーションまたは動画プレーヤーまたはこれを通じてコンテンツを再生するのに必須なコーデック（Ｃｏｄｅｃ）２２１がローディングされることができる。このようなＤＭＢアプリケーションまたは動画プレーヤーまたはコーデック２２１は、格納装置４１１に格納されている途中で、ユーザの命令などによってメモリ４０９にローディングされて動作できる。また、図示していないが、サーバ３００からメッセージが到着すると、メッセージ処理プログラム（図示せず）がメモリ４０９にローディングされて、前記メッセージを表示部４１３を介して表示できる。

一方、図３の実施の形態で説明しない構成要素は、図２の実施の形態において類似の図面番号が付与された構成要素の動作と同一または似ているので、図２の実施の形態の説明を参照してほしい。

（４）低電力音波ＩＤ抽出
本願明細書では、本発明の説明の目的のために、用語「音響認識モジュール」は、モバイル受信機が含むマイク、ＡＤＣ、音波ＩＤ抽出部、関連コンテンツ提供アプリケーション、低電力音響強度測定部、及び音波パターン認識部のうち、少なくとも何れか一つの構成要素を意味し、これらの少なくとも一つの構成要素は、音波ＩＤを感知または抽出するか、音波ＩＤを感知または抽出する構成要素を活性化させる動作を行う。

本発明の一実施の形態によれば、音響認識モジュールは低電力で動作するために、スケジュールに従ってまたは予め決められたイベントが発生すると（すなわち、間歇的に）活性化され、活性化された時に音響を感知し音波ＩＤを感知して抽出する動作を行う。このとき、活性化とは、音響認識モジュールが電力消費を最小化するために最小限の機能のみをしている状態で、音波ＩＤの感知及び抽出が可能な状態になるために必要なハードウェアモジュールを実行するか、または必要なソフトウェアを実行するか、または必要な入力情報をオペレーティング・システムから要請する等の諸般活動を行うことができる状態のことを意味する。

低電力で動作するための間歇的活性化は、図９ないし図１４に具体的な実施の形態として示されている。

低電力で動作するための間歇的に活性化されるということは、例えば、（イ）音響認識モジュールが１０分周期で活性化されて動作することでありえ、これは図９に示されている。さらに他の例として、（ロ）音波ＩＤを主コンテンツから抽出できる時間的特徴を活用するか、または抽出する音波ＩＤを含む主コンテンツの放送時間を考慮して、音響認識モジュールが不規則的な周期で活性化されて動作することでありえ、これは図１０に示されている。さらに他の例として、（ハ）先んじた周期の音波ＩＤ受信試みの結果を考慮して、音響認識モジュールが不規則的な周期で活性化されて動作することでありえ、これは図１１に示されている。さらに他の例として、（二）モバイル受信機の内部で発行するイベントに応じて音響認識モジュールが不規則的な周期で活性化されて動作することでありえ、これは図１２〜１４に示されている。図１４は、モバイル受信機の内部で発生するイベントがどのように音響認識モジュールに伝達されるかが示されている。

（イ）周期的活性化
図９は、音響認識モジュールが低電力で動作するために、決まった周期に従って活性化されることを説明するための図である。
図９のａ）は、主コンテンツが出力される時間に対して音響認識モジュールが同じ時間に活性化されることを示した図である。図９のｂ）は、主コンテンツが出力される時間に対して音響認識モジュールが主コンテンツの後半部あるいは完了する時間に活性化されることを示した図である。図９のｃ）は、主コンテンツが出力される時間に対して音響認識モジュールが予め設定した一定の周期で複数回（例えば、２回）活性化されることを示した図である。

（ロ）コンテンツの放送時間及び音波ＩＤ抽出可能時間の経過による活性化
図１０は、音響認識モジュールが主コンテンツの放送及び再生時間途中、音波ＩＤが抽出可能な時間に合せて活性化されることを説明するための図である。
一実施の形態によれば、音響認識モジュールが周期的に活性化される場合、活性化周期は、コンテンツ再生機器１００により出力される主コンテンツから抽出した音波ＩＤの時間的位置と抽出可能な音波ＩＤが連続する程度を考慮して決定されることができる。例えば、コンテンツ内の音波ＩＤが２分間連続して繰り返し的に抽出されることができ、その以後２分は、抽出が難しい全体４分のパターンがコンテンツに連続的に繰り返されていることができる。このとき、音響認識モジュールは最大２分単位で音波ＩＤが抽出できるかを把握すると、コンテンツから抽出可能な音波ＩＤを速い時間内に抽出しながらも音波ＩＤを抽出する試みを間歇的にできるので、音波ＩＤ抽出による電力消費を減らすことができる。

他の実施の形態によれば、コンテンツ再生機器１００から出力されるコンテンツの放送日時及び時間を予め分かる場合には、そのコンテンツが放送される該当時間に音響認識モジュールがより短い周期で活性化されることができる。例えば、音響認識モジュールの周期が１０分に設定されていると仮定しよう。このとき、ＴＶの特定コンテンツが毎週土曜日午後６時に１時間放映され、コンテンツから音波ＩＤを抽出できるならば、音響認識モジュールは、毎週土曜日午後６時から午後７時までは１０分でない５分の周期で動作できる。または、音響認識モジュールは、持続的に非活性される途中で、毎週土曜日午後６時から午後７時まで１時間だけ活性化される周期で動作できる。

以下、上述の２通りの実施の形態を図１０を参照して説明する。モバイル受信機２００または４００は、音波ＩＤが抽出可能な時間、すなわち図１０の音波ＩＤ１、ＩＤ２、ＩＤ３の再生時間を知っている。この時間は、モバイル受信機２００または４００の音響認識モジュールがサーバを介して受けたことでありうる。音波ＩＤ１の再生時間になると、音響認識モジュールは、音波ＩＤ１を抽出するために活性化される。このとき、音波ＩＤ１の抽出に失敗すると、音響認識モジュールは、モバイル受信機２００または４００のユーザが主コンテンツ１を視聴あるいは聴取していないと判断できる。万が一、音波ＩＤ１の抽出に成功すると、モバイル受信機２００または４００は、音波ＩＤ１に対応した関連コンテンツをサーバ３００から受信して表示できる。同様に、音波ＩＤ２とＩＤ３の再生時間に合せて音響認識モジュールが活性化され、音波ＩＤの抽出を実行した後に成功する場合、モバイル受信機２００または４００は、音波ＩＤに対応した関連コンテンツをサーバ３００から受信して表示できる。このような方法により、モバイル受信機２００または４００は、音響認識モジュールを音波ＩＤ抽出が可能であると予測される時間においてのみ不規則的な周期で活性化されて、低電力で音波ＩＤ抽出及び関連コンテンツ表示を行うことができる。

（ハ）以前音波ＩＤ抽出結果に応じる活性化
図１１は、音波ＩＤを抽出する過程を介して、音波ＩＤの存在が予め設定された確率以上と推定されるとき、音響認識モジュールの活性化周期を説明するための図である。
図１１を参照すると、モバイル受信機２００または４００は、本来の計画した周期に合せて音響認識モジュールが活性化される。このとき、音響認識モジュールは、音波ＩＤが抽出可能であると判断したが（以下、「存在有無判断」という） 抽出には失敗できる。すなわち、例えば、抽出した音波ＩＤが関連コンテンツＤＢ上に存在する特定音波ＩＤとのハミング距離が予め設定した値以下であるとき、音波ＩＤが抽出には失敗したが、存在していると推定できる。または、音波ＩＤ自体に存在有無を把握し、抽出失敗も確認することができるＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｔ Ｃｈｅｃｋ）情報が含まれて、これを活用して確認することができる。または、音波ＩＤの存在有無を把握するために、ＳＮＲ（Ｓｉｇｎａｌ-ｔｏ-Ｎｏｉｓｅ Ｒａｔｉｏ）を測定して、予め設定された閾値以上になるかどうかを確認して、音波ＩＤが存在していると推定できる。以上の方法で音波ＩＤの存在は確認したが、抽出に失敗したと判断する場合を仮定しよう。このとき、音響認識モジュールは、主コンテンツの音波ＩＤを抽出できる時間帯を逃さないために、本来施行する周期である周期３以後に計画された音響認識モジュールの活性化を取り消し、周期３よりさらに短い周期である周期４を有して活性化され、周期４以後の周期は、本来の周期に合せて調整されることができる。したがって、音波ＩＤ抽出試みに応じる結果で周期を調節することによって、音波ＩＤ抽出確率は高くしながら、従来の活性化頻度はそのまま維持して、低電力で動作できる。

（ニ）モバイル受信機内部イベントに応じる活性化
一実施の形態によれば、モバイル受信機２００または４００の内部で発行するイベントに応じて、音響認識モジュールが不規則的な周期で活性化されて動作できる。これを図１２及び図１３を参照して説明する。
図１２は、モバイル受信機２００または４００内部の共有資源であるマイク２０１または４０１を使用する他のアプリケーションが活性化されるイベントに応じて、音響認識モジュールの周期が調整されることを説明するための図である。
モバイル受信機２００または４００上において複数のアプリケーションが同時に動作できる。このとき、モバイル受信機２００または４００の一部であるマイク２０１または４０１は、複数のアプリケーションが共有する資源でＦＣＦＳ（Ｆｉｒｓｔ-Ｃｏｍｅ Ｆｉｒｓｔ-Ｓｅｒｖｅｄ）方式、すなわちまず使用するアプリケーションが使用を中止するまで他のアプリケーションが使用できない方式で共有されることができる。そういう場合、間歇的に活性化される音響認識モジュールは、他のアプリケーションがマイク２０１または４０１を使用する試みをしたとき、マイク２０１または４０１の使用を失敗するようにすることができる。したがって、音響認識モジュールはマイク２０１または４０１を使用することができるアプリケーションが感知される場合、あるいはマイク２０１または４０１を使用しようとする試みが失敗する場合、該当アプリケーションが終了するまで活性化を先送りして、他のマイク２０１または４０１を使うアプリケーションの動作を妨害しないながらも、総活性化回数を減らすことができるから、低電力で動作できる。

例えば、図１２のようにｔ１時間にモバイル受信機２００または４００のメモリ２０９または４０９には、音響認識モジュールに含まれるアプリケーション１がロードされていることができる。予め設定された周期５に従って音響認識モジュールが活性化される予定であったが、ｔ２時間以前に音響認識モジュールがマイク２０１または４０１を使用する確率が高いアプリケーション２が実行された事実が通報されるか、ｔ２時間に音響認識モジュールが音波ＩＤ抽出を実行する前に現在実行中であるアプリケーション情報をオペレーティング・システムから得て、アプリケーション２を感知できる（このとき、感知するか、または通報を受ける方法は、以後図１４を参照して具体的に説明する）。アプリケーション２が実行中である場合、音響認識モジュールは、ｔ２時間に予定された活性化を取り消し、次に活性化する周期をｔ２以後に新しく設定できる。新しく設定された周期は、ｔ１から周期５の２倍になる時刻に音響認識モジュールを活性化させる周期でありうる。また、図１２に示したように、新しく設定される周期は、アプリケーション２が終了することが通報されるｔ３時刻が音響認識モジュールが活性化される時間になることができるように調節された周期であって、アプリケーション２が通報する時刻に修正されることができる。

さらに他の具体的なアプリケーションを例に挙げると、カメラアプリケーションが活性化される時、このアプリケーションは動画撮影のために、音響認識モジュールの一部を独占的に使用していることができる。このとき、カメラアプリケーションが独占的に音響認識モジュールの一部を使用することができるように、音響認識モジュールは、周期的な活性化を中断し、後にカメラアプリケーションが終了する時に活性化されることができる。

図１３は、モバイル受信機２００または４００の内部で共有資源であるマイク２０１または４０１を使用する他のアプリケーションが活性化されるイベントに応じて、音響認識モジュールの周期が調整されることを説明するための図である。

モバイル受信機２００または４００の音響認識モジュールは、ｔ４時刻に活性化されて音波ＩＤ抽出を試みたと仮定しよう。以後、本来計画した周期は周期７であって、ｔ６時刻に再度音響認識モジュールが活性化される予定でありうる。しかしながら、この場合、ｔ５時刻にマイク２０１または４０１を使用するアプリケーション４が実行される事実をオペレーティング・システムが音響認識モジュールに通報できる（このとき、感知または通報を受ける方法は、以後図１４を参照して具体的に説明する）。万が一、オペレーティング・システムがマイク２０１または４０１の使用を共有できるように提供する場合、アプリケーション４の実行通報を受けた音響認識モジュールは、マイク２０１または４０１、ＡＤＣ２０３または４０３プロセッサ２０７または４０７等、アプリケーション４が使用し音波ＩＤの抽出に必要なハードウェア及びソフトウェア資源を共有して使用することができる。一例として、オペレーティング・システムは、マイク２０１または４０１に入る音響がＡＤＣ２０３または４０３を介してデジタルデータに変換されたデータをアプリケーション４だけでなく、音響認識モジュールにも同時に提供して、両側で音響に関するデータを受けることができる。このようなオペレーティング・システムの支援により、音響認識モジュールは、個別的に活性化されて音波ＩＤ抽出を試みることに比べて、モバイル受信機２００または４００の全体消費電力を鑑みると、より低い電力で音波ＩＤ抽出が可能である。また、このような活性化をした場合は、本来計画していたｔ６時刻に活性化される日程を取消すことによって、音響認識モジュールは低電力で動作できる。

具体的なアプリケーションを例に挙げると、電話通話アプリケーションが活性化されるとき、このアプリケーションは、基本的にマイク２０１または４０１とＡＤＣ２０３または４０３を活用し、プロセッサ２０７または４０７を活性化させるので、同時に音響認識モジュールが活性化されながら低電力で音波ＩＤ抽出が可能である。さらに他の例を挙げると、動画プレーヤーまたはＤＭＢアプリケーションあるいはコーデック２２１または４２１が動作すると、モバイル受信機２００または４００がコンテンツ再生機器の機能も果たすと推定できるので、関連コンテンツを提供するために、音響認識モジュールが活性化されることができる。

以上、図１２と図１３で音響認識モジュールが特定アプリケーションがマイク２０１または４０１を使用するかが推定できると説明したが、こういう推定は、各アプリケーションがオペレーティング・システムから許諾されたハードウェア使用パーミッション（Ｐｅｒｍｉｓｓｉｏｎ）情報を閲覧して確認することができる。このとき、実行中であるアプリケーションの目録もまた、オペレーティング・システムから要請して得ることができる。

以上、図１２と図１３を特定アプリケーションが実行または終了されるモバイル受信機の内部のイベントに応じて音響認識モジュールが不規則的な周期を有すると説明したが、イベントの種類はこれに限定されない。例えば、図１２と図１３は、特定アプリケーションが実行または終了することだけでなく、アプリケーションがバックグラウンドモードからフォアグラウンドモードに転換されるか、またはフォアグラウンドモードからバックグラウンドモードに転換されることでありうる。さらに他の例として、図１２は、特定アプリケーションでないモバイル受信機２００または４００の内部構成要素のうち、一つまたは一部以上が活性化されるイベントでありえ、図１３は、非活性化されるイベントでありうる。具体的には、表示部のディスプレイが活性化あるいは非活性化されるイベントでありうる。さらに他の例として、イベントは、モバイル受信機２００または４００がプッシュサーバからプッシュメッセージを受信することでありうる。

図１４は、図１２と図１３に示したように、音響認識モジュールが低電力で動作するために、モバイル受信機２００または４００のイベントが通報される方法を説明するための図である。
図１４ａは、オペレーティング・システムが実行中であるアプリケーションに特定イベントが発生したことを知らせるとき、これが通報される方法を示したものである。図１４ｂは、特定アプリケーションが音響認識モジュールに該当するアプリケーションにイベントが発生したことを通報する方法を示したものである。図１４ｃは、低電力でメッセージをサーバから受け取るようにするプッシュサーバがメッセージを送ったことを音響認識モジュールが通報される方法を示したものである。

図１４ａを一例を挙げて説明する。
モバイル受信機２００または４００は、電話を受信する機能を含むことができる。この場合、電話がかかってくる場合、オペレーティング・システムは、電話受信をするアプリケーションを動作させ、電話がかかってくるイベントに他のアプリケーションが対応するようにするために、電話受信イベントを各アプリケーションのフィルタに伝達する。例えば、アプリケーション５が電話受信を処理するアプリケーションでありえ、アプリケーション６は、音楽を再生中であるアプリケーションでありうる。電話がかかってくる場合、オペレーティング・システムは、電話がかかってくるイベントをアプリケーションの各フィルタに伝達する。アプリケーション６は、電話がかかってくる場合、音楽再生を止めなければならないので、アプリケーション６のフィルタは、電話受信イベントを通過させるように設定されていることができる。アプリケーション５のフィルタは、電話がかかってくる場合、ユーザインタフェースを準備し、電話通話を可能なようにしなければならないので、電話受信イベントを通過させるように設定されていることができる。オペレーティング・システムにおいて、マイク２０１または４０１を介して入力されて、ＡＤＣ２０３または４０３を介して入力されたデジタルデータを複数のアプリケーションに同時に伝達できると仮定しよう。この場合、音響認識モジュールは、音響デジタルデータを受信して、音波ＩＤ抽出を実行できる。したがって、音響認識モジュールのアプリケーションに該当するアプリケーションは、そのフィルタに電話受信イベントが通過されるように設定できる。要するに、オペレーティング・システムが送るイベントのうち、低電力で動作するのに必要なイベントは、フィルタを通過するように設定して、音響認識モジュールは、低電力で音波ＩＤを抽出できる。

図１４ｂを一例を挙げて説明する。
図１２のアプリケーション２と図１３のアプリケーション４は、各々アプリケーションの活性化とアプリケーションの終了を音響認識モジュールに通報すると、音響認識モジュールは、低電力で動作できる。図１４ｂのアプリケーション７が図１２のアプリケーション２あるいは図１３のアプリケーション４であると仮定しよう。このとき、アプリケーション７は、オペレーティング・システムに他のアプリケーションに伝達するイベントを伝達できる。このイベントは、図１２のアプリケーション２の活性化イベントあるいは図１３のアプリケーション４の終了イベントでありうる。該当イベントは、オペレーティング・システムに伝達され、オペレーティング・システムは、イベントをすべてのアプリケーションのフィルタに伝達できる。このとき、音響認識モジュールに含まれたアプリケーションのフィルタが活性化あるいは終了イベントを通過するように設定されていることができる。このような方法により、音響認識モジュールは、特定アプリケーションの活性化あるいは終了の通報を受けることができる。さらに他の一例として、アプリケーションの活性化あるいは終了でない音響認識モジュールが使用しようとするハードウェアあるいはソフトウェアの使用あるいは使用終了をイベントとして受ける方法を使用することができる。

図１４ｂをさらに他の一例を挙げて説明する。
図１０の主コンテンツ１と主コンテンツ２の放送あるいは再生日程が予め知られていることができる。このとき、図１４ｂのアプリケーション７は、音波ＩＤ抽出アップと同じアプリケーションでありうる。音波ＩＤ抽出アップは、主コンテンツ１と２の放送あるいは再生日程をサーバから伝達されて、該当時刻をオペレーティング・システムのアラーム（Ａｌａｒｍ）として登録できる。登録されたアラームは、該当時間になると、登録されたイベントを各アプリケーションのフィルタに伝達する。アプリケーション５は、このアラームイベントと関係なしで機能するので、アプリケーション５のフィルタは、このイベントをアプリケーション５に伝達しない。しかしながら、音響認識モジュールに含まれたアプリケーションのフィルタ（図１４ｂの音波ＩＤ抽出アップのフィルタ）は、アラームイベントを受けて音波ＩＤ抽出を始めることができる。同じ方法で主コンテンツ１と２の音波ＩＤが終わる時刻をオペレーティング・システムのアラームとして登録して、音響認識モジュールに含まれたアプリケーションは、音波ＩＤ抽出を終了できる。

図１４ｃを一例を挙げて説明する。
図１４ｃは、モバイル受信機２００または４００がプッシュサーバからメッセージを受けて、オペレーティング・システムを介してアプリケーションに伝達される。プッシュメッセージを受けるアプリケーションをアプリケーション８と仮定しよう。具体的にアプリケーション８は、ＭＩＭサービスと仮定しよう。このとき、モバイル受信機２００または４００がサーバからプッシュメッセージを受けてオペレーティング・システムに伝達され、オペレーティング・システムは、アプリケーションフィルタにこれを伝達する。アプリケーション８のフィルタは、ＭＩＭ機能を行うために、プッシュメッセージを通過するように設定されていることができる。アプリケーション９は、該当プッシュメッセージと関係なく動作するものであって、アプリケーション９のフィルタは、プッシュメッセージを通過しないように設定されていることができる。モバイル受信機２００または４００は、電力消費を減らながら動作するために、プッシュメッセージを受信するための最小限のハードウェア及びソフトウェアだけを活性化している途中で、プッシュメッセージを受信したことでありうる。この場合、オペレーティング・システムからプッシュメッセージを受信したＭＩＭサービスは、該当プッシュメッセージに適した動作を取る。音響認識モジュールのアプリケーション部分のフィルタは、このようなプッシュメッセージを通過するように設定されていることができる。そういう場合、音響認識モジュールは、プッシュメッセージ処理のために、ＡＰ、ディスプレイなど、モバイル受信機２００または４００の複数の構成要素が活性化されるとき、音響認識モジュールを活性化して、モバイル受信機２００または４００の構成要素のうち、音響認識モジュールが必要なハードウェア及びソフトウェアをアプリケーション８と共有して使用することができる。こういうハードウェア及びソフトウェアの共有を介して音響認識モジュールは、モバイル受信機２００または４００の全体観点において低電力で動作できる。

（５）サーバに関連コンテンツＤＢをおく関連コンテンツ提供方法
図４は、本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。
本実施の形態にかかる関連コンテンツ提供方法が図１のシステムに適用されると仮定し、図４の実施の形態を説明する。
本実施の形態にかかる関連コンテンツ提供方法は、コンテンツ再生機器１００が主コンテンツを出力するステップ（Ｓ１０１）、モバイル受信機の音響認識モジュールが活性化されるステップ（Ｓ１０３）、音波ＩＤを抽出するステップ（Ｓ１０５）、サーバ３００がステップ（Ｓ１０５）にて抽出された音波ＩＤを受信し、音波ＩＤに対応する関連コンテンツを検索し選択するステップ（Ｓ１０７）、及びモバイル受信機２００がステップＳ１０７にて選択された関連コンテンツを表示するステップ（Ｓ１０９）を含むことができる。

ステップ（Ｓ１０３）にて、音響認識モジュールは、スケジュールに従って活性化されるか、または予め決められたイベントが発生すると活性化される。スケジュールは、一定の周期で及び／または不規則的な周期で音響認識モジュールが活性化されるように作成されたことありうる。スケジュールは、例えば、主コンテンツスケジュール（主コンテンツが再生される時間を表すスケジュール）または音波ＩＤスケジュール（音波ＩＤを抽出できる時間を表すスケジュール）を参照して作成されたことでありうるが、これは例示的なものであって、主コンテンツスケジュールまたは音波ＩＤスケジュールを必ず参照して作成されたものである必要はない。

一実施の形態によれば、スケジュールは、音響認識モジュールが一定の周期で活性化されるように作成されたものであるか、または不規則的な周期で活性化されるように作成されたものでありうる。スケジュールに従って音響認識モジュールが活性化された例は、図９ないし図１１を参照して説明した実施の形態でありえ、これらの実施の形態のみに限定されるものではないことを当業者は容易に理解できるはずである。

イベントがあると、音響認識モジュールが活性化される例は、図１２ないし図１４を参照して説明した実施の形態でありうるが、これらの実施の形態に限定されるものではないことを当業者は容易に理解できるはずである。

音響認識モジュールの一部として関連コンテンツ提供アプリケーションが使用されている場合、モバイル受信機２００のメモリ２０９で動作する関連コンテンツ提供アプリケーションは、抽出された音波ＩＤをサーバ３００に送信する。サーバ３００は、受信した音波ＩＤに対応する関連コンテンツを検索する（Ｓ１０７）。以後、サーバ３００は、選択した関連コンテンツをモバイル受信機２００に送信し、モバイル受信機２００は、関連コンテンツをユーザに表示する（Ｓ１０９）。

（６）モバイル受信機に関連コンテンツＤＢをおく関連コンテンツ提供方法
図５は、本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。
本実施の形態にかかる関連コンテンツ提供方法が図１のシステムに適用されると仮定し、図３の実施の形態との差異点を中心に図５の実施の形態を説明する。
本実施の形態にかかる関連コンテンツ提供方法は、コンテンツ再生機器１００が主コンテンツを出力するステップ（Ｓ２０１）、モバイル受信機の音響認識モジュールが活性化されるステップ（Ｓ２０３）、音波ＩＤを抽出するステップ（Ｓ２０７）、モバイル受信機がステップ（Ｓ２０５）にて抽出された音波ＩＤに対応する関連コンテンツを検索し選択するステップ（Ｓ２０９）、及びモバイル受信機２００がステップ（Ｓ２０９）にて選択された関連コンテンツを表示するステップ（Ｓ２１１）を含むことができる。

一方、本実施の形態にかかる関連コンテンツ提供方法は、サーバがモバイル受信機に関連コンテンツＤＢに対したアップデート用データを送信するステップ（Ｓ２０５）をさらに含むことができ、モバイル受信機は、サーバからアップデート用データを受信して、自身が格納する関連コンテンツＤＢをアップデートできる。

例えば、モバイル受信機のメモリ２０９で動作する関連コンテンツ提供アプリケーションは、サーバ３００から受信した関連コンテンツＤＢを格納装置２１１に格納するか、または予め格納されたＤＢをアップデートする。例えば、メモリ２０９で動作する関連コンテンツ提供アプリケーションは、音波ＩＤに対応する関連コンテンツＤＢを検索及び選択し（Ｓ２０９）、選択した関連コンテンツを表示部２１３を介して表示できる（Ｓ２１１）。

モバイル受信機の音響認識モジュールが活性化されるステップ（Ｓ２０３）は、図４を参照して説明した活性化ステップと同様に、スケジュールに従って活性化されるか、または予め決められたイベントが発生すると活性化されることができる。

一方、図５の実施の形態は、図４の実施の形態とは異なり、モバイル受信機２００が直接音波ＩＤに対応する関連コンテンツを選択する。このために、サーバ３００がモバイル受信機２００に関連コンテンツＤＢの一部あるいは全てを送信して、モバイル受信機２００に予め格納された関連コンテンツの一部あるいは全てをアップデートできる。

サーバ３００が関連コンテンツＤＢを送信する時期は、図５に表示された時点に限定されない。サーバ３００がモバイル受信機２００に予め格納された関連コンテンツＤＢをアップデートするために、関連コンテンツＤＢを送信する場合には、特定時期に限定されない。

（７）モバイル受信機がコンテンツ再生機器として機能する方法
図６は、本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。
図１のシステムにおいてコンテンツ再生機器３００でないモバイル受信機２００が主コンテンツを出力し、モバイル受信機２００が音響を認識するよう具現化されたと仮定する。このような図１のシステムに本実施の形態にかかるコンテンツ提供方法が適用されたと仮定し、図４の実施の形態との差異点を中心に図６の実施の形態を説明する。

本実施の形態にかかる関連コンテンツ提供方法は、モバイル受信機２００が主コンテンツを出力するステップ（Ｓ３０１）、モバイル受信機の音響認識モジュールが活性化されるステップ（Ｓ３０５）、音波ＩＤを抽出するステップ（Ｓ３０７）、サーバがステップ（Ｓ３０７）にて抽出された音波ＩＤに対応する関連コンテンツを検索し選択するステップ（Ｓ３０９）、及びモバイル受信機２００がステップ（Ｓ３０９）にて選択された関連コンテンツを表示するステップ（Ｓ３１１）を含むことができる。

モバイル受信機の音響認識モジュールが活性化されるステップ（Ｓ２０３）は、図４を参照して説明した活性化ステップと同様に、スケジュールに従って活性化されるか、または予め決められたイベントが発生すると活性化されることができる。

ステップＳ３０７は、例えば、次のような方法により具現化されることができる。
第１に、モバイル受信機２００が備えた表示部２１３の一部であるスピーカー（図示せず）を介して出力される音響をマイク２０１が感知し、感知した音響から音響認識モジュールがＩＤを抽出する方法。

第２に、モバイル受信機２００が備えた表示部２１３の一部であるスピーカー（図示せず）を介して出力される前のデジタルデータを内部のオペレーティング・システムから音響認識モジュールが受けて音波ＩＤを抽出する方法。

第３に、モバイル受信機２００に接続したヘッドセット（図示せず）のマイク２０１の入力端子が、ヘッドセット（図示せず）の小型音響出力端子に接続されて、ヘッドセット（図示せず）の小型スピーカーに伝達される電気的信号から音響認識モジュールがＩＤを抽出する方法。

音響認識モジュールは、ステップＳ３０７にて抽出した音波ＩＤをサーバ３００に送信する（Ｓ３０７）。サーバ３００は、関連コンテンツＤＢ（サーバ３００が格納しているか、または別の格納装置（図示せず）に格納）を参照して、音波ＩＤに対応する関連コンテンツを検索及び選択する（Ｓ３０９）。サーバ３００は、選択結果をモバイル受信機２００に送信し、モバイル受信機２００は、送信された選択結果を表示する。

図７は、本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。
図１のシステムにおいてコンテンツ再生機器１００ではないモバイル受信機２００が主コンテンツを出力し、モバイル受信機２００が音響を認識するよう具現化されたと仮定し、このような図１のシステムに本実施の形態にかかる関連コンテンツ提供方法が適用されたと仮定し、図４の実施の形態との差異点を中心に図７の実施の形態を説明する。

本実施の形態にかかる関連コンテンツ提供方法は、コンテンツ再生機器１００が主コンテンツを出力するステップ（Ｓ４０１）、モバイル受信機の音響認識モジュールが活性化されるステップ（Ｓ４０３）、音波ＩＤを抽出するステップ（Ｓ４０７）、モバイル受信機がステップ（Ｓ４０７）にて抽出された音波ＩＤに対応する関連コンテンツを検索し選択するステップ（Ｓ４０９）、及びモバイル受信機２００がステップ（Ｓ４０９）にて選択された関連コンテンツを表示するステップ（Ｓ４１１）を含むことができる。

一方、本実施の形態にかかる関連コンテンツ提供方法は、サーバがモバイル受信機に関連コンテンツＤＢに対したアップデート用データを送信するステップ（Ｓ４０５）をさらに含むことができ、モバイル受信機は、サーバからアップデート用データを受信して、自身が格納する関連コンテンツＤＢをアップデートできる。

上述のＳ４０７ステップは、上述のステップ（Ｓ３０７）と同じ方法により具現化されることができる。
モバイル受信機の音響認識モジュールが活性化されるステップ（Ｓ４０３）は、図４を参照して説明した活性化ステップと同一に、スケジュールに従って活性化されるか、または予め決められたイベントが発生すると活性化されることができる。
図７の実施の形態は、図４の実施の形態とは異なり、モバイル受信機２００が直接音波ＩＤに対応する関連コンテンツを選択する。このために、サーバ３００がモバイル受信機２００に関連コンテンツＤＢの一部あるいは全てを送信して、モバイル受信機２００に予め格納された関連コンテンツの一部あるいは全てをアップデートできる。

サーバ３００が関連コンテンツＤＢを送信する時期は、図７に示した時点に限定されない。すなわち、サーバ３００がモバイル受信機２００に予め格納された関連コンテンツＤＢをアップデートするために、関連コンテンツＤＢを送信する場合には、サーバ３００が関連コンテンツＤＢを送信する時期は、特定時期に限定されない。

（８）コンテンツから抽出可能な音波ＩＤの位置
図８は、主コンテンツを説明するための図である。
図８のａ）は、主コンテンツの一例を示すもので、これらのコンテンツは、各々映像と音響との組み合わせからなり、音波ＩＤを主コンテンツ該当時刻に各々抽出できる。
例えば、図８のａ）のような主コンテンツが図４の実施の形態において出力されると仮定し、その動作を説明する。

コンテンツ再生機器１００は、時間が経つにつれて主コンテンツ（主コンテンツ１、２、３）を出力し、これらのコンテンツから各々音波ＩＤを抽出できる。音波ＩＤ１は、主コンテンツ１が出力される時に音響から抽出できるものである。音波ＩＤ２は、主コンテンツ２が出力される時に音響から抽出できるものである。音波ＩＤ３は、主コンテンツ３が出力される時に音響から抽出できるものである。

モバイル受信機２００は、各々の音波ＩＤを順次に抽出し、これらの音波ＩＤを各々サーバ３００に送信し、音波ＩＤに各々対応する関連コンテンツをサーバ３００から受信して表示するようになる。

一方、モバイル受信機２００は、音波ＩＤの抽出をスケジュールに従うか、または予め決められたイベントが発生すると（すなわち、間歇的に）実施できる。これについては、上述の実施の形態と同一なので、詳細な説明は省略する。

図８のｂ）は、コンテンツ再生機器を介して出力される主コンテンツの他の例を示すものであって、これらの主コンテンツは、各々映像と音響との組み合わせからなっており、音響から音波ＩＤを抽出できる。

図８のｂ）の場合、互いに異なる二つの音波ＩＤを抽出できるコンテンツがあるという点において図８のａ）と差がある。
例えば、図８のｂ）のような主コンテンツが図６の実施の形態において出力されると仮定し、その動作を説明する。

モバイル受信機２００は、時間が経つにつれて主コンテンツ（主コンテンツ４、５、６）を出力し、これらの主コンテンツから各々音波ＩＤを抽出できる。音波ＩＤ１は、主コンテンツ４が出力される時に音響から抽出されうるものである。音波ＩＤ２、ＩＤ３は、主コンテンツ５が出力される時に音響から抽出されることができるものである。音波ＩＤ４は、主コンテンツ６が出力される時に音響から抽出されうるものである。

モバイル受信機２００は、各々の音波ＩＤを順次に抽出し、これらのＩＤを各々サーバ３００に送信し、音波ＩＤに各々対応する関連コンテンツをサーバ３００から受信して表示するようになる。

（９）関連コンテンツを没入妨害無しで出力する方法
本発明の一実施の形態によれば、関連コンテンツをモバイル受信機を介して表示する時間は、主コンテンツにおいて広告またはエンディングクレジットなどの主コンテンツで視聴者あるいは聴取者の没入を必要としない時刻でありうる。例えば、主コンテンツがドラマで関連コンテンツがドラマに出た間接広告商品情報であるとき、たとえ関連コンテンツを得ることができる音波ＩＤがドラマの中間部に位置するとしても、モバイル受信機は、関連コンテンツをモバイル受信機に表示することをドラマが終了しエンディングクレジットが表示される時点に延期できる。

一方、図４ないし図７を参照して、上述の方法を構成する各ステップを実行させるためのプログラムを記録したコンピューターで読むことができる記録媒体が提供されることができる。

（１０）関連コンテンツ提供方法
図１５は、本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。
本発明の一実施の形態にかかる関連コンテンツ提供方法が図１のシステムに適用されると仮定し、本発明の一実施の形態にかかる関連コンテンツ提供方法を説明する。
図１５を参照すると、本発明の一実施の形態にかかる関連コンテンツ提供方法は、コンテンツを再生するコンテンツ再生機器から出力される音響をモバイル受信機２００が感知するステップ（Ｓ５０１）、感知した音響をデジタルデータにモバイル受信機２００が変換するステップ（Ｓ５０３）、デジタルデータから音波ＩＤをモバイル受信機２００が抽出するステップ（Ｓ５０５）と、抽出した音波ＩＤに対応する関連コンテンツを検索及び選択するステップ（Ｓ５０７）、及び選択した関連コンテンツをモバイル受信機２００が映像及び／または音声で表示するステップ（Ｓ５０９）を含むことができる。

また、本発明の一実施の形態にかかる関連コンテンツ提供方法は、ステップ（Ｓ５０１）にて感知された音響が予め設定された閾値以上の強度を有するかどうかを判断するステップをさらに含み、本判断するステップは、ステップ（Ｓ５０１）とステップ（Ｓ５０５）との間に行われることができる。

一例として、本判断するステップは、ステップ（Ｓ５０１）とステップ（Ｓ５０３）との間に行われることができる。この場合、ステップ（Ｓ５０１）にて感知された音響をデジタルデータに変換するステップ（Ｓ５０３）は、ステップ（Ｓ５０１）にて感知された音響が予め設定された閾値以上の強度を有すると判断された場合に行われることができる。

また、本発明の一実施の形態にかかる関連コンテンツ提供方法は、関連コンテンツを選択するステップ（Ｓ５０７）をモバイル端末機２００が行うように具現化されるか、またはサーバ３００が行うように具現されることが可能である。関連コンテンツを検索及び選択するステップ（Ｓ５０７）をサーバ３００が行うように具現化される場合には、本発明の一実施の形態にかかる関連コンテンツ提供方法は、モバイル受信機２００がステップ（Ｓ５０５）にて抽出された音波ＩＤをサーバ３００に送信するステップと、サーバ３００が選択した関連コンテンツをモバイル受信機２００に送信するステップとをさらに含むことができ、ここで、音波ＩＤをサーバ３００に送信するステップは、ステップ（Ｓ５０５）以後に行われ、サーバ３００が選択した関連コンテンツをモバイル受信機２００に送信するステップは、ステップ（Ｓ５０７）とステップ（Ｓ５０９）との間に行われることができる。

また、本発明の一実施の形態にかかる関連コンテンツ提供方法は、ステップ（Ｓ５０１）にて感知された音響が予め設定された閾値以上の強度を有するかどうかを判断するステップ（説明の目的のために「Ｓ５０２」という）、及び前述のステップ（Ｓ５０１）を行う構成要素、ステップ（Ｓ５０２）を行う構成要素、ステップ（Ｓ５０３）を行う構成要素、ステップ（Ｓ５０５）を行う構成要素、ステップ（Ｓ５０７）を行う構成要素のうち、少なくともいずれか一つの構成要素を活性化させるステップ（説明の目的のために「Ｓ５０４」という）をさらに含むことができる。

一例として、活性化させるステップ（Ｓ５０４）は、ステップ（Ｓ５０１）を行う構成要素、ステップ（Ｓ５０２）を行う構成要素、及びステップ（Ｓ５０３）を行う構成要素を活性化させるステップでありうる。このような例において、ステップ（Ｓ５０１）を行う構成要素、ステップ（Ｓ５０２）を行う構成要素、及びステップ（Ｓ５０３）を行う構成要素は非活性化されてから、活性化される構成要素であり、ステップ（Ｓ５０５）を行う構成要素とステップ（Ｓ５０７）を行う構成要素は、既に活性化された状態でありうる。

一例として、活性化させるステップ（Ｓ５０４）は、ステップ（Ｓ５０１）を行う構成要素、ステップ（Ｓ５０２）を行う構成要素を活性化させるステップ、及びステップ（Ｓ５０２）の遂行結果が成功すると、ステップ（Ｓ５０３）を行う構成要素とステップ（Ｓ５０７）を行う構成要素を活性化させるステップを含むように構成されることができる。

一例として、活性化させるステップ（Ｓ５０４）は、ステップ（Ｓ５０１）を行う構成要素を活性化させるステップと、ステップ（Ｓ５０１）の遂行結界、音響を感知した場合（例えば、予め設定された帯域に属した音響を感知した場合）に、ステップ（Ｓ５０２）を行う構成要素とステップ（Ｓ５０３）を行う構成要素を活性化させるステップとを含むように構成されることができる。ここで、ステップ（Ｓ５０７）を行う構成要素とステップ（Ｓ５０９）を行う構成要素は、例えば、既に活性化されているか、またはステップ（Ｓ５０３）が成功すると、活性化されるか、またはステップ（Ｓ５０３）が活性化される時に共に活性化されるように構成されることができる。

一例として、活性化させるステップ（Ｓ５０４）は、ステップ（Ｓ５０１）の遂行結果、音響が感知された場合、ステップ（Ｓ５０２）を行う構成要素を活性化させるステップと、ステップ（Ｓ５０２）の遂行結果、ステップ（Ｓ５０１）にて感知された音響が予め設定された閾値以上の強度を有すると判断された場合に、ステップ（Ｓ５０３）を行う構成要素とステップ（Ｓ５０５）を行う構成要素を活性化させるステップとを含むように構成されることができる。ここで、ステップ（Ｓ５０５）の遂行結果、音波ＩＤが抽出された場合に、ステップ（Ｓ５０７）を行う構成要素とステップ（Ｓ５０９）を行う構成要素は、同時または順次に活性化されることができる。

一例として、活性化させるステップ（Ｓ５０４）は、スケジュールに従って行われるか、または予め決められたイベントが発生すると行われることができる。スケジュールに対する詳細な説明は、図４を参照して説明した実施の形態を参照してほしい。例えば、活性化させるステップ（Ｓ５０４）は、図９ないし図１１を参照して説明した実施の形態のように、スケジュールに従って行われるか、または図１２ないし図１４を参照して説明した実施の形態のように予め決められたイベントがある場合に、行われることができる。

一例として、活性化させるステップ（Ｓ５０４）は、主コンテンツスケジュールを参照して作成されたスケジュールに従って、一定の周期で及び／または不規則的な周期で行われることができる。例えば、活性化させるステップ（Ｓ５０４）は、主コンテンツが再生される時間の間においてのみ予め設定された周期で行われることができる。これとは異なり、活性化させるステップ（Ｓ５０４）は、主コンテンツが再生される時間の間には、予め設定された第１周期で行われ、主コンテンツが再生されない時間の間には、第１周期よりさらに長い第２周期で行われることができる。

一例として、活性化させるステップ（Ｓ５０４）は、音波ＩＤスケジュールを参照して作成されたスケジュールに従って、一定の周期で及び／または不規則的な周期で行われることができる。例えば、活性化させるステップ（Ｓ５０４）は、音波ＩＤを抽出できる時間に行われることができる。

一例として、活性化させるステップ（Ｓ５０４）は、予め設定された第３周期で行われている途中で、音波ＩＤの抽出には失敗したが、音波ＩＤが存在すると判断される場合には、第３周期よりさらに短い第４周期で活性化させるステップ（Ｓ５０４）が行われることができる。以後、ＩＤが抽出されると、活性化させるステップ（Ｓ５０４）は、第３周期で行われることができる。

一例として、活性化させるステップ（Ｓ５０４）は、予め設定された第５周期で行われている途中で、ステップ（Ｓ５０２）の遂行結果、以下の式
閾値＞感知された音響の強度＞（α×閾値）(式中、αは１より小さい。)
を満たす場合には、第５周期より短い第６周期で行われることができる。すなわち、一実施の形態において、本発明の発明者は、感知された音響の強度が閾値よりは小さい、閾値に近接する程の場合には、音波ＩＤが存在する音響が存在する可能性があると判断して、上記の式を満たす場合には、第５周期よりさらに短い第６周期で、活性化させるステップ（Ｓ５０４）が行われるようにしたことである。

一例として、活性化させるステップ（Ｓ５０４）は、予め決められたイベントが発生すると、実行されることができる。ここで、イベントは、例えば特定アプリケーションが実行される場合、モバイル受信機２００が有した表示部が活性化または非活性化される場合、またはモバイル受信機２００が外部からプッシュメッセージを受信する場合を意味できる。

ここで、特定アプリケーションは、マイクを自分だけ専用で使用するアプリケーションでありうるが、これは例示に過ぎず、他のアプリケーションも該当することができる。

一例として、活性化させるステップ（Ｓ５０４）は、予め設定された第７周期で行われている途中で、予め決められたイベントが発生すると、実行されないように構成されることができる。そして、予め決められたイベントが終了すると、活性化させるステップ（Ｓ５０４）は、予め設定された周期（例えば、第７周期）に従って再度行われる。

一例として、活性化させるステップ（Ｓ５０４）は、予め決められたイベントが発生すると、イベント発生事実がモバイル受信機２００が有したオペレーティング・システム（ＯＳ）（図示せず）に伝達されるステップ、オペレーティング・システムがイベントの発生事実をモバイル受信機２００で動作するアプリケーションに各々対応して備えられたフィルタに各々伝達するステップ、及び各々のフィルタは、予め設定されたことに応じてイベントの発生事実を自分に対応したアプリケーションに伝達するか、または伝達しないステップを含むように構成されることができる。さらに詳細な説明は、図１４を参照して説明した実施の形態を参照してほしい。

以上、図１５を参照して説明した関連コンテンツ提供方法において、音響を感知するステップを行う構成要素は、例えばマイクでありえ、音響をデジタルデータに変換するステップを行う構成要素は、ＡＤＣでありえ、音波ＩＤを抽出するステップを行う構成要素は、音波ＩＤ抽出部または関連コンテンツ提供アプリケーションでありえ、関連コンテンツを検索して選択するステップを行う構成要素は、モバイル受信機（例えば、関連コンテンツ提供アプリケーション）またはサーバでありえ、関連コンテンツを映像及び／または音声で表示するステップを行う構成要素は、表示部でありうる。

以上、図１５を参照して説明した関連コンテンツ提供方法は、モバイル受信機がコンテンツ再生機器から出力される音響を感知すると説明したが、これは例示に過ぎず、図６または図７の実施の形態のようにモバイル受信機から出力される音響をモバイル受信機が感知する構成によっても具現化されることができる。

関連コンテンツ提供方法をモバイル受信機から出力される音響をモバイル受信機が受信する構成により具現化する場合は、モバイル受信機から出力される音響をモバイル受信機が感知するステップ、感知した音響をデジタルデータにモバイル受信機が変換するステップ、デジタルデータから音波ＩＤをモバイル受信機が抽出するステップ、抽出した音波ＩＤに対応する関連コンテンツを選択するステップ、及び選択した関連コンテンツをモバイル受信機が映像及び／または音声で表示するステップを含むように具現されることができる。また、本関連コンテンツ提供方法は、感知された音響が予め設定された閾値以上の強度を有するかどうかを判断するステップ、及び感知した音響をデジタルデータにモバイル受信機が変換するステップを行う構成要素、デジタルデータから音波ＩＤをモバイル受信機が抽出するステップを行う構成要素、抽出した音波ＩＤに対応する関連コンテンツを選択するステップを行う構成要素、選択した関連コンテンツをモバイル受信機が映像及び／または音声で表示するステップを行う構成要素のうち、少なくともいずれか一つの構成要素を活性化させるステップをさらに含むことができる。ここで、活性化させるステップに対する具体的な例は、前述の実施の形態を参照してほしい。

（１１）関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体
上述の本発明の一実施の形態にかかる関連コンテンツ提供方法は、メモリ、プロセッサ、マイク、ＡＤＣを備えたモバイル受信機で実行されるプログラム（説明の目的のために、「関連コンテンツ提供方法を実行させるためのプログラム」という）により具現化されることができる。すなわち、メモリ、プロセッサ、マイク、ＡＤＣを備えたモバイル受信機は、コンピューターとしての機能を有し、したがって、関連コンテンツ提供方法は、そういうモバイル受信機で実行されるプログラムの形態により具現化されることができる。
本発明の一実施の形態にかかる関連コンテンツ提供方法を実行させるためのプログラムは、関連コンテンツ提供アプリケーションを含むことができる。

一実施の形態によれば、関連コンテンツ提供方法を実行させるためのプログラムは、プロセッサの制御下でメモリにローディングされた後に実行されることができる。
関連コンテンツ提供方法を実行させるためのプログラムは、例えば、図１５を参照して説明した実施の形態のうち、いずれか一つの方法を実行することでありうる。
一例として、関連コンテンツ提供方法を実行させるためのプログラムは、図１５を参照して説明した各ステップのうち、プログラムにより具現化されることができるステップをモバイル受信機に実行させることができる。

一例として、関連コンテンツ提供方法を実行させるためのプログラムは、ステップ（Ｓ５０２）、ステップ（Ｓ５０３）、ステップ（Ｓ５０４）、ステップ（Ｓ５０５）、ステップ（Ｓ５０７）、及び／またはステップ（Ｓ５０９）をモバイル受信機に実行させることができる。すなわち、ステップ（Ｓ５０２）、ステップ（５０３）、ステップ（Ｓ５０４）、ステップ（Ｓ５０５）、ステップ（Ｓ５０７）、及びステップ（（Ｓ５０９）が全部プログラムにより具現化されるか、またはステップ（Ｓ５０２）、ステップ（Ｓ５０３）、ステップ（Ｓ５０４）、ステップ（Ｓ５０５）、ステップ（Ｓ５０７）、及びステップ（Ｓ５０９）のうち一部は、ハードウェアにより具現化し、その残りのステップがプログラムにより具現化されることができる。ステップ（Ｓ５０２）、ステップ（Ｓ５０３）、ステップ（Ｓ５０４）、ステップ（Ｓ５０５）、ステップ（Ｓ５０７）、及びステップ（Ｓ５０９）についての詳細な説明は、図１５を参照して説明した実施の形態を参照してほしい。

以上、本発明は、限定された実施の形態と図面により説明されたが、本発明は、上記の実施の形態に限定されるものではなく、本発明が属する分野における通常の知識を有した者であれば、このような記載から多様な修正及び変形が可能である。
本発明の範囲は、説明された実施の形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものによって定められねばならない。

１００ コンテンツ再生機器
２０１、４０１ マイク
２０３、４０３ ＡＤＣ
２０５ 音波ＩＤ抽出部
２０７、４０７ プロセッサ
２０９、４０９ メモリ
２１１、４１１ 格納装置
２１３、４１３ 表示部
２１５、４１５ 通信部
２２１、４２１ ＤＭＢアプリケーションまたは動画プレーヤーまたはコーデック
２２３、４２３ 関連コンテンツ提供アプリケーション
２００、４００ モバイル受信機
３００ サーバ
４０２ 低電力音響強度測定部
４０４ 音波パターン認識部

本発明は、コンテンツに含まれた音響を低電力で受信して、関連コンテンツを提供する低電力関連コンテンツ提供システム、方法、及びプログラムを記録したコンピューターで読むことができる記録媒体に関する。

-音波ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）：音波ＩＤは、（１）主コンテンツの音響に人為的に挿入された非可聴音響が表すデジタルデータ（非可聴音波ＩＤ）であるか、または（２）主コンテンツの一部として含まれている音響から抽出することができる音響の特徴を表す縮約されたデジタルデータ（可聴指紋（ｆｉｎｇｅｒｐｒｉｎｔ）ＩＤ）である。人為的に挿入された非可聴音波ＩＤは、心理音響（Ｐｓｙｃｈｏａｃｏｕｓｔｉｃｓ）を利用して人に聞こえない非可聴音波に変調された特徴を有する。音響の特徴を表す可聴指紋音波ＩＤは人為的な挿入を必要としないが、主コンテンツに音響がある時においてのみ抽出することができる。２種類の音波ＩＤは、全部（１）主コンテンツを識別するか、または（２）主コンテンツ内の相対的時間位置を識別するか、（３）主コンテンツ内の間接広告と関連した関連コンテンツを識別するか、または（４）主コンテンツ内の相対的時間位置での間接広告と関連した関連コンテンツを識別するのに使用されることができる。非可聴音波ＩＤは、一連番号、有意味な単語あるいはインターネットリンクなどを含むことができる。可聴指紋音波ＩＤは、ＳＶＤ／ＥＶＤ（Ｓｉｎｇｕｌａｒ／Ｅｉｇｅｎ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、最大ランドマーク感知（Ｐｅａｋ Ｌａｎｄｍａｒｋｓ Ｄｅｔｅｃｔｉｏｎ）、零点交差回数（Ｚｅｒｏ-ｃｒｏｓｓｉｎｇ ｃｏｕｎｔｉｎｇ）、ＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔ）、ＰＬＰＣ（Ｐｅｒｃｅｐｔｕａｌ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）、ＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）などの技術をハッシュ関数（Ｈａｓｈ Ｆｕｎｃｔｉｏｎ）として使用して抽出でき、抽出された値は、ハッシュキー（Ｈａｓｈ Ｋｅｙ）として使用されることができる。非可聴音波ＩＤの記述（ｄｅｓｃｒｉｐｔｉｏｎ）の便宜のために、非可聴音波ＩＤは、デジタルデータが変調されたアナログ形態の非可聴音波と変調前のデジタルデータ、復調後のデジタルデータのうちの何れか一つを指すことができる。また、記述の便宜のために、音響の特徴を抽出して得る可聴指紋音波ＩＤは、抽出された特徴デジタルデータ、これを抽出できる主コンテンツ音響の一部、モバイル受信機が感知した特徴デジタルデータを抽出できる主コンテンツ音響の一部、モバイル受信機が抽出した特徴デジタルデータのうちの何れか一つを指すことができる。

コンテンツ再生機器１００は、映像及び／または音響を出力できる。モバイル受信機２００は、コンテンツ再生機器１００により出力される音響から音波ＩＤを少なくとも一つ以上抽出できる。例えば、音波ＩＤは、関連コンテンツデータベース（Ｄａｔａｂａｓｅ、ＤＢ）（音波ＩＤと関連コンテンツとが互いに対応したＤＢ）を介して関連コンテンツと対応していることができる。

例えば、音波ＩＤを音響に挿入する技術と、そして音響に挿入された音波ＩＤを抽出する技術は、例えば、本発明者が２０１２年４月１２日付で韓国特許庁に特許出願した特許出願番号１０-２０１２-００３８１２０号（音響システムを利用してモバイル端末機の位置を推定する位置推定方法、及び位置推定システムと、これに使用される音響システム）に開示された技術を利用できる。

一実施の形態によれば、ＡＤＣ２０３は、マイク２０１で感知したアナログ音波信号である音響をデジタルデータに変換する。一実施の形態においてＡＤＣ２０３は、マイクが感知した予め設定された周波数範囲あるいはハードウェアが許容する最大周波数範囲内の音波信号をデジタルデータに変換できる。

一例として、予め決められたイベントが発生すると、プロセッサ２０７は、イベント発生事実をモバイル受信機２００が有したオペレーティング・システム（ＯＳ）（図示せず）（メモリ２０９にローディングされていることができる）に伝達し、オペレーティング・システムは、イベントの発生事実をモバイル受信機２００で動作するアプリケーションに各々対応して備えられたフィルタ（図示せず）（メモリ２０９にローディングされていることができる）に各々伝達し、これらの各々のフィルタは、予め設定されたことに従ってイベントの発生事実を自分に対応したアプリケーションに伝達するか、または伝達しない。これらの動作に対するさらに詳細な説明は、図１４を参照して説明した実施の形態を参照してほしい。

一例として、予め決められたイベントが発生すると、プロセッサ４０７は、イベント発生事実をモバイル受信機４００が有したオペレーティング・システム（ＯＳ）（図示せず）（メモリ４０９にローディングされていることができる）に伝達し、オペレーティング・システムは、イベントの発生事実をモバイル受信機４００で動作するアプリケーションに各々対応して備えられたフィルタ（図示せず）（メモリ４０９にローディングされていることができる）に各々伝達し、これらの各々のフィルタは、予め設定されたことに応じて、イベントの発生事実を自分に対応したアプリケーションに伝達するか、または伝達しない。これらの動作に対するより詳細な説明は、図１４を参照して説明した実施の形態を参照してほしい。

（ニ）モバイル受信機内部イベントに応じる活性化
一実施の形態によれば、モバイル受信機２００または４００の内部で発行するイベントに応じて、音響認識モジュールが不規則的な周期で活性化されて動作できる。これを図１２及び図１３を参照して説明する。
図１２は、モバイル受信機２００または４００内部の共有資源であるマイク２０１または４０１を使用する他のアプリケーションが活性化されるイベントに応じて、音響認識モジュールの周期が調整されることを説明するための図である。
モバイル受信機２００または４００上において複数のアプリケーションが同時に動作できる。このとき、モバイル受信機２００または４００の一部であるマイク２０１または４０１は、複数のアプリケーションが共有する資源でＦＣＦＳ（Ｆｉｒｓｔ-Ｃｏｍｅ Ｆｉｒｓｔ-Ｓｅｒｖｅｄ）方式、すなわちまず使用するアプリケーションが使用を中止するまで他のアプリケーションが使用できない方式で共有されることができる。そういう場合、間歇的に活性化される音響認識モジュールは、他のアプリケーションがマイク２０１または４０１を使用する試みをしたとき、マイク２０１または４０１を使用できないようにすることができる。また、音響認識モジュールがマイク２０１または４０１を使用することができるアプリケーションを感知する場合、あるいは、音響認識モジュールがマイク２０１または４０１を使用しようとする試みが失敗する場合、該当アプリケーションが終了するまで音響認識モジュールの活性化を先送りして、他のマイク２０１または４０１を使うアプリケーションの動作を妨害しないながらも、総活性化回数を減らすことができるから、低電力で動作できる。

以上、図１２と図１３を特定アプリケーションが実行または終了されるモバイル受信機の内部のイベントに応じて音響認識モジュールが不規則的な周期を有すると説明したが、イベントの種類はこれに限定されない。例えば、図１２と図１３は、特定アプリケーションが実行または終了することだけでなく、アプリケーションがバックグラウンドモードからフォアグラウンド（ｆｏｒｅｇｒｏｕｎｄ）モードに転換されるか、またはフォアグラウンドモードからバックグラウンドモードに転換されることでありうる。さらに他の例として、図１２は、特定アプリケーションでないモバイル受信機２００または４００の内部構成要素のうち、一つまたは一部以上が活性化されるイベントでありえ、図１３は、非活性化されるイベントでありうる。具体的には、表示部のディスプレイが活性化あるいは非活性化されるイベントでありうる。さらに他の例として、イベントは、モバイル受信機２００または４００がプッシュサーバからプッシュメッセージを受信することでありうる。

（７）モバイル受信機がコンテンツ再生機器として機能する方法
図６は、本発明の一実施の形態にかかる関連コンテンツ提供方法を説明するための図である。
図１のシステムにおいてコンテンツ再生機器１００でないモバイル受信機２００が主コンテンツを出力し、モバイル受信機２００が音響を認識するよう具現化されたと仮定する。このような図１のシステムに本実施の形態にかかるコンテンツ提供方法が適用されたと仮定し、図４の実施の形態との差異点を中心に図６の実施の形態を説明する。

モバイル受信機の音響認識モジュールが活性化されるステップ（Ｓ３０５）は、図４を参照して説明した活性化ステップと同様に、スケジュールに従って活性化されるか、または予め決められたイベントが発生すると活性化されることができる。

Claims (63)

1. コンテンツ（「主コンテンツ」という）を再生するコンテンツ再生機器から出力される音響を感知するステップと、
   感知した前記音響をデジタルデータに変換するステップと、
   前記デジタルデータから音波ＩＤを抽出するステップと、
   前記音波ＩＤに対応する関連コンテンツを選択するステップと、
   前記関連コンテンツをモバイル受信機が映像及び／または音声で表示するステップと、を含むことを特徴とする関連コンテンツ提供方法。
2. 感知した前記音響が予め設定された閾値以上の強度を有するかどうかを判断するステップをさらに含み、
   前記デジタルデータに変換するステップは、前記音響が予め設定された閾値以上の強度を有すると判断された場合においてのみ行われることを特徴とする請求項１に記載の関連コンテンツ提供方法。
3. 前記音波ＩＤは、
   前記コンテンツ再生機器から出力される音響に人為的に挿入された非可聴音響を表すデジタルデータ（「非可聴音波ＩＤ」という）または
   前記コンテンツ再生機器から出力される音響の一部として含まれている音響から抽出できる音響の特徴を表す縮約されたデジタルデータ（「可聴指紋ＩＤ」という）であることを特徴とする請求項１に記載の関連コンテンツ提供方法。
4. 前記関連コンテンツは、
   主コンテンツの内容または内容を伝達するための背景知識と関連した音響、映像、文書、インターネットアドレスなどの情報及び／またはこれらを指すデジタル識別子値を意味することを特徴とする請求項３に記載の関連コンテンツ提供方法。
5. 前記音波ＩＤは、
   前記関連コンテンツを識別するのに使用され、そして
   １）前記主コンテンツを識別するか、２）前記主コンテンツ内の相対的時間位置を識別するか、または３）前記主コンテンツ内の前記相対的時間位置での広告と関連した関連コンテンツを識別するのに使用されることができることを特徴とする請求項４に記載の関連コンテンツ提供方法。
6. 前記音波ＩＤをサーバに送信するステップと、
   前記サーバが前記音波ＩＤに対応する関連コンテンツを前記モバイル受信機に送信するステップと、をさらに含み、
   前記音波ＩＤを抽出するステップと前記音波ＩＤをサーバに送信するステップは、前記モバイル受信機が行い、
   前記関連コンテンツを選択するステップは、前記サーバが行うことを特徴とする請求項４に記載の関連コンテンツ提供方法。
7. 前記コンテンツ再生機器とモバイル受信機は、同じ装置であることを特徴とする請求項４に記載の関連コンテンツ提供方法。
8. 前記音響が予め設定された閾値以上の強度を有すると判断された場合、前記デジタルデータに変換するステップを行う構成要素と、前記音波ＩＤを抽出するステップを行う構成要素が動作するよう活性化させるステップをさらに含むことを特徴とする請求項２に記載の関連コンテンツ提供方法。
9. スケジュールに従ってまたは予め決められたイベントが発生すると、
   前記ステップを行う構成要素のうち、少なくともいずれか一つの構成要素を活性化させるステップをさらに含むことを特徴とする請求項１に記載の関連コンテンツ提供方法。
10. 前記活性化させるステップによって活性化される構成要素は、
    前記コンテンツ再生機器から出力される音響を感知するステップを行う構成要素と、前記音響をデジタルデータに変換するステップを行う構成要素と、前記音波ＩＤを抽出するステップを行う構成要素であることを特徴とする請求項９に記載の関連コンテンツ提供方法。
11. 前記活性化させるステップは、第１周期で行われている途中で、感知された前記音響の強度（Ａ）が以下の式
    閾値＞感知された音響の強度＞α×閾値、（式中、αは１より少ない）
    を満たす場合、前記第１周期よりさらに短い第２周期で行われることを特徴とする請求項９に記載の関連コンテンツ提供方法。
12. 前記活性化させるステップは、周期的に行われ、ただし行う時期になった時に予め決められたイベントが発生すると、行われないことを特徴とする請求項９に記載の関連コンテンツ提供方法。
13. 前記ステップを行う構成要素のうち、少なくともいずれか一つの構成要素を活性化させるステップと、
    前記主コンテンツが再生される時間を表す主コンテンツスケジュールを格納するステップと、をさらに含み、
    前記活性化させるステップは、前記主コンテンツスケジュールを参照して、前記主コンテンツが再生される時間に合うように行われることを特徴とする請求項１に記載の関連コンテンツ提供方法。
14. 前記活性化させるステップは、前記主コンテンツが再生される時間の間においてのみ、予め設定された周期で行われることを特徴とする請求項１３に記載の関連コンテンツ提供方法。
15. 前記活性化させるステップは、前記主コンテンツが再生される時間の間には第１周期で行われ、前記主コンテンツが再生されない時間の間には前記第１周期より長い第２周期で行われることを特徴とする請求項１３に記載の関連コンテンツ提供方法。
16. 前記ステップを行う構成要素のうち、少なくともいずれか一つの構成要素を活性化させるステップと、
    前記音波ＩＤを抽出できる時間を表す音波ＩＤスケジュールを格納するステップと、をさらに含み、
    前記活性化させるステップは、前記音波ＩＤスケジュールを参照して、前記音波ＩＤを抽出できる時間に行われることを特徴とする請求項１に記載の関連コンテンツ提供方法。
17. 前記活性化させるステップは、第１周期で行われている途中で、前記音波ＩＤを抽出するステップの遂行結果、音波ＩＤの抽出は失敗したが、音波ＩＤが存在すると判断された場合、前記第１周期よりさらに短い第２周期で行われることを特徴とする請求項１６に記載の関連コンテンツ提供方法。
18. 前記イベントは、
    特定アプリケーションが実行されるか、
    前記モバイル受信機が備えた表示部が活性化または非活性化されるか、または
    前記モバイル受信機がプッシュメッセージを受信することを意味することを特徴とする請求項９に記載の関連コンテンツ提供方法。
19. 前記予め決められたイベントは、
    マイクを自分だけ使用するアプリケーションが実行されることである請求項１２に記載の関連コンテンツ提供方法。
20. 前記イベントが発生すると、イベント発生事実がオペレーティング・システムに伝達されるステップと、
    前記オペレーティング・システムは、前記イベントの発生事実を、前記モバイル受信機で動作するアプリケーションに対応して備えられた各々のフィルタに伝達するステップと、
    各々のフィルタは、予め設定されたことに従って、前記イベントの発生事実を自分に対応したアプリケーションに伝達するか、または伝達しないステップと、を含むことを特徴とする請求項９に記載の関連コンテンツ提供方法。
21. 前記音響をデジタルデータに変換するステップを行う構成要素と前記音波ＩＤを抽出するステップを行う構成要素は、前記コンテンツ再生機器から出力される音響を感知するステップを行う構成要素が予め設定された帯域に属した音響を感知した時、同時または順次に活性化されることを特徴とする請求項１に記載の関連コンテンツ提供方法。
22. 前記音響が予め設定された閾値以上の強度を有するかどうかを判断するステップを行う構成要素は、前記コンテンツ再生機器から出力される音響を感知するステップを行う構成要素が予め設定された帯域に属した音響を感知した時に、活性化され、
    前記音響をデジタルデータに変換するステップを行う構成要素と前記音波ＩＤを抽出するステップを行う構成要素は、前記音響が予め設定された閾値以上の強度を有すると判断された場合に、同時または順次に活性化されることを特徴とする請求項２に記載の関連コンテンツ提供方法。
23. 前記関連コンテンツを選択するステップを行う構成要素と前記関連コンテンツをモバイル受信機が映像及び／または音声で表示するステップを行う構成要素は、前記デジタルデータから音波ＩＤが抽出された場合に、同時または順次に活性化されることを特徴とする請求項２１または請求項２２に記載の関連コンテンツ提供方法。
24. メモリ及びプロセッサを含むモバイル受信機であって、
    コンテンツ（「主コンテンツ」という）を再生するコンテンツ再生機器から出力される音響を感知するマイクと、
    前記マイクが感知した音響をデジタルデータに変換するＡＤＣと、
    前記デジタルデータから音波ＩＤを抽出する音波ＩＤ抽出部と、
    前記音波ＩＤに対応して選択された関連コンテンツを表示する表示部と、を備えることを特徴とする関連コンテンツを提供できるモバイル受信機。
25. 前記マイクが感知した音響が予め設定された閾値以上の強度を有するかどうかを判断する低電力音響強度測定部をさらに備え、
    前記ＡＤＣは、前記音響が予め設定された閾値以上の強度を有すると判断された場合においてのみ、前記マイクが感知した音響をデジタルデータに変換することを特徴とする請求項２４に記載の関連コンテンツを提供できるモバイル受信機。
26. 前記音波ＩＤ抽出部が抽出した音波ＩＤをサーバに送信し、前記サーバから前記音波ＩＤに対応する関連コンテンツを受信する通信部をさらに備え、
    前記表示部は、前記通信部が受信した関連コンテンツを表示することを特徴とする請求項２４に記載の関連コンテンツを提供できるモバイル受信機。
27. 前記コンテンツ再生機器と前記モバイル受信機は、同じ装置であることを特徴とする請求項２４記載のモバイル受信機。
28. 前記低電力音響強度測定部は、前記マイクが感知した音響が予め設定された閾値以上の強度を有すると判断した場合、
    前記ＡＤＣと、前記音波ＩＤ抽出部が動作するよう活性化させることを特徴とする請求項２５に記載の関連コンテンツを提供できるモバイル受信機。
29. スケジュールに従ってまたは予め決められたイベントが発生すると、
    前記構成要素（マイク、ＡＤＣ、音波ＩＤ抽出部、表示部）のうち、少なくともいずれか一つの構成要素が活性化されることを特徴とする請求項２４に記載の関連コンテンツを提供できるモバイル受信機。
30. 活性化される少なくとも一つの構成要素は、
    前記マイクと前記ＡＤＣと前記音波ＩＤ抽出部であることを特徴とする請求項２８に記載の関連コンテンツを提供できるモバイル受信機。
31. 前記構成要素のうち、少なくとも一つは、第１周期で活性化されている途中で、感知された前記音響の強度（Ａ）が以下の式
    閾値＞感知された音響の強度＞α×閾値（式中、αは１より少ない）
    を満たす場合、前記第１周期よりさらに短い第２周期で活性化されることを特徴とする請求項２８に記載のモバイル受信機。
32. 前記構成要素のうち、少なくとも一つは、周期的に活性化され、ただし活性化時間になった時に予め決められたイベントが発生すると、活性化されないことを特徴とする請求項２８に記載の関連コンテンツを提供できるモバイル受信機。
33. 前記メモリは、前記主コンテンツが再生される時間を表す主コンテンツスケジュールを格納し、
    前記構成要素のうち、少なくとも一つは、前記主コンテンツスケジュールに従って活性化されることを特徴とする請求項２４に記載の関連コンテンツを提供できるモバイル受信機。
34. 前記構成要素のうち、少なくとも一つは、前記主コンテンツが再生される時間の間においてのみ予め設定された周期で行われることを特徴とする請求項３３に記載の関連コンテンツを提供できるモバイル受信機。
35. 前記構成要素のうち、少なくとも一つは、前記主コンテンツが再生される時間の間には、第１周期で行われ、前記主コンテンツが再生されない時間の間には、前記第１周期より短い第２周期で行われることを特徴とする請求項３３に記載の関連コンテンツを提供できるモバイル受信機。
36. 前記メモリは、音波ＩＤを抽出できる時間を表す音波ＩＤスケジュールを格納し、
    前記構成要素のうち、少なくとも一つは、前記音波ＩＤスケジュールに従って、前記音波ＩＤを抽出できる時間に活性化されることを特徴とする請求項２４に記載の関連コンテンツを提供できるモバイル受信機。
37. 前記構成要素のうち、少なくとも一つは、第１周期で活性化されている途中で、
    前記音波ＩＤ抽出部により音波ＩＤの抽出は失敗したが、音波ＩＤが存在すると判断された場合、前記第１周期より短い第２周期に従って活性化されることを特徴とする請求項３６に記載のモバイル受信機。
38. 前記イベントは、
    予め決められた特定アプリケーションが実行されるか、
    前記モバイル受信機が備えた表示部が活性化または非活性化されるか、または
    前記モバイル受信機がプッシュメッセージを受信することを意味することを特徴とする請求項２８に記載の関連コンテンツを提供できるモバイル受信機。
39. 前記予め決められたイベントは、
    マイクを自分だけ使用するアプリケーションが実行されることである、請求項３２に記載の関連コンテンツを提供できるモバイル受信機。
40. 前記プロセッサの制御下で前記メモリにローディングされて実行されるオペレーティング・システムと、フィルタと、をさらに含み、
    前記イベントが発生すると、イベント発生事実を前記オペレーティング・システムが受信し、前記オペレーティング・システムは、前記イベントの発生事実を、前記フィルタに伝達し、
    前記フィルタは、予め設定されたことに従って、前記イベントの発生事実を自分に対等な構成要素に伝達することを特徴とする請求項２９に記載のモバイル受信機。
41. 前記ＡＤＣと前記音波ＩＤ抽出部は、前記マイクが予め設定された帯域に属した音響を感知した時、同時または順次に活性化されることを特徴とする請求項２４に記載の関連コンテンツを提供できるモバイル受信機。
42. 前記低電力音響強度測定部は、前記マイクが予め設定された帯域に属した音響を感知した時に、活性化され、
    前記ＡＤＣと前記音波ＩＤ抽出部は、前記音響が予め設定された閾値以上の強度を有すると判断された場合に、同時または順次に活性化されることを特徴とする請求項２５に記載の関連コンテンツを提供できるモバイル受信機。
43. 前記関連コンテンツを映像及び／または音声で表示する表示部と、前記プロセッサの少なくとも一部機能（前記表示部を制御する機能を含む）は、前記デジタルデータから音波ＩＤが抽出された場合に、同時または順次に活性化されることを特徴とする請求項４１または４２に記載の関連コンテンツを提供できるモバイル受信機。
44. メモリ、プロセッサ、コンテンツ（「主コンテンツ」という）を再生するコンテンツ再生機器から出力される音響を感知するマイク、前記マイクが感知した音響をデジタルデータに変換するＡＤＣを含むコンピューターに関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体であって、
    前記関連コンテンツ提供方法は、
    前記デジタルデータから音波ＩＤを抽出するステップと、
    前記音波ＩＤに対応して選択された関連コンテンツを前記コンピューターが備えた表示部を介して表示するステップと、
    を含むことを特徴とする関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
45. 前記関連コンテンツ提供方法は、
    前記マイクが感知した音響が予め設定された閾値以上の強度を有するかどうかを判断するステップをさらに含むことを特徴とする請求項４４に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
46. 前記関連コンテンツ提供方法は、
    前記音波ＩＤを前記コンピューターが備えた通信部を介してサーバに送信し、前記サーバから前記音波ＩＤに対応する関連コンテンツを受信するステップをさらに含むことを特徴とする請求項４４に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
47. 前記コンテンツ再生機器と前記コンピューターは、同じ装置であることを特徴とする請求項４４に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
48. 前記関連コンテンツ提供方法は、
    前記マイクが感知した音響が予め設定された閾値以上の強度を有すると判断された場合に、前記ＡＤＣを活性化させ、前記音波ＩＤを抽出するステップを活性化させるステップをさらに含むことを特徴とする請求項４５に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
49. 前記関連コンテンツ提供方法は、
    スケジュールに従ってまたは予め決められたイベントが発生すると、前記マイク、ＡＤＣ、前記音波ＩＤを抽出するステップ、及び前記表示するステップのうち、少なくともいずれか一つを活性化させるステップをさらに含むことを特徴とする請求項４５に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
50. 前記活性化させるステップは
    前記マイク、前記ＡＤＣ、及び前記音波ＩＤを抽出するステップを活性化させることを特徴とする請求項４９に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
51. 前記活性化させるステップは、第１周期で行われている途中で、感知された前記音響の強度（Ａ）が以下の式
    閾値＞感知された音響の強度＞α×閾値（式中、αは１より少ない）
    を満たす場合、前記第１周期よりさらに短い第２周期で行われることを特徴とする請求項４９に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
52. 前記活性化させるステップは、周期的に行われ、ただし行う時期になった時に予め決められたイベントが発生すると、行われないことを特徴とする請求項４９に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
53. 前記関連コンテンツ提供方法は、
    前記マイク、ＡＤＣ、前記音波ＩＤを抽出するステップと、前記表示するステップのうち、少なくともいずれか一つを活性化させるステップと、
    前記主コンテンツが再生される時間を表す主コンテンツスケジュールを格納するステップと、をさらに含み、
    前記活性化させるステップは、前記主コンテンツスケジュールを参照して、前記主コンテンツが再生される時間に合うように行われることを特徴とする請求項４４に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
54. 前記活性化させるステップは、前記主コンテンツが再生される時間の間においてのみ予め設定された周期で行われることを特徴とする請求項５３に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
55. 前記活性化させるステップは、前記主コンテンツが再生される時間の間には第１周期で行われ、前記主コンテンツが再生されない時間の間には前記第１周期より長い第２周期で行われることを特徴とする請求項５３に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
56. 前記関連コンテンツ提供方法は、
    前記マイク、ＡＤＣ、前記音波ＩＤを抽出するステップと、
    前記表示するステップのうち、少なくともいずれか一つを活性化させるステップと、
    前記音波ＩＤを抽出できる時間を表す音波ＩＤスケジュールを格納するステップと、をさらに含み、
    前記活性化させるステップは、前記音波ＩＤスケジュールを参照して、前記音波ＩＤを抽出できる時間に行われることを特徴とする請求項４４に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
57. 前記活性化させるステップは、第１周期で行われている途中で、前記音波ＩＤを抽出するステップの遂行結果、音波ＩＤの抽出は失敗したが音波ＩＤが存在すると判断された場合、前記第１周期よりさらに短い第２周期で行われることを特徴とする請求項５６に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
58. 前記イベントは、
    特定アプリケーションが実行されるか、
    前記コンピューターが備えた表示部が活性化または非活性化されるか、または
    前記コンピューターがプッシュメッセージを受信することを意味することを特徴とする請求項４９に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
59. 前記予め決められたイベントは、
    マイクを自分だけ使用するアプリケーションが実行されることである請求項５２に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
60. 前記関連コンテンツ提供方法は、
    前記イベントが発生すると、イベント発生事実がオペレーティング・システムに伝達されるステップと、
    前記オペレーティング・システムは、前記イベントの発生事実を、前記コンピューターで動作するアプリケーションに対応して備えられた各々のフィルタに伝達するステップと、
    各々のフィルタは、予め設定されたことに従って、前記イベントの発生事実を自分に対応したアプリケーションに伝達するか、または伝達しないステップと
    をさらに含むことを特徴とする請求項４９に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
61. 前記ＡＤＣと前記音波ＩＤを抽出するステップを行う構成要素は、前記マイクが予め設定された帯域に属した音響を感知した時に、同時または順次に活性化されることを特徴とする請求項４４に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
62. 前記音響が予め設定された閾値以上の強度を有するかどうかを判断するステップを行う構成要素は、前記マイクが予め設定された帯域に属した音響を感知した時に、活性化され、
    前記ＡＤＣと前記音波ＩＤを抽出するステップを行う構成要素は、前記音響が予め設定された閾値以上の強度を有すると判断された場合に、同時または順次に活性化されることを特徴とする請求項４５に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。
63. 前記関連コンテンツを映像及び／または音声で表示するステップを行う構成要素と前記プロセッサの少なくとも一部機能（前記表示するステップを行う構成要素を制御する機能を含む）は、前記デジタルデータから音波ＩＤが抽出された場合に、同時または順次に活性化されることを特徴とする請求項６１または６２に記載の関連コンテンツ提供方法を実行させるためのプログラムを記録したコンピューターで読むことができる媒体。

Images