JP2004164589A - コンテンツ提供システム - Google Patents
コンテンツ提供システム Download PDFInfo
- Publication number
- JP2004164589A JP2004164589A JP2003208918A JP2003208918A JP2004164589A JP 2004164589 A JP2004164589 A JP 2004164589A JP 2003208918 A JP2003208918 A JP 2003208918A JP 2003208918 A JP2003208918 A JP 2003208918A JP 2004164589 A JP2004164589 A JP 2004164589A
- Authority
- JP
- Japan
- Prior art keywords
- content
- recognition
- time
- keyword
- key set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】多大なハードウェアリソースを必要とせずに、対象者の中心的な話題に沿ったコンテンツをリアルタイムに提供する。
【解決手段】マイクロフォンから取り込んだ音声を認識して設定キーワードを認知する手段と、キーワードの認知に応じ、その認知時刻をキーワード等と対応して記録する、或いは記録されている認知時刻を前記認知の認知時刻に更新する手段と、キーセットを構成する複数種のキーワード等の認知で最先の認知時刻から最後の認知時刻までの経過時間が認知設定時間以内である所定のキーセットを認識する手段と、該認識した所定のキーセットと対応設定されているコンテンツをコンテンツＤＢから呼び出す手段と、テーブル近傍に設置され、該最後の認知時刻と略リアルタイムで該呼び出したコンテンツを再生出力するディスプレイ型装置を備えるコンテンツ提供システム。
【選択図】 図３
【解決手段】マイクロフォンから取り込んだ音声を認識して設定キーワードを認知する手段と、キーワードの認知に応じ、その認知時刻をキーワード等と対応して記録する、或いは記録されている認知時刻を前記認知の認知時刻に更新する手段と、キーセットを構成する複数種のキーワード等の認知で最先の認知時刻から最後の認知時刻までの経過時間が認知設定時間以内である所定のキーセットを認識する手段と、該認識した所定のキーセットと対応設定されているコンテンツをコンテンツＤＢから呼び出す手段と、テーブル近傍に設置され、該最後の認知時刻と略リアルタイムで該呼び出したコンテンツを再生出力するディスプレイ型装置を備えるコンテンツ提供システム。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばコンテンツを提供される話者等の対話から音声を取り込み、その音声に含まれるキーワードに基づき話題を特定し、その話題に対応する広告等のコンテンツをリアルタイムに提供するコンテンツ提供システムに関する。
【０００２】
【従来の技術】
コンテンツを提供される被提供者等の対話から音声を取り込み、その音声に含まれるキーワードに基づき話題を特定し、その話題に対応するコンテンツをリアルタイムに提供する構成に関する公知文献として、特許文献１がある。特許文献１には、テレビ会議等の対話を音声認識してキーワードを認知し、そのキーワードに基づき話題を特定し、特定した話題に基づいてコンテンツを決定し、そのコンテンツをディスプレイ等に出力する情報提供装置が開示され、前記情報提供装置は、特徴的なキーワードの認識に応じて、そのキーワードと対応する話題を特定する、或いは話題に出現する複数のキーワードの出願頻度の分布を取得し、その出現頻度分布が最も類似する設定された出現頻度分布を決定し、決定した設定出現頻度分布に対応する話題を該当する話題として特定するものである。
【０００３】
また、他の公知文献として特許文献２があり、特許文献２には、テレビ電話の対話を音声認識してキーワードを認知し、予め配信されテレビ電話端末に蓄積された広告の中から認知したキーワードと対応する広告を呼び出し、その広告をディスプレイに出力するテレビ電話端末が開示されている。
【０００４】
また、上記構成に関連する公知文献として特許文献３があり、特許文献３には、音声認識センサーで周囲の人の話し声を検知し、その話し声の周波数帯域やフォルトマントを分析して周囲の人の性別及び年齢層を判断し、性別及び年齢層の判断結果に応じた広告情報をディスプレイで表示する広告表示装置が開示されている。
【０００５】
【特許文献１】特開平１１−２０３２９５号公報
【特許文献２】特開２００２−２７１５０７号公報
【特許文献３】特開２００２−２４４６０６号公報
【０００６】
【発明が解決しようとする課題】
しかし、特許文献１、２の如く、キーワードの認知に応じ、そのキーワードと対応するコンテンツを提供する構成では、対話で偶然現れたキーワードや付随的な話題で現れたキーワード等に対応するコンテンツが提供されてしまい、話者の中心的な話題を特定し、その中心的な話題や興味に沿ったコンテンツをリアルタイムで提供することは困難である。また、特許文献１の如く、話題に出現する複数のキーワードの出願頻度の分布を取得し、その出現頻度分布が最も類似する設定された出現頻度分布を決定し、決定した設定出現頻度分布に対応する話題を該当する話題として特定する構成では、対話の中心的な話題を正確に特定することができるものの、出現頻度分布の類似度を演算するために多大なハードウェアリソースが必要となって高コスト化し、又、キーワードの出現頻度データの蓄積や類似度の演算のためにコンテンツ提供の迅速性やリアルタイム性が損なわれ、中心的な話題や興味の移り変わり後にコンテンツが提供される事態が多々生ずる。かかる欠点は設定するキーワード数や話題数の増大とともに非常に顕著となる。
【０００７】
本発明は上記課題に鑑み提案するものであり、話者の中心的な話題を特定し、その中心的な話題に沿ったコンテンツを迅速にリアルタイムで提供することができるコンテンツ提供システムを提供することを目的とする。また、本発明の他の目的は、被提供者の中心的な話題或いは興味に合ったリアルタイムのコンテンツ提供を、多大なハードウェアリソースを必要とせずに低コストで実現できるコンテンツ提供システムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明のコンテンツ提供システムは、コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、キーワードの認知に応じて、該キーワードの認知対応時刻を該キーワードと対応して記録する若しくは該キーワードと対応するキーと対応して記録すると共に、認知対応時刻の記録を対応するキーワードの認知に応じて更新する手段と、キーセットを構成する複数種のキーワード若しくはキーに対する最先の認知対応時刻から最後の認知対応時刻までの認知経過時間が認知設定時間以内である所定のキーセットを認識する手段と、各キーセットと対応設定されているコンテンツを格納するコンテンツデータベースから該認識した所定のキーセットと対応設定されているコンテンツを呼び出す手段と、該最後の認知対応時刻と略リアルタイムで該呼び出したコンテンツを再生する手段と、再生するコンテンツを出力する手段とを備えることを特徴とする。尚、コンテンツを出力する手段は、ディスプレイ若しくはスピーカ若しくはその両者等とすることが可能であり、前記出力手段に対応して再生される画像若しくは音声若しくはその両者等のコンテンツをコンテンツデータベースに設定する。
【０００９】
また、本発明のコンテンツ提供システムは、コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、キーワードの認知に応じて、該キーワードの認知対応時刻を該キーワードと対応して記録する若しくは該キーワードと対応するキーと対応して記録すると共に、認知対応時刻の記録を対応するキーワードの認知に応じて更新する手段と、キーセットを構成する複数種のキーワード若しくはキーに対する最先の認知対応時刻から最後の認知対応時刻までの認知経過時間が認知設定時間以内である所定のキーセットを認識する手段と、各キーセットと対応設定されているコンテンツを格納するコンテンツデータベースから該認識した所定のキーセットと対応設定されているコンテンツを呼び出す手段と、該最後の認知対応時刻と略リアルタイムで該呼び出したコンテンツを再生出力装置へ送信する手段とを備えることを特徴とする。
【００１０】
上記コンテンツ提供システムは、例えばキーワードの認知に応じ、キーワードの認知対応時刻を該キーワード若しくは該キーワードと対応するキーと対応して記録し、同一のキーワードの認知若しくは同一のキーと対応するキーワードの認知に応じ、記録された認知対応時刻を更新すると共に、複数種のキーワード若しくはキーで構成されるキーセットについて、属する複数種のキーワード若しくはキーを認知設定時間以内に全て認知した所定のキーセットを認識する、或いは、全キーワード若しくは全キーに対する最先の認知対応時刻から最後の認知対応時刻までの認知経過時間が認知設定時間以内である所定のキーセットを認識することにより、時間の経過に応じて複雑に移り変わる話者の話題を並列的に随時追跡し、所定時間に於いて盛り上がっている集中度が高い或いは中心的な話題や興味を複雑な処理を要さずに容易、柔軟且つ迅速に特定することができ、又、複数種のキーワード若しくはキーを用いて、コンテンツ提供に必要且つ十分な正確性で話題や興味を特定することができる。更に、例えば話題に応じたキーワードやキーが設定されている話題毎のキーセットと対応するコンテンツを呼び出し、略リアルタイムに再生出力する、又は再生出力装置へ送信することにより、話者の中心的な話題や興味に応じた心理的に非常に受け入れやすいコンテンツを、話者、或いは話者の対話を聴いている対象者、又は再生出力装置で話者の対話を聴いている対象者等に迅速にリアルタイムで提供することができる。更に、設定キーワードを認知すると共に、認知対応時刻を記録・更新し、認知設定時間以内に属するキーワード若しくはキーを認知したキーセットを認識する簡単な構成であることから、多大なハードウェアリソースを必要とせずに低コストで実現でき、遍在的にコンテンツ提供システムを設置することが可能となる。更に、例えばキーセットで設定する話題数やキーワード数等が増大した場合にも、必要とするハードウェアリソースの増加やコスト増が無い或いは非常に軽微に留めつつ、コンテンツ提供の迅速性やリアルタイム性を確保することができる。更に、認知対応時刻の記録及び更新により、キーセット数やキーワード数等の増大した場合等にも、最先の認知対応時刻から最後の認知対応時刻までの認知経過時間を複雑な処理を要さず非常に容易に取得することができ、例えば認知したキーワードに対応する多数のキーセット毎にキーワードの認知に応じて時刻計測するような複雑な処理等も必要無い。更に、設定キーワードの認知に基づきコンテンツを提供するので、適度にコンテンツを提供し、過剰な情報提供を防止することができる。更に、話者が意識的にある種の話題で対話し、その話題に対応するコンテンツを呼び出して提供を受ける、或いは提供することも可能であり、話者やコンテンツ提供を受ける被提供者の便宜性や娯楽性を向上することができる。
【００１１】
更に、本発明のコンテンツ提供システムは、現在時刻から認知設定時間が経過した認知対応時刻の記録を消去する手段を備えることを特徴とするものである。現在時刻から認知設定時間が経過した認知対応時刻の記録を消去することにより、ハードウェアリソースを有効利用することができると共に、キーセットに属する各キーワードや各キーの認知に応じて、或いは認知対応時刻の記録に応じて、特段の後処理を要せず自動的に、コンテンツを呼び出すキーセットを認識することができる。
【００１２】
更に、本発明のコンテンツ提供システムは、キーセットを構成する複数種のキーワード若しくは複数種のキーが３種以上であることを特徴とするものである。キーセットを構成する複数種の異なるキーワード若しくはキーは、２種以上の複数であれば３種、４種、５種、６種など適宜であるが、３種以上とすると、より正確に話題を特定し、話題に適合したコンテンツを提供することが可能となって好適である。尚、キーセットを構成するキーワード若しくはキーは各キーセットに対して同数設定してもよいが、ターゲットとする話題の特定と提供するコンテンツの内容のバランスや、キーセットに対応設定するキーワードの出現する可能性等に応じて、キーセット毎に適宜所要数のキーワード若しくはキーを設定してもよい。
【００１３】
更に、本発明のコンテンツ提供システムは、取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段が該設定されているキーワードだけを認知することを特徴とする。例えばワードスポッティング音声認識技術を用い、設定されているキーワードだけを認知することにより、速い応答速度でリアルタイムにコンテンツを提供できると共に、システムを一層低コスト化することができ、又、予め決まったキーワード以外は認知しないことから、音声を取り込まれる話者のプライバシー保護を図ることが可能である。
【００１４】
更に、本発明のコンテンツ提供システムは、前記所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、該所定のキーセットの認識或いは該コンテンツ再生中若しくは送信中の判定からコンテンツ再生終了若しくは送信終了の認識までの経過時間が設定時間以内である再生終了若しく送信終了の認識に基づき、該所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信すると共に、該設定時間以内の再生終了若しくは送信終了の認識が得られない場合に、該所定のキーセットと対応設定されているコンテンツの再生若しくは再生出力装置への送信をしない手段とを備えることを特徴とする。例えば後に認識したキーセットに対応するコンテンツを再生若しくは送信する際、前に認識したキーセットに対応するコンテンツが再生若しくは送信している場合に、後のキーセットの認識等から設定時間以内に前のコンテンツの再生や送信が終了した場合には後のキーセットのコンテンツを再生若しくは送信し、前記設定時間以内に終了しない場合には後のキーセットのコンテンツを再生若しくは送信しない構成とすることにより、話者の話題や興味が経時的に他へ変化した可能性が高い所定時間経過後にはコンテンツを提供せず、コンテンツ提供時やその直近の話者の話題や興味に即し、対象者が心理的に受け入れやすいコンテンツだけを確実に提供することが可能となる。
【００１５】
更に、本発明のコンテンツ提供システムは、前記所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、コンテンツの再生中若しくは送信中の判定に基づき、該所定のキーセットの認識を記録保持すると共に、既に記録保持されているキーセットの認識がある場合には該所定のキーセットの認識に更新して記録保持する手段と、コンテンツの再生終了若しくは送信終了の認識に基づき、該記録保持されている所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信する手段とを備えることを特徴とする。コンテンツの再生中若しくは送信中に認識したキーセットを順次更新記録し、現在時刻に最も近い最後に認識されたキーセットに対応するコンテンツを提供することにより、簡単な構成で話者の話題や興味の経時的な変化に適応して、コンテンツ提供時やその間近の話者の話題や興味に即し、対象者が心理的に受け入れやすいコンテンツを提供することが可能となり、又、キーセットの認識を更新して記録保持することにより、ハードウェアリソースの有効利用を図ることができる。
【００１６】
また、本発明のコンテンツ提供システムは、コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、複数種のキーワード若しくは該キーワードと対応するキーで構成されるキーセットからキーワードの認知に基づき所定のキーセットを認識する手段と、所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、該所定のキーセットの認識或いは該コンテンツ再生中若しくは送信中の判定からコンテンツ再生終了若しくは送信終了の認識までの経過時間が設定時間以内である再生終了若しくは送信終了の認識に基づき、該所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信すると共に、該設定時間以内の再生終了若しくは送信終了の認識が得られない場合に、該所定のキーセットと対応設定されているコンテンツの再生若しくは再生出力装置への送信をしない手段とを備えることを特徴とする。
【００１７】
上記コンテンツ提供システムは、複数種のキーワード若しくはキーで構成されるキーセットから音声認識によるキーワードの認知に基づくキーセットを認識することにより、時間の経過に応じて複雑に移り変わる話者の話題を並列的に随時追跡し、集中度が高い或いは中心的な話題や興味を複雑な処理を要さずに容易、柔軟且つ迅速に特定することができ、又、コンテンツ提供に必要な正確性で話題や興味を特定することができる。更に、例えば話題に応じたキーワードやキーが設定されている話題毎のキーセットと対応するコンテンツを呼び出し、再生出力する、又は再生出力装置へ送信することにより、話者の中心的な話題や興味に応じた心理的に受け入れやすいコンテンツを、話者、或いは話者の対話を聴いている対象者、又は再生出力装置で話者の対話を聴いている対象者等に提供することができる。更に、設定キーワードを認知して、属するキーワード若しくはキーを認知したキーセットを認識する簡単な構成であることから、多大なハードウェアリソースを必要とせずに低コストで実現でき、遍在的にコンテンツ提供システムを設置することが可能となり、例えばキーセットで設定する話題数やキーワード数等が増大した場合にも、必要とするハードウェアリソースの増加やコスト増が無い或いは非常に軽微に留めることができる。更に、話者の話題や興味が経時的に他へ変化した可能性が高い所定時間経過後にはコンテンツを提供せず、コンテンツ提供時やその直近の話者の話題や興味に即し、対象者が心理的に受け入れやすいコンテンツだけを確実に提供することが可能となる。更に、設定キーワードの認知に基づきコンテンツを提供するので、適度にコンテンツを提供し、過剰に情報提供を防止することができる。更に、話者が意識的にある種の話題で対話し、その話題に対応するコンテンツを呼び出して提供を受ける、或いは提供することも可能であり、話者やコンテンツ提供を受ける被提供者の便宜性や娯楽性を向上することができる。
【００１８】
また、本発明のコンテンツ提供システムは、コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、複数種のキーワード若しくは該キーワードと対応するキーで構成されるキーセットからキーワードの認知に基づき所定のキーセットを認識する手段と、所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、コンテンツの再生中若しくは送信中の判定に基づき、該所定のキーセットの認識を記録保持すると共に、既に記録保持されているキーセットの認識がある場合には該所定のキーセットの認識に更新して記録保持する手段と、コンテンツの再生終了若しくは送信終了の認識に基づき、該記録保持されている所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信する手段とを備えることを特徴とする。
【００１９】
上記コンテンツ提供システムは、複数種のキーワード若しくはキーで構成されるキーセットから音声認識によるキーワードの認知に基づくキーセットを認識することにより、時間の経過に応じて複雑に移り変わる話者の話題を並列的に随時追跡し、集中度が高い或いは中心的な話題や興味を複雑な処理を要さずに容易、柔軟且つ迅速に特定することができ、又、コンテンツ提供に必要な正確性で話題や興味を特定することができる。更に、例えば話題に応じたキーワードやキーが設定されている話題毎のキーセットと対応するコンテンツを呼び出し、再生出力する、又は再生出力装置へ送信することにより、話者の中心的な話題や興味に応じた心理的に受け入れやすいコンテンツを、話者、或いは話者の対話を聴いている対象者、又は再生出力装置で話者の対話を聴いている対象者等に提供することができる。更に、設定キーワードを認知して、属するキーワード若しくはキーを認知したキーセットを認識する簡単な構成であることから、多大なハードウェアリソースを必要とせずに低コストで実現でき、遍在的にコンテンツ提供システムを設置することが可能となり、例えばキーセットで設定する話題数やキーワード数等が増大した場合にも、必要とするハードウェアリソースの増加やコスト増が無い或いは非常に軽微に留めることができる。
更に、簡単な構成で話者の話題や興味の経時的な変化に適応して、コンテンツ提供時やその間近の話者の話題や興味に即し、対象者が心理的に受け入れやすいコンテンツを提供することが可能となり、又、キーセットの認識を更新して記録保持することにより、ハードウェアリソースの有効利用を図ることができる。更に、設定キーワードの認知に基づきコンテンツを提供するので、適度にコンテンツを提供し、過剰に情報提供を防止することができる。更に、話者が意識的にある種の話題で対話し、その話題に対応するコンテンツを呼び出して提供を受ける、或いは提供することも可能であり、話者やコンテンツ提供を受ける被提供者の便宜性や娯楽性を向上することができる。
【００２０】
尚、本発明のコンテンツ提供システムをネットワークコンピュータで構成する場合、そのネットワークにはＬＡＮ・インターネットや通信網・放送網などデータを伝送可能な適宜のものを用いることが可能であり、有線或は無線、専用或いは汎用、内部或は外部のネットワーク等としてもよい。更に、本発明の各構成手段は、ネットワークで接続される複数のコンピュータの適宜のコンピュータに設けることが可能であり、所要の構成手段と他の構成手段を遠隔地など別の場所のコンピュータに設ける構成等としてもよい。例えばコンテンツ提供システムを、一若しくは複数のディスプレイ型装置・スピーカ型装置・リアルタイムボイスチャットが可能な構成等のパソコン・テレビ電話機・携帯電話機・携帯情報端末・テレビ携帯電話機・テレビ受像機・テレビ受像機とセットトップボックス若しくはゲーム機等の各種端末或いは各種装置と通信ネットワークで接続される遠隔等のサーバで構成すること等が可能であり、又、各種端末がそのマイクから取り込む音声に基づきコンテンツの呼出指令をサーバに送信し、サーバが受信する前記呼出指令に基づき、そのコンテンツＤＢから対応するコンテンツを抽出して端末に送信する構成や、或いは各種端末がそのマイクから取り込む音声データ若しくは取り込む音声に基づく認知したキーワードデータをサーバに送信し、サーバが受信する音声データ若しくはキーワードデータに基づき所定処理を実行し、所定のキーセットと対応するコンテンツをそのコンテンツＤＢから抽出して端末に送信する構成や、或いはサーバがそのマイクから取り込む音声に基づき所定処理を実行し、所定のキーセットと対応するコンテンツをそのコンテンツＤＢから抽出して端末に送信する構成等とすることが可能である。尚、コンテンツ提供システムの各構成手段を前述のような各種端末或いは各種装置に一体的に或いは一箇所に設けてもよい。
【００２１】
また、コンテンツを再生、出力する手段等の各手段は適宜の場所に設けることができ、例えばマイクロフォンから音声を取り込むと共に、画像及び音声或いは画像或いは音声を再生出力する装置を、飲食店等の店舗、タクシー・バス・電車・飛行機等の乗物、デパート・ショッピングモール・娯楽施設等の施設、駅の集合場所等の集合場所などで、座席や乗車席、テーブル近傍やテーブル上、集合場所の近傍など、対象者或いは顧客がある程度の時間留まってその場に居る他の対象者や携帯電話による通話相手等と対話するスペースの近傍に設置して、対象者或いは顧客の対話の音声からキーワードを認知し、対話の話題に対応するコンテンツをリアルタイムに提供する構成や、又は、前記装置を自宅に設置する構成や、又は、前記装置を移動可能に携帯する構成等とすることが可能であり、広告情報、案内情報、観光情報、娯楽番組等のコンテンツを適切なタイミングで提供し、対象者や顧客の娯楽性、便宜性、情報内容に対する印象度を高めることができ、更に、店舗、乗物、施設等に設置する場合には集客率を向上することができる。特に、薄型のディスプレイ型装置等によりシステムを構成して、店舗、施設、乗物等の公共スペースに多数或いは遍在的に設置し、コンテンツとして広告情報を提供すると、広告情報を対象者が心理的に受け入れやすいタイミングを可能な限り多く捉えて情報提供し、マーケティング効果を増大することができる。
【００２２】
また、マイクロフォンとコンテンツを再生、出力する手段は、ディスプレイやスピーカとマイクロフォンが一体的に設けられているディスプレイ型装置や携帯電話など、これらを１対１で対応させて設ける構成以外に、例えば店舗等の一人若しくは複数人が座れる座席単位にそれぞれ対応して座席近傍に、或いはテーブル近傍にマイクロフォンを設けると共に、その座席から所定距離離れた場所に大型画面のディスプレイやスピーカを有する再生出力手段を前記座席の顧客が視聴可能に設置し、各マイクロフォンで取り込む音声をそれぞれ別々に処理してキーセットの認識処理を実行し、所定のマイクロフォンで取り込む音声に基づくキーセットの認識に応じ、その再生出力手段がコンテンツを再生出力する構成等、１つのシステムのマイクロフォンとコンテンツを再生、出力する手段を複数対１で対応させて設ける構成としてもよく、又、例えば娯楽施設等の２人〜４人など複数人が座れる座席単位にマイクロフォンを設け、その座席単位の各座席に対象者が視聴可能にディスプレイやスピーカを有する再生出力手段を設置し、各座席に対応する再生出力手段が座席単位に対応させて設けられている一つのマイクロフォンから取り込まれる音声に基づき同一のコンテンツを再生出力する構成等、１つのシステムのマイクロフォンとコンテンツを再生、出力する手段を１対複数で対応させて設ける構成としてもよく、又、１つのシステムのマイクロフォンとコンテンツを再生、出力する手段を複数対複数で対応させて設ける構成としてもよい。
【００２３】
また、音声のコンテンツを出力する手段としてスピーカを設ける場合に、例えばリクライニングチェアーに座った対象者の耳元で出力し、対象者にだけ聞こえる音量で出力するスピーカや、対象者の耳元に音声を超音波で搬送する指向性スピーカ等とすると、マイクロフォンで取り込む音声から、マイクロフォンと近距離等に配置されるスピーカの出力音声を予め排除することが可能となり、スピーカの音声出力中も音声認識やキーワードの認知を継続的に実行することができて好適である。また、音声を取り込むマイクロフォンは、対象者以外の音声を排除して対象者の音声を拾えるものであれば適宜であり、例えば対象者の略口元へ指向性を有する指向性マイクロフォンや、或いは所定音量以上の音声のみを取得するマイクロフォン等とし、周囲の一人若しくは複数人の対象者の音声を取得するものとする。更に、例えば複数のマイクロフォンから取得する音声を周波数分析して音源の位置を特定する等、音源の位置を特定する既存の手段等を用いて、所定位置の対象者の音声を取り込んで認識する構成等としてもよい。
【００２４】
また、店舗内の座席近傍やテーブル近傍やテーブル上、施設内の座席近傍、公共的な乗物内の座席近傍、集合場所の壁面等の公共スペースに配置するディスプレイ型装置やスピーカ型装置など、公共スペース等に設けるコンテンツを再生、出力する手段を備える各種装置、又は、公共スペース等に設けるマイクロフォンを備える各種装置、又は、公共スペース等に設けるマイクロフォン及びコンテンツを再生、出力する手段を備える各種装置に、対象とする所定場所に対象者が存在することを検知する赤外線センサー等のセンサーを設け、所定場所の対象者の存在に対するセンサーの検知に応じ、各種装置の制御部など所定部が制御プログラムと協働して所定の制御指令を出力し、前記制御指令に基づき、伝送されるコンテンツ若しくは設定記憶している指定のコンテンツを再生、出力する、或は前記制御指令に基づき、マイクロフォンから取り込んだ音声からキーワードを認知し、認知したキーワードに基づきコンテンツを呼び出し、再生、出力するコンテンツ提供処理をコンテンツ提供システムの所定部が実行する構成等としてもよい。
【００２５】
また、ディスプレイ型装置或はスピーカ型装置或はその両者等のコンテンツを再生、出力する手段を備える各種装置は、キーワードの認知に基づくコンテンツを提供する場合以外には、コンテンツを提供しない、又は適宜のコンテンツを提供する構成とすることが可能である。例えば各種装置の再生処理部が、設定記憶する若しくは伝送される通常のコンテンツを再生し、該コンテンツの再生を中止し若しくは該コンテンツの再生が所定時間内に終了した場合に若しくは該コンテンツの再生終了後に、キーワードの認知に基づくコンテンツを再生する構成等とする。前記通常のコンテンツは、例えばテレビやラジオ等の番組、広告情報、案内情報等とし、ディスプレイ型装置に於けるメニュー画面等も含まれる。又は、キーワードの認知に基づくコンテンツを通常のコンテンツと並行して提供する構成としてもよく、例えばキーワードの認知に基づくコンテンツをディスプレイの一部に表示する構成や、通常のコンテンツとキーワードの認知に基づくコンテンツを分割画面で表示する構成や、出力音声を通常のコンテンツの音声としながらキーワードの認知に基づくコンテンツの画像をディスプレイで表示する構成や、出力音声をキーワードの認知に基づくコンテンツの音声としながら通常のコンテンツの画像をディスプレイで表示する構成等とすることが可能である。
【００２６】
また、コンテンツ提供システムの音声からのキーワードの認知に基づくコンテンツの提供処理を、例えば前記キーワードの認知に基づくコンテンツ提供処理の実行要求の入力や実行スイッチのＯＮに基づき実行し、実行要求の入力や実行スイッチのＯＮがない場合には前記コンテンツ提供処理を実行しない構成等とすることにより、対象者の対話等に対してプライバシー保護を図ること等が可能となる。例えばコンテンツ提供システムをサーバーとディスプレイ型装置をネットワークで接続する等で構成し、ディスプレイ型装置が記憶保持する或は伝送されるメニュー画面をタッチパネル式のディスプレイに再生して表示し、メニュー画面に表示されるコンテンツ提供処理の実行要求ボタンの指定入力に応じて、ディスプレイ型装置の制御部或はサーバーの制御部などシステムの所定部が制御プログラムと協働し、所定の実行制御指令を出力し、前記実行制御指令に基づき、ディスプレイ型装置に設置される或はその近傍に設置される等のマイクロフォンから取り込んだ音声からキーワードを認知し、認知したキーワードに基づきコンテンツを呼び出し、呼び出したコンテンツをディスプレイ型装置で再生、出力するコンテンツ提供処理を所定部が実行する構成等としてもよい。
【００２７】
また、コンテンツ提供システムは、特定のキーワードの組み合わせの認知に基づき特定のキャラクターが登場するコンテンツを提供するなど娯楽性が高いコンテンツを有料若しくは無料で提供するゲームシステム等としてもよい。例えば特定のキャラクターの好みのキーワードを設定時間内に認知した場合には、前記特定のキャラクターが登場するコンテンツを提供し、前記好みのキーワードと異なるキーワードを設定時間内に認知した場合には、その異なるキーワードに対応設定されている別のキャラクターが登場する等のコンテンツを提供する構成等とする。更に、例えばコンテンツ提供システムの所定部が、所定の記憶部に記憶するクイズ形式の誘導画面をディスプレイ型装置のディスプレイに再生表示し、クイズに対する対象者の回答の音声からキーワードを認知し、そのキーワードの認知に基づき特定のキャラクターが登場する等のコンテンツを提供する構成等としてもよい。更に、有料で提供する場合の課金情報の処理は、例えばコンテンツ提供システムをサーバーとディスプレイ型装置をネットワークで接続する等で構成し、コンテンツ提供処理の実行要求ボタンの指定入力に応じて、ディスプレイ型装置或はサーバーの課金処理部がキーワードの認知に基づくコンテンツ提供処理の実行開始時を実時間クロック等の時刻データにより記録し、タッチパネル式のディスプレイのコンテンツ提供時に於ける画面の一部或はメニュー画面等で表示されるコンテンツ提供処理の実行終了ボタンの指定入力に応じて、前記課金処理部がコンテンツ提供処理の実行終了時を記録し、実行開始時から実行終了時までの利用経過時間を取得し、設定記憶されている単位時間当たりの所定の単価を経過時間に乗じてコンテンツ提供に対する対価を算出し、その対価を記憶保持する、或はその対価を送信処理部が所定の記憶部に対価を記憶保持する課金システムに送信する構成等とすると良いが、課金情報の処理には適宜の構成を採用できる。
【００２８】
また、コンテンツ提供システムは、例えば所定部が認識した所定のキーセットで最後に認知した或は最後の認知設定時刻を有するキーワードを認識し、該認識したキーワード自体を表現する、所定の記憶部に設定記憶されている画像データ或は音声データ或はその両者を抽出し、該所定のキーセットと対応するコンテンツの再生及び出力の開始直前に、再生処理部或は送信処理部が該キーワードの画像データ或は音声データ或はその両者を再生出力或は送信する構成等とし、コンテンツを提供される対象者の注意を引き付けるようにしてもよい。
【００２９】
また、本発明には、各発明に他の発明の特定事項を追加し、或は各発明の特定事項を他の発明の特定事項に変更し、或は本発明の部分的な作用効果を奏する限度に於いて、各発明の特定事項を削除して上位概念化したものも本発明に包含され、又、システムのカテゴリー以外に、同様の趣旨の発明を方法やプログラムとして規定したものも本発明に包含され、各カテゴリーの発明の特定事項は適宜他のカテゴリーの発明の特定事項とすることができる。更に、本発明に於ける所定手段や所定部は、設定されるプログラムと協働するＣＰＵや、プログラムやデータを記憶するメモリ等で適宜実現される。
【００３０】
【発明の実施の形態】
本発明のコンテンツ提供システムの第１実施形態について説明する。第１実施形態のコンテンツ提供システム１００は、図１に示すように、マイクロフォン１０１と、特徴抽出部１０２と、キーワード認知部１０３と、標準特徴記憶部１０４と、認知管理部１０５と、コンテンツ呼出部１０６と、コンテンツデータベース（コンテンツＤＢ）１０７と、再生処理部１０８と、ディスプレイ１０９で基本的に構成され、特徴抽出部１０２、キーワード認知部１０３、標準特徴記憶部１０４、認知管理部１０５、コンテンツ呼出部１０６、コンテンツＤＢ１０７、再生処理部１０８等の所定部は、設定されるプログラムと協働するＣＰＵや、プログラムやデータを記憶するメモリ等で実現される。コンテンツ提供システム１００の前記１０１〜１０９各部の物理的な配置構成は適宜であり、例えば１０１〜１０９を一体的に設けたディスプレイ型装置や、或はコンテンツＤＢ１０７以外を一体的に設けたディスプレイ型装置とコンテンツＤＢ１０７を設けたサーバーで構成し、前記ディスプレイ型装置がサーバーとデータを送受信する構成や、或はマイクロフォン１０１と再生処理部１０８とディスプレイ１０９を一体的に設けたディスプレイ型装置と前記１０２〜１０７を設けたサーバーで構成し、前記ディスプレイ型装置が特徴抽出部１０２を有するサーバーへ音声を送信し、サーバーが所定処理を実行し、再生処理部１０８がサーバーからコンテンツデータを受信する構成等とすることが可能であり、又、適宜の所定部或いは所定部を有する装置をネットワークで接続して構成することが可能である。
【００３１】
特徴抽出部１０２は、マイクロフォン１０１から入力される音声を取り込んでアナログ／デジタル変換し、音響分析により例えばケプストラムなど単位時間毎の特徴量の抽出を行う。また、標準特徴記憶部１０４は登録されている各キーワードと対応設定されている標準的な特徴量を記憶しており、キーワード認知部１０３は、例えば連続ＤＰマッチングにより、特徴抽出部１０２で抽出した特徴量と標準特徴記憶部１０４に格納されている各キーワードの標準的な特徴量とを照合して類似距離を算出し、算出した類似距離が設定記憶されている所定の閾値以下であるか判定し、類似距離が所定の閾値以下である場合に、その類似距離が算出された標準的な特徴量と対応設定されている所定のキーワードを認知する。尚、本発明に於ける音声を認識して認識した音声から設定されているキーワードを認知する構成には、例えば前記構成のようなワードスポッティングの音声認識技術を用いると、速い応答速度でリアルタイムにコンテンツを提供できるシステムを低コストで実現することが可能となり、又、特段の構成を用いずとも予め決まったキーワード以外は抽出しないことから、音声を取り込まれる人のプライバシー保護を図ることができて好適であるが、適宜の音声認識技術を用いて設定されるキーワードを認知する構成とすることが可能である。
【００３２】
認知管理部１０５は、キーワード認知部１０３に於ける所定のキーワードの認知に応じて、実時間クロックの計測時刻等により前記所定のキーワードの認知時刻を取得し、記憶保持する図２の認知管理テーブルから前記所定のキーワードに対応する一若しくは複数の認知時刻記録領域を記憶する対応テーブル等により全て認識し、認識した認知時刻記録領域に前記所定のキーワードの認知時刻を記録し、又、認識した認知時刻記録領域に既に所定のキーワードの認知に基づき認知時刻が記録されている場合には、同一の所定のキーワードの新たな認知に基づき新たな認知時刻を更新して記録する。図２の認知管理テーブルは、識別ＩＤで識別されるキーセットの複数を有し、各キーセットにはそれぞれ属する複数種の異なるキーワードが設定され、各キーワードに対する認知時刻記録領域が設けられている。図２の例では認知管理テーブルの各キーセットにそれぞれ３個或は４個のキーワードが設定されている。尚、各キーセットにそれぞれ設定する複数の異なるキーワードの数は３個以上の複数とすると、例えば音声入力される話の中心的話題により適合したコンテンツの提供が可能となって好適である。更に、認知管理部１０５は、実時間クロック等により取得する現在時刻から設定記憶されている認知設定時間を超える時間が経過している、記録されたキーワードの認知時刻を順次認識して消去する。更に、認知管理部１０５は、設定されている全てのキーワードに対して認知時刻が記録された所定のキーセットの識別ＩＤを認識し、認識した識別ＩＤをコンテンツ抽出部１０６に出力する。
【００３３】
コンテンツ呼出部１０６は、認知管理部１０５からの識別ＩＤの入力に応じ、再生処理部１０８でコンテンツが再生中であるか判定し、コンテンツが再生中でないと判定した場合に、コンテンツＤＢ１０７に格納されているコンテンツの中から前記識別ＩＤと対応設定されているコンテンツを呼び出し、呼び出したコンテンツを再生処理部１０８へ出力し、又、コンテンツが再生中であると判定した場合に、実時間クロック等により設定記憶されている呼出設定時間の計測を開始し、更に、呼出設定時間内にコンテンツの再生終了を認識した場合に、前記識別ＩＤと対応するコンテンツを呼び出して再生処理部１０８へ出力し、呼出設定時間内にコンテンツの再生終了を認識しなかった場合には、前記識別ＩＤと対応するコンテンツを呼び出しないようになっている。再生処理部１０８は、コンテンツ呼出部１０６で抽出されたコンテンツを復号化して再生し、例えば動画像若しくは静止画像の画像のコンテンツを再生し、ディスプレイ１０９は、再生処理部１０８で再生される画像を表示する。再生するコンテンツの内容は、例えば広告情報とすると良いが、施設等の案内情報、キーセットに属するキーワードと高い関連性を有する事柄の説明若しくは高い関連性を有する番組、クイズ等としても良く、その他にもキーワードと関連性を有する適宜の内容とすることが可能である。
【００３４】
上記第１実施形態のコンテンツ提供システム１００による処理の流れを図３に示す。例えばディスプレイ型装置等として構成されるコンテンツ提供システム１００のマイクロフォン１０１が周囲近傍に位置する人の話し声を取り込み、連続して音声入力される（Ｓ１）。入力された話し声の音声は特徴抽出部１０２に随時取り込まれてＡ／Ｄ変換され、特徴抽出部１０２は、音声データから単位時間毎に特徴量を随時抽出し（Ｓ２）、抽出した特徴量をキーワード認知部１０３へ出力する。キーワード認知部１０３は、入力音声の特徴量と標準特徴記憶部１０４に格納されている標準的な特徴量とを随時照合して類似距離を算出し（Ｓ３）、算出した類似距離が所定の閾値以下であるか随時判定し（Ｓ４）、類似距離が所定の閾値以下である場合に、その類似距離が算出された標準的な特徴量と対応設定されている所定のキーワードを認知する（Ｓ５）。
【００３５】
認知管理部１０５は、キーワード認知部１０３に於ける所定のキーワードの認知に応じて、認知した所定のキーワードに対する認知時刻を取得すると共に（Ｓ６）、前記所定のキーワードに対応する認知管理テーブルの認知時刻記録領域を認識し、認知時刻記憶領域に前記所定のキーワードの認知時刻を記録し（Ｓ７）、又、前期認知時刻記録領域に既に認知時刻が記録された状態になっている場合には、新たな認知時刻を更新して記録する（Ｓ７）。この場合、例えば図２の認知管理テーブルの識別ＩＤ：０００１のキーセットのキーワード：Ａと、識別ＩＤ：０００３のキーセットのキーワード：Ａのように、同一のキーワードが異なるキーセットに複数設定されている場合、図２の１２時３０分５秒のように、前記キーワードが属する全てのキーセットについて、そのキーワードに対する認知時刻記録領域に認知時刻を記録する。そして、認知管理部１０５は、記録された各キーワードの認知時刻に対し、現在時刻から認知時刻までの経過時間が例えば１０分など認知設定時間を超えているか随時判定し（Ｓ８）、現在時刻から認知時刻までの経過時間が認知設定時間を超えていると判定した場合には、その判定に応じ、判定したの認知時刻の記録を消去する（Ｓ９）。前記認知設定時間は、例えば３分以上３０分以内の所定時間、好ましくは５分以上１５分以内の所定時間とする等、キーセットのキーワード数や自然な対話に於ける複数のキーワードの予測出現時間等に応じて適宜設定することが可能である。かかる認知設定時間により、周囲の対象者同士の自然な対話や周囲の対象者の携帯電話による対話等から音声を取り込んで所定の処理を行う。
【００３６】
更に、認知管理部１０５は、現在時刻から最先の認知時刻までの経過時間が認知設定時間以内である、所定のキーセットの全キーワードに対する認知時刻の記録を認識し（Ｓ１０）、前記認識に応じて、前記所定のキーセットの識別ＩＤを認識してコンテンツ呼出部１０６に出力すると共に（Ｓ１１）、前記所定のキーセットに於ける全キーワードの認知時刻の記録を消去して初期化する。図２の認知管理テーブルの例では、例えば１０分の認知設定時間以内にキーワード：Ａ、Ｂ、Ｃに対する認知時刻が記録されることにより、識別ＩＤ：０００１がコンテンツ呼出部１０６へ出力される。また、認知管理部１０５は、前記所定のキーセットの識別ＩＤを出力した場合に、他のキーセットに於ける認知時刻の記録はそのまま維持した状態としつつ、前記所定のキーセットに対する認知時刻の記録処理を開始し、キーワードの認知に基づく認知時刻の記録を継続的に実行する。尚、認知管理テーブルの各キーセットにそれぞれ対応設定されているキーワードの数は全てのキーワード組で同数としても良いが、例えば図２の識別ＩＤ：０００１のＡ、Ｂ、Ｃの３個と識別ＩＤ：０００２のＤ、Ｅ、Ｆ、Ｇのように、キーセット毎に設定されているキーワードの数が相違するようにしてもよく、この場合にも、各キーセットについてそれぞれ設定されている全キーワードに対する認知設定時間以内の認知時刻の記録に基づき識別ＩＤを出力する。また、認知管理部１０５は、各キーセットに対して一律に同じ時間である認知設定時間を記憶し、前記処理を実行する以外に、各キーセット毎に別々に設定される認知設定時間を記憶し、前記処理を実行する構成としてもよい。
【００３７】
コンテンツ呼出部１０６は、認知管理部１０５からの識別ＩＤの入力に基づき、再生処理部１０８で既に認識済のキーセットと対応するコンテンツが再生中であるか判定し（Ｓ１２）、再生処理部１０８から再生無のデータを取得してコンテンツが再生中でないと判定した場合には、その判定に応じて、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し（Ｓ１５）、再生処理部１０８へ出力する。また、コンテンツ呼出部１０６は、再生処理部１０８から再生有のデータを取得してコンテンツが再生中であると判定した場合には、その判定に応じて、実時間クロック等により設定記憶されている呼出設定時間の計測を開始し（Ｓ１３）、呼出設定時間の計測中にコンテンツの再生が終了したか判定し（Ｓ１４）、呼出設定時間の計測中に再生処理部１０８からコンテンツの再生無或いは再生終了データを取得してコンテンツの再生終了を判定或は認識した場合に、その判定等に応じて、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し（Ｓ１５）、再生処理部１０８へ出力すると共に、呼出設定時間に対する計測時間を初期化する。他方で、コンテンツ呼出部１０６は、呼出設定時間の計測中に再生処理部１０８からコンテンツの再生無或いは再生終了データを取得せずコンテンツの再生終了を判定或は認識しなかった場合には、呼出設定時間の計測終了に応じ、前記識別ＩＤと対応設定されているコンテンツの呼び出しや再生を実行せずに処理を終了すると共に、計測時間を初期化する。
【００３８】
そして、再生処理部１０８は、コンテンツ呼出部１０６から入力された広告映像等のコンテンツを復号化して再生し、ディスプレイ１０９が再生される映像を表示する（Ｓ１６）。前記再生及び表示は、認識した所定のキーセットの最後のキーワードの認知とほぼリアルタイム若しくはほぼ呼出設定時間内で行われ、再生出力されるコンテンツの映像は、コンテンツ提供システム１００を構成するディスプレイ型装置等の周囲近傍に位置して話し声の音声が取り込まれた音声入力者等に提供される。かかるコンテンツ提供システム１００により、例えばキーワードとして「海外旅行」「夏」「バリ」を設定時間内に認知し、これに基づき前記キーワードに対応する夏季のバリ島旅行に対する広告のコンテンツを提供すること等が可能である。
【００３９】
尚、例えばコンテンツ呼出部１０６が認知管理部１０５からの識別ＩＤの入力に応じて、前記識別ＩＤと対応設定されているコンテンツを呼び出して再生処理部１０８へ出力し、再生処理部１０８が入力されたコンテンツを所定の記憶領域に記憶保持し、再生処理部１０８或いは所定部が、コンテンツを再生中であるか判定し、コンテンツを再生中でないと判定した場合に、再生処理部１０８が、その判定に応じて、前記出力され記憶保持しているコンテンツを復号化して再生し、また、再生処理部１０８或いは所定部が、コンテンツが再生中であると判定した場合に、その判定に応じて、再生設定時間の計測を開始し、再生設定時間の計測中にコンテンツの再生が終了したか判定し、再生設定時間の計測中にコンテンツの再生終了を認識した場合に、再生処理部１０８が、その認識に応じて、前記出力され記憶保持しているコンテンツを復号化して再生すると共に、再生処理部１０８或いは所定部が、再生設定時間に対する計測時間を初期化し、他方で、再生処理部１０８或いは所定部が、再生設定時間の計測中にコンテンツの再生終了を認識しなかった場合に、再生処理部１０８が、再生設定時間の計測終了に応じ、前記出力され記憶保持するコンテンツを再生せずに消去すると共に、再生処理部１０８或いは所定部が、計測時間を初期化する構成としてもよい。また、コンテンツ呼出部１０６が、ネットワーク接続で分離して設置されている再生処理部１０８から再生中や再生終了のデータを取得し、それに応じてコンテンツの呼出或は設定時間の計測開始等を行い、再生処理部１０８がコンテンツ呼出部１０６から受信するコンテンツを再生する構成等としてもよい。
【００４０】
次に、コンテンツ提供システムの第２実施形態について説明する。第２実施形態のコンテンツ提供システム１００は、図４に示すように、第１実施形態と同様、マイクロフォン１０１と、特徴抽出部１０２と、キーワード認知部１０３と、標準特徴記憶部１０４と、認知管理部１０５と、コンテンツ呼出部１０６と、コンテンツデータベース（コンテンツＤＢ）１０７を備えるものであるが、第１実施形態と異なり、コンテンツ呼出部１０６が呼び出したコンテンツを、コンテンツ提供システム１００の外部の再生出力装置２００へ送信する送信処理部１１０を備えるものであり、その所定部は、設定されるプログラムと協働するＣＰＵや、プログラムやデータを記憶するメモリ等で実現される。尚、マイクロフォン１０１、特徴抽出部１０２、キーワード認知部１０３、標準特徴記憶部１０４、認知管理部１０５、コンテンツＤＢ１０７の機能や動作は上記第１実施形態と同様である。
【００４１】
コンテンツ呼出部１０６は、認知管理部１０５からの識別ＩＤの入力に応じ、送信処理部１１０でコンテンツを送信中であるか判定し、送信処理部１１０でコンテンツを送信中でないと判定した場合に、コンテンツＤＢ１０７に格納されているコンテンツの中から前記識別ＩＤと対応設定されているコンテンツを呼び出し、送信処理部１１０へ呼び出したコンテンツを出力し、又、送信処理部１１０でコンテンツを送信中であると判定した場合に、実時間クロック等により設定記憶されている呼出設定時間の計測を開始し、更に、呼出設定時間内にコンテンツの送信終了を認識した場合に、前記識別ＩＤと対応するコンテンツを呼び出して送信処理部１１０へ出力し、他方で、呼出設定時間内にコンテンツの送信終了を認識しなかった場合には、前記識別ＩＤと対応するコンテンツを呼び出ししないようになっている。
【００４２】
送信処理部１１０は、コンテンツ呼出部１０６で呼び出され出力されたコンテンツを記憶保持し、再生出力装置２００へコンテンツのデータを時系列で順次送信する構成であり、前記コンテンツのデータは例えば再生出力装置２００のディスプレイに部分的に表示される画像データとする。再生出力装置２００は、順次送信されるコンテンツのデータを復号化して再生し出力するものであり、例えば送信される画像データ及び音声データを受信、再生してディスプレイ及びスピーカで出力するデジタルテレビ受像器等で、ピクチャーインピクチャー等でディスプレイ画面の一部に前記コンテンツの動画像若しくは静止画像の画像を配置して、主たる画像と共に前記コンテンツ画像を副画像として表示するものとする。また、コンテンツの内容は、例えばキーセットに属するキーワードと高い関連性を有する事柄の説明、広告情報、クイズ、案内情報等とすると良いが、その他にもキーワードと関連性を有する適宜の内容とすることが可能である。
【００４３】
上記第２実施形態のコンテンツ提供システム１００による処理の流れを図５に示す。第２実施形態のコンテンツ提供システム１００は、例えばテレビ受像機等の再生出力装置２００へ生放送の番組を送信する際に、放送中の番組から出演者の話声の音声をマイクロフォン１０１で取り込み、その音声からキーワードを認知し、認知したキーワードに基づき、キーワードと関連性を有する事柄の説明や広告情報をコンテンツとして送信する等に用い、図５に示すように、コンテンツ呼出部１０６に認知管理部１０５から所定のキーセットの識別ＩＤが出力されるまでは上記第１実施形態と同様の処理を実行する（Ｓ１〜Ｓ１１）。
【００４４】
そして、コンテンツ呼出部１０６は、認知管理部１０５からの所定のキーセットの識別ＩＤの入力に応じて、送信処理部１１０で既に認識済のキーセットと対応するコンテンツが送信中であるか判定し（Ｓ１７）、送信処理部１１０から送信無のデータを取得してコンテンツが送信中でないと判定した場合には、その判定に応じて、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し（Ｓ１５）、送信処理部１１０へ出力し、送信処理部１１０は、入力される前記コンテンツを所定の記憶領域に記憶保持し、記憶保持する前記コンテンツのデータを時系列で順次再生出力装置２００へ送信する（Ｓ１９）。また、コンテンツ呼出部１０６は、送信処理部１１０から送信有のデータを取得してコンテンツを送信中であると判定した場合には、その判定に応じて、実時間クロック等により設定記憶されている呼出設定時間の計測を開始し（Ｓ１３）、呼出設定時間の計測中にコンテンツの送信が終了したか判定し（Ｓ１８）、呼出設定時間の計測中に送信処理部１１０からコンテンツの送信無或いは送信終了データを取得してコンテンツの送信終了を判定或は認識した場合に、その判定等に応じて、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し（Ｓ１５）、送信処理部１１０へ出力すると共に、呼出設定時間に対する計測時間を初期化し、送信処理部１１０は、入力される前記コンテンツを所定の記憶領域に記憶保持し、記憶保持する前記コンテンツのデータを時系列で順次再生出力装置２００へ送信する（Ｓ１９）。他方で、コンテンツ呼出部１０６は、呼出設定時間の計測中に送信処理部１１０からコンテンツの送信無或いは送信終了データを取得せずコンテンツの送信終了を判定或は認識しなかった場合には、呼出設定時間の計測終了に応じ、前記識別ＩＤと対応設定されているコンテンツの呼び出しや送信を実行せずに処理を終了すると共に、計測時間を初期化する。
【００４５】
前記コンテンツのデータを受信する再生出力装置２００は、例えば通常の放送で送信される番組を受信して再生出力すると共に、その再生処理部で前記コンテンツのデータを受信に応じて復号化して再生し、例えばディスプレイの一部にコンテンツ画像を表示する。前記送信及び表示は、認識した所定のキーセットの最後のキーワードの認知とほぼリアルタイム若しくはほぼ呼出設定時間内で行われ、再生出力されるコンテンツ画像は、例えば前記番組を再生出力装置２００で視聴する視聴者に提供される。かかるコンテンツ提供システム１００により、例えばテレビ番組の出演者の対話からキーワードを認知し、キーワードに関連した情報や説明等のコンテンツを提供すること等が可能である。
【００４６】
尚、例えばコンテンツ呼出部１０６が認知管理部１０５からの識別ＩＤの入力に応じて、前記識別ＩＤと対応設定されているコンテンツを呼び出して送信処理部１１０へ出力し、送信処理部１１０が入力されたコンテンツを所定の記憶領域に記憶保持すると共に、送信処理部１１０或いは所定部が、コンテンツを送信中であるか判定し、コンテンツを送信中でないと判定した場合に、送信処理部１１０は、その判定に応じて、前記出力され記憶保持しているコンテンツを再生出力装置２００へ送信し、また、送信処理部１１０或いは所定部が、コンテンツが送信中であると判定した場合に、その判定に応じて、送信設定時間の計測を開始し、送信設定時間の計測中にコンテンツの送信が終了したか判定し、送信設定時間の計測中にコンテンツの送信終了を認識した場合に、送信処理部１１０は、その認識に応じて、前記出力され記憶保持しているコンテンツを送信すると共に、送信処理部１１０或いは所定部が、送信設定時間に対する計測時間を初期化し、他方で、送信処理部１１０或いは所定部が、送信設定時間の計測中にコンテンツの送信終了を認識しなかった場合に、送信処理部１１０が、送信設定時間の計測終了に応じ、前記出力され記憶保持するコンテンツを再生せずに消去すると共に、送信処理部１１０或いは所定部が、計測時間を初期化する構成としてもよい。
【００４７】
次に、上記第１、第２実施形態のコンテンツ提供システム１００の変形例等について説明する。上記第１、第２実施形態のコンテンツ提供システム１００では、提供するコンテンツを画像としたが、提供するコンテンツはこれに限定されるものではなく、例えば音声がない動画像若しくは静止画像の画像だけとする他に、動画像若しくは静止画像の画像と音声、画像がない音声だけのもの等とすることが可能である。音声のコンテンツ若しくは音声を有するコンテンツを提供する場合には、例えば再生処理部１０８で復号化して再生し、コンテンツ提供システム１００に設置されるスピーカから出力する、或は再生出力装置２００の再生処理部１０８で復号化して再生し、再生出力装置２００に設置されるスピーカから出力する等により、ディスプレイ１０９や再生出力装置２００の視聴者等にコンテンツの音声を提供する。
【００４８】
また、上記第１、第２実施形態は、キーセットを複数種のキーワードで構成し、各キーワードに対する認知時刻を記録し、認知設定時間内における所定キーセットの全キーワードの認知に基づき、所定キーセットを認識する構成としたが、認知設定時間内における複数種のキーワードの認知に基づき、該複数種のキーワードと対応するキーセットを認識する構成であれば適宜であり、キーワードと対応設定されている複数種のキーでキーセットを構成し、キーワードの認知時刻をキーワードと対応するキーの認知時刻として記録し、認知設定時間内における所定キーセットの全キーの認知或は認知時刻の記録に基づき、所定キーセットを認識する構成等としてもよい。例えば図６に示すように、一のキーワード若しくは意味内容が類似する複数のキーワード（例えばＡ１、Ａ２、Ａ３）を類似集合単位や代表キーワードを表すキー（例えばＡ）と対応設定し、複数種のキー（例えばＡ、Ｂ、Ｃ）で識別ＩＤで特定されるキーセットを構成し、認知管理部１０５が、キーワード（例えばＡ１）の認知に応じて、キーワードの認知時刻を前記キーワードが対応するキー（例えばＡ）の認知時刻として記録し、同一のキー（例えばＡ）に対応するキーワード（例えばＡ１、Ａ２若しくはＡ３）の認知に応じて、キー（例えばＡ）の認知時刻を更新記録し、又、現在時刻から認知時刻までの経過時間が認知設定時間を経過した記録されたキーに対する認知時刻を消去する構成とし、更に、キーセットを構成する複数種のキー（例えばＡ、Ｂ、Ｃ）の全てについて、認知設定時間内に認知時刻が記録された場合に、例えば識別ＩＤ：０００１で特定されるキーセットなど所定のキーセットを認識する構成等とする。
【００４９】
また、所定のキーセットを認識する際に、所定のキーセットと対応する全キーワード若しくは全キーを認知し、且つ前記認知におけるキーワード若しくはキー対する最先の認知時刻から最後の認知時刻までの経過時間が認知設定時間以内であることを認識する構成は、上述の現在時刻から認知時刻までの経過時間が認知設定時間を経過している認知時刻を消去する構成に限定されず適宜であり、例えば前記認知設定時間が経過している認知時刻の消去を行わずに、上記と同様にキーワード若しくはキーに対する認知時刻を記録及び更新記録し、所定のキーセットと対応する全キーワード若しくは全キーの認知時刻の記録に応じ、前記全キーワード若しくは全キーの認知時刻のうちで最先の認知時刻と最後の認知時刻までの経過時間を取得し、その経過時間を認知設定時間と対比して、前記経過時間が認知設定時間以内である場合に前記所定のキーセットを認識する構成等としてもよい。
【００５０】
また、上記第１、第２実施形態では、キーワードの認知と対応して記録する時刻を、キーワードの認知に応じて実時間クロック等により取得する認知時刻としたが、係る時刻はキーワードの認知と対応関係を有する時刻であれば適宜であり、例えばキーワードの認知事実やキーの認知事実を記録する時点の時刻等としてもよい。
【００５１】
また、例えばコンテンツ呼出部１０６が、認知管理部１０５からの識別ＩＤの入力に基づき、再生処理部１０８若しくは送信処理部１１０で既に認識済のキーセットと対応するコンテンツが再生中若しくは送信中であるか判定し、コンテンツが再生中若しくは送信中でないと判定した場合には、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し、再生処理部１０８若しくは送信処理部１１０へ出力し、他方で、コンテンツが再生中若しくは送信中であると判定した場合には、前記認知管理部１０５から入力された識別ＩＤを所定の記憶領域に記録保持し、或いは所定の記憶領域に既に記録保持されている識別ＩＤがある場合、記録保持されている識別ＩＤを前記認知管理部１０５から新たに入力された識別ＩＤに書き換え、前記所定の記憶領域の識別ＩＤを更新して記録保持し、更に、再生処理部１０８からコンテンツの再生終了データを取得若しくは送信処理部１１０からコンテンツの送信終了データを取得によりコンテンツの再生終了若しくは送信終了を判定或いは認識した場合に、その判定等に応じて、その判定等の時点で前記所定の記憶領域に記録保持している識別ＩＤと対応設定されているコンテンツを呼び出し、再生処理部１０８若しくは送信処理部１１０へ出力する構成等としてもよい。
【００５２】
また、例えば異なる複数のキーセット或いはその識別ＩＤに対応させて同一のコンテンツを設定してもよく、コンテンツ呼出部１０６が、当該コンテンツと対応する何れかの識別ＩＤの入力に基づき、記憶保持しているコンテンツＤＢ１０７から当該コンテンツを呼び出す構成としてもよい。
【００５３】
また、コンテンツが動画像や音声等の場合には、例えば再生処理部１０８或いは送信処理部１１０は一巡して終了するまでコンテンツを再生して出力する或いは送信するが、必要に応じて再生中や送信中のコンテンツの再生や送信を途中で打ち切る構成としてもよい。例えばコンテンツ呼出部１０６が、キーセットの認識による識別ＩＤの入力に基づき、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し、再生処理部１０８若しくは送信処理部１１０へ出力し、再生処理部１０８若しくは送信処理部１１０は、前記コンテンツの入力等に基づき、再生中若しくは送信中のコンテンツがない場合には、前記入力されたコンテンツの再生若しくは送信を開始し、他方、再生中若しくは送信中のコンテンツがある場合には、その再生若しくは送信を中止して終了し、前記入力されたコンテンツの再生若しくは送信を開始する構成等とする。更に、コンテンツが静止画像である場合には、例えば再生処理部１０８若しくは送信処理部１１０に設定記憶されている一律の設定時間に亘ってコンテンツを再生若しくは送信する構成や、コンテンツと対応してコンテンツＤＢ１０７等に設定記憶されている設定時間を再生処理部１０８若しくは送信処理部１１０が認識し、その設定時間に亘ってコンテンツを再生若しくは送信する構成等としてもよい。
【００５４】
また、一つのキーセット或は一つのキーセットの識別ＩＤに複数のコンテンツを対応設定して、前記キーセット或いはキーセットの識別ＩＤに加え、他の条件項目或いは指定ＩＤに対応させて各コンテンツをコンテンツＤＢ１０７に設定記憶し、コンテンツ呼出部１０６が、所定のキーセット或いは所定のキーセットの識別ＩＤ及び他の条件項目等の認識若しくは入力に基づき、前記所定のキーセット或いは所定のキーセットの識別ＩＤ及び他の条件項目に対応設定されているコンテンツを呼び出す構成としてもよい。例えばキーセットの識別ＩＤ及び時間帯の区分に対応させて各コンテンツをコンテンツＤＢ１０７に設定記憶し、コンテンツ呼出部１０６が、所定のキーセットの識別ＩＤの入力に応じて、実時間クロック等での計測時刻から前記所定のキーセットの識別ＩＤが入力された時点の現在時刻を取得し、所定の記憶領域に記憶保持している時間帯区分と対比して前記現在時刻が含まれる所定の時間帯区分を認識し、入力された所定のキーセットの識別ＩＤと前記現在時刻が含まれる認識した所定の時間帯区分に対応するコンテンツをコンテンツＤＢ１０７から呼び出す構成等とし、キーワードを認知した時刻やキーセットを認識した時刻に応じて異なるコンテンツを提供してもよい。
【００５５】
更に、キーセットの識別ＩＤ及び場所区分若しくは天候区分等の環境的な区分に対応させて各コンテンツをコンテンツＤＢ１０７に設定記憶し、例えばコンテンツ呼出部１０６が、所定のキーセットの識別ＩＤの入力に応じ、所定の記憶領域に記憶保持する所定の場所区分若しくは所定の天候区分を認識し、入力された所定のキーセットの識別ＩＤと認識した所定の場所区分若しくは所定の天候区分に対応するコンテンツをコンテンツＤＢ１０７から呼び出す構成等とし、場所や天候に対応するコンテンツを提供してもよい。前記場所区分は、例えばコンテンツの再生出力手段が設置される店舗の種別、地域別などで適宜設定することが可能であり、又、前記天候区分は、温度、湿度、天気などで適宜設定することが可能であり、例えばコンテンツ提供システムの所定部が制御プログラムと協働し、その日に入力された温度、湿度若しくは天気若しくはその組み合わせ等の天候データを認識し、設定記憶されている天候区分と天候データを対比して前記天候データが含まれる所定の天候区分を認識し、その天候区分を所定の記憶領域に記憶保持する構成等とすることが可能である。
【００５６】
更に、例えばキーセットの識別ＩＤ及び指定ＩＤに対応させて各コンテンツをコンテンツＤＢ１０７に設定記憶し、コンテンツ呼出部１０６が、所定のキーセットの識別ＩＤに対応する複数のコンテンツの内、出力或いは再生したコンテンツの次順位に設定されているコンテンツの指定ＩＤを、出力或いは再生したコンテンツの指定ＩＤである指定番号に１など所定数加算する等で取得し、その指定ＩＤを前記所定のキーセットの識別ＩＤに対応させて所定の記憶領域に記憶保持し、その後、前記所定のキーセットの識別ＩＤの入力に基づき、前記所定のキーセットの識別ＩＤに対して記憶保持する指定ＩＤを認識し、前記所定のキーセットの識別ＩＤ及び前記認識した指定ＩＤに対応するコンテンツを呼び出す構成等とし、同一のキーセットに対して２回目等に別のコンテンツを提供するようにしてもよい。
【００５７】
また、例えば一つのキーセット或いは一つのキーセットの識別ＩＤに連続再生若しくは連続送信する複数のコンテンツを必要に応じて対応させコンテンツＤＢ１０７に設定記憶し、コンテンツ呼出部１０６が、所定のキーセットの入力或いは所定のキーセットの識別ＩＤの入力に基づき、前記所定のキーセット或いは所定のキーセットの識別ＩＤに対応設定されている複数のコンテンツを呼び出し、再生処理部１０８若しくは送信処理部１１０が前記複数のコンテンツを連続再生若しくは連続送信する構成等とし、必要に応じて一若しくは複数のコンテンツを提供するようにしてもよい。
【００５８】
【発明の効果】
本発明のコンテンツ提供システムは、時間の経過に応じて複雑に移り変わる話者の話題を並列的に随時追跡し、所定時間に於いて盛り上がっている集中度が高い或いは中心的な話題や興味を複雑な処理を要さずに容易に且つ迅速に特定することができ、又、コンテンツ提供に必要且つ十分な正確性で話題や興味を特定することができ、話者の中心的な話題や興味に沿った心理的に非常に受け入れやすいコンテンツを、話者、或いは話者の対話を聴いている対象者、又は再生出力装置で話者の対話を聴いている対象者等に迅速にリアルタイムで提供することができる。更に、簡単な構成で多大なハードウェアリソースを必要とせずに低コストで実現することができ、コンテンツ提供システム或いはディスプレイ型装置やマイクロフォンなどコンテンツ提供システムの所定部を遍在的に設置することも可能となる。更に、例えばキーセットで設定する話題数やキーワード数等が増大した場合にも、必要とするハードウェアリソースの増加やコスト増が無い或いは非常に軽微に留めつつ、コンテンツ提供の迅速性やリアルタイム性を確保することができる。更に、認知対応時刻の記録及び更新により、例えばキーセット数やキーワード数等の増大した場合等にも、最先の認知対応時刻から最後の認知対応時刻までの認知経過時間を複雑な処理を要さず非常に容易に取得することができる。更に、設定キーワードの認知に基づきコンテンツを提供するので、適度にコンテンツを提供し、過剰に情報提供を防止することができる。更に、話者が意識的にある種の話題で対話し、その話題に対応するコンテンツを呼び出して提供を受ける、或いは提供することも可能であり、話者やコンテンツ提供を受ける被提供者の便宜性や娯楽性を向上することができる。
【図面の簡単な説明】
【図１】第１実施形態のコンテンツ提供システムの全体構成を示すブロック図。
【図２】認知管理テーブルのデータ構成を示す図。
【図３】第１実施形態のコンテンツ提供システムによるコンテンツ提供処理の流れを示すフローチャート。
【図４】第２実施形態のコンテンツ提供システムの全体構成を示すブロック図。
【図５】第２実施形態のコンテンツ提供システムによるコンテンツ提供処理の流れを示すフローチャート。
【図６】認知管理テーブルのデータ構成の変形例を示す図。
【符号の説明】
１００ コンテンツ提供システム
１０１ マイクロフォン
１０２ 特徴抽出部
１０３ キーワード認知部
１０４ 標準特徴記憶部
１０５ 認知管理部
１０６ コンテンツ呼出部
１０７ コンテンツＤＢ
１０８ 再生処理部
１０９ ディスプレイ
１１０ 送信処理部
２００ 再生出力装置
【発明の属する技術分野】
本発明は、例えばコンテンツを提供される話者等の対話から音声を取り込み、その音声に含まれるキーワードに基づき話題を特定し、その話題に対応する広告等のコンテンツをリアルタイムに提供するコンテンツ提供システムに関する。
【０００２】
【従来の技術】
コンテンツを提供される被提供者等の対話から音声を取り込み、その音声に含まれるキーワードに基づき話題を特定し、その話題に対応するコンテンツをリアルタイムに提供する構成に関する公知文献として、特許文献１がある。特許文献１には、テレビ会議等の対話を音声認識してキーワードを認知し、そのキーワードに基づき話題を特定し、特定した話題に基づいてコンテンツを決定し、そのコンテンツをディスプレイ等に出力する情報提供装置が開示され、前記情報提供装置は、特徴的なキーワードの認識に応じて、そのキーワードと対応する話題を特定する、或いは話題に出現する複数のキーワードの出願頻度の分布を取得し、その出現頻度分布が最も類似する設定された出現頻度分布を決定し、決定した設定出現頻度分布に対応する話題を該当する話題として特定するものである。
【０００３】
また、他の公知文献として特許文献２があり、特許文献２には、テレビ電話の対話を音声認識してキーワードを認知し、予め配信されテレビ電話端末に蓄積された広告の中から認知したキーワードと対応する広告を呼び出し、その広告をディスプレイに出力するテレビ電話端末が開示されている。
【０００４】
また、上記構成に関連する公知文献として特許文献３があり、特許文献３には、音声認識センサーで周囲の人の話し声を検知し、その話し声の周波数帯域やフォルトマントを分析して周囲の人の性別及び年齢層を判断し、性別及び年齢層の判断結果に応じた広告情報をディスプレイで表示する広告表示装置が開示されている。
【０００５】
【特許文献１】特開平１１−２０３２９５号公報
【特許文献２】特開２００２−２７１５０７号公報
【特許文献３】特開２００２−２４４６０６号公報
【０００６】
【発明が解決しようとする課題】
しかし、特許文献１、２の如く、キーワードの認知に応じ、そのキーワードと対応するコンテンツを提供する構成では、対話で偶然現れたキーワードや付随的な話題で現れたキーワード等に対応するコンテンツが提供されてしまい、話者の中心的な話題を特定し、その中心的な話題や興味に沿ったコンテンツをリアルタイムで提供することは困難である。また、特許文献１の如く、話題に出現する複数のキーワードの出願頻度の分布を取得し、その出現頻度分布が最も類似する設定された出現頻度分布を決定し、決定した設定出現頻度分布に対応する話題を該当する話題として特定する構成では、対話の中心的な話題を正確に特定することができるものの、出現頻度分布の類似度を演算するために多大なハードウェアリソースが必要となって高コスト化し、又、キーワードの出現頻度データの蓄積や類似度の演算のためにコンテンツ提供の迅速性やリアルタイム性が損なわれ、中心的な話題や興味の移り変わり後にコンテンツが提供される事態が多々生ずる。かかる欠点は設定するキーワード数や話題数の増大とともに非常に顕著となる。
【０００７】
本発明は上記課題に鑑み提案するものであり、話者の中心的な話題を特定し、その中心的な話題に沿ったコンテンツを迅速にリアルタイムで提供することができるコンテンツ提供システムを提供することを目的とする。また、本発明の他の目的は、被提供者の中心的な話題或いは興味に合ったリアルタイムのコンテンツ提供を、多大なハードウェアリソースを必要とせずに低コストで実現できるコンテンツ提供システムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明のコンテンツ提供システムは、コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、キーワードの認知に応じて、該キーワードの認知対応時刻を該キーワードと対応して記録する若しくは該キーワードと対応するキーと対応して記録すると共に、認知対応時刻の記録を対応するキーワードの認知に応じて更新する手段と、キーセットを構成する複数種のキーワード若しくはキーに対する最先の認知対応時刻から最後の認知対応時刻までの認知経過時間が認知設定時間以内である所定のキーセットを認識する手段と、各キーセットと対応設定されているコンテンツを格納するコンテンツデータベースから該認識した所定のキーセットと対応設定されているコンテンツを呼び出す手段と、該最後の認知対応時刻と略リアルタイムで該呼び出したコンテンツを再生する手段と、再生するコンテンツを出力する手段とを備えることを特徴とする。尚、コンテンツを出力する手段は、ディスプレイ若しくはスピーカ若しくはその両者等とすることが可能であり、前記出力手段に対応して再生される画像若しくは音声若しくはその両者等のコンテンツをコンテンツデータベースに設定する。
【０００９】
また、本発明のコンテンツ提供システムは、コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、キーワードの認知に応じて、該キーワードの認知対応時刻を該キーワードと対応して記録する若しくは該キーワードと対応するキーと対応して記録すると共に、認知対応時刻の記録を対応するキーワードの認知に応じて更新する手段と、キーセットを構成する複数種のキーワード若しくはキーに対する最先の認知対応時刻から最後の認知対応時刻までの認知経過時間が認知設定時間以内である所定のキーセットを認識する手段と、各キーセットと対応設定されているコンテンツを格納するコンテンツデータベースから該認識した所定のキーセットと対応設定されているコンテンツを呼び出す手段と、該最後の認知対応時刻と略リアルタイムで該呼び出したコンテンツを再生出力装置へ送信する手段とを備えることを特徴とする。
【００１０】
上記コンテンツ提供システムは、例えばキーワードの認知に応じ、キーワードの認知対応時刻を該キーワード若しくは該キーワードと対応するキーと対応して記録し、同一のキーワードの認知若しくは同一のキーと対応するキーワードの認知に応じ、記録された認知対応時刻を更新すると共に、複数種のキーワード若しくはキーで構成されるキーセットについて、属する複数種のキーワード若しくはキーを認知設定時間以内に全て認知した所定のキーセットを認識する、或いは、全キーワード若しくは全キーに対する最先の認知対応時刻から最後の認知対応時刻までの認知経過時間が認知設定時間以内である所定のキーセットを認識することにより、時間の経過に応じて複雑に移り変わる話者の話題を並列的に随時追跡し、所定時間に於いて盛り上がっている集中度が高い或いは中心的な話題や興味を複雑な処理を要さずに容易、柔軟且つ迅速に特定することができ、又、複数種のキーワード若しくはキーを用いて、コンテンツ提供に必要且つ十分な正確性で話題や興味を特定することができる。更に、例えば話題に応じたキーワードやキーが設定されている話題毎のキーセットと対応するコンテンツを呼び出し、略リアルタイムに再生出力する、又は再生出力装置へ送信することにより、話者の中心的な話題や興味に応じた心理的に非常に受け入れやすいコンテンツを、話者、或いは話者の対話を聴いている対象者、又は再生出力装置で話者の対話を聴いている対象者等に迅速にリアルタイムで提供することができる。更に、設定キーワードを認知すると共に、認知対応時刻を記録・更新し、認知設定時間以内に属するキーワード若しくはキーを認知したキーセットを認識する簡単な構成であることから、多大なハードウェアリソースを必要とせずに低コストで実現でき、遍在的にコンテンツ提供システムを設置することが可能となる。更に、例えばキーセットで設定する話題数やキーワード数等が増大した場合にも、必要とするハードウェアリソースの増加やコスト増が無い或いは非常に軽微に留めつつ、コンテンツ提供の迅速性やリアルタイム性を確保することができる。更に、認知対応時刻の記録及び更新により、キーセット数やキーワード数等の増大した場合等にも、最先の認知対応時刻から最後の認知対応時刻までの認知経過時間を複雑な処理を要さず非常に容易に取得することができ、例えば認知したキーワードに対応する多数のキーセット毎にキーワードの認知に応じて時刻計測するような複雑な処理等も必要無い。更に、設定キーワードの認知に基づきコンテンツを提供するので、適度にコンテンツを提供し、過剰な情報提供を防止することができる。更に、話者が意識的にある種の話題で対話し、その話題に対応するコンテンツを呼び出して提供を受ける、或いは提供することも可能であり、話者やコンテンツ提供を受ける被提供者の便宜性や娯楽性を向上することができる。
【００１１】
更に、本発明のコンテンツ提供システムは、現在時刻から認知設定時間が経過した認知対応時刻の記録を消去する手段を備えることを特徴とするものである。現在時刻から認知設定時間が経過した認知対応時刻の記録を消去することにより、ハードウェアリソースを有効利用することができると共に、キーセットに属する各キーワードや各キーの認知に応じて、或いは認知対応時刻の記録に応じて、特段の後処理を要せず自動的に、コンテンツを呼び出すキーセットを認識することができる。
【００１２】
更に、本発明のコンテンツ提供システムは、キーセットを構成する複数種のキーワード若しくは複数種のキーが３種以上であることを特徴とするものである。キーセットを構成する複数種の異なるキーワード若しくはキーは、２種以上の複数であれば３種、４種、５種、６種など適宜であるが、３種以上とすると、より正確に話題を特定し、話題に適合したコンテンツを提供することが可能となって好適である。尚、キーセットを構成するキーワード若しくはキーは各キーセットに対して同数設定してもよいが、ターゲットとする話題の特定と提供するコンテンツの内容のバランスや、キーセットに対応設定するキーワードの出現する可能性等に応じて、キーセット毎に適宜所要数のキーワード若しくはキーを設定してもよい。
【００１３】
更に、本発明のコンテンツ提供システムは、取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段が該設定されているキーワードだけを認知することを特徴とする。例えばワードスポッティング音声認識技術を用い、設定されているキーワードだけを認知することにより、速い応答速度でリアルタイムにコンテンツを提供できると共に、システムを一層低コスト化することができ、又、予め決まったキーワード以外は認知しないことから、音声を取り込まれる話者のプライバシー保護を図ることが可能である。
【００１４】
更に、本発明のコンテンツ提供システムは、前記所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、該所定のキーセットの認識或いは該コンテンツ再生中若しくは送信中の判定からコンテンツ再生終了若しくは送信終了の認識までの経過時間が設定時間以内である再生終了若しく送信終了の認識に基づき、該所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信すると共に、該設定時間以内の再生終了若しくは送信終了の認識が得られない場合に、該所定のキーセットと対応設定されているコンテンツの再生若しくは再生出力装置への送信をしない手段とを備えることを特徴とする。例えば後に認識したキーセットに対応するコンテンツを再生若しくは送信する際、前に認識したキーセットに対応するコンテンツが再生若しくは送信している場合に、後のキーセットの認識等から設定時間以内に前のコンテンツの再生や送信が終了した場合には後のキーセットのコンテンツを再生若しくは送信し、前記設定時間以内に終了しない場合には後のキーセットのコンテンツを再生若しくは送信しない構成とすることにより、話者の話題や興味が経時的に他へ変化した可能性が高い所定時間経過後にはコンテンツを提供せず、コンテンツ提供時やその直近の話者の話題や興味に即し、対象者が心理的に受け入れやすいコンテンツだけを確実に提供することが可能となる。
【００１５】
更に、本発明のコンテンツ提供システムは、前記所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、コンテンツの再生中若しくは送信中の判定に基づき、該所定のキーセットの認識を記録保持すると共に、既に記録保持されているキーセットの認識がある場合には該所定のキーセットの認識に更新して記録保持する手段と、コンテンツの再生終了若しくは送信終了の認識に基づき、該記録保持されている所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信する手段とを備えることを特徴とする。コンテンツの再生中若しくは送信中に認識したキーセットを順次更新記録し、現在時刻に最も近い最後に認識されたキーセットに対応するコンテンツを提供することにより、簡単な構成で話者の話題や興味の経時的な変化に適応して、コンテンツ提供時やその間近の話者の話題や興味に即し、対象者が心理的に受け入れやすいコンテンツを提供することが可能となり、又、キーセットの認識を更新して記録保持することにより、ハードウェアリソースの有効利用を図ることができる。
【００１６】
また、本発明のコンテンツ提供システムは、コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、複数種のキーワード若しくは該キーワードと対応するキーで構成されるキーセットからキーワードの認知に基づき所定のキーセットを認識する手段と、所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、該所定のキーセットの認識或いは該コンテンツ再生中若しくは送信中の判定からコンテンツ再生終了若しくは送信終了の認識までの経過時間が設定時間以内である再生終了若しくは送信終了の認識に基づき、該所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信すると共に、該設定時間以内の再生終了若しくは送信終了の認識が得られない場合に、該所定のキーセットと対応設定されているコンテンツの再生若しくは再生出力装置への送信をしない手段とを備えることを特徴とする。
【００１７】
上記コンテンツ提供システムは、複数種のキーワード若しくはキーで構成されるキーセットから音声認識によるキーワードの認知に基づくキーセットを認識することにより、時間の経過に応じて複雑に移り変わる話者の話題を並列的に随時追跡し、集中度が高い或いは中心的な話題や興味を複雑な処理を要さずに容易、柔軟且つ迅速に特定することができ、又、コンテンツ提供に必要な正確性で話題や興味を特定することができる。更に、例えば話題に応じたキーワードやキーが設定されている話題毎のキーセットと対応するコンテンツを呼び出し、再生出力する、又は再生出力装置へ送信することにより、話者の中心的な話題や興味に応じた心理的に受け入れやすいコンテンツを、話者、或いは話者の対話を聴いている対象者、又は再生出力装置で話者の対話を聴いている対象者等に提供することができる。更に、設定キーワードを認知して、属するキーワード若しくはキーを認知したキーセットを認識する簡単な構成であることから、多大なハードウェアリソースを必要とせずに低コストで実現でき、遍在的にコンテンツ提供システムを設置することが可能となり、例えばキーセットで設定する話題数やキーワード数等が増大した場合にも、必要とするハードウェアリソースの増加やコスト増が無い或いは非常に軽微に留めることができる。更に、話者の話題や興味が経時的に他へ変化した可能性が高い所定時間経過後にはコンテンツを提供せず、コンテンツ提供時やその直近の話者の話題や興味に即し、対象者が心理的に受け入れやすいコンテンツだけを確実に提供することが可能となる。更に、設定キーワードの認知に基づきコンテンツを提供するので、適度にコンテンツを提供し、過剰に情報提供を防止することができる。更に、話者が意識的にある種の話題で対話し、その話題に対応するコンテンツを呼び出して提供を受ける、或いは提供することも可能であり、話者やコンテンツ提供を受ける被提供者の便宜性や娯楽性を向上することができる。
【００１８】
また、本発明のコンテンツ提供システムは、コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、複数種のキーワード若しくは該キーワードと対応するキーで構成されるキーセットからキーワードの認知に基づき所定のキーセットを認識する手段と、所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、コンテンツの再生中若しくは送信中の判定に基づき、該所定のキーセットの認識を記録保持すると共に、既に記録保持されているキーセットの認識がある場合には該所定のキーセットの認識に更新して記録保持する手段と、コンテンツの再生終了若しくは送信終了の認識に基づき、該記録保持されている所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信する手段とを備えることを特徴とする。
【００１９】
上記コンテンツ提供システムは、複数種のキーワード若しくはキーで構成されるキーセットから音声認識によるキーワードの認知に基づくキーセットを認識することにより、時間の経過に応じて複雑に移り変わる話者の話題を並列的に随時追跡し、集中度が高い或いは中心的な話題や興味を複雑な処理を要さずに容易、柔軟且つ迅速に特定することができ、又、コンテンツ提供に必要な正確性で話題や興味を特定することができる。更に、例えば話題に応じたキーワードやキーが設定されている話題毎のキーセットと対応するコンテンツを呼び出し、再生出力する、又は再生出力装置へ送信することにより、話者の中心的な話題や興味に応じた心理的に受け入れやすいコンテンツを、話者、或いは話者の対話を聴いている対象者、又は再生出力装置で話者の対話を聴いている対象者等に提供することができる。更に、設定キーワードを認知して、属するキーワード若しくはキーを認知したキーセットを認識する簡単な構成であることから、多大なハードウェアリソースを必要とせずに低コストで実現でき、遍在的にコンテンツ提供システムを設置することが可能となり、例えばキーセットで設定する話題数やキーワード数等が増大した場合にも、必要とするハードウェアリソースの増加やコスト増が無い或いは非常に軽微に留めることができる。
更に、簡単な構成で話者の話題や興味の経時的な変化に適応して、コンテンツ提供時やその間近の話者の話題や興味に即し、対象者が心理的に受け入れやすいコンテンツを提供することが可能となり、又、キーセットの認識を更新して記録保持することにより、ハードウェアリソースの有効利用を図ることができる。更に、設定キーワードの認知に基づきコンテンツを提供するので、適度にコンテンツを提供し、過剰に情報提供を防止することができる。更に、話者が意識的にある種の話題で対話し、その話題に対応するコンテンツを呼び出して提供を受ける、或いは提供することも可能であり、話者やコンテンツ提供を受ける被提供者の便宜性や娯楽性を向上することができる。
【００２０】
尚、本発明のコンテンツ提供システムをネットワークコンピュータで構成する場合、そのネットワークにはＬＡＮ・インターネットや通信網・放送網などデータを伝送可能な適宜のものを用いることが可能であり、有線或は無線、専用或いは汎用、内部或は外部のネットワーク等としてもよい。更に、本発明の各構成手段は、ネットワークで接続される複数のコンピュータの適宜のコンピュータに設けることが可能であり、所要の構成手段と他の構成手段を遠隔地など別の場所のコンピュータに設ける構成等としてもよい。例えばコンテンツ提供システムを、一若しくは複数のディスプレイ型装置・スピーカ型装置・リアルタイムボイスチャットが可能な構成等のパソコン・テレビ電話機・携帯電話機・携帯情報端末・テレビ携帯電話機・テレビ受像機・テレビ受像機とセットトップボックス若しくはゲーム機等の各種端末或いは各種装置と通信ネットワークで接続される遠隔等のサーバで構成すること等が可能であり、又、各種端末がそのマイクから取り込む音声に基づきコンテンツの呼出指令をサーバに送信し、サーバが受信する前記呼出指令に基づき、そのコンテンツＤＢから対応するコンテンツを抽出して端末に送信する構成や、或いは各種端末がそのマイクから取り込む音声データ若しくは取り込む音声に基づく認知したキーワードデータをサーバに送信し、サーバが受信する音声データ若しくはキーワードデータに基づき所定処理を実行し、所定のキーセットと対応するコンテンツをそのコンテンツＤＢから抽出して端末に送信する構成や、或いはサーバがそのマイクから取り込む音声に基づき所定処理を実行し、所定のキーセットと対応するコンテンツをそのコンテンツＤＢから抽出して端末に送信する構成等とすることが可能である。尚、コンテンツ提供システムの各構成手段を前述のような各種端末或いは各種装置に一体的に或いは一箇所に設けてもよい。
【００２１】
また、コンテンツを再生、出力する手段等の各手段は適宜の場所に設けることができ、例えばマイクロフォンから音声を取り込むと共に、画像及び音声或いは画像或いは音声を再生出力する装置を、飲食店等の店舗、タクシー・バス・電車・飛行機等の乗物、デパート・ショッピングモール・娯楽施設等の施設、駅の集合場所等の集合場所などで、座席や乗車席、テーブル近傍やテーブル上、集合場所の近傍など、対象者或いは顧客がある程度の時間留まってその場に居る他の対象者や携帯電話による通話相手等と対話するスペースの近傍に設置して、対象者或いは顧客の対話の音声からキーワードを認知し、対話の話題に対応するコンテンツをリアルタイムに提供する構成や、又は、前記装置を自宅に設置する構成や、又は、前記装置を移動可能に携帯する構成等とすることが可能であり、広告情報、案内情報、観光情報、娯楽番組等のコンテンツを適切なタイミングで提供し、対象者や顧客の娯楽性、便宜性、情報内容に対する印象度を高めることができ、更に、店舗、乗物、施設等に設置する場合には集客率を向上することができる。特に、薄型のディスプレイ型装置等によりシステムを構成して、店舗、施設、乗物等の公共スペースに多数或いは遍在的に設置し、コンテンツとして広告情報を提供すると、広告情報を対象者が心理的に受け入れやすいタイミングを可能な限り多く捉えて情報提供し、マーケティング効果を増大することができる。
【００２２】
また、マイクロフォンとコンテンツを再生、出力する手段は、ディスプレイやスピーカとマイクロフォンが一体的に設けられているディスプレイ型装置や携帯電話など、これらを１対１で対応させて設ける構成以外に、例えば店舗等の一人若しくは複数人が座れる座席単位にそれぞれ対応して座席近傍に、或いはテーブル近傍にマイクロフォンを設けると共に、その座席から所定距離離れた場所に大型画面のディスプレイやスピーカを有する再生出力手段を前記座席の顧客が視聴可能に設置し、各マイクロフォンで取り込む音声をそれぞれ別々に処理してキーセットの認識処理を実行し、所定のマイクロフォンで取り込む音声に基づくキーセットの認識に応じ、その再生出力手段がコンテンツを再生出力する構成等、１つのシステムのマイクロフォンとコンテンツを再生、出力する手段を複数対１で対応させて設ける構成としてもよく、又、例えば娯楽施設等の２人〜４人など複数人が座れる座席単位にマイクロフォンを設け、その座席単位の各座席に対象者が視聴可能にディスプレイやスピーカを有する再生出力手段を設置し、各座席に対応する再生出力手段が座席単位に対応させて設けられている一つのマイクロフォンから取り込まれる音声に基づき同一のコンテンツを再生出力する構成等、１つのシステムのマイクロフォンとコンテンツを再生、出力する手段を１対複数で対応させて設ける構成としてもよく、又、１つのシステムのマイクロフォンとコンテンツを再生、出力する手段を複数対複数で対応させて設ける構成としてもよい。
【００２３】
また、音声のコンテンツを出力する手段としてスピーカを設ける場合に、例えばリクライニングチェアーに座った対象者の耳元で出力し、対象者にだけ聞こえる音量で出力するスピーカや、対象者の耳元に音声を超音波で搬送する指向性スピーカ等とすると、マイクロフォンで取り込む音声から、マイクロフォンと近距離等に配置されるスピーカの出力音声を予め排除することが可能となり、スピーカの音声出力中も音声認識やキーワードの認知を継続的に実行することができて好適である。また、音声を取り込むマイクロフォンは、対象者以外の音声を排除して対象者の音声を拾えるものであれば適宜であり、例えば対象者の略口元へ指向性を有する指向性マイクロフォンや、或いは所定音量以上の音声のみを取得するマイクロフォン等とし、周囲の一人若しくは複数人の対象者の音声を取得するものとする。更に、例えば複数のマイクロフォンから取得する音声を周波数分析して音源の位置を特定する等、音源の位置を特定する既存の手段等を用いて、所定位置の対象者の音声を取り込んで認識する構成等としてもよい。
【００２４】
また、店舗内の座席近傍やテーブル近傍やテーブル上、施設内の座席近傍、公共的な乗物内の座席近傍、集合場所の壁面等の公共スペースに配置するディスプレイ型装置やスピーカ型装置など、公共スペース等に設けるコンテンツを再生、出力する手段を備える各種装置、又は、公共スペース等に設けるマイクロフォンを備える各種装置、又は、公共スペース等に設けるマイクロフォン及びコンテンツを再生、出力する手段を備える各種装置に、対象とする所定場所に対象者が存在することを検知する赤外線センサー等のセンサーを設け、所定場所の対象者の存在に対するセンサーの検知に応じ、各種装置の制御部など所定部が制御プログラムと協働して所定の制御指令を出力し、前記制御指令に基づき、伝送されるコンテンツ若しくは設定記憶している指定のコンテンツを再生、出力する、或は前記制御指令に基づき、マイクロフォンから取り込んだ音声からキーワードを認知し、認知したキーワードに基づきコンテンツを呼び出し、再生、出力するコンテンツ提供処理をコンテンツ提供システムの所定部が実行する構成等としてもよい。
【００２５】
また、ディスプレイ型装置或はスピーカ型装置或はその両者等のコンテンツを再生、出力する手段を備える各種装置は、キーワードの認知に基づくコンテンツを提供する場合以外には、コンテンツを提供しない、又は適宜のコンテンツを提供する構成とすることが可能である。例えば各種装置の再生処理部が、設定記憶する若しくは伝送される通常のコンテンツを再生し、該コンテンツの再生を中止し若しくは該コンテンツの再生が所定時間内に終了した場合に若しくは該コンテンツの再生終了後に、キーワードの認知に基づくコンテンツを再生する構成等とする。前記通常のコンテンツは、例えばテレビやラジオ等の番組、広告情報、案内情報等とし、ディスプレイ型装置に於けるメニュー画面等も含まれる。又は、キーワードの認知に基づくコンテンツを通常のコンテンツと並行して提供する構成としてもよく、例えばキーワードの認知に基づくコンテンツをディスプレイの一部に表示する構成や、通常のコンテンツとキーワードの認知に基づくコンテンツを分割画面で表示する構成や、出力音声を通常のコンテンツの音声としながらキーワードの認知に基づくコンテンツの画像をディスプレイで表示する構成や、出力音声をキーワードの認知に基づくコンテンツの音声としながら通常のコンテンツの画像をディスプレイで表示する構成等とすることが可能である。
【００２６】
また、コンテンツ提供システムの音声からのキーワードの認知に基づくコンテンツの提供処理を、例えば前記キーワードの認知に基づくコンテンツ提供処理の実行要求の入力や実行スイッチのＯＮに基づき実行し、実行要求の入力や実行スイッチのＯＮがない場合には前記コンテンツ提供処理を実行しない構成等とすることにより、対象者の対話等に対してプライバシー保護を図ること等が可能となる。例えばコンテンツ提供システムをサーバーとディスプレイ型装置をネットワークで接続する等で構成し、ディスプレイ型装置が記憶保持する或は伝送されるメニュー画面をタッチパネル式のディスプレイに再生して表示し、メニュー画面に表示されるコンテンツ提供処理の実行要求ボタンの指定入力に応じて、ディスプレイ型装置の制御部或はサーバーの制御部などシステムの所定部が制御プログラムと協働し、所定の実行制御指令を出力し、前記実行制御指令に基づき、ディスプレイ型装置に設置される或はその近傍に設置される等のマイクロフォンから取り込んだ音声からキーワードを認知し、認知したキーワードに基づきコンテンツを呼び出し、呼び出したコンテンツをディスプレイ型装置で再生、出力するコンテンツ提供処理を所定部が実行する構成等としてもよい。
【００２７】
また、コンテンツ提供システムは、特定のキーワードの組み合わせの認知に基づき特定のキャラクターが登場するコンテンツを提供するなど娯楽性が高いコンテンツを有料若しくは無料で提供するゲームシステム等としてもよい。例えば特定のキャラクターの好みのキーワードを設定時間内に認知した場合には、前記特定のキャラクターが登場するコンテンツを提供し、前記好みのキーワードと異なるキーワードを設定時間内に認知した場合には、その異なるキーワードに対応設定されている別のキャラクターが登場する等のコンテンツを提供する構成等とする。更に、例えばコンテンツ提供システムの所定部が、所定の記憶部に記憶するクイズ形式の誘導画面をディスプレイ型装置のディスプレイに再生表示し、クイズに対する対象者の回答の音声からキーワードを認知し、そのキーワードの認知に基づき特定のキャラクターが登場する等のコンテンツを提供する構成等としてもよい。更に、有料で提供する場合の課金情報の処理は、例えばコンテンツ提供システムをサーバーとディスプレイ型装置をネットワークで接続する等で構成し、コンテンツ提供処理の実行要求ボタンの指定入力に応じて、ディスプレイ型装置或はサーバーの課金処理部がキーワードの認知に基づくコンテンツ提供処理の実行開始時を実時間クロック等の時刻データにより記録し、タッチパネル式のディスプレイのコンテンツ提供時に於ける画面の一部或はメニュー画面等で表示されるコンテンツ提供処理の実行終了ボタンの指定入力に応じて、前記課金処理部がコンテンツ提供処理の実行終了時を記録し、実行開始時から実行終了時までの利用経過時間を取得し、設定記憶されている単位時間当たりの所定の単価を経過時間に乗じてコンテンツ提供に対する対価を算出し、その対価を記憶保持する、或はその対価を送信処理部が所定の記憶部に対価を記憶保持する課金システムに送信する構成等とすると良いが、課金情報の処理には適宜の構成を採用できる。
【００２８】
また、コンテンツ提供システムは、例えば所定部が認識した所定のキーセットで最後に認知した或は最後の認知設定時刻を有するキーワードを認識し、該認識したキーワード自体を表現する、所定の記憶部に設定記憶されている画像データ或は音声データ或はその両者を抽出し、該所定のキーセットと対応するコンテンツの再生及び出力の開始直前に、再生処理部或は送信処理部が該キーワードの画像データ或は音声データ或はその両者を再生出力或は送信する構成等とし、コンテンツを提供される対象者の注意を引き付けるようにしてもよい。
【００２９】
また、本発明には、各発明に他の発明の特定事項を追加し、或は各発明の特定事項を他の発明の特定事項に変更し、或は本発明の部分的な作用効果を奏する限度に於いて、各発明の特定事項を削除して上位概念化したものも本発明に包含され、又、システムのカテゴリー以外に、同様の趣旨の発明を方法やプログラムとして規定したものも本発明に包含され、各カテゴリーの発明の特定事項は適宜他のカテゴリーの発明の特定事項とすることができる。更に、本発明に於ける所定手段や所定部は、設定されるプログラムと協働するＣＰＵや、プログラムやデータを記憶するメモリ等で適宜実現される。
【００３０】
【発明の実施の形態】
本発明のコンテンツ提供システムの第１実施形態について説明する。第１実施形態のコンテンツ提供システム１００は、図１に示すように、マイクロフォン１０１と、特徴抽出部１０２と、キーワード認知部１０３と、標準特徴記憶部１０４と、認知管理部１０５と、コンテンツ呼出部１０６と、コンテンツデータベース（コンテンツＤＢ）１０７と、再生処理部１０８と、ディスプレイ１０９で基本的に構成され、特徴抽出部１０２、キーワード認知部１０３、標準特徴記憶部１０４、認知管理部１０５、コンテンツ呼出部１０６、コンテンツＤＢ１０７、再生処理部１０８等の所定部は、設定されるプログラムと協働するＣＰＵや、プログラムやデータを記憶するメモリ等で実現される。コンテンツ提供システム１００の前記１０１〜１０９各部の物理的な配置構成は適宜であり、例えば１０１〜１０９を一体的に設けたディスプレイ型装置や、或はコンテンツＤＢ１０７以外を一体的に設けたディスプレイ型装置とコンテンツＤＢ１０７を設けたサーバーで構成し、前記ディスプレイ型装置がサーバーとデータを送受信する構成や、或はマイクロフォン１０１と再生処理部１０８とディスプレイ１０９を一体的に設けたディスプレイ型装置と前記１０２〜１０７を設けたサーバーで構成し、前記ディスプレイ型装置が特徴抽出部１０２を有するサーバーへ音声を送信し、サーバーが所定処理を実行し、再生処理部１０８がサーバーからコンテンツデータを受信する構成等とすることが可能であり、又、適宜の所定部或いは所定部を有する装置をネットワークで接続して構成することが可能である。
【００３１】
特徴抽出部１０２は、マイクロフォン１０１から入力される音声を取り込んでアナログ／デジタル変換し、音響分析により例えばケプストラムなど単位時間毎の特徴量の抽出を行う。また、標準特徴記憶部１０４は登録されている各キーワードと対応設定されている標準的な特徴量を記憶しており、キーワード認知部１０３は、例えば連続ＤＰマッチングにより、特徴抽出部１０２で抽出した特徴量と標準特徴記憶部１０４に格納されている各キーワードの標準的な特徴量とを照合して類似距離を算出し、算出した類似距離が設定記憶されている所定の閾値以下であるか判定し、類似距離が所定の閾値以下である場合に、その類似距離が算出された標準的な特徴量と対応設定されている所定のキーワードを認知する。尚、本発明に於ける音声を認識して認識した音声から設定されているキーワードを認知する構成には、例えば前記構成のようなワードスポッティングの音声認識技術を用いると、速い応答速度でリアルタイムにコンテンツを提供できるシステムを低コストで実現することが可能となり、又、特段の構成を用いずとも予め決まったキーワード以外は抽出しないことから、音声を取り込まれる人のプライバシー保護を図ることができて好適であるが、適宜の音声認識技術を用いて設定されるキーワードを認知する構成とすることが可能である。
【００３２】
認知管理部１０５は、キーワード認知部１０３に於ける所定のキーワードの認知に応じて、実時間クロックの計測時刻等により前記所定のキーワードの認知時刻を取得し、記憶保持する図２の認知管理テーブルから前記所定のキーワードに対応する一若しくは複数の認知時刻記録領域を記憶する対応テーブル等により全て認識し、認識した認知時刻記録領域に前記所定のキーワードの認知時刻を記録し、又、認識した認知時刻記録領域に既に所定のキーワードの認知に基づき認知時刻が記録されている場合には、同一の所定のキーワードの新たな認知に基づき新たな認知時刻を更新して記録する。図２の認知管理テーブルは、識別ＩＤで識別されるキーセットの複数を有し、各キーセットにはそれぞれ属する複数種の異なるキーワードが設定され、各キーワードに対する認知時刻記録領域が設けられている。図２の例では認知管理テーブルの各キーセットにそれぞれ３個或は４個のキーワードが設定されている。尚、各キーセットにそれぞれ設定する複数の異なるキーワードの数は３個以上の複数とすると、例えば音声入力される話の中心的話題により適合したコンテンツの提供が可能となって好適である。更に、認知管理部１０５は、実時間クロック等により取得する現在時刻から設定記憶されている認知設定時間を超える時間が経過している、記録されたキーワードの認知時刻を順次認識して消去する。更に、認知管理部１０５は、設定されている全てのキーワードに対して認知時刻が記録された所定のキーセットの識別ＩＤを認識し、認識した識別ＩＤをコンテンツ抽出部１０６に出力する。
【００３３】
コンテンツ呼出部１０６は、認知管理部１０５からの識別ＩＤの入力に応じ、再生処理部１０８でコンテンツが再生中であるか判定し、コンテンツが再生中でないと判定した場合に、コンテンツＤＢ１０７に格納されているコンテンツの中から前記識別ＩＤと対応設定されているコンテンツを呼び出し、呼び出したコンテンツを再生処理部１０８へ出力し、又、コンテンツが再生中であると判定した場合に、実時間クロック等により設定記憶されている呼出設定時間の計測を開始し、更に、呼出設定時間内にコンテンツの再生終了を認識した場合に、前記識別ＩＤと対応するコンテンツを呼び出して再生処理部１０８へ出力し、呼出設定時間内にコンテンツの再生終了を認識しなかった場合には、前記識別ＩＤと対応するコンテンツを呼び出しないようになっている。再生処理部１０８は、コンテンツ呼出部１０６で抽出されたコンテンツを復号化して再生し、例えば動画像若しくは静止画像の画像のコンテンツを再生し、ディスプレイ１０９は、再生処理部１０８で再生される画像を表示する。再生するコンテンツの内容は、例えば広告情報とすると良いが、施設等の案内情報、キーセットに属するキーワードと高い関連性を有する事柄の説明若しくは高い関連性を有する番組、クイズ等としても良く、その他にもキーワードと関連性を有する適宜の内容とすることが可能である。
【００３４】
上記第１実施形態のコンテンツ提供システム１００による処理の流れを図３に示す。例えばディスプレイ型装置等として構成されるコンテンツ提供システム１００のマイクロフォン１０１が周囲近傍に位置する人の話し声を取り込み、連続して音声入力される（Ｓ１）。入力された話し声の音声は特徴抽出部１０２に随時取り込まれてＡ／Ｄ変換され、特徴抽出部１０２は、音声データから単位時間毎に特徴量を随時抽出し（Ｓ２）、抽出した特徴量をキーワード認知部１０３へ出力する。キーワード認知部１０３は、入力音声の特徴量と標準特徴記憶部１０４に格納されている標準的な特徴量とを随時照合して類似距離を算出し（Ｓ３）、算出した類似距離が所定の閾値以下であるか随時判定し（Ｓ４）、類似距離が所定の閾値以下である場合に、その類似距離が算出された標準的な特徴量と対応設定されている所定のキーワードを認知する（Ｓ５）。
【００３５】
認知管理部１０５は、キーワード認知部１０３に於ける所定のキーワードの認知に応じて、認知した所定のキーワードに対する認知時刻を取得すると共に（Ｓ６）、前記所定のキーワードに対応する認知管理テーブルの認知時刻記録領域を認識し、認知時刻記憶領域に前記所定のキーワードの認知時刻を記録し（Ｓ７）、又、前期認知時刻記録領域に既に認知時刻が記録された状態になっている場合には、新たな認知時刻を更新して記録する（Ｓ７）。この場合、例えば図２の認知管理テーブルの識別ＩＤ：０００１のキーセットのキーワード：Ａと、識別ＩＤ：０００３のキーセットのキーワード：Ａのように、同一のキーワードが異なるキーセットに複数設定されている場合、図２の１２時３０分５秒のように、前記キーワードが属する全てのキーセットについて、そのキーワードに対する認知時刻記録領域に認知時刻を記録する。そして、認知管理部１０５は、記録された各キーワードの認知時刻に対し、現在時刻から認知時刻までの経過時間が例えば１０分など認知設定時間を超えているか随時判定し（Ｓ８）、現在時刻から認知時刻までの経過時間が認知設定時間を超えていると判定した場合には、その判定に応じ、判定したの認知時刻の記録を消去する（Ｓ９）。前記認知設定時間は、例えば３分以上３０分以内の所定時間、好ましくは５分以上１５分以内の所定時間とする等、キーセットのキーワード数や自然な対話に於ける複数のキーワードの予測出現時間等に応じて適宜設定することが可能である。かかる認知設定時間により、周囲の対象者同士の自然な対話や周囲の対象者の携帯電話による対話等から音声を取り込んで所定の処理を行う。
【００３６】
更に、認知管理部１０５は、現在時刻から最先の認知時刻までの経過時間が認知設定時間以内である、所定のキーセットの全キーワードに対する認知時刻の記録を認識し（Ｓ１０）、前記認識に応じて、前記所定のキーセットの識別ＩＤを認識してコンテンツ呼出部１０６に出力すると共に（Ｓ１１）、前記所定のキーセットに於ける全キーワードの認知時刻の記録を消去して初期化する。図２の認知管理テーブルの例では、例えば１０分の認知設定時間以内にキーワード：Ａ、Ｂ、Ｃに対する認知時刻が記録されることにより、識別ＩＤ：０００１がコンテンツ呼出部１０６へ出力される。また、認知管理部１０５は、前記所定のキーセットの識別ＩＤを出力した場合に、他のキーセットに於ける認知時刻の記録はそのまま維持した状態としつつ、前記所定のキーセットに対する認知時刻の記録処理を開始し、キーワードの認知に基づく認知時刻の記録を継続的に実行する。尚、認知管理テーブルの各キーセットにそれぞれ対応設定されているキーワードの数は全てのキーワード組で同数としても良いが、例えば図２の識別ＩＤ：０００１のＡ、Ｂ、Ｃの３個と識別ＩＤ：０００２のＤ、Ｅ、Ｆ、Ｇのように、キーセット毎に設定されているキーワードの数が相違するようにしてもよく、この場合にも、各キーセットについてそれぞれ設定されている全キーワードに対する認知設定時間以内の認知時刻の記録に基づき識別ＩＤを出力する。また、認知管理部１０５は、各キーセットに対して一律に同じ時間である認知設定時間を記憶し、前記処理を実行する以外に、各キーセット毎に別々に設定される認知設定時間を記憶し、前記処理を実行する構成としてもよい。
【００３７】
コンテンツ呼出部１０６は、認知管理部１０５からの識別ＩＤの入力に基づき、再生処理部１０８で既に認識済のキーセットと対応するコンテンツが再生中であるか判定し（Ｓ１２）、再生処理部１０８から再生無のデータを取得してコンテンツが再生中でないと判定した場合には、その判定に応じて、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し（Ｓ１５）、再生処理部１０８へ出力する。また、コンテンツ呼出部１０６は、再生処理部１０８から再生有のデータを取得してコンテンツが再生中であると判定した場合には、その判定に応じて、実時間クロック等により設定記憶されている呼出設定時間の計測を開始し（Ｓ１３）、呼出設定時間の計測中にコンテンツの再生が終了したか判定し（Ｓ１４）、呼出設定時間の計測中に再生処理部１０８からコンテンツの再生無或いは再生終了データを取得してコンテンツの再生終了を判定或は認識した場合に、その判定等に応じて、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し（Ｓ１５）、再生処理部１０８へ出力すると共に、呼出設定時間に対する計測時間を初期化する。他方で、コンテンツ呼出部１０６は、呼出設定時間の計測中に再生処理部１０８からコンテンツの再生無或いは再生終了データを取得せずコンテンツの再生終了を判定或は認識しなかった場合には、呼出設定時間の計測終了に応じ、前記識別ＩＤと対応設定されているコンテンツの呼び出しや再生を実行せずに処理を終了すると共に、計測時間を初期化する。
【００３８】
そして、再生処理部１０８は、コンテンツ呼出部１０６から入力された広告映像等のコンテンツを復号化して再生し、ディスプレイ１０９が再生される映像を表示する（Ｓ１６）。前記再生及び表示は、認識した所定のキーセットの最後のキーワードの認知とほぼリアルタイム若しくはほぼ呼出設定時間内で行われ、再生出力されるコンテンツの映像は、コンテンツ提供システム１００を構成するディスプレイ型装置等の周囲近傍に位置して話し声の音声が取り込まれた音声入力者等に提供される。かかるコンテンツ提供システム１００により、例えばキーワードとして「海外旅行」「夏」「バリ」を設定時間内に認知し、これに基づき前記キーワードに対応する夏季のバリ島旅行に対する広告のコンテンツを提供すること等が可能である。
【００３９】
尚、例えばコンテンツ呼出部１０６が認知管理部１０５からの識別ＩＤの入力に応じて、前記識別ＩＤと対応設定されているコンテンツを呼び出して再生処理部１０８へ出力し、再生処理部１０８が入力されたコンテンツを所定の記憶領域に記憶保持し、再生処理部１０８或いは所定部が、コンテンツを再生中であるか判定し、コンテンツを再生中でないと判定した場合に、再生処理部１０８が、その判定に応じて、前記出力され記憶保持しているコンテンツを復号化して再生し、また、再生処理部１０８或いは所定部が、コンテンツが再生中であると判定した場合に、その判定に応じて、再生設定時間の計測を開始し、再生設定時間の計測中にコンテンツの再生が終了したか判定し、再生設定時間の計測中にコンテンツの再生終了を認識した場合に、再生処理部１０８が、その認識に応じて、前記出力され記憶保持しているコンテンツを復号化して再生すると共に、再生処理部１０８或いは所定部が、再生設定時間に対する計測時間を初期化し、他方で、再生処理部１０８或いは所定部が、再生設定時間の計測中にコンテンツの再生終了を認識しなかった場合に、再生処理部１０８が、再生設定時間の計測終了に応じ、前記出力され記憶保持するコンテンツを再生せずに消去すると共に、再生処理部１０８或いは所定部が、計測時間を初期化する構成としてもよい。また、コンテンツ呼出部１０６が、ネットワーク接続で分離して設置されている再生処理部１０８から再生中や再生終了のデータを取得し、それに応じてコンテンツの呼出或は設定時間の計測開始等を行い、再生処理部１０８がコンテンツ呼出部１０６から受信するコンテンツを再生する構成等としてもよい。
【００４０】
次に、コンテンツ提供システムの第２実施形態について説明する。第２実施形態のコンテンツ提供システム１００は、図４に示すように、第１実施形態と同様、マイクロフォン１０１と、特徴抽出部１０２と、キーワード認知部１０３と、標準特徴記憶部１０４と、認知管理部１０５と、コンテンツ呼出部１０６と、コンテンツデータベース（コンテンツＤＢ）１０７を備えるものであるが、第１実施形態と異なり、コンテンツ呼出部１０６が呼び出したコンテンツを、コンテンツ提供システム１００の外部の再生出力装置２００へ送信する送信処理部１１０を備えるものであり、その所定部は、設定されるプログラムと協働するＣＰＵや、プログラムやデータを記憶するメモリ等で実現される。尚、マイクロフォン１０１、特徴抽出部１０２、キーワード認知部１０３、標準特徴記憶部１０４、認知管理部１０５、コンテンツＤＢ１０７の機能や動作は上記第１実施形態と同様である。
【００４１】
コンテンツ呼出部１０６は、認知管理部１０５からの識別ＩＤの入力に応じ、送信処理部１１０でコンテンツを送信中であるか判定し、送信処理部１１０でコンテンツを送信中でないと判定した場合に、コンテンツＤＢ１０７に格納されているコンテンツの中から前記識別ＩＤと対応設定されているコンテンツを呼び出し、送信処理部１１０へ呼び出したコンテンツを出力し、又、送信処理部１１０でコンテンツを送信中であると判定した場合に、実時間クロック等により設定記憶されている呼出設定時間の計測を開始し、更に、呼出設定時間内にコンテンツの送信終了を認識した場合に、前記識別ＩＤと対応するコンテンツを呼び出して送信処理部１１０へ出力し、他方で、呼出設定時間内にコンテンツの送信終了を認識しなかった場合には、前記識別ＩＤと対応するコンテンツを呼び出ししないようになっている。
【００４２】
送信処理部１１０は、コンテンツ呼出部１０６で呼び出され出力されたコンテンツを記憶保持し、再生出力装置２００へコンテンツのデータを時系列で順次送信する構成であり、前記コンテンツのデータは例えば再生出力装置２００のディスプレイに部分的に表示される画像データとする。再生出力装置２００は、順次送信されるコンテンツのデータを復号化して再生し出力するものであり、例えば送信される画像データ及び音声データを受信、再生してディスプレイ及びスピーカで出力するデジタルテレビ受像器等で、ピクチャーインピクチャー等でディスプレイ画面の一部に前記コンテンツの動画像若しくは静止画像の画像を配置して、主たる画像と共に前記コンテンツ画像を副画像として表示するものとする。また、コンテンツの内容は、例えばキーセットに属するキーワードと高い関連性を有する事柄の説明、広告情報、クイズ、案内情報等とすると良いが、その他にもキーワードと関連性を有する適宜の内容とすることが可能である。
【００４３】
上記第２実施形態のコンテンツ提供システム１００による処理の流れを図５に示す。第２実施形態のコンテンツ提供システム１００は、例えばテレビ受像機等の再生出力装置２００へ生放送の番組を送信する際に、放送中の番組から出演者の話声の音声をマイクロフォン１０１で取り込み、その音声からキーワードを認知し、認知したキーワードに基づき、キーワードと関連性を有する事柄の説明や広告情報をコンテンツとして送信する等に用い、図５に示すように、コンテンツ呼出部１０６に認知管理部１０５から所定のキーセットの識別ＩＤが出力されるまでは上記第１実施形態と同様の処理を実行する（Ｓ１〜Ｓ１１）。
【００４４】
そして、コンテンツ呼出部１０６は、認知管理部１０５からの所定のキーセットの識別ＩＤの入力に応じて、送信処理部１１０で既に認識済のキーセットと対応するコンテンツが送信中であるか判定し（Ｓ１７）、送信処理部１１０から送信無のデータを取得してコンテンツが送信中でないと判定した場合には、その判定に応じて、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し（Ｓ１５）、送信処理部１１０へ出力し、送信処理部１１０は、入力される前記コンテンツを所定の記憶領域に記憶保持し、記憶保持する前記コンテンツのデータを時系列で順次再生出力装置２００へ送信する（Ｓ１９）。また、コンテンツ呼出部１０６は、送信処理部１１０から送信有のデータを取得してコンテンツを送信中であると判定した場合には、その判定に応じて、実時間クロック等により設定記憶されている呼出設定時間の計測を開始し（Ｓ１３）、呼出設定時間の計測中にコンテンツの送信が終了したか判定し（Ｓ１８）、呼出設定時間の計測中に送信処理部１１０からコンテンツの送信無或いは送信終了データを取得してコンテンツの送信終了を判定或は認識した場合に、その判定等に応じて、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し（Ｓ１５）、送信処理部１１０へ出力すると共に、呼出設定時間に対する計測時間を初期化し、送信処理部１１０は、入力される前記コンテンツを所定の記憶領域に記憶保持し、記憶保持する前記コンテンツのデータを時系列で順次再生出力装置２００へ送信する（Ｓ１９）。他方で、コンテンツ呼出部１０６は、呼出設定時間の計測中に送信処理部１１０からコンテンツの送信無或いは送信終了データを取得せずコンテンツの送信終了を判定或は認識しなかった場合には、呼出設定時間の計測終了に応じ、前記識別ＩＤと対応設定されているコンテンツの呼び出しや送信を実行せずに処理を終了すると共に、計測時間を初期化する。
【００４５】
前記コンテンツのデータを受信する再生出力装置２００は、例えば通常の放送で送信される番組を受信して再生出力すると共に、その再生処理部で前記コンテンツのデータを受信に応じて復号化して再生し、例えばディスプレイの一部にコンテンツ画像を表示する。前記送信及び表示は、認識した所定のキーセットの最後のキーワードの認知とほぼリアルタイム若しくはほぼ呼出設定時間内で行われ、再生出力されるコンテンツ画像は、例えば前記番組を再生出力装置２００で視聴する視聴者に提供される。かかるコンテンツ提供システム１００により、例えばテレビ番組の出演者の対話からキーワードを認知し、キーワードに関連した情報や説明等のコンテンツを提供すること等が可能である。
【００４６】
尚、例えばコンテンツ呼出部１０６が認知管理部１０５からの識別ＩＤの入力に応じて、前記識別ＩＤと対応設定されているコンテンツを呼び出して送信処理部１１０へ出力し、送信処理部１１０が入力されたコンテンツを所定の記憶領域に記憶保持すると共に、送信処理部１１０或いは所定部が、コンテンツを送信中であるか判定し、コンテンツを送信中でないと判定した場合に、送信処理部１１０は、その判定に応じて、前記出力され記憶保持しているコンテンツを再生出力装置２００へ送信し、また、送信処理部１１０或いは所定部が、コンテンツが送信中であると判定した場合に、その判定に応じて、送信設定時間の計測を開始し、送信設定時間の計測中にコンテンツの送信が終了したか判定し、送信設定時間の計測中にコンテンツの送信終了を認識した場合に、送信処理部１１０は、その認識に応じて、前記出力され記憶保持しているコンテンツを送信すると共に、送信処理部１１０或いは所定部が、送信設定時間に対する計測時間を初期化し、他方で、送信処理部１１０或いは所定部が、送信設定時間の計測中にコンテンツの送信終了を認識しなかった場合に、送信処理部１１０が、送信設定時間の計測終了に応じ、前記出力され記憶保持するコンテンツを再生せずに消去すると共に、送信処理部１１０或いは所定部が、計測時間を初期化する構成としてもよい。
【００４７】
次に、上記第１、第２実施形態のコンテンツ提供システム１００の変形例等について説明する。上記第１、第２実施形態のコンテンツ提供システム１００では、提供するコンテンツを画像としたが、提供するコンテンツはこれに限定されるものではなく、例えば音声がない動画像若しくは静止画像の画像だけとする他に、動画像若しくは静止画像の画像と音声、画像がない音声だけのもの等とすることが可能である。音声のコンテンツ若しくは音声を有するコンテンツを提供する場合には、例えば再生処理部１０８で復号化して再生し、コンテンツ提供システム１００に設置されるスピーカから出力する、或は再生出力装置２００の再生処理部１０８で復号化して再生し、再生出力装置２００に設置されるスピーカから出力する等により、ディスプレイ１０９や再生出力装置２００の視聴者等にコンテンツの音声を提供する。
【００４８】
また、上記第１、第２実施形態は、キーセットを複数種のキーワードで構成し、各キーワードに対する認知時刻を記録し、認知設定時間内における所定キーセットの全キーワードの認知に基づき、所定キーセットを認識する構成としたが、認知設定時間内における複数種のキーワードの認知に基づき、該複数種のキーワードと対応するキーセットを認識する構成であれば適宜であり、キーワードと対応設定されている複数種のキーでキーセットを構成し、キーワードの認知時刻をキーワードと対応するキーの認知時刻として記録し、認知設定時間内における所定キーセットの全キーの認知或は認知時刻の記録に基づき、所定キーセットを認識する構成等としてもよい。例えば図６に示すように、一のキーワード若しくは意味内容が類似する複数のキーワード（例えばＡ１、Ａ２、Ａ３）を類似集合単位や代表キーワードを表すキー（例えばＡ）と対応設定し、複数種のキー（例えばＡ、Ｂ、Ｃ）で識別ＩＤで特定されるキーセットを構成し、認知管理部１０５が、キーワード（例えばＡ１）の認知に応じて、キーワードの認知時刻を前記キーワードが対応するキー（例えばＡ）の認知時刻として記録し、同一のキー（例えばＡ）に対応するキーワード（例えばＡ１、Ａ２若しくはＡ３）の認知に応じて、キー（例えばＡ）の認知時刻を更新記録し、又、現在時刻から認知時刻までの経過時間が認知設定時間を経過した記録されたキーに対する認知時刻を消去する構成とし、更に、キーセットを構成する複数種のキー（例えばＡ、Ｂ、Ｃ）の全てについて、認知設定時間内に認知時刻が記録された場合に、例えば識別ＩＤ：０００１で特定されるキーセットなど所定のキーセットを認識する構成等とする。
【００４９】
また、所定のキーセットを認識する際に、所定のキーセットと対応する全キーワード若しくは全キーを認知し、且つ前記認知におけるキーワード若しくはキー対する最先の認知時刻から最後の認知時刻までの経過時間が認知設定時間以内であることを認識する構成は、上述の現在時刻から認知時刻までの経過時間が認知設定時間を経過している認知時刻を消去する構成に限定されず適宜であり、例えば前記認知設定時間が経過している認知時刻の消去を行わずに、上記と同様にキーワード若しくはキーに対する認知時刻を記録及び更新記録し、所定のキーセットと対応する全キーワード若しくは全キーの認知時刻の記録に応じ、前記全キーワード若しくは全キーの認知時刻のうちで最先の認知時刻と最後の認知時刻までの経過時間を取得し、その経過時間を認知設定時間と対比して、前記経過時間が認知設定時間以内である場合に前記所定のキーセットを認識する構成等としてもよい。
【００５０】
また、上記第１、第２実施形態では、キーワードの認知と対応して記録する時刻を、キーワードの認知に応じて実時間クロック等により取得する認知時刻としたが、係る時刻はキーワードの認知と対応関係を有する時刻であれば適宜であり、例えばキーワードの認知事実やキーの認知事実を記録する時点の時刻等としてもよい。
【００５１】
また、例えばコンテンツ呼出部１０６が、認知管理部１０５からの識別ＩＤの入力に基づき、再生処理部１０８若しくは送信処理部１１０で既に認識済のキーセットと対応するコンテンツが再生中若しくは送信中であるか判定し、コンテンツが再生中若しくは送信中でないと判定した場合には、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し、再生処理部１０８若しくは送信処理部１１０へ出力し、他方で、コンテンツが再生中若しくは送信中であると判定した場合には、前記認知管理部１０５から入力された識別ＩＤを所定の記憶領域に記録保持し、或いは所定の記憶領域に既に記録保持されている識別ＩＤがある場合、記録保持されている識別ＩＤを前記認知管理部１０５から新たに入力された識別ＩＤに書き換え、前記所定の記憶領域の識別ＩＤを更新して記録保持し、更に、再生処理部１０８からコンテンツの再生終了データを取得若しくは送信処理部１１０からコンテンツの送信終了データを取得によりコンテンツの再生終了若しくは送信終了を判定或いは認識した場合に、その判定等に応じて、その判定等の時点で前記所定の記憶領域に記録保持している識別ＩＤと対応設定されているコンテンツを呼び出し、再生処理部１０８若しくは送信処理部１１０へ出力する構成等としてもよい。
【００５２】
また、例えば異なる複数のキーセット或いはその識別ＩＤに対応させて同一のコンテンツを設定してもよく、コンテンツ呼出部１０６が、当該コンテンツと対応する何れかの識別ＩＤの入力に基づき、記憶保持しているコンテンツＤＢ１０７から当該コンテンツを呼び出す構成としてもよい。
【００５３】
また、コンテンツが動画像や音声等の場合には、例えば再生処理部１０８或いは送信処理部１１０は一巡して終了するまでコンテンツを再生して出力する或いは送信するが、必要に応じて再生中や送信中のコンテンツの再生や送信を途中で打ち切る構成としてもよい。例えばコンテンツ呼出部１０６が、キーセットの認識による識別ＩＤの入力に基づき、コンテンツＤＢ１０７から前記識別ＩＤと対応設定されているコンテンツを呼び出し、再生処理部１０８若しくは送信処理部１１０へ出力し、再生処理部１０８若しくは送信処理部１１０は、前記コンテンツの入力等に基づき、再生中若しくは送信中のコンテンツがない場合には、前記入力されたコンテンツの再生若しくは送信を開始し、他方、再生中若しくは送信中のコンテンツがある場合には、その再生若しくは送信を中止して終了し、前記入力されたコンテンツの再生若しくは送信を開始する構成等とする。更に、コンテンツが静止画像である場合には、例えば再生処理部１０８若しくは送信処理部１１０に設定記憶されている一律の設定時間に亘ってコンテンツを再生若しくは送信する構成や、コンテンツと対応してコンテンツＤＢ１０７等に設定記憶されている設定時間を再生処理部１０８若しくは送信処理部１１０が認識し、その設定時間に亘ってコンテンツを再生若しくは送信する構成等としてもよい。
【００５４】
また、一つのキーセット或は一つのキーセットの識別ＩＤに複数のコンテンツを対応設定して、前記キーセット或いはキーセットの識別ＩＤに加え、他の条件項目或いは指定ＩＤに対応させて各コンテンツをコンテンツＤＢ１０７に設定記憶し、コンテンツ呼出部１０６が、所定のキーセット或いは所定のキーセットの識別ＩＤ及び他の条件項目等の認識若しくは入力に基づき、前記所定のキーセット或いは所定のキーセットの識別ＩＤ及び他の条件項目に対応設定されているコンテンツを呼び出す構成としてもよい。例えばキーセットの識別ＩＤ及び時間帯の区分に対応させて各コンテンツをコンテンツＤＢ１０７に設定記憶し、コンテンツ呼出部１０６が、所定のキーセットの識別ＩＤの入力に応じて、実時間クロック等での計測時刻から前記所定のキーセットの識別ＩＤが入力された時点の現在時刻を取得し、所定の記憶領域に記憶保持している時間帯区分と対比して前記現在時刻が含まれる所定の時間帯区分を認識し、入力された所定のキーセットの識別ＩＤと前記現在時刻が含まれる認識した所定の時間帯区分に対応するコンテンツをコンテンツＤＢ１０７から呼び出す構成等とし、キーワードを認知した時刻やキーセットを認識した時刻に応じて異なるコンテンツを提供してもよい。
【００５５】
更に、キーセットの識別ＩＤ及び場所区分若しくは天候区分等の環境的な区分に対応させて各コンテンツをコンテンツＤＢ１０７に設定記憶し、例えばコンテンツ呼出部１０６が、所定のキーセットの識別ＩＤの入力に応じ、所定の記憶領域に記憶保持する所定の場所区分若しくは所定の天候区分を認識し、入力された所定のキーセットの識別ＩＤと認識した所定の場所区分若しくは所定の天候区分に対応するコンテンツをコンテンツＤＢ１０７から呼び出す構成等とし、場所や天候に対応するコンテンツを提供してもよい。前記場所区分は、例えばコンテンツの再生出力手段が設置される店舗の種別、地域別などで適宜設定することが可能であり、又、前記天候区分は、温度、湿度、天気などで適宜設定することが可能であり、例えばコンテンツ提供システムの所定部が制御プログラムと協働し、その日に入力された温度、湿度若しくは天気若しくはその組み合わせ等の天候データを認識し、設定記憶されている天候区分と天候データを対比して前記天候データが含まれる所定の天候区分を認識し、その天候区分を所定の記憶領域に記憶保持する構成等とすることが可能である。
【００５６】
更に、例えばキーセットの識別ＩＤ及び指定ＩＤに対応させて各コンテンツをコンテンツＤＢ１０７に設定記憶し、コンテンツ呼出部１０６が、所定のキーセットの識別ＩＤに対応する複数のコンテンツの内、出力或いは再生したコンテンツの次順位に設定されているコンテンツの指定ＩＤを、出力或いは再生したコンテンツの指定ＩＤである指定番号に１など所定数加算する等で取得し、その指定ＩＤを前記所定のキーセットの識別ＩＤに対応させて所定の記憶領域に記憶保持し、その後、前記所定のキーセットの識別ＩＤの入力に基づき、前記所定のキーセットの識別ＩＤに対して記憶保持する指定ＩＤを認識し、前記所定のキーセットの識別ＩＤ及び前記認識した指定ＩＤに対応するコンテンツを呼び出す構成等とし、同一のキーセットに対して２回目等に別のコンテンツを提供するようにしてもよい。
【００５７】
また、例えば一つのキーセット或いは一つのキーセットの識別ＩＤに連続再生若しくは連続送信する複数のコンテンツを必要に応じて対応させコンテンツＤＢ１０７に設定記憶し、コンテンツ呼出部１０６が、所定のキーセットの入力或いは所定のキーセットの識別ＩＤの入力に基づき、前記所定のキーセット或いは所定のキーセットの識別ＩＤに対応設定されている複数のコンテンツを呼び出し、再生処理部１０８若しくは送信処理部１１０が前記複数のコンテンツを連続再生若しくは連続送信する構成等とし、必要に応じて一若しくは複数のコンテンツを提供するようにしてもよい。
【００５８】
【発明の効果】
本発明のコンテンツ提供システムは、時間の経過に応じて複雑に移り変わる話者の話題を並列的に随時追跡し、所定時間に於いて盛り上がっている集中度が高い或いは中心的な話題や興味を複雑な処理を要さずに容易に且つ迅速に特定することができ、又、コンテンツ提供に必要且つ十分な正確性で話題や興味を特定することができ、話者の中心的な話題や興味に沿った心理的に非常に受け入れやすいコンテンツを、話者、或いは話者の対話を聴いている対象者、又は再生出力装置で話者の対話を聴いている対象者等に迅速にリアルタイムで提供することができる。更に、簡単な構成で多大なハードウェアリソースを必要とせずに低コストで実現することができ、コンテンツ提供システム或いはディスプレイ型装置やマイクロフォンなどコンテンツ提供システムの所定部を遍在的に設置することも可能となる。更に、例えばキーセットで設定する話題数やキーワード数等が増大した場合にも、必要とするハードウェアリソースの増加やコスト増が無い或いは非常に軽微に留めつつ、コンテンツ提供の迅速性やリアルタイム性を確保することができる。更に、認知対応時刻の記録及び更新により、例えばキーセット数やキーワード数等の増大した場合等にも、最先の認知対応時刻から最後の認知対応時刻までの認知経過時間を複雑な処理を要さず非常に容易に取得することができる。更に、設定キーワードの認知に基づきコンテンツを提供するので、適度にコンテンツを提供し、過剰に情報提供を防止することができる。更に、話者が意識的にある種の話題で対話し、その話題に対応するコンテンツを呼び出して提供を受ける、或いは提供することも可能であり、話者やコンテンツ提供を受ける被提供者の便宜性や娯楽性を向上することができる。
【図面の簡単な説明】
【図１】第１実施形態のコンテンツ提供システムの全体構成を示すブロック図。
【図２】認知管理テーブルのデータ構成を示す図。
【図３】第１実施形態のコンテンツ提供システムによるコンテンツ提供処理の流れを示すフローチャート。
【図４】第２実施形態のコンテンツ提供システムの全体構成を示すブロック図。
【図５】第２実施形態のコンテンツ提供システムによるコンテンツ提供処理の流れを示すフローチャート。
【図６】認知管理テーブルのデータ構成の変形例を示す図。
【符号の説明】
１００ コンテンツ提供システム
１０１ マイクロフォン
１０２ 特徴抽出部
１０３ キーワード認知部
１０４ 標準特徴記憶部
１０５ 認知管理部
１０６ コンテンツ呼出部
１０７ コンテンツＤＢ
１０８ 再生処理部
１０９ ディスプレイ
１１０ 送信処理部
２００ 再生出力装置
Claims (9)
- コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、キーワードの認知に応じて、該キーワードの認知対応時刻を該キーワードと対応して記録する若しくは該キーワードと対応するキーと対応して記録すると共に、認知対応時刻の記録を対応するキーワードの認知に応じて更新する手段と、キーセットを構成する複数種のキーワード若しくはキーに対する最先の認知対応時刻から最後の認知対応時刻までの認知経過時間が認知設定時間以内である所定のキーセットを認識する手段と、各キーセットと対応設定されているコンテンツを格納するコンテンツデータベースから該認識した所定のキーセットと対応設定されているコンテンツを呼び出す手段と、該最後の認知対応時刻と略リアルタイムで該呼び出したコンテンツを再生する手段と、再生するコンテンツを出力する手段とを備えることを特徴とするコンテンツ提供システム。
- コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、キーワードの認知に応じて、該キーワードの認知対応時刻を該キーワードと対応して記録する若しくは該キーワードと対応するキーと対応して記録すると共に、認知対応時刻の記録を対応するキーワードの認知に応じて更新する手段と、キーセットを構成する複数種のキーワード若しくはキーに対する最先の認知対応時刻から最後の認知対応時刻までの認知経過時間が認知設定時間以内である所定のキーセットを認識する手段と、各キーセットと対応設定されているコンテンツを格納するコンテンツデータベースから該認識した所定のキーセットと対応設定されているコンテンツを呼び出す手段と、該最後の認知対応時刻と略リアルタイムで該呼び出したコンテンツを再生出力装置へ送信する手段とを備えることを特徴とするコンテンツ提供システム。
- 現在時刻から認知設定時間が経過した認知対応時刻の記録を消去する手段を備えることを特徴とする請求項１又は２記載のコンテンツ提供システム。
- キーセットを構成する複数種のキーワード若しくは複数種のキーが３種以上であることを特徴とする請求項１、２又は３記載のコンテンツ提供システム。
- 前記取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段が該設定されているキーワードだけを認知することを特徴とする請求項１、２、３又は４記載のコンテンツ提供システム。
- 前記所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、該所定のキーセットの認識或いは該コンテンツ再生中若しくは送信中の判定からコンテンツ再生終了若しくは送信終了の認識までの経過時間が設定時間以内である再生終了若しく送信終了の認識に基づき、該所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信すると共に、該設定時間以内の再生終了若しくは送信終了の認識が得られない場合に、該所定のキーセットと対応設定されているコンテンツの再生若しくは再生出力装置への送信をしない手段とを備えることを特徴とする請求項１、２、３、４又は５記載のコンテンツ提供システム。
- 前記所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、コンテンツの再生中若しくは送信中の判定に基づき、該所定のキーセットの認識を記録保持すると共に、既に記録保持されているキーセットの認識がある場合には該所定のキーセットの認識に更新して記録保持する手段と、コンテンツの再生終了若しくは送信終了の認識に基づき、該記録保持されている所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信する手段とを備えることを特徴とする請求項１、２、３、４、５又は６記載のコンテンツ提供システム。
- コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、複数種のキーワード若しくは該キーワードと対応するキーで構成されるキーセットからキーワードの認知に基づき所定のキーセットを認識する手段と、所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、該所定のキーセットの認識或いは該コンテンツ再生中若しくは送信中の判定からコンテンツ再生終了若しくは送信終了の認識までの経過時間が設定時間以内である再生終了若しくは送信終了の認識に基づき、該所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信すると共に、該設定時間以内の再生終了若しくは送信終了の認識が得られない場合に、該所定のキーセットと対応設定されているコンテンツの再生若しくは再生出力装置への送信をしない手段とを備えることを特徴とするコンテンツ提供システム。
- コンピュータ若しくはネットワークコンピュータで構成され、マイクロフォンから取り込まれる音声を認識し、認識した音声から設定されているキーワードを認知する手段と、複数種のキーワード若しくは該キーワードと対応するキーで構成されるキーセットからキーワードの認知に基づき所定のキーセットを認識する手段と、所定のキーセットの認識に基づきコンテンツが再生中若しくは送信中であるか判定する手段と、コンテンツの再生中若しくは送信中の判定に基づき、該所定のキーセットの認識を記録保持すると共に、既に記録保持されているキーセットの認識がある場合には該所定のキーセットの認識に更新して記録保持する手段と、コンテンツの再生終了若しくは送信終了の認識に基づき、該記録保持されている所定のキーセットと対応設定されているコンテンツを再生若しくは再生出力装置へ送信する手段とを備えることを特徴とするコンテンツ提供システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003208918A JP3638591B2 (ja) | 2002-09-24 | 2003-08-27 | コンテンツ提供システム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002276443 | 2002-09-24 | ||
| JP2003208918A JP3638591B2 (ja) | 2002-09-24 | 2003-08-27 | コンテンツ提供システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004051382A Division JP3696869B2 (ja) | 2002-09-24 | 2004-02-26 | コンテンツ提供システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004164589A true JP2004164589A (ja) | 2004-06-10 |
| JP3638591B2 JP3638591B2 (ja) | 2005-04-13 |
| JP2004164589A5 JP2004164589A5 (ja) | 2005-07-07 |
Family
ID=32827708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003208918A Expired - Fee Related JP3638591B2 (ja) | 2002-09-24 | 2003-08-27 | コンテンツ提供システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3638591B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008541267A (ja) * | 2005-05-13 | 2008-11-20 | マイクロソフト コーポレーション | オンライン会話コンテンツを用いて表示のために広告コンテンツ及び／又は他の関連情報を選択するシステム及び方法 |
| JP2011019609A (ja) * | 2009-07-14 | 2011-02-03 | Nintendo Co Ltd | 情報処理システム、情報処理装置、情報処理プログラム |
| JP2011521569A (ja) * | 2008-05-23 | 2011-07-21 | グワンジョウ シユエン エレクトロニック カンパニー リミテッド | ストリーミングメディア付加記述ファイルの生成及びマルチメディア情報を挿入する方法、システム |
| WO2016080535A1 (ja) * | 2014-11-20 | 2016-05-26 | ヤマハ株式会社 | 情報送信装置、情報送信方法、案内システム及び通信システム |
| JP2017033000A (ja) * | 2016-09-12 | 2017-02-09 | ヤマハ株式会社 | 情報送信装置 |
| CN108932066A (zh) * | 2018-06-13 | 2018-12-04 | 北京百度网讯科技有限公司 | 输入法获取表情包的方法、装置、设备和计算机存储介质 |
-
2003
- 2003-08-27 JP JP2003208918A patent/JP3638591B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008541267A (ja) * | 2005-05-13 | 2008-11-20 | マイクロソフト コーポレーション | オンライン会話コンテンツを用いて表示のために広告コンテンツ及び／又は他の関連情報を選択するシステム及び方法 |
| JP2011521569A (ja) * | 2008-05-23 | 2011-07-21 | グワンジョウ シユエン エレクトロニック カンパニー リミテッド | ストリーミングメディア付加記述ファイルの生成及びマルチメディア情報を挿入する方法、システム |
| JP2011019609A (ja) * | 2009-07-14 | 2011-02-03 | Nintendo Co Ltd | 情報処理システム、情報処理装置、情報処理プログラム |
| US9687743B2 (en) | 2009-07-14 | 2017-06-27 | Nintendo Co., Ltd. | Information processing system, information processing apparatus, and computer-readable storage medium having information processing program stored therein |
| WO2016080535A1 (ja) * | 2014-11-20 | 2016-05-26 | ヤマハ株式会社 | 情報送信装置、情報送信方法、案内システム及び通信システム |
| JP2016099466A (ja) * | 2014-11-20 | 2016-05-30 | ヤマハ株式会社 | 情報送信装置 |
| JP2017033000A (ja) * | 2016-09-12 | 2017-02-09 | ヤマハ株式会社 | 情報送信装置 |
| CN108932066A (zh) * | 2018-06-13 | 2018-12-04 | 北京百度网讯科技有限公司 | 输入法获取表情包的方法、装置、设备和计算机存储介质 |
| CN108932066B (zh) * | 2018-06-13 | 2023-04-25 | 北京百度网讯科技有限公司 | 输入法获取表情包的方法、装置、设备和计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3638591B2 (ja) | 2005-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102436168B1 (ko) | 청취 로그 및 음악 라이브러리를 생성하기 위한 시스템 및 방법 | |
| CN104869467B (zh) | 媒体播放中的信息输出方法、装置和系统 | |
| JP6101973B2 (ja) | ボイスリンクシステム | |
| JP6454741B2 (ja) | 低電力関連コンテンツ提供システム、方法、及びプログラムを記録したコンピューターで読むことができる記録媒体 | |
| CN109117233A (zh) | 用于处理信息的方法和装置 | |
| JP6348903B2 (ja) | 話者識別方法、話者識別装置及び情報管理方法 | |
| JP5843401B2 (ja) | コンテンツ情報提供装置、コンテンツ情報提供システム、コンテンツ情報提供方法及びコンテンツ情報提供プログラム | |
| CN110390927B (zh) | 音频处理方法、装置、电子设备及计算机可读存储介质 | |
| CN106059904B (zh) | 基于即时通讯软件进行直播歌曲打分的方法与系统 | |
| JP2008053989A (ja) | ドアホンシステム | |
| JP2005332404A (ja) | コンテンツ提供システム | |
| JP2006284904A (ja) | 端末装置、集計システム、端末装置の制御方法、端末装置制御プログラム、及びコンピュータ読み取り可能な記録媒体 | |
| JP3638591B2 (ja) | コンテンツ提供システム | |
| JP3696869B2 (ja) | コンテンツ提供システム | |
| US10547573B2 (en) | System and method for associating messages with media during playing thereof | |
| US20070110397A1 (en) | Playback apparatus and bookmark system | |
| US20150208121A1 (en) | System and computer program for providing a/v output | |
| KR20140126237A (ko) | 저 전력 연관 콘텐츠 제공 시스템, 방법, 및 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| CN115065835A (zh) | 直播的表情显示处理方法、服务器、电子设备及存储介质 | |
| JPWO2016006088A1 (ja) | 電子機器及び方法及びプログラム | |
| KR100945162B1 (ko) | 링백톤제공시스템 및 그 방법 | |
| CN107484015A (zh) | 节目处理方法及装置、终端 | |
| CN113545096A (zh) | 信息处理装置和信息处理系统 | |
| KR100710492B1 (ko) | 공연문화예술의 관람객 유치 및 ｃｒｍ을 위한 ｖｍｓ마케팅 시스템 및 그 방법 | |
| CN115086695B (zh) | 直播间进场礼物的显示方法、电子终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041101 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041101 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20041101 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20041126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050111 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |