JP2006119178A - コンテンツ処理方法およびコンテンツ処理装置 - Google Patents

Abstract

【課題】コンテンツの内容だけでなく、ユーザの気分などに応じた最適な雰囲気や臨場感を作り出すことができるようにする。
【解決手段】メタデータデコーダ１８でメインコンテンツデータに多重化されたメインコンテンツ内容メタデータをデコードし、メインコンテンツ内容メタデータ生成部４３でメインコンテンツ内容メタデータを生成する。ユーザ状況メタデータ生成部４１でユーザ状況メタデータを生成する。推薦情報生成部４２で、メインコンテンツ内容メタデータとユーザ状況メタデータとから、当該メインコンテンツと組み合わせるべきサブコンテンツを推薦する推薦情報を生成する。特徴情報生成部４５で、サブコンテンツ内容メタデータから、サブコンテンツの特徴を示す特徴情報を生成する。サブコンテンツ選択部４６で、特徴情報が推薦情報に最も近いサブコンテンツを、当該メインコンテンツと組み合わせるべきサブコンテンツとして選択する。
【選択図】図１

Description

この発明は、映像や音響などのコンテンツを処理する方法および装置に関する。

コンテンツの再生にあたって、別のコンテンツなどを一緒に再生または提示することが考えられている。

例えば、特許文献１（特開平８−７６７７９号公報）には、カラオケの曲の音楽情報を参照し、曲の内容に合わせて、その場の雰囲気を盛り上げるために照明や空調を制御することが示されている。

また、特許文献２（特表２００３−５０７８０８号公報）には、映像音声データの内容や構造を表記する記述方法が示されている。

さらに、特許文献３（特開２００１−３３３４１０号公報）には、コンテンツの最適視聴条件を記述したメタデータによって、ユーザが最適な条件でコンテンツを視聴できるようにすることや、ユーザの嗜好を示すデータによって、ユーザに提供するコンテンツを判定することが示されている。

また、特許文献４（特開２００２−１５８９４８号公報）には、同一シーンを記録した複数の映像音声データを関連づけて再生することが示されている。

以上のように、音楽コンテンツの再生にあたって、その場の雰囲気を盛り上げるために、コンテンツ内容に応じて照明や空調を制御することが考えられており、また、ユーザの嗜好に応じてコンテンツを選択することが考えられている。

上に挙げた先行技術文献は、以下の通りである。
特開平８−７６７７９号公報 特表２００３−５０７８０８号公報 特開２００１−３３３４１０号公報 特開２００２−１５８９４８号公報

しかしながら、特許文献１に示されるように、その場の雰囲気や臨場感を盛り上げる場合でも、最適な雰囲気や臨場感はユーザにとって異なることが多い。

特に、スポーツ中継のようなコンテンツでは、応援しているチーム側のスタンドにいるような雰囲気であれば、楽しく鑑賞することができるが、相手チーム側のスタンドにいるような雰囲気であると、楽しく感じられないことが多い。

そのため、コンテンツの内容からだけでは、最適な雰囲気や臨場感を作ることは困難である。

また、同じ歌であっても、ユーザのそのときの気分などによって、手拍子を打つなどして聴きたいときと、静かにじっくりと聴きたいときとがあるが、上記のようにコンテンツの内容のみから雰囲気や臨場感を作成したのでは、ユーザのそのときの気分などに応じた雰囲気や臨場感を作ることはできない。

そこで、この発明は、コンテンツの内容だけでなく、ユーザのそのときの気分などに応じた最適な雰囲気や臨場感を作り出すことができるようにしたものである。

この発明のコンテンツ処理方法は、
メインコンテンツの内容を特徴づけるメインコンテンツ内容メタデータと、ユーザの状況を特徴づけるユーザ状況メタデータとから、当該メインコンテンツと組み合わせるべきサブコンテンツを推薦する推薦情報を生成する推薦情報生成ステップと、
サブコンテンツの内容を特徴づけるサブコンテンツ内容メタデータから、当該サブコンテンツの特徴を示す特徴情報を生成する特徴情報生成ステップと、
複数のサブコンテンツの中から、前記特徴情報が前記推薦情報に最も近いサブコンテンツを、当該メインコンテンツと組み合わせるべきサブコンテンツとして選択するサブコンテンツ選択ステップと、
を備えることを特徴とする。

上記のコンテンツ処理方法では、音楽や映像などのコンテンツを再生または記録するとき、そのコンテンツであるメインコンテンツの内容だけでなく、ユーザのそのときの状況に応じた最適な別のコンテンツが、サブコンテンツとして選択され、メインコンテンツと組み合わされて再生または記録されるので、コンテンツ（メインコンテンツ）の内容だけでなく、ユーザのそのときの気分などに応じた最適な雰囲気や臨場感を作り出すことができる。

以上のように、この発明によれば、コンテンツの内容だけでなく、ユーザのそのときの気分などに応じた最適な雰囲気や臨場感を作り出すことができる。

［１．コンテンツを再生する場合の実施形態：図１〜図４］
コンテンツを再生する場合の実施形態を以下に示す。

なお、メインコンテンツおよびサブコンテンツというのは、上述したように便宜的に呼称したものであって、特にメインコンテンツの方がサブコンテンツより、重要である、データ量が多い、などという区別があるものではない。

（１−１．再生の場合の第１の例：図１〜図３）
図１は、この発明のコンテンツ処理装置の一例を示し、記録媒体に記録されたメインコンテンツの再生時、当該メインコンテンツの内容およびユーザの状況に応じたサブコンテンツを選択し、メインコンテンツと一緒に再生するものである。

この例のコンテンツ処理装置は、コンテンツ再生装置として、ディスク再生部１を備え、システムコントローラ１１による制御によってスピンドルモータ３および光ピックアップ４を駆動して、光ディスク２から、これに記録されているメインコンテンツを読み取り、再生するものである。

メインコンテンツは、この例では、映画やドラマなどの映像データ、字幕データおよび音声データが、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式によって記録されたものである。

具体的に、メインコンテンツのデータストリームは、図２に示すように、ヘッダに対して映像パケット、字幕パケットおよび音声パケットの各パケットが付加されたものであり、各パケットは、ヘッダに対して映像データ、字幕データまたは音声データが付加されたものであり、音声パケットの音声データは、各音声チャネルの音声データからなるものである。

光ディスク２には、メインコンテンツデータとともに、メインコンテンツの内容を特徴づけるメインコンテンツ内容メタデータを記録することができる。光ディスク２にメインコンテンツ内容メタデータを記録する場合、メインコンテンツ内容メタデータは、ＭＰＥＧ７の規格に準拠した書式、またはその他の書式で記述し、ＭＰＥＧストリームのＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）ごとに、またはＭＰＥＧストリームのピクチャごとに多重化する。

メインコンテンツの内容を特徴づけるメインコンテンツ内容メタデータは、一般には、（１）音楽、映画、ドラマ、ドキュメンタリー、スポーツなど、コンテンツのジャンルを示す情報、（２）音楽であれば、演奏中であることや曲間であることなどを示す情報、映画やドラマであれば、ストーリーの起承転結などを示す情報、スポーツであれば、得点シーンであることなどを示す情報など、シーンの分類を示す情報、（３）音楽などの音響（音声）であれば、音の大きさなどを示す情報、映像であれば、画面の明るさなどを示す情報など、信号としての特徴を示す情報、などである。

ＭＰＥＧ２１で規定された著作物の権利関係を示す情報も、コンテンツの内容を特徴づける情報として、そのコンテンツの２次加工などに関する条件などを、後述の推薦情報の生成に用いることができる。

以下では、上記のようにメインコンテンツ内容メタデータがメインコンテンツデータとともに光ディスク２に記録されている場合と、後述のようにコンテンツ処理装置（コンテンツ再生装置）において光ディスク２から読み取ったメインコンテンツデータからメインコンテンツ内容メタデータを生成する場合とを、一緒に示す。

光ピックアップ４によって光ディスク２から読み取られたデータは、ＲＦアンプ１２を通じて復調回路１３に供給され、復調回路１３で復調され、エラー訂正される。

さらに、その復調エラー訂正後のデータが、デマルチプレクサ１４に供給されて、デマルチプレクサ１４から、メインコンテンツを構成する映像データ、字幕データおよび音声データ、および光ディスク２にメインコンテンツ内容メタデータが記録されている場合にはメインコンテンツ内容メタデータが、分離されて得られる。

これら分離された映像データ、字幕データ、音声データおよびメインコンテンツ内容メタデータは、デコードタイムスタンプに従って、それぞれ映像デコーダ１５、字幕デコーダ１６、音声デコーダ１７およびメタデータデコーダ１８によってデコードされる。デコードされた映像データ、字幕データおよび音声データは、プレゼンテーションタイムスタンプに従って、それぞれ映像信号、字幕信号および音声信号に変換される。

その映像デコーダ１５からの映像信号、および字幕デコーダ１６からの字幕信号は、それぞれ映像再生回路２１および字幕再生回路２２を通じて字幕スーパーインポーズ回路２３に供給され、字幕スーパーインポーズ回路２３において、映像信号中に字幕信号がスーパーインポーズされて、液晶表示装置などの映像表示装置２４の表示画面上に、字幕がスーパーインポーズされた映像が表示される。

音声デコーダ１７からの音声データは、後述のようにサブコンテンツ選択部４６でサブコンテンツとして選択され、音声デコーダ４７でデコードされた音声データとともに、音声データミキシング回路２７に供給され、音声データミキシング回路２７において、メインコンテンツの一部としての音声データとサブコンテンツとしての音声データがミキシングされて、スピーカやヘッドフォンなどの音響出力装置２８から、ミキシング後の音声が出力される。

一方、ユーザの状況を特徴づけるユーザ状況メタデータを生成するために、キー入力部３１からのキー入力情報、生体センサ３３からの生体情報、および外部記憶媒体３５から読み出された情報が、それぞれインターフェース３２，３４および３６を介してユーザ状況メタデータ生成部４１に供給される。

キー入力部３１は、コンテンツ処理装置本体のパネル部に設けられた、またはコンテンツ処理装置のリモートコントローラを構成する赤外線発光部とコンテンツ処理装置本体のパネル部に設けられた赤外線受光部とからなるもので、ユーザは、あらかじめ、またはコンテンツ再生時、このキー入力部３１によって、ユーザの状況を入力する。

生体センサ３３は、ユーザの身体的または精神的な状態を検出するもので、脈拍センサや発汗センサなどのセンサ、ユーザの体動（身体の一部または全体の動き）を検出するカメラ、ユーザが発した声を捉えるマイクロフォンなどである。

外部記憶媒体３５は、ユーザの状況を示す情報が書き込まれたメモリカードなどのリムーバブル記憶媒体である。

ユーザの状況は、直接的には、（ａ）ユーザの好みの音楽ジャンルやアーティスト、ひいきのチームや選手などのユーザプロファイル、および（ｂ）そのときのユーザの身体的または精神的な状態、具体的には、脈拍数、発汗量、指先の温度、聴力年齢、視覚年齢、体動の有無や大きさなどの状態、に大別することができるが、（ｂ）の情報から検出することができる、音楽へのノリの様子、ストーリーへの集中の度合い、「楽しい」「ゆったりとしたい」などの気分も、（ｂ）の身体的または精神的な状態に含ませる。

また、そのときのユーザの視聴環境、例えば視聴室の暗騒音や明るさなども、ユーザの身体的または精神的な状態に影響を与えるものとして、（ｂ）の身体的または精神的な状態に含ませる。

上記（ａ）の、ユーザプロファイルは、ユーザがキー入力部３１によって入力し、または外部記憶媒体３５に書き込んでおく。上記（ｂ）の、そのときのユーザの身体的または精神的な状態は、生体センサ３３によって直接検出し、または生体センサ３３の出力信号を解析することによって検出する。また、そのときのユーザの視聴環境などは、ユーザプロファイルと同様に、ユーザがキー入力部３１によって入力し、または外部記憶媒体３５に書き込んでおくようにしてもよい。

ユーザ状況メタデータ生成部４１では、以上のようなユーザの状況を示す情報が総合的に分析されて、ユーザの状況を特徴づけるユーザ状況メタデータが生成される。生成されたユーザ状況メタデータは、推薦情報生成部４２に送出される。

一方、上述したように、メインコンテンツ内容メタデータが光ディスク２に記録されていて、メタデータデコーダ１８でデコードされる場合には、そのメタデータデコーダ１８からのメインコンテンツ内容メタデータが、推薦情報生成部４２に送出される。

また、光ディスク２にメタデータが記録されていない場合には、映像デコーダ１５からの映像データ、字幕デコーダ１６からの字幕データ、および音声デコーダ１７からの音声データが、メインコンテンツ内容メタデータ生成部４３に供給されて、メインコンテンツ内容メタデータ生成部４３でメインコンテンツ内容メタデータが生成され、推薦情報生成部４２に送出される。

具体的に、メインコンテンツ内容メタデータ生成部４３では、映像データ、字幕データおよび字幕データが分析されて、「暗いシーン」、「画面全体が赤いシーン」、「画面全体が青いシーン」、「暗騒音レベルが高いシーン」、「ダイナミックレンジが広いシーン」、「低域周波数成分のレベルが大きいシーン」、「高域周波数成分のレベルが大きいシーン」、「字幕が青色」、「白地に黄色の字幕」などのメインコンテンツ内容メタデータが生成される。

そして、推薦情報生成部４２では、ユーザ状況メタデータ生成部４１からのユーザ状況メタデータと、メタデータデコーダ１８またはメインコンテンツ内容メタデータ生成部４３からのメインコンテンツ内容メタデータとから、当該メインコンテンツと組み合わせるべきサブコンテンツを推薦する推薦情報が生成される。

一方、この例では、あらかじめ外部記憶媒体３７にサブコンテンツとしての音声データ（音声ファイル）が複数記録されていて、その外部記憶媒体３７がコンテンツ処理装置にロードされることによって、外部記憶媒体３７からサブコンテンツとしての音声データが読み出されて、インターフェース３８を通じてサブコンテンツ内容メタデータ生成部４４に供給される。サブコンテンツとしての音声データが記録された外部記憶媒体３７は、上記のユーザプロファイルなどが記録された外部記憶媒体３５と同一の記憶媒体でもよい。

サブコンテンツ内容メタデータ生成部４４では、そのサブコンテンツとしての音声データが分析されて、サブコンテンツの内容を特徴づけるサブコンテンツ内容メタデータが生成される。

このサブコンテンツ内容メタデータ生成部４４で生成されたサブコンテンツ内容メタデータは、特徴情報生成部４５に送出され、特徴情報生成部４５において、サブコンテンツとしての音声データの特徴を示す特徴情報が生成される。

特徴情報は、具体的に、サブコンテンツの分析の結果を多次元空間上で表記することによって生成される。次元は、例えば、残響の豊かなコンサートホールでの拍手を録音したコンテンツの場合であれば、「ライブな気分を与える」、「聴衆による拍手」、「掛け声は無し」というものである。

この特徴情報生成部４５で生成された特徴情報は、サブコンテンツ選択部４６に送出され、サブコンテンツ選択部４６において、推薦情報生成部４２で生成された推薦情報と特徴情報生成部４５で生成された特徴情報とから、サブコンテンツとして、特徴情報が推薦情報に最も近い音声データが選択される。

具体的に、サブコンテンツ選択部４６は、外部記憶媒体３７に記録されている複数の曲などの複数の音声ファイルにつき特徴情報生成部４５で生成された特徴情報を、そのときのユーザの状況およびメインコンテンツの内容に基づいて推薦情報生成部４２で生成された推薦情報と比較して、特徴情報が推薦情報に最も近いサブコンテンツ（音声ファイル）を検出し、そのサブコンテンツの識別コードや曲名などの識別情報をシステムコントローラ１１に通知する。これを受けて、システムコントローラ１１は、その識別情報を有するサブコンテンツ（音声ファイル）を外部記憶媒体３７から読み出し、インターフェース３８を通じてサブコンテンツ選択部４６に送出する。

サブコンテンツの選択にあたっては、推薦情報の次元のうち、重要でない次元は、推薦情報と特徴情報との間の距離（違い）の判断に用いないように構成される。

このサブコンテンツ選択部４６で選択された音声データは、音声デコーダ４７でデコードされて、音声データミキシング回路２７に供給され、音声デコーダ１７でデコードされた音声データとミキシングされて、音響出力装置からミキシング後の音声が出力される。

以上の例で、メインコンテンツ内容メタデータとしては、具体的に、「音楽ライブ」、「歌手Ａの歌唱中」、「演奏曲目Ｂの終了時」、「野球中継」、「Ｃチームの攻撃中」、「得点シーン」、「明るい画面」、「静かなシーン」、「せりふを話しているシーン」、「効果音が流れているシーン」、「字幕が右から左にロールしながら表示されている状態」などのメタデータが、メインコンテンツのプレゼンテーションタイムに関連づけられて得られる。

推薦情報としては、具体的に、例えば、メインコンテンツ内容メタデータが「ポップス系の歌手」および「ライブコンサート」であり、ユーザ状況メタデータが「ひいきの歌手」、「好きな曲」および「楽しい気分」であったときには、「ライブコンサートの雰囲気を盛り上げる」および「参加している気分にさせる」という情報が生成される。

サブコンテンツとしては、具体的に、例えば、推薦情報が「ライブコンサートの雰囲気を盛り上げる」、「参加している気分にさせる」および「演奏曲終了」という情報であるとき、「ライブな気分を与える」、「聴衆による拍手」および「掛け声は無し」という特徴情報を有する「残響の豊かなコンサートホールでの拍手の録音」という音声ファイルが選択される。

したがって、上述したコンテンツ処理方法（コンテンツ再生方法）では、メインコンテンツの内容だけでなく、ユーザのそのときの気分などに応じた最適な雰囲気や臨場感を作り出すことができる。

図３に、図１の例のコンテンツ処理装置（コンテンツ再生装置）がシステムコントローラ１１の制御のもとに行う再生処理の例を示す。

この例では、ユーザの再生開始操作によって再生を開始して、まずステップ５１で、光ディスク２および光ピックアップ４を駆動して、メインコンテンツの多重化されたデータを読み出し、復調する。

次に、ステップ５２で、映像データ、字幕データ、音声データおよびメインコンテンツ内容メタデータ（光ディスク２にメインコンテンツ内容メタデータが記録されていない場合には、映像データ、字幕データおよび音声データ）を分離し、さらにステップ５３に進んで、ユーザの指示やコンテンツ処理装置の再生環境に応じて、必要なパケットと音声チャネルを選択する。

次に、ステップ５４で、パケットのヘッダをみて、各データを対応するデコーダに送出し、さらにステップ５５に進んで、各データを各デコーダでデコードする。光ディスク２にメインコンテンツ内容メタデータが記録されていない場合には、ステップ５５の後に、メインコンテンツ内容メタデータを生成する。

次に、ステップ５６で、ユーザ状況メタデータを生成し、さらに、そのユーザ状況メタデータとメインコンテンツ内容メタデータとから、推薦情報を生成する。

次に、ステップ５７で、特徴情報を生成し、さらにステップ５８に進んで、その特徴情報を推薦情報と比較して、サブコンテンツとしての音声データを選択する。

次に、ステップ５９で、メインコンテンツの映像、字幕および音声と、サブコンテンツの音声とを、組み合わせて提示する。すなわち、映像および字幕は、映像表示装置２４により表示し、音声は音響出力装置２８により出力する。ただし、ステップ５３で選択しなかったパケットに係るコンテンツは別である。

図１の例は、光ディスク２にメインコンテンツ内容メタデータが記録されている場合、またはメインコンテンツ内容メタデータ生成部４３でメインコンテンツ内容メタデータを生成する場合であるが、メインコンテンツ内容メタデータは、コンテンツ処理装置が備える回線接続部によりコンテンツ提供元などのサーバに接続することによってコンテンツ処理装置の外部から取得し、またはメインコンテンツが記録された光ディスク２とは別のメモリカードなどの記憶媒体によって取得するようにしてもよい。

また、図１の例は、外部記憶媒体３７にサブコンテンツが記録されている場合であるが、サブコンテンツは、コンテンツ処理装置が備える回線接続部によりコンテンツ提供元などのサーバに接続することによってコンテンツ処理装置の外部から取得するようにしてもよい。

その場合、外部のサーバにおいて、サブコンテンツ内容メタデータ、さらには特徴情報を生成して、ユーザ側のコンテンツ処理装置に送信し、コンテンツ処理装置において、その特徴情報と推薦情報とから、推薦情報に最も近い特徴情報を有するサブコンテンツを選択するように、システムを構成してもよい。

さらに、ユーザ側のコンテンツ処理装置から外部のサーバに、メインコンテンツ内容メタデータおよびユーザ状況メタデータ、または推薦情報を送信することによって、あるいは、上記のように外部のサーバにメインコンテンツ内容メタデータを備え、または外部のサーバがメインコンテンツ内容メタデータを生成する場合には、ユーザ側のコンテンツ処理装置から外部のサーバに、ユーザ状況メタデータを送信することによって、外部のサーバにおいて、推薦情報と特徴情報とから、推薦情報に最も近い特徴情報を有するサブコンテンツを選択し、そのサブコンテンツをユーザ側のコンテンツ処理装置に送信するように、システムを構成してもよい。

（１−２．再生の場合の第２の例：図４）
図４に、放送を受信して、メインコンテンツを取得し、再生する場合の例を示す。

この例では、デジタル放送受信部６１で、ＢＳデジタル放送、ＣＳデジタル放送、地上デジタル放送などのデジタル放送が、メインコンテンツとして受信される。受信されたメインコンテンツのデータは、復調回路６３で復調され、デマルチプレクサ１４で図1の例と同様に各データに分離される。

さらに、この例では、コンテンツ処理装置（放送受信再生装置）が、回線接続部６７により放送元などのコンテンツ提供元のサーバに接続してサブコンテンツを取得できるように構成される。取得されたサブコンテンツのデータは、インターフェース６８を通じてサブコンテンツ内容メタデータ生成部４４やサブコンテンツ選択部４６に送出される。そのほかは、図1の例と同じである。

放送では生中継の場合もあり、雰囲気や臨場感だけでなく即時性が要求されるが、この例では、メインコンテンツの放送が野球やサッカーなどの試合の中継であるとき、サブコンテンツとして各チームの応援席の最新の様子などのコンテンツを得ることができる。

具体的に、例えば、推薦情報が「野球のチームＡとチームＢとの対戦」、「チームＡの攻撃中で選手Ｃの打席」、「選手Ｃの打率は０．３３」および「ユーザは選手Ｃのファン」というものであるとき、サブコンテンツとして、「チームＡ側のスタンドの応援」および「選手Ｃへの応援」という特徴情報を有する「チームＡ側のスタンドで選手Ｃを応援する様子」という音声ファイルが選択され、メインコンテンツと組み合わされて再生される。

図４の例は、図１の例と同様にサブコンテンツが音声データの場合であるが、サブコンテンツは、映像データでも、映像データおよび音声データでもよい。メインコンテンツおよびサブコンテンツが共に映像を含む場合、サブコンテンツの映像は、メインコンテンツの映像とともに２画面表示により表示され、またはメインコンテンツの映像に代えて表示され、あるいはメインコンテンツの映像と交互に表示されるように、コンテンツ処理装置を構成する。

この例でも、図１の例につき上述したように、外部のサーバにおいてサブコンテンツを選択するように構成することができる。

［２．コンテンツを記録する場合の実施形態：図５〜図８］
この発明は、コンテンツを記録する場合にも適用することができる。

図５に、その場合の一例として、撮像装置により被写体を撮影して得られた画像（画像データ）をメインコンテンツとし、当該メインコンテンツの内容およびユーザの状況に応じた画像（画像データ）をサブコンテンツとして選択して、メインコンテンツと組み合わせて記録する場合を示す。

この例のコンテンツ処理システムは、ユーザ側の撮像装置７０と、サービス提供側のサーバシステムとによって構成され、例えば、図６に示すようなテーマパークで用いられる。

図６のテーマパークは、広い敷地９０内に個別のテーマを有する複数の施設９１〜９７が設けられ、利用者が希望する施設を利用し、その施設の内部または近傍で写真を撮り、ビデオ撮影を行うことができるものである。

図５の撮像装置７０は、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付き携帯電話端末などであり、サービス提供側のサーバシステムは、敷地９０内または敷地９０外に一つ、またはホットスポットである施設９１〜９７ごとに設けられ、送受信用のアンテナ８１、サービス提供側サーバ８２およびコンテンツデータベース８３を備えるものである。

コンテンツデータベース８３には、サブコンテンツとなる多数の画像ファイルや音声ファイルが蓄積される。この場合の画像は、アニメーション画像やキャラクタ画像などであり、音声は、音楽やキャラクタの声などであり、各施設９１〜９７にふさわしいものが複数ずつ用意される。また、それぞれの画像ファイルや音声ファイルには、上述したサブコンテンツ内容メタデータまたは特徴情報が付加される。

撮像装置７０では、カメラ部７１によって被写体が撮影され、カメラ部７１から撮影画像データがメインコンテンツとして得られる。その撮影画像データは、画像処理部７２で処理され、書き込み読み出し制御部７３によって記録媒体７４に記録される。記録媒体７４は、例えば撮像装置７０に装着されたリムーバブル記録媒体であるが、撮像装置７０に内蔵された半導体メモリなどの記録媒体でもよい。

記録媒体７４に記録された撮影画像データは、書き込み読み出し制御部７３によって記録媒体７４から読み出されて、画像処理部７２で処理され、液晶表示部などの表示部７５に撮影画像が表示される。

さらに、撮影時または撮影直後、撮影画像データが、画像処理部７２を通じてメインコンテンツ内容メタデータ生成部４３に送出されて、メインコンテンツ内容メタデータ生成部４３でメインコンテンツ内容メタデータが生成され、推薦情報生成部４２に送出される。

一方、撮影時または撮影直後、図１または図４の例と同様に、ユーザ状況メタデータ生成部４１において、キー入力部３１からインターフェース３２を介して入力されたキー入力情報、生体センサ３３からインターフェース３４を介して入力された生体情報、および外部記憶媒体３５から読み出されてインターフェース３６を介して入力された情報から、ユーザの状況を特徴づけるユーザ状況メタデータが生成され、推薦情報生成部４２に送出される。

また、この例では、撮像装置７０が、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）アンテナ７８およびＧＰＳ測位部７９を備え、ＧＰＳ衛星からの電波を受信し、データを処理することによって、撮像装置７０の位置を測定できるようにされ、撮影時または撮影直後、その測定結果の位置情報が、推薦情報生成部４２に送出される。

この場合のＧＰＳ測位情報は、メインコンテンツである撮影画像の内容を特徴づけるメインコンテンツ内容メタデータとなり得るものであり、サブコンテンツの選択のための判断材料となり得るものである。

例えば、ユーザが図６の施設９１の前で撮影したとき、撮影された画像には施設９１が写し出されるとともに、ＧＰＳ測位情報は施設９１の近くで撮影したことを示すものとなり、サブコンテンツとして、施設９１にふさわしい画像や音声を選択することが可能となる。

推薦情報生成部４２では、ユーザ状況メタデータ生成部４１からのユーザ状況メタデータ、メインコンテンツ内容メタデータ生成部４３からのメインコンテンツ内容メタデータ、およびＧＰＳ測位部７９からのＧＰＳ測位情報から、メインコンテンツである撮影画像と組み合わせるべきサブコンテンツを推薦する推薦情報が生成される。

そして、この例では、その推薦情報が送受信部７６からアンテナ７７を通じて、サービス提供側のサーバシステムに送信される。

サービス提供側のサーバシステムでは、サービス提供側サーバ８２において、アンテナ８１を通じて、その推薦情報が受信され、この例では、サブコンテンツとして、コンテンツデータベース８３に蓄積されている多数の画像ファイルから、その特徴情報が、受信された推薦情報に最も近い画像ファイルが選択され、サービス提供側サーバ８２から、アンテナ８１を通じて撮像装置７０に送信される。

撮像装置７０では、その提供された画像データが、アンテナ７７を通じて送受信部７６で受信され、画像処理部７２に送出される。

画像処理部７２では、そのサブコンテンツとしての提供画像が、メインコンテンツとしての撮影画像と組み合わせられる。組み合わせ態様としては、ユーザの設定によって、図７に示すように、メインコンテンツ画像（撮影画像）Ｐｍにサブコンテンツ画像（提供画像）Ｐｓが合成され、合成後の画像が一つの画像ファイルとして記録媒体７４に記録される合成モードと、メインコンテンツ画像とサブコンテンツ画像とが関連識別子によってリンクされて別個の画像ファイルとして記録媒体７４に記録されるリンク・モードの、いずれかを選択できるように、撮像装置７０を構成する。

以上は、メインコンテンツとしての撮影画像にサブコンテンツとしての提供画像が組み合わせられる場合であるが、ユーザの設定によって、サブコンテンツが組み合わせられるモードと組み合わせられないモードのいずれかを選択できるように、撮像装置７０を構成してもよい。

以上は、サブコンテンツも画像の場合であるが、上述したようにサブコンテンツは音楽やキャラクタの声などの音声でもよい。その場合には、図８に示すように、メインコンテンツとしての画像ファイルＦｐとサブコンテンツとしての音声ファイルＦａとが、関連識別子によってリンクされて記録媒体７４に記録される。

この発明のコンテンツ処理装置の一例を示す図である。 光ディスクに記録されるＭＰＥＧストリームの一例を示す図である。 図１のコンテンツ処理装置における再生処理の一例を示す図である。 この発明のコンテンツ処理装置の他の例を示す図である。 コンテンツを記録する場合のコンテンツ処理システムの一例を示す図である。 図５のコンテンツ処理システムが用いられる施設の一例を示す図である。 メインコンテンツ画像とサブコンテンツ画像を合成する場合を示す図である。 メインコンテンツ画像ファイルとサブコンテンツ音声ファイルをリンクさせる場合を示す図である。

符号の説明

主要部については図中に全て記述したので、ここでは省略する。

Claims (18)

1. メインコンテンツの内容を特徴づけるメインコンテンツ内容メタデータと、ユーザの状況を特徴づけるユーザ状況メタデータとから、当該メインコンテンツと組み合わせるべきサブコンテンツを推薦する推薦情報を生成する推薦情報生成ステップと、
   サブコンテンツの内容を特徴づけるサブコンテンツ内容メタデータから、当該サブコンテンツの特徴を示す特徴情報を生成する特徴情報生成ステップと、
   複数のサブコンテンツの中から、前記特徴情報が前記推薦情報に最も近いサブコンテンツを、当該メインコンテンツと組み合わせるべきサブコンテンツとして選択するサブコンテンツ選択ステップと、
   を備えることを特徴とするコンテンツ処理方法。
2. 請求項１のコンテンツ処理方法において、
   前記メインコンテンツと、当該メインコンテンツと組み合わせるべきサブコンテンツとして前記サブコンテンツ選択ステップで選択されたサブコンテンツとを、組み合わせて再生することを特徴とするコンテンツ処理方法。
3. 請求項１のコンテンツ処理方法において、
   前記メインコンテンツと、当該メインコンテンツと組み合わせるべきサブコンテンツとして前記サブコンテンツ選択ステップで選択されたサブコンテンツとを、組み合わせて記録することを特徴とするコンテンツ処理方法。
4. 請求項１のコンテンツ処理方法において、
   ユーザ側のコンテンツ処理装置において、前記メインコンテンツを分析して前記メインコンテンツ内容メタデータを生成することを特徴とするコンテンツ処理方法。
5. 請求項１のコンテンツ処理方法において、
   前記メインコンテンツ内容メタデータは、ユーザ側のコンテンツ処理装置の外部からユーザ側のコンテンツ処理装置に取り込むことを特徴とするコンテンツ処理方法。
6. 請求項１のコンテンツ処理方法において、
   ユーザ側のコンテンツ処理装置において、前記サブコンテンツを分析して前記サブコンテンツ内容メタデータを生成することを特徴とするコンテンツ処理方法。
7. 請求項１のコンテンツ処理方法において、
   前記サブコンテンツ内容メタデータは、ユーザ側のコンテンツ処理装置の外部からユーザ側のコンテンツ処理装置に取り込むことを特徴とするコンテンツ処理方法。
8. 請求項１のコンテンツ処理方法において、
   ユーザ側のコンテンツ処理装置において、前記推薦情報生成ステップ、前記特徴情報生成ステップおよび前記サブコンテンツ選択ステップを実行することを特徴とするコンテンツ処理方法。
9. 請求項１のコンテンツ処理方法において、
   ユーザ側のコンテンツ処理装置において、前記推薦情報生成ステップを実行して、その推薦情報生成ステップで生成された推薦情報を、前記ユーザ側のコンテンツ処理装置の外部のサービス提供側の機器に送信し、そのサービス提供側の機器において、前記特徴情報生成ステップおよび前記サブコンテンツ選択ステップを実行して、そのサブコンテンツ選択ステップで選択されたサブコンテンツを、前記ユーザ側のコンテンツ処理装置に送信することを特徴とするコンテンツ処理方法。
10. 請求項１のコンテンツ処理方法において、
    ユーザ側のコンテンツ処理装置の外部のサービス提供側の機器において、前記ユーザ側のコンテンツ処理装置から、前記メインコンテンツ内容メタデータおよび前記ユーザ状況メタデータ、または前記ユーザ状況メタデータを取得し、前記推薦情報生成ステップ、前記特徴情報生成ステップおよび前記サブコンテンツ選択ステップを実行して、そのサブコンテンツ選択ステップで選択されたサブコンテンツを、前記ユーザ側のコンテンツ処理装置に送信することを特徴とするコンテンツ処理方法。
11. メインコンテンツの内容を特徴づけるメインコンテンツ内容メタデータと、ユーザの状況を特徴づけるユーザ状況メタデータとから、当該メインコンテンツと組み合わせるべきサブコンテンツを推薦する推薦情報を生成する推薦情報生成手段と、
    サブコンテンツの内容を特徴づけるサブコンテンツ内容メタデータから、当該サブコンテンツの特徴を示す特徴情報を生成する特徴情報生成手段と、
    複数のサブコンテンツの中から、前記特徴情報が前記推薦情報に最も近いサブコンテンツを、当該メインコンテンツと組み合わせるべきサブコンテンツとして選択するサブコンテンツ選択手段と、
    を備えることを特徴とするコンテンツ処理装置。
12. 請求項１１のコンテンツ処理装置において、
    前記メインコンテンツと、当該メインコンテンツと組み合わせるべきサブコンテンツとして前記サブコンテンツ選択手段により選択されたサブコンテンツとを、組み合わせて再生することを特徴とするコンテンツ処理装置。
13. 請求項１１のコンテンツ処理装置において、
    前記メインコンテンツと、当該メインコンテンツと組み合わせるべきサブコンテンツとして前記サブコンテンツ選択手段により選択されたサブコンテンツとを、組み合わせて記録することを特徴とするコンテンツ処理装置。
14. 請求項１１のコンテンツ処理装置において、
    前記メインコンテンツを分析して前記メインコンテンツ内容メタデータを生成するメインコンテンツ内容メタデータ生成手段を備えることを特徴とするコンテンツ処理装置。
15. 請求項１１のコンテンツ処理装置において、
    当該コンテンツ処理装置の外部から当該コンテンツ処理装置に前記メインコンテンツ内容メタデータを取り込むメインコンテンツ内容メタデータ取得手段を備えることを特徴とするコンテンツ処理装置。
16. 請求項１１のコンテンツ処理装置において、
    前記サブコンテンツを分析して前記サブコンテンツ内容メタデータを生成するサブコンテンツ内容メタデータ生成手段を備えることを特徴とするコンテンツ処理装置。
17. 請求項１１のコンテンツ処理装置において、
    当該コンテンツ処理装置の外部から当該コンテンツ処理装置に前記サブコンテンツ内容メタデータを取り込むサブコンテンツ内容メタデータ取得手段を備えることを特徴とするコンテンツ処理装置。
18. メインコンテンツの内容を特徴づけるメインコンテンツ内容メタデータと、ユーザの状況を特徴づけるユーザ状況メタデータとから、当該メインコンテンツと組み合わせるべきサブコンテンツを推薦する推薦情報を生成する推薦情報生成手段と、
    この推薦情報生成手段によって生成された推薦情報を、サービス提供側の機器に送信する送信手段と、
    前記サービス提供側の機器において、コンテンツの特徴を示す特徴情報が前記送信手段によって送信された推薦情報に最も近いコンテンツとして選択され、送信されたサブコンテンツを、受信する受信手段と、
    を備えることを特徴とするコンテンツ処理装置。

Images