JP2009516951A - デジタル画像の内容特徴およびメタデータを使って関係したオーディオ随伴物をみつけるシステムおよび方法 - Google Patents

Abstract

少なくとも一つのデジタル画像を含むシーケンスが表示されている間に、その特定の画像シーケンスの内容にマッチし、提供されたおよび／または生成された任意の画像メタデータにマッチするような少なくとも一つのオーディオ随伴物を自動的に再生／提案するシステム（３００）、装置（２００）および方法（１００）が提供される。当該画像自身から、またユーザーによって提供される任意のメタデータから検索語が導出され、これらの検索語を使って、（１）画像または関連付けられたテキスト（たとえば歌詞）中のこれらの検索語またはその同義語を含むか、（２）小川の速い流れの画像についての流水の音のような、前記画像に通常関連付けられる音を表すかする、オーディオ随伴物が見出される。本発明はユーザー入力を受け容れ、検索結果として適切なオーディオ随伴物を位置特定し、これらの結果を、画像を表示している間にオーディオ随伴物を再生することによって、あるいはこれらの結果からコンパイルされたプレイリストをユーザーに提案することによって、ユーザーに呈示する。

Description

本発明は、デジタル画像のシーケンスのメタデータを使って、その画像メタデータと類似するテキストおよびメタデータをもつ音楽および音を含むオーディオ随伴物を同定し、関連付け、提案されるプレイリストまたは視覚と音のショーとしてユーザーに呈示するために前記同定されたオーディオと組み合わされたシーケンスを作成することに関する。

ますます多くの消費者システムがさまざまなタイプのコンテンツの保存および再生を組み合わせている。結果として、人がデジタル写真を再生するために使うシステムはしばしばそれらの写真を表示しながら音楽の伴奏も再生できる。問題は、この可能性が、写真スライドショー（デジタル画像のシーケンス）に随伴する適切な音楽をみつけ、選択するという、ユーザーにとっての追加的なタスクを導入するということである。

したがって、特定のデジタル画像シーケンスの内容にマッチするオーディオ随伴物を自動的に再生する（または提案する）方法が必要とされている。

ある実施形態では、本発明のシステム、装置および方法は、（写真、写真アルバム、家庭用ビデオのような）デジタル画像のメタデータを用いて、それらの写真に関係した歌テキストを含む音楽を検索する方法を提供する。

これを達成するために：
（１）画像（単数または複数）（のセット／シーケンス）から、あるいは画像メタデータからテキスト・ラベルが導出され、
（２）これらのテキスト・ラベルまたはキーフレーズは少なくとも一つのキーワードを含んでおり、音楽タイトルまたは該音楽に関連付けられた歌テキストの（顕著な）部分またはオーディオのメタデータにこれらのキーフレーズを含むオーディオ随伴物をみつけるために使われる。

多くの古典的な曲はその音楽に歌詞がつけられてきた。たとえば、「I'm Always Chasing Rainbows」はショパンの幻想即興曲に歌詞をつけた歌である。さらに、歌詞のない多くの楽曲はスライドショーのためのバックグラウンドミュージックとして適切である。たとえば海辺のスライドショーがオーシャン・ミュージック（ocean music）と関連付けられるなどである。音楽に加え、サウンドトラックがオーディオ随伴物として提供される。この後者のオーディオ随伴物は、その内容を記述する関連付けられたメタデータを有する必要がある。

以下の記述は限定ではなく例示の目的で与えられていることが当業者には理解されるものとする。当業者は本発明の精神および付属の請求項の範囲内にはいる多くの変形があることを理解する。既知の機能および動作の無用な詳細は、本発明を埋没させることのないよう、本記載からは省略されることがある。

ある好ましい実施形態では、ユーザーによって提供されるデジタル画像の内容および特性が、キーフレーズとなりうるテキスト・ラベル（画像メタデータ）を導出するために使われる。キーフレーズは、ユーザーが指定した画像名／ラベルから導出される少なくとも一つのキーワードを含む。あるいはキーフレーズは画像のテキスト注釈から導出される。ある好ましい実施形態では、画像のシーケンスの内容は、テキスト内容については光学式文字認識（OCR）を使って、場面については画像場面認識を使って、オブジェクト（人および動物を含む）については画像オブジェクト認識を使って認識される。ユーザーによって供給される画像特性は画像メタデータとして扱われ、当該画像（単数または複数）のユーザー固有データ（たとえば民族、性、年齢、職業）、作成時および作成場所情報のような項目を含むことができる。これが意味のある名前に、あるいは標準化されたキーワードを含み、最もありそうな起こっているイベントおよび位置を記述するキーフレーズ（たとえば誕生日、クリスマス、ニューヨーク、パリ、夏休み）に変換される。

ある実施形態では、画像内容解析アルゴリズムを使って、画像の風景が分類され、画像を記述するメタデータが提供され、このメタデータが、キーフレーズでインデックスされたオーディオ随伴物のデータベースを検索する検索語として使用できる。そのようなクラスに関連付けられた単語またはラベルも、その後関係するオーディオ・コンテンツをみつけるために使われるテキスト・ラベル（画像メタデータ）を導出するために使われる。たとえば、全体的な白さから冬の場面を検出することが可能である。そのような特性の識別情報は、冬、雪、白といったある種のテキスト・メタデータ（ラベル）に変換される。これらのメタデータは次いで、冬、雪などについての歌テキストおよびオーディオ・メタデータを有するオーディオをみつけるために使用できる。

ある好ましい実施形態では、画像のメタデータが組み合わされる。たとえば、場面解析情報が（他の単語のうち）「白」を与える一方、時間情報は「クリスマス」に変換されることができる。本発明は、この例では曲「ホワイト・クリスマス」および雪が降る音を見出す。

ある好ましい実施形態では、選択されたオーディオ随伴物は、画像のシーケンスをカバーするために時間的に引き延ばされる。というのも、一般的に、そのようなシーケンスにとって、構成する画像のそれぞれについて別のオーディオ随伴物にスキップするのは望ましくないからである。したがって、画像のシーケンスについて入手可能なメタデータをシーケンス全体のための記述に統合することが有利である。次いで、統合メタデータを使って、画像のシーケンス全体について好適な少なくとも一つのオーディオ随伴物が選ばれることができる。

あるさらなる代替的な実施形態では、メタデータの有意なテキスト・ラベルへの変換が、ユーザーについての情報（たとえば、適切なレベルの位置の粒度を与えるための地理的な自宅位置、正しいイベントを導出するための地域的／文化的背景、休日を決定するための個人／家族情報など）を入手可能にすることによって改善される。

ある好ましい実施形態では、効果音が、画像（単数または複数）のメタデータに関係するオーディオ随伴物として提供される。たとえば、パーティーのスライドショーにグラスの音を加えてもよい。群衆の映像がざわめき音をトリガーしてもよい。

ここで図１を参照すると、本発明に基づく方法のある好ましい実施形態の流れ図の一例が示されている。ステップ１０２では、画像または画像のシーケンス１０１が、関連付けられたメタデータ１０１とともに入力される。該メタデータは、少なくとも一つの画像について、受領されるか作成されるうち少なくとも一方をされている。画像およびメタデータは次いで短期持続性メモリ１０３に保持される。画像メタデータはユーザーが入力することができ、あるいは本発明によって導出されることができるもので、日付、時刻、イベント、位置、イベントのユーザーとの関係または他の記述子を含むことができる。本発明のシステム、装置および方法は、用語およびその同義語のシソーラス１０４．１を含むことができ、これが、ユーザーによって入力されたメタデータを標準的なセットに規格化するために使われる。たとえば、マム、母、お母さん、ママ、マードレなどはみな、画像の同じ「母」属性を指す。同様に、本発明の方法１００は、白い冬の場面などの画像メタデータの生成のための画像解析機能を含むことができる。ユーザー入力メタデータおよびシステム生成メタデータを含む両タイプのメタデータが、画像シーケンスとともに持続性メモリ１０３に保存される。入力画像シーケンスのための対応するオーディオ随伴物を位置特定するために、少なくとも一方のタイプが、本発明のシステム３００、装置２００および方法１００のために保存されねばならない。

前もって標準化されたオーディオ随伴物メタデータで注釈付け（インデックス付け）されたオーディオ随伴物データベース１０４が設けられる。短期持続性メモリ１０３に保持されている標準化された取り込まれた／生成された画像メタデータを使って、ステップ１０５で、マッチする音楽メタデータを求めて設けられている音楽データベース１０４が検索される。ステップ１０６では、すべてのマッチするメタデータがプレイリストにコンパイルされ、当該画像（単数または複数）に関連付けられ、持続性メモリ１０３に保持される。ある好ましい実施形態では、マッチの度合いも導出される。たとえば、冬および白の画像とユーザー提供された日付12/25は「ホワイト・クリスマス」とは100%のマッチに、「ウォーキング・イン・ア・ウィンター・ワンダーランド」とはより低いマッチにつながるであろう。ステップ１０７では、検索結果が持続性メモリ１０３から取得され、最良マッチが再生されるか、画像が表示されている間の音楽随伴物提案のランク付きリストに呈示されるかする。ある好ましい実施形態では、画像およびオーディオ注釈の両方がのちの取得、表示および再生のためにデータベース１０８に保存される。

ここで図２を参照すると、画像が表示されている間にオーディオ随伴物を画像と関連付けるため、あるいはオーディオ随伴物のプレイリストをユーザーに対して呈示するための装置２００が示されている。本装置は、画像、画像シーケンスならびに該画像および画像シーケンスを記述するメタデータを受領する、画像メタデータ取り込み／生成モジュール２０１を有する。メタデータは日付、時刻、季節、イベント、ユーザーとの関係、個人（単数または複数）／ペット（単数または複数）の名前（単数または複数）、画像および画像シーケンスの位置を含む。ユーザーによって入力されたメタデータは、モジュール２０１によって取り込まれ、またモジュール２０１によって画像解析を通じて生成され、たとえば海または湖、島などである。ひとたび画像およびそのメタデータが取り込まれ、入力画像シーケンスについてのメタデータがモジュール２０１によって生成されたら、短期持続性メモリ１０３に保持される。次いで、検索／関連付けモジュール２０３が、そのメタデータに基づいて、好適なオーディオ随伴物を求めてデータベース１０２を検索する。提案／再生モジュール２０４が、プレイリストを提案するか、検索から帰結する最も関連性のあるオーディオ随伴物を再生するかの少なくとも一つをする。ある好ましい実施形態では、結果は、将来の取得および再生のために、注釈付けされた画像のデータベース１０８に保存される。持続性メモリ１０３は、装置２００を組み込んでいる表示装置が画像シーケンスを表示することをユーザーが望むだけしか続かない比較的短期のメモリである。

ここで図３を参照すると、図２の装置２００を組み込んでいるシステム３００が示されている。システム３００はデジタル画像コンテンツおよびユーザーによってそのために入力されたメタデータ１０１を受け容れ、図２の装置２００を使って、必要なら、シソーラス１０４．１を援用して、追加的な画像メタデータを生成する。適切なオーディオ随伴物をそのデータベース１０４中で位置特定し、入力シーケンスに関連する結果として得られるオーディオ随伴物を短期持続性メモリ１０３に保存するためである。システムは次いで、画像／シーケンスを表示３０２している間そのオーディオ随伴物を再生３０１するか、あるいは結果のプレイリストをユーザーに提案３０２するかする。結果および画像（単数または複数）は将来の取得および閲覧のために注釈付けされた画像データベース１０８に保存されることもできる。

本発明の好ましい実施形態が例示および記載されてきたが、当業者は、本発明の真の範囲から外れることなく、ここに記載されるシステム、装置および方法が例示的であり、さまざまな変形および修正がなしえ、その要素について等価物が代用されうることを理解するであろう。さらに、その中心的な範囲から外れることなく、本発明の教示を、音／効果音セットアップをもつ特定の画像再生に適応させるために多くの修正がなされうる。したがって、本発明は、本発明を実施するために考えられている最良の形態として開示されている個別的な実施形態に限定されるものではなく、本発明は、付属の請求項の範囲にはいるあらゆる実施形態を含むものであることが意図されている。

本発明に基づく方法の機能的な流れ図である。 音楽を歌詞と関連付ける本発明に基づく装置を示す図である。 本発明に基づくシステムを示す図である。

Claims (17)

1. 少なくとも一つの画像のシーケンスに関連付けられた内容メタデータを使って前記シーケンスのためのオーディオ随伴物を提供する方法であって：
   前記シーケンスに関連付けられた前記内容メタデータを使ってデータベース中でマッチするオーディオ随伴物を位置特定し；
   前記位置特定されたオーディオ随伴物を、前記シーケンスのための随伴物として提供する、
   ステップを有する方法。
2. 内容メタデータが、日付、時刻、イベント、位置、画像のユーザーとの関係、ユーザー特性および記述子キーフレーズを含む、請求項１記載の方法。
3. 標準的な内容メタデータおよびその同義語のシソーラスを設け；
   前記シソーラスを使って、前記シーケンスに関連付けられた内容メタデータを規格化して標準的な内容メタデータにする、
   ステップをさらに有する、請求項１記載の方法。
4. 内容メタデータが、日付、時刻、イベント、位置、画像のユーザーとの関係および記述子キーフレーズを含む、請求項３記載の方法。
5. メタデータ記述子の付与と、前記少なくとも一つの画像の内容解析によるメタデータ記述子の導出と、よりなる群から選択される技法によって、前記内容メタデータを前記シーケンスに関連付けるステップをさらに有する、請求項１記載の方法。
6. 内容解析が、テキストの光学式文字認識、画像場面認識および画像オブジェクト認識よりなる群から選択される、請求項５記載の方法。
7. 前記提供するステップがさらに、まず：
   前記位置特定されたオーディオ随伴物を前記シーケンスに関連付けられたプレイリストにコンパイルし；
   前記コンパイルされたプレイリストからなされる任意の選択を、前記位置特定されたオーディオ随伴物に含めるステップを含む、
   請求項５記載の方法。
8. 前記シーケンスおよび該シーケンスのための位置特定されたオーディオ随伴物を短期持続性メモリ内に保持し；
   前記提供するステップに先立ち、前記保持されたシーケンスおよび該シーケンスのための位置特定されたオーディオ随伴物を取得する、
   ステップをさらに有する、請求項７記載の方法。
9. 内容メタデータが、ユーザー・データ、日付、時刻、イベント、位置、画像のユーザーとの関係、画像中の個人の名前、画像中のペットの名前、画像タイトル、季節、温度、緯度、経度、サイズ、身体部分、色および記述子キーフレーズを含む、請求項８記載の方法。
10. 標準的な内容メタデータおよびその同義語のシソーラスを設け；
    前記シソーラスを使って、前記シーケンスに関連付けられた内容メタデータを規格化して標準的な内容メタデータにする、
    ステップをさらに有する、請求項９記載の方法。
11. 位置特定する前記のステップがさらに、マッチの度合いを導出するステップを有しており；
    前記提供するステップがさらに、まず提供されたオーディオ随伴物をマッチの度合いによって低い順に順序付けるステップを有する、
    請求項１０記載の方法。
12. 前記提供するステップがさらに：
    前記シーケンスを、前記位置特定されたオーディオ随伴物に関連付けてデータベースに保存し；
    保存されたシーケンスおよび関連付けられたオーディオ随伴物を前記データベースから取得する、
    ステップをさらに有する、請求項１０記載の方法。
13. コンテンツを有する少なくとも一つの画像のシーケンスに、それとともに同時呈示するためのオーディオ随伴物を関連付ける装置であって：
    シーケンスを取り込み、前記少なくとも一つの画像の内容を記述するメタデータを取り込み、生成する、画像／メタデータ・取り込み／生成モジュールと；
    前記の関連付けられたメタデータを使ってオーディオ随伴物を求めてオーディオ随伴物データベースを検索する、オーディオ随伴物メタデータ検索／関連付けモジュールと；
    前記検索から帰結するオーディオ随伴物のプレイリストを提案する、オーディオ随伴物提案／再生モジュールと；
    前記オーディオ随伴物提案／再生モジュールが前記検索から帰結するオーディオ随伴物を再生しているときに前記シーケンスを同時表示する、画像シーケンス表示モジュールとを有する、
    装置。
14. データベースをさらに有する請求項１３記載の装置であって、
    前記画像／メタデータ・取り込み／生成モジュールおよび前記オーディオ随伴物メタデータ検索／関連付けモジュールがそれぞれさらに、前記シーケンス、メタデータおよび位置特定されたオーディオ随伴物を前記データベース中に保存するよう構成されており；
    前記オーディオ随伴物提案／再生モジュールおよび前記画像シーケンス表示モジュールがそれぞれさらに、シーケンスおよび関連付けられたメタデータを、その同時的な表示および再生のために前記データベースから取得するよう構成されている、
    装置。
15. 前記画像／メタデータ・取り込み／生成モジュールがさらに、画像内容解析技法を使ってメタデータを生成するよう構成されている、請求項１３記載の装置。
16. 前記画像内容解析技法が、テキストの光学式文字認識、画像場面認識、画像オブジェクト認識よりなる群から選択される、請求項１５記載の装置。
17. 少なくとも一つのデジタル画像のシーケンスのオーディオ随伴のためのシステムであって：
    表示装置と；
    オーディオ随伴物再生装置と；
    前記表示装置および前記オーディオ再生装置に動作可能に接続された請求項１６記載の装置（２００）とを有しており、
    前記装置（２００）が少なくとも一つの画像のシーケンスおよび第一の画像メタデータを受け容れ、内容解析技法を使って第二の画像メタデータを導出し、前記第一および第二のメタデータを使って適切なオーディオ随伴物を位置特定し、次いで前記シーケンスを表示している間に前記オーディオ随伴物を再生するか、結果のプレイリストをユーザーに提案するかの一つをする、
    システム。

Images