JP2015536005A - マルチメディアプラットフォームを介して複数のマルチメディアコンテンツを推奨する方法およびシステム - Google Patents

マルチメディアプラットフォームを介して複数のマルチメディアコンテンツを推奨する方法およびシステム Download PDF

Info

Publication number
JP2015536005A
JP2015536005A JP2015535156A JP2015535156A JP2015536005A JP 2015536005 A JP2015536005 A JP 2015536005A JP 2015535156 A JP2015535156 A JP 2015535156A JP 2015535156 A JP2015535156 A JP 2015535156A JP 2015536005 A JP2015536005 A JP 2015536005A
Authority
JP
Japan
Prior art keywords
multimedia content
multimedia
information
user
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015535156A
Other languages
English (en)
Other versions
JP6597967B2 (ja
Inventor
メッシーナ、アルベルト
メッタ、サビノ
モンタグヌオロ、マウリツィオ
Original Assignee
ライ ラディオテレヴィズィオーネ イタリアーナ エッセ.ピー.アー.
ライ ラディオテレヴィズィオーネ イタリアーナ エッセ.ピー.アー.
エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー.
エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライ ラディオテレヴィズィオーネ イタリアーナ エッセ.ピー.アー., ライ ラディオテレヴィズィオーネ イタリアーナ エッセ.ピー.アー., エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー., エッセ.イ.エスヴィー.エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ.ピー.アー. filed Critical ライ ラディオテレヴィズィオーネ イタリアーナ エッセ.ピー.アー.
Publication of JP2015536005A publication Critical patent/JP2015536005A/ja
Application granted granted Critical
Publication of JP6597967B2 publication Critical patent/JP6597967B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本願発明はマルチメディアプラットフォーム(101)を介して複数のマルチメディアコンテンツを推奨するための方法に関する。マルチメディアプラットフォーム(101)は少なくとも1つのユーザインタフェース(10)を介して観測可能な複数のマルチメディアコンテンツを備え、次の複数の段階を備える。すなわち、マルチメディアプラットフォーム(101)がユーザインタフェース(10)から少なくとも1つの第1の意味情報が関連付けられた少なくとも1つの第1のマルチメディアコンテンツ(1)を選択するための少なくとも1つの第1のコマンド(204)を受信する段階と、マルチメディアプラットフォーム(101)がユーザインタフェース(10)からユーザ識別子、少なくとも1つの第2の意味情報が関連付けられた少なくとも1つの第2のマルチメディアコンテンツ(2)を選択するための第2のコマンドを受信し、マルチメディアプラットフォーム(101)がさらに第2のマルチメディアコンテンツ(2)と観測中の第1のマルチメディアコンテンツ(1)間の意味的集約についての関連付けに関する少なくとも1つの情報(11)を受信する段階と、マルチメディアプラットフォーム(101)がユーザ識別子、第1のマルチメディアコンテンツ(1)と第2のマルチメディアコンテンツ(2)、および関連付け(11)を示す少なくとも1つの第1の状況を、第2の意味情報と第1の意味情報間の比較を通して処理する段階と、マルチメディアプラットフォーム(101)が、第1の処理された状況(12)および複数のマルチメディアコンテンツに関する複数の状況のうち少なくとも1つのさらなる状況との比較に基づき、少なくとも1つの第3のマルチメディアコンテンツ(3)を示す少なくとも1つの第2の状況を推奨する段階とを備える。本願発明はまた、複数のマルチメディアコンテンツを推奨するための関連システムに関する。

Description

本願発明は、複数のマルチメディアコンテンツを推奨するための方法およびシステムに関する。
今日、アクセス可能な複数のマルチメディアコンテンツの量は膨大であり、増加の一途をたどっている。非常に大量の情報(複数の画像、複数のビデオ、複数のドキュメント、複数のソーシャルネットワーク上の複数のコメント等)が生成、アーカイブされ続け、多くのユーザ間で共有され続けている。このような場合、ユーザが関心のある情報にアクセスできる方法が非常に重要である。
関心のある一般的なコンテンツを取得すべく、ユーザはクエリと呼ばれるテキストフォーマットの検索リクエストを発行できる。すると、情報検索および取得システムがクエリの内容を解析し、そのクエリの内容を利用可能な複数のコンテンツの適切な複数の「インデックス」と比較する。このような複数のインデックスは通常、コンテンツの解析に基づき、あらかじめ定義され、構築されている。
マルチメディアコンテンツ自身と関連付けられた情報は、文字通り「メタデータ」として呼ばれる。
そして、システムは様々な複数の様式と基準とを使用し、クエリによって示されたユーザのリクエストに最も合致するコンテンツを戻す。
このコンテンツの検索および取得プロセスにおけるメタデータの重要性は、明らかである。メタデータの数が多くなればなるほど、かつ、典型的になればなるほど、コンテンツの識別および取得プロセスは、より効率的になる。
このマルチメディアコンテンツの検索および取得プロセスを促進させるべく、「推奨システム」が使用されるが、このシステムの機能は、ユーザの複数のニーズと期待とを予測できる、より正確な複数のマルチメディアコンテンツを識別することにある。
一例として、米国特許出願公開第2007/0208718号の文献からマルチメディアコンテンツ推奨システムが公知であるが、そこには、ユーザにカスタマイズされたプログラムガイドを提供する推奨システムを備えるメディアサーバが記載されている。
概して、以下に概要するように、基本的に2種類の推奨システムに識別することができる。
複数の「連携フィルタリング」推奨システムは、「同様のユーザ」によって行われた前の複数の選択に基づいて複数の推奨を生成する。実際、複数のユーザが一連の好みに基づいて定義された複数のステレオタイプにグループ化される。従って、これらの連携システムに基づくと、複数ユーザのグループの動作を使用して、そのグループに属する単一ユーザの動作を演繹できるという前提となる。
米国特許第6,438,579号には、連携推奨システムが記載されているが、そこでは、ユーザ自身により提供されるコンテンツの複数の評価と、グループ動作ロジックによる他の複数のユーザによって提供される他の複数のコンテンツの複数の評価との間の対応に基づいて、ユーザに複数のマルチメディアコンテンツが提案される。
複数の「コンテンツベースのフィルタリング」推奨システムは、メタデータまたは推奨されるべき複数のコンテンツに関連付けられた複数の特性を使用し、ユーザの複数の好み(明示的または暗黙的に示された)と、ユーザが既に使用した複数のコンテンツの特性を比較することで、複数の推奨を生成する。ユーザの複数の好みは、ユーザが意図的に自身の複数の評価を提供したとき、明示的に取得される。また、重要な情報は当該ユーザの複数のアクションを自動的に記録および監視することで、抽出され得る。ユーザに使用される複数のコンテンツの複数の特性は通常、複数の視聴覚コンテンツ解析アルゴリズムを用いて抽出される。
一例として、米国特許出願公開第2011/0125585号の文献からコンテンツベースの推奨システムが公知であるが、そこには、ユーザのプラットフォームから受信された当該ユーザの前の動作に基づき、ユーザにとって潜在的関心のある複数のコンテンツを提案する推奨システムが記載されている。
しなしながら、マルチメディアコンテンツの複数の推奨システムの分野における既知の複数の解決手段は、十分満足できるものではないことが判明している。
実際、全く個人的な方法で、情報検索と取得システムとのマルチメディアコンテンツの複数の対話を満喫しようとするユーザは、従前は殆ど特定できなかった、ユーザ自身の文化的および文脈的ニーズに基づき、他の複数のコンテンツに代わり、特定の複数のコンテンツをより深く体験しようと決定することがある。
通常、ユーザはもっと良い結果に導き得る同義語が存在するにも関わらず、別の複数の単語を使用するといったようにクエリを不正確に指定する可能性がある。また、複数の推奨システムに使用される定義済みのコンテンツインデックス(概して、重要性または類似性の概念で関連付けられている)は、必然的に複数のクエリの一義の解釈を示す。このような側面の結論として、推奨システムは、ユーザにユーザの複数のニーズを十分満たすことのない複数の結果を戻す可能性がある。
結果的に、ユーザは推奨システムとの時間のかかる対話を強いられることとなる。しかしながら、検索終了後、この対話はシステムによって「忘却」されることが多く、それによってユーザ自身でさえ、後日、対話ダイナミクスを再構築することが困難になる。
本願発明の目的の1つは、先行技術のいくつかの欠点を克服するための方法とシステムとを提供することにある。
特に、本発明は、ユーザとシステムとの間の対話に関する情報の提示および格納を活用することで、ユーザにとって関心のある複数のマルチメディアコンテンツをより効率的に取得できるマルチメディアコンテンツの推奨方法とシステムとを提供することを目的とする。
本願発明の別の目的に、ユーザ自身の前のフルーション(達成)体験中に、ユーザにより行われ得る複数の関連付けを促進するために使用できる、マルチメディアコンテンツの推奨方法とシステムとを提供することにある。
本願発明のこれらおよび他の複数の目的は、複数のマルチメディアコンテンツを推奨する方法、および関連システムによって実現され、これら方法とシステムは、本明細書の重要な部分である添付の特許請求の範囲に記載された複数の特徴を組み込む。
本願発明は複数のマルチメディアコンテンツを推奨するための方法を提供するという全般的構想に基づくものである。具体的には、ユーザから適切なユーザインタフェースを介して、少なくとも1つの第1のマルチメディアコンテンツを再生するべく、コマンドが意味情報の第1の関連付けとともに受信される。適切なユーザインタフェースを介して、ユーザは第2のマルチメディアコンテンツと観測中の第1のマルチメディアコンテンツ間の、意味的集約についての関連付けに関する情報とともに、少なくとも1つの第2の意味情報が関連付けられている少なくとも1つの第2のマルチメディアコンテンツの選択を発行する。システムは、ユーザ識別子と、第1のマルチメディアコンテンツ及び第2のマルチメディアコンテンツと、関連付けとを示す少なくとも1つの第1の状況を、第2の意味情報と第1の意味情報間の比較を介して処理する。処理された第1の状況と、複数のマルチメディアコンテンツに関する複数の状況のうち少なくとも1つのさらなる状況との比較に基づき、少なくとも1つの第3のマルチメディアコンテンツを示す少なくとも1つの第2の状況が推奨される。
本願発明はまた、第1のメモリと、プロセッサと、少なくとも1つのユーザインタフェースとを備える、複数のマルチメディアコンテンツを推奨するためのシステムに関する。ここで、第1のメモリは複数のマルチメディアコンテンツおよび複数の第1の意味情報の各々を格納し、少なくとも1つのユーザインタフェースは少なくとも1つの第1のマルチメディアコンテンツを再生するよう適合される。システムはさらに少なくとも1つの第2のメモリを備えており、少なくとも1つの第2のメモリは、ユーザインタフェースを介して選択された少なくとも1つの第2のマルチメディアコンテンツと、少なくとも1つの第2の意味情報と、ユーザ識別子とを格納するよう適合され、さらに少なくとも1つの第2のメモリは、第2のマルチメディアコンテンツと観測中の第1のマルチメディアコンテンツとの間の関連付けに関する少なくとも1つの情報を格納するよう適合され、情報はユーザインタフェースを介して受信される意味的集約に関するものである。プロセッサは、少なくとも第2の意味情報と上記第1の意味情報を比較し、かつ、少なくとも1つの第1の情報状況を精緻に作成すべく、ユーザと、第1のマルチメディアコンテンツ及び第2のマルチメディアコンテンツと、関連付けに関する情報とに関する情報を処理するよう適合される。第2のメモリは第1の情報状況を格納するよう適合され、プロセッサはさらに、複数のマルチメディアコンテンツに関する複数の状況のうち少なくとも1つのさらなる状況との比較に基づき、ユーザに推奨されるべき、第1のメモリ内の少なくとも1つの第3のマルチメディアコンテンツを示す少なくとも1つの第2の情報状況を精緻に作成すべく、第1の情報状況と複数のマルチメディアコンテンツに関する情報を処理するよう適合される。
このようにして、当該システムによって、ユーザは複数の時間の関係に限定されない、2つまたは2つより多いマルチメディアコンテンツ間の複数の意味的関係を示すことが可能になる。よって、ユーザはマルチメディアコンテンツまたは「アーティファクト」に対し、リソースを関連付けることが可能になり、正確で明示的な意味を付与する。より効率的な複数の推奨を提供すべく、当該推奨システムによって派生および解釈され得る上記意味は使用されるようになる。
よって、本明細書で提案される解決手段は第1に、対話分析および包含と、ユーザの複数の特性とに基づく、複数のマルチメディアコンテンツを推奨する新規かつより完全な方法を提供するため、本明細書で提案される解決手段によって、先行技術の複数の欠点が克服できる。
本解決手段は、複数の顕著な利点をもたらし、推奨システムの複数の機能をより効率的に実行する。
その結果、当該システムは特定のユーザ、またはより一般的な複数のユーザのコミュニティに対する性能の向上をもたらすことを目的として、対話によって生成される豊富な情報を活用できる。
本明細書に提案された方法とシステムは、観測および生成された複数のコンテンツを集約して複数の複雑なコンテンツを作成できることに加え、ユーザによって生成される複数のさらなるマルチメディアコンテンツ(オーディオ、ビデオ、テキストまたはそれらの集約)に観測中の特定の一連のコンテンツを関連付けることができる。
同時に、ユーザは、ユーザとシステムとの間の対話を特徴付け、強化する各マルチメディアコンテンツ情報を関連付けることが可能になる。
本発明の先行技術に対する重要な利点は、ユーザがシステムに対し、現行やり取りされているものよりずっと多くの情報を提供できるようになり、システムとユーザとの間の情報バランスを再構築することにある。そのようなバランスは、情報システムの性能をユーザの複数の情報ニーズへのより高度な順応性といった観点から改善できる。本明細書で提案される高度な複数の対話機能を介して、ユーザの複数の情報ニーズは十分に示され得る。
実際、再生中の複数のマルチメディアコンテンツのストリームにおいて、利用可能な表現力が強化されており、強化された表現力がシステムによって効率的に活用されることが可能となり、インデックス付けされた複数のコンテンツとユーザの複数の要求との間の関連付けにおける不確実性が減る。
本明細書で提案される解決手段では、情報検索および取得プロセスは、複数のマルチメディアコンテンツを享受中にユーザによって実行される関連付けプロセスにより効率的に従う。
提案される本発明は、ユーザの複数のクエリとクエリ内に含まれた情報の実際の要求との間に存在しているギャップを埋め合わせることができることが好ましい。
同時に、提案される本発明は、ユーザによって観測される複数のコンテンツの解釈における複数の潜在的相違の豊富さと、そのような情報を永久的および再利用可能な方法で保持する複数の推奨システムの一般的能力との間に存在するギャップを埋め合わせることができる。
本願発明のさらなる目的および利点は、以下の詳細な説明および添付された複数の図面によってより明らかになる。添付図面は非限定的な例示として供給されるものである。
複数のマルチメディアコンテンツを推奨するための方法を示す。 複数のマルチメディアコンテンツを推奨するためのシステムを示す。 ユーザに対するマルチメディアコンテンツについての一般的な推奨を示す。 ユーザに対する複数のマルチメディアコンテンツについての一般的な推奨を示す。 マルチメディアコンテンツの推奨例を示す。 マルチメディアコンテンツの第2の推奨例を示す。 添付された複数の図面において、同様の複数の要素、複数の動作またはデバイスは異なる複数の図面において同一の参照番号で示される。
図1は、複数のマルチメディアコンテンツを推奨する方法を示す。
ユーザ10は、複数のビデオ、画像、オーディオ、テキストおよび/または他の複数のマルチメディアコンテンツへのアクセスを可能にするようなマルチメディアプラットフォーム上の複数のマルチメディアコンテンツを享受している。
このマルチメディアプラットフォームは、現在利用可能な多数のマルチメディアプラットフォームを典型的に示すものであるが、通常これらのマルチメディアプラットフォームは複数のコンピュータ、複数の「Connected TVまたはIPTV」テレビ受像機、複数のスマートフォン、複数の携帯用情報端末、複数のタブレット等といった複数のデバイスを使用してインターネット経由でアクセス可能である。
ユーザ10は、複数のマルチメディアコンテンツを取得するべく、マルチメディアプラットフォームと対話できる。本願発明によると、ユーザ10は段階101でマルチメディアプラットフォームと対話し、コンテンツ推奨へと導くプロセスを開始する。
段階101で行われる対話は、様々な種類のものであって良い。そこでは、ユーザ10は、特定対象についての知識を深めるといった自身のニーズを満たすべく、複数のマルチメディアコンテンツを検索する。例えば、ユーザ10は、最近ロードされた複数のマルチメディアコンテンツの定義済みリストをブラウズしたり、キーワードベースのコンテンツ検索をしたり、あるいは推奨済みの複数のコンテンツのリストをブラウズすることができる。
ユーザ10は、適切なユーザインタフェース(同一参照番号10に含まれると考えられる)を介してマルチメディアプラットフォームと対話するが、これについては後で詳述する。また、マルチメディアプラットフォームは、ユーザ10を、ユーザ識別子を介して認識する。ユーザ識別子は本願発明の目的において、ユーザ自身の身元に対応すると考えることができるものであり、既知のユーザ名およびパスワードシステム等を用いる。
段階102において、ユーザ10はマルチメディアプラットフォーム上のマルチメディアコンテンツ1を観測しようとしている。この目的のため、ユーザ10は適切なユーザインタフェースを介して、コマンドを発行し、マルチメディアプラットフォームに、ビデオ、オーディオ、画像等のマルチメディアコンテンツ1を再生させる。この文脈においては、ユーザ10によって行われる「観測」という動作は、ユーザ10による実際のウォッチングに限定されると考えられるべきではない(例えば、ユーザ10は再生中のビデオに注目すらせず、バックグラウンドでミュートにしていることもある)。そうではなく、ユーザ10によって発行された選択コマンドに関連付られた可能性のあるシナリオ、およびマルチメディアプラットフォームによる後続のコンテンツ1の表示または再生を含むことを意味する。
段階103で、ユーザ10は、プラットフォーム上に別のマルチメディアコンテンツ2をプラットフォーム上のユーザインタフェースを介してロードし、マルチメディアコンテンツ2に段階102で観測されたばかりのマルチメディアコンテンツ1を関連付ける。例えば、ユーザ10は自身の端末のメモリに内に存在していたビデオ2をロードしたり、あるいは端末に接続されたカメラ等の第3のデバイスからビデオ2をロードしたりすることさえできる。
ユーザ10によってロードされたマルチメディアコンテンツ2は、ユーザ10がマルチメディアプラットフォームと対話する際、生成され得るものであり、種々の形態を取る可能性があることを指摘しておく必要がある。このような複数のマルチメディアコンテンツはオーディオビジュアル、複数のタグ、複数のテキスト注釈、オーディオ等であり得る。このようにして、様々な「状況」間を移動するユーザ10の対話はモデル化され得るが、そこでは、ある「状況」から別の状況への推移は、フルーションまたはマルチメディアコンテンツの観測を介してのみ発生するのではなく、追加の複数のマルチメディアコンテンツをロードすることによっても発生する。
本詳細な説明において、「状況」という用語は、数理物理学およびシステム理論に従った状況の定義と何らかの複数の関係を有する内包的意味を持つ。
このような複数の枠組みにおいては、「動的システム」という概念は、その継時進化を一般的な数学モデルを用いて記述され得るシステムを示す。このような数学モデルは、現在の「状況」を将来および/または過去の状況と結合する適切な複数の法則によって特徴付けられる。よって、マルチメディアコンテンツシステムは実際、おおむね多数の状況を前提とする動的システムである。
本詳細な説明においては、動的システムの「状況」を当該システム自体の特性値セットとして定義すると決められているが、この特性値セットは当該システムの任意の時点における条件を定義するものである。
モデルの定義によって、複数の前の状況に関する情報から開始し、システムの複数の後続の状況といった、システムの継時進化を知ることができる。
前述したように、ユーザによる複数のマルチメディアコンテンツのフルーションはこのような動的システムの支配下にあると考えることができる。
複数のマルチメディアコンテンツ推奨システムの場合、「状況」とは、ユーザマルチメディアフルーションペアが存在する特定の条件である。このような動的システムの進化を知る、あるいはさらに良いことであるが予見することによって、複数のユーザニーズをより効果的に満たすことができる推奨システムに導く。
従って、複数のマルチメディアコンテンツのフルーションを特徴付ける特定の変数セットを定義する必要がある。変数の数が多いほど、フルーションが記述される精度が高まる。しかしながら、考慮される情報量が多いほど、システムの進化を管理することが難しくなる。本願発明の一例示的実施形態で使用可能な特定の複数の変数については、後述する。
本詳細な説明で定義される用語「状況」の1つの代替可能な表現は、従って「情報状況」である。
段階103のロード処理中、ユーザ10は段階102で観測されたコンテンツと段階103でロードされたコンテンツとの間の関連付け11を暗黙的または明示的に指定する。関連付け11は、観測中の第1のマルチメディアコンテンツ1とユーザ10によってロード中の第2のマルチメディアコンテンツ2との間の類似性を示すが、このことは後にさらに明らかになる。
関連付け11は、注釈、コメント、タイトル、サマリ等のコンテンツ自体を表現する情報を提供するテキストデータ間の意味的比較を通して示され得る。
関連付け11は、例えば、共有、肯定的な例、否定的な例、反対、示唆、参照、ソース、寄与、暗黙、派生、クエリといった論理的な関連付けであってもよい。この最後の種類の関連付け(クエリ)は、ユーザが、他の複数のコンテンツを検索すべく、テキストコンテンツ(一連のキーワード)またはマルチメディアコンテンツ(参照画像)を使用する典型的な状況をモデル化する。
関連付け11は、例えば、前/次、先例、結果的等の時間ベースまたは因果論理的なものであってもよい。
関連付け11はさらに、例えば部分、集約といった、構造的および複合的なものまたは集約的なものであってよい。この種の複数の関連付けプリミティブは、複数の「複合」マルチメディアオブジェクトとして識別され得る複数のマルチメディアオブジェクトの複数の集約を構成することを可能にする。
もちろん、ユーザ10は、マルチメディアプラットフォーム上の利用可能な複数の定義済みの関連付け11に加え、複数の特定の関連付け11を定義できると明らかに一般化して考えることができる。
段階104で、マルチメディアプラットフォームは段階102および103で発生した状況に関連する複数の抽象的な情報を推定する。具体的には情報には次のような内容が含まれる。
ユーザ10の識別子
観測中の第1のマルチメディアコンテンツ1の識別子
観測中の第1のマルチメディアコンテンツ1の第1の意味情報
ユーザ10によってロードされた第2のマルチメディアコンテンツ2の識別子
観測中の第2のマルチメディアコンテンツ2の第2の意味情報
作成されたばかりの意味的集約に関する関連付け11を示す識別子
ユーザ10の対話に関する上記情報を複数のマルチメディアコンテンツと共に格納できることによって、自動学習機能を提供し、かつ、そのような複雑なデータから導き出せる知識を深めることが可能になる。さらに、このような特定の格納形態により、 当該情報を複数のマルチメディアプラットフォーム間で共有可能となり、これによってユーザ10のマルチメディア体験が向上する。
段階105で、マルチメディアプラットフォームは潜在的に興味を持つものとして、ユーザ10に対し推奨されるべきさらなるマルチメディアコンテンツ3を識別する少なくとも1つのさらなる状況を再構築すべく、段階104で推定された情報を処理する。
段階105でなされる推奨は、対話モデルで設定された複数のパラメータに従って複数のマルチメディアコンテンツを、特に複数のマルチメディアコンテンツに関する複数の状況のうちの少なくとも1つのさらなる状況と比較することに基づいて推奨すべく、段階104で格納された、適切で好ましい標準シンタックスで示された情報を利用する「データマイニング」エンジンを活用する。
コンテンツ2のロード時にユーザ10によって設定された特定の関連付け11に基づいて、特定の推奨メカニズムがシステムによって確立されることが好ましい。
こうすることで、ユーザの対話によって構築された「パス」は単に時系列で供給されるものではなくなる。すなわち、ユーザは、自身が意味的観点から近接している、つまり関連していると考えるそれらの複数のマルチメディアリソースを「結合」することを選ぶ。また、ユーザは正確な意味的修飾を結合に帰属させることで、結合を示すことができるようになる。
この点で、2つ以上の状況間で、明示的なセマンティクス(関係の種類等)が利用可能となり、システムはユーザにユーザ自身のニーズにより近い推奨を提供できる。
例えば、ユーザが第2のマルチメディアコンテンツ2に対し、第1のマルチメディアコンテンツ1を「反対」概念を用いて、関連付けた場合、システムはそのような明示的な知識を活用し、第2のマルチメディアコンテンツ2の複数のどの特性が第1のマルチメディアコンテンツ1から最も離れているかを学習し、それにより、そのような複数の特性を持つ他の任意のコンテンツも「反対」として分類可能と演繹する。
同様に、ユーザが第2のマルチメディアコンテンツ2に対し、第1のマルチメディアコンテンツ1を因果論理的な「結果的」概念を用いて関連付けた場合、システムはそのような内在的推移性という概念を活用し、当該複数のコンテンツ間で複数の因果的ネットワークを確立させる。それによって、マルチメディアコンテンツ2から開始して、そのような複数のネットワーク内で到達可能な複数のコンテンツに到達でき、ユーザ10に推奨できるようになる。
最後に、ユーザが第2のマルチメディアコンテンツ2に対し、第1のマルチメディアコンテンツ1を複合的な「集約」という概念を用いて関連付けた場合、システムはユーザ定義の論理に基づき相互に関連するオブジェクトセットを暗黙的に形成し、システムはこの状況を活用して、集約された複数のマルチメディアコンテンツ2および1のどのような複数の特性が共通しているかを解析し、次に、そのような複数の特性に基づき、複数のマルチメディアコンテンツ2および1に、より類似するさらなる複数のオブジェクトを推奨する。
このようなすべてから、先行技術と異なり、演繹的に定義された複数の推奨スキーム(特定の共同的推奨方法といった)をより好むといったシナリオが現れ、システムは推奨にあたり、順応性のあるアプローチを実施できる。
上記に例示した方法によって、マルチメディアコンテンツの推奨プロセスに対するユーザの参画が強化され、向上する。
より広範な枠組みにおいて、複数の新規「集約」コンテンツを生成させるべく、複数のマルチメディアコンテンツ間で複数の合成演算子を用いると、ユーザは観測された複数のマルチメディアコンテンツおよびユーザ自身により生成された複数のマルチメディアコンテンツを使用して、複数の「新規」集約されたマルチメディアコンテンツを構成することもできる。同時に、ユーザは暗黙的であるか明示的であるかに関わらず、そのような複数のマルチメディアコンテンツに対し、観測中のマルチメディアコンテンツとの対話において有する特定の関連付けを帰属させる。このメカニズムによって、複数のマルチメディアコンテンツ間における複合再帰的な無限サイクルを潜在的に確立し、これによって、先行技術の複数の推奨システムと比較した、前進を示す。
好ましい実施形態において、マルチメディアプラットフォームは、複数のマルチメディアコンテンツのフルーションに関与するユーザの対話プロセスをモデル化し、それをOWL(ウェブオントロジー言語)と呼ばれるRDF(Resource Description Framework)標準に基づく形式言語で示す。OWL言語とは、World Wide Webの発行および共有用のセマンティックマークアップ言語である。
OWL言語を用いて、ユーザは図1に照らし説明された対話プロセスを、複数のクラス、複数のクラス間の複数の関係、および複数のクラスに属する複数の個人を用いて形式化できる。明示されないそれら複数の関係は、推論的かつ演繹的な複数のプロセスを実装する複数の自動的な推論方法を適用して、複数のオントロジーセマンティックスの分析により論理的に導出され得る。
OWL言語を使用する好ましい実施形態における複数のオントロジークラスを以下に列挙する。
User(ユーザ):1または複数のデバイス上のマルチメディアコンテンツのフルーションに関与する人である。ユーザは、マルチメディア体験の主体である。
Event(イベント):一般的な実際の出来事の抽象的表現である。
State(状況):一連の「変数」または「座標」で指定される特定のイベントである。マルチメディア体験の特定の状況内での一連の対話アトムおよびそれらの各々の役割を一意に識別する。
Usage Event(使用イベント):ユーザが実際に観測可能なものを使用すると決定するたび(ユーザがテキストを読む、ビデオを見るとき等)に発生する、特定のイベントである。
Multimedia Experience(マルチメディア体験):ユーザによるフルーション、特定の時間間隔、特定数のマルチメディアコンテンツを示す複雑なイベントセット(複数の状況および使用イベント)である。
(Multimedia Object(マルチメディアオブジェクト):例えばビデオ、オーディオ、テキストのフォーマットの複数のマルチメディアコンテンツを生成すべく、デバイスによって処理され得る任意の種類のデータである。マルチメディアオブジェクトの記載には、その下位の複数の特性を含むことができる(ビデオの「カラーヒストグラム」等)。マルチメディアオブジェクトは、マルチメディア体験のある状況下での、観測可能なものまたはアーティファクトとしての役割を果たすことができる。複数のマルチメディアオブジェクトには、次のような複数の種類のオブジェクトがある。
テキスト
画像
ビデオ
オーディオビジュアル
オーディオ
Interaction Atom(対話アトム):複数の観測可能なものおよび複数のアーティファクトを抽象的に示すものである。
Observable(観測可能なもの):ユーザがマルチメディア体験中の特定の状況において、使用すると決定する可能性のある特定のマルチメディアオブジェクトである。観測可能なものとは、特定の状況内でユーザに表示可能な任意のマルチメディアオブジェクト(グラフィックインタフェースの画像等)である。
Artefact(アーティファクト):特定の状況において、ユーザによって観測可能なものに追加された特定のマルチメディアオブジェクトである。アーティファクトとは、ユーザのマルチメディア体験の特定の状況において、ユーザによって能動的に生成された、またはユーザによって選択された任意のマルチメディアオブジェクト(複数のタグ、注釈、音声等)である。
Role(役割):特定の状況における、対話アトム(観測可能なものまたはアーティファクト)の機能を示す一種のメタデータである。例えば、ユーザが画像(観測可能なもの)の注釈目的で、テキスト部分(アーティファクト)を追加すると、そのようなテキストの役割は、「注釈」となる。
複数のRDF言語では、一般的ステートメントまたは情報の部分(任意の単純な概念等)は、主語‐動詞‐目的語という「トリプレット」形式で記述される。「動詞」は、関係/プロパティを示し、それを介して「主語」が「目的語」に結合される。ステートメントを示す構文は、以下のものを必要とする。
range(範囲(または変域)):「目的語」を示すクラスである。
domain(ドメイン):例えば、関係(「動詞」)が適用され得る、「主語」を示すクラスである。
以下は、OWL言語を使用する好ましい実施形態における、複数のオントロジークラス間の複数の関係を示す。
characterizesArtefact:
domain:'Multimedia Object' range:'Artefact'
このプロパティは、特定の状況において、マルチメディアオブジェクトがアーティファクトの役割を有することを示す。
characterizesMExp
domain:'State' range:'Multimedia Experience'
このプロパティは、マルチメディア体験を当該マルチメディア体験の複数の構成要素の状況に結合する。
characterizesObservable domain:'Multimedia Object' range:'Observable'
このプロパティは、特定の状況において、マルチメディアオブジェクトが観測可能な役割を有することを示す。
composedBy domain:'Interaction Atom' range:'Interaction Atom'
このプロパティは、2つの対話アトム間の複数の複合物(複数の空間または時間の関係)を考慮に入れる。
describesState domain:'Observable' range:'State'
このプロパティは、複数の観測可能なものに複数の各々の状況を関連付ける。
followsState domain:'State' range:'State'
このプロパティは、複数の状況の時系列をモデル化する。これは、推移的なプロパティである。
hasArtefact domain:'State' range:'Artefact' このプロパティは、複数の状況を複数の構成要素のアーティファクトの各々に結合する。
hasMultimediaExperience domain:User range:'Multimedia Experience'
このプロパティは、複数のユーザに複数のマルチメディア体験を関連付ける。
hasObservable domain:'State' range:'Observable'
このプロパティは、複数の状況を複数の構成要素の観測可能なものの各々に結合する。
hasRole domain:'Interaction Atom' range:'Role'
このプロパティは、役割に特定の状況中の対話アトム(観測可能なものまたはアーティファクト)を関連付ける。
hasUsageEvent domain:'Observable' range:'UsageEvent'
このプロパティは、特定の状況中の観測可能なものの実際の使用を記録する。
hasUser domain:'MultimediaExperience' range:'User'
このプロパティは、複数のマルチメディア体験に複数の各々のユーザを関連付ける。
partOf domain:'Interaction Atom': range:'Interaction Atom'
このプロパティは、「composedBy」の逆であり、複数の複合化された対話アトムとそれらの各々のエンティティとの間の逆の結合を可能にする。
perturbsState domain:'Artefact' range:'State'
このプロパティは、複数の状況と複数のアーティファクトとの間の関係を示す。
precedesState domain:'State' range:'State'
このプロパティは、「followsState」の逆である。
isSemanticallyRelatedTo domain:'State': range:'State'
このプロパティは、複数の状況間の意味的関係をモデル化する。
提案されたオントロジーによって、複数のマルチメディアオブジェクトをマッピングして、マルチメディア体験に関与する複数のユーザを「モデル化」できる。ユーザが複数のコンテンツを観測し、さらなる複数のコンテンツをロードすることで、マルチメディアプラットフォームと対話する際、ユーザは、情報状況の変更を発生させ、情報状況の変更がマルチメディアプラットフォームによって解釈される。ユーザは、特定のマルチメディアコンテンツにさらなるマルチメディアコンテンツを関連付けることで、特定のマルチメディアコンテンツを強化でき、これによりプラットフォームの情報状況を修正する。通常、モデルはユーザの動作、ユーザの任意のマルチメディアコンテンツとの対話、および対話中に複数のオブジェクトによって果たされる複数の役割を十分に捉えることができる。
図2は、マルチメディアプラットフォーム、すなわち複数のマルチメディアコンテンツを推奨するためのシステムの一実施形態を示す。
複数のマルチメディアコンテンツを推奨するためのシステムは、第1のメモリ201を備えており、第1のメモリ201はビデオ、オーディオ、画像、テキストといった複数のマルチメディアコンテンツを格納する。
システムはさらにメモリ202およびプロセッサ203を備えており、それらは第1のメモリ201に操作上接続されている。特に、メモリ202は揮発性または不揮発性のいずれであってもよいが、メモリ201は永久メモリであることが好ましい。プロセッサ203はメモリ202にアクセスし、メモリ202内に格納されたデータ上で複数の操作を実行するよう適合されている。
システムはさらに、少なくとも1つのユーザインタフェース204を備え、それを介してユーザ10(図1を参照)はマルチメディアプラットフォームにアクセスできる。ユーザインタフェース204を介して、ユーザは少なくとも1つの第1のマルチメディアコンテンツを再生し、観測できる。また、ユーザインタフェース204を介して、ユーザはメモリ202に、さらなるマルチメディアコンテンツをロードすることもできる。また、ユーザインタフェース204を介して、ユーザはロードされたばかりの第2のマルチメディアコンテンツと、観測中の第1のマルチメディアコンテンツとの間のデジタル情報として示される関連付けを送信できる。
プロセッサ203は、ユーザ(図1の10)、観測中の第1のマルチメディアコンテンツ(図1の1)、ロード中の第2のマルチメディアコンテンツ(図1の2)、第1のマルチメディアコンテンツと第2のマルチメディアコンテンツとに関する意味情報、および特に意味的集約としての第1のマルチメディアコンテンツと第2のマルチメディアコンテンツとの間の関連付け(図1の11)に関する情報を処理するよう適合されている。
このようにして、プロセッサ203は、ユーザにとって潜在的に関心のある、さらなるマルチメディアコンテンツ(図1の3)を選択できる。具体的には、プロセッサ203は第1のメモリ201内にある、ユーザに推奨されるべき第3のマルチメディアコンテンツ(図1の3)を示す少なくとも1つの第2の情報状況を精緻に作成かつ計算すべく、まずメモリ202内に格納された少なくとも1つの第1の情報状況を計算し、次に第1の情報状況とプラットフォームのメモリ201内に格納された複数のマルチメディアコンテンツとに関する情報を処理する。
このような処理は、複数の近接ルールに従い、プラットフォームの複数のマルチメディアコンテンツに関する可能性のあるさらなる複数の状況との比較によって行われる。
図3は、前述の複数の情報状況間の推移を用いて取得される、ユーザに対するマルチメディアコンテンツの推奨を示す。
ユーザによって実行される情報検索および取得プロセスは、上述したように、ある「状況」から別の状況へと切り替わるシステムの進化として構成される。複数のマルチメディアコンテンツのフルーションにおいて、「状況」とはユーザ10、および特定の時空間および論理コンテキスト内でユーザ10によって使用可能な複数のマルチメディアコンテンツに関連付けられた一連の特性によって示されるものである。
ユーザがあるマルチメディアコンテンツに、プラットフォーム上の利用可能な別のマルチメディアコンテンツを関連付ける動作を行った後、ある状況から別の状況への推移が発生する。
状況301で、ユーザはマルチメディアプラットフォーム上のマルチメディアコンテンツ30を観測中である。前述したように、ユーザはコンテンツ30と31とを重ね合わせて複合化させ、状況302に入り、図示された関連情報を指定して、マルチメディアコンテンツ30にさらなるマルチメディアコンテンツ31を関連付けようと決定する。状況303において、状況302に関する情報に基づき、マルチメディアプラットフォームはさらなるマルチメディアコンテンツ32をユーザに対し推奨する。
ユーザの各アクションは、ユーザによって提供される観測可能な複数のマルチメディアコンテンツおよびそれら相互の関連付けに関する情報状況を変移させる影響を及ぼす。
図4は、前述した、複数の情報状況間の推移を用いて取得される、ユーザへの複数のマルチメディアコンテンツの推奨を示す。
機能レベルでは、ユーザが対話プリミティブを示すたびに、ある状況から別の状況への推移が発生する。そのような複数の対話プリミティブの数と質は、定義された複数の役割およびプラットフォーム上で利用可能な複合化の複数の潜在能力によって決まる。
状況401で、ユーザはマルチメディアコンテンツ40を観測中であり、マルチメディアコンテンツ40に対し、ユーザは複合化により、さらなるコンテンツ41を関連付け、状況402へと入る。マルチメディアプラットフォームは、状況402から開始して、複数の潜在的状況403a、403b、403cに対応する複数のマルチメディアコンテンツを推奨する。以降、この推奨方法は反復的に繰り返し可能であり、非常に複雑な複数の集約状況へと到達し、ユーザによって利用可能とされた情報を効率的かつ十分に活用することが可能となる。ユーザの対話は、無限の回数反復可能であると仮定できる。ある状況から次の状況へと切り替わりつつ、複数のマルチメディアコンテンツに関連付けられた複数の情報は互いにネストされ、複雑で豊富な情報からなる複数の構造を生成する。各ラベルk−1、k、k+1は、それぞれ異なる状況401、402、403に関連付けられていることから、推奨方法を複数回、反復可能であることがわかる。ここで、kは1より大きいか等しい整数である。
特定のマルチメディアコンテンツの推奨が、任意の数(1よりはるかに大きい)の前の状況に依存し、かつ、これらの前の状況から推測可能な情報が、さらなるマルチメディアコンテンツの推奨を提供する際、同時発生するといった実施形態も想到可能である。このような実施形態は、複数のユーザニーズを最も満たすべく、より豊富でより複雑なシナリオを捉えることができる。
以下に示すように、特定の実施形態において、ユーザはOWL言語を用いて示される一連の対話プリミティブを定義できる。
add(<artefact(1); role(1)>)このプリミティブは、アーティファクトと、その特定の役割とを追加する。
add(<observable(k); role(k)>)このプリミティブは、観測可能なものと、その特定の役割とを追加する。 find−similar(observable(1))このプリミティブは、観測可能なもの(1)に「類似する」オブジェクトを検索する。
複数のユーザと複数のそのようなシステムとの間での対話に関する複雑な情報を推奨システムのメモリ等に永久的に格納できることで、複数のマルチメディアコンテンツインデックスおよび取得システムがその基礎とし得る、既知のデータマイニング、マシン学習、知識発見といった複数のテクノロジおよび方法を用いて、そのような情報を何度も直接的に活用できることとなる。このことはさらに、本明細書で提案される情報モデルに基づき、追加の複数の推奨技術を設定できることを示しており、当該情報モデルの豊富な情報を十分に活用できることとなる。
以下に、複数のマルチメディアコンテンツを推奨するための方法について、いくつかの実施形態の複数の機能を示す例をいくつか記載する。
図5を見ると、ユーザはその関連付けを注釈として指定し、マルチメディアコンテンツをロードできる。ユーザは、星501の画像を観測することで、マルチメディア体験を開始する。ユーザは観測可能なもの(1)として特徴付けられる状況「i」にいる。ここでiは、1より大きいか等しい整数を示す。続いて、ユーザは、観測可能なもの(2)の星502を検索および見つけることで、マルチメディアプラットフォームと対話する。ここで、観測可能なもの(2)は最初のものと類似している。この動作によって、「i」から「i+1」へと状況推移が発生する。最後に、ユーザは両方の星を収集することを決定し、これら2つの観測可能なものを複雑なコンテンツ{観測可能なもの(1)、観測可能なもの(2)}503に集約する。 この目的のため、ユーザは「これらの2つの星は類似する」という注釈を追加する。特定の対話プリミティブで定義されるこの動作によって、状況「i+1」から「i+2」への推移が発生する。テキスト情報「類似」および2つの星501および502の画像を考慮し、マルチメディアプラットフォームは画像検索エンジン等に基づき、類似する複数の星のさらなる画像504をユーザに推奨できるようになる。
図6を見ると、ユーザはその関連付けをコメントとして指定し、マルチメディアコンテンツをロードできる。ユーザはビデオ601を見ることで、マルチメディア体験を開始する。ユーザにとってアイドルであるBruffonが2015年2月5日のLemmeとの試合中に行った「失態」のビデオである。これは観測可能なもの(1)で特徴付けられる状況「i」である。このゴールキーパーのミスで悲しくなり、ユーザは自身の音声を録音することで、そこにコメントを残すことを決定する。ユーザの「Bruffon、君は今でも最高だ」という言及を含むオーディオトラックはアーティファクト602である。ユーザは、このオーディオクリップ602を最初のビデオに関連付け、コメントとして追加することを決定する。この動作により、「i」から「i+1」へと状況推移が発生する。マルチメディアプラットフォームにはユーザにより言及されたテキストを再構築する音声トランスクリプションエンジンが備えられており、このビデオの説明に関する「Bruffon」のサウンドを判断し、状況「i+2」において、マルチメディアプラットフォームはユーザに対し、さらなる複数のBruffonのビデオ603を推奨できることになる。
以下の例は具体的に特定の図面に関連付けられていないが、既に説明した図3および4を参照すると十分理解できる。
ユーザはその関連付けをソースとして指定して、マルチメディアコンテンツをロードできる。
ユーザはインターネット上で、テレビ番組中で起こった事実に関する、記事「w1」を読んでいる。この場合も、ユーザは技術的に、観測可能なもの(1)として特徴付けられる状況「i」にいる。
そこで、ユーザはちょうどインターネット上で見たばかりの「w1」のコンテンツの元となるテレビ番組を検索しようと決定する。ユーザは「tv1」を検索し、見つけ、この動作により状況が「i」から「i+1」へと変化する。最後に、ユーザは「ソース」の役割に、観測可能なもの「tv1」を関連付け、両方のコンテンツ(ウェブとテレビ)を収集することを決定する。 特定の対話プリテミティブで定義されるこの関連付けにより、状況「i+1」が「i+2」へと変化する。
ユーザはその関連付けを派生物および注釈として指定して、マルチメディアコンテンツをロードできる。
ユーザは、特にユーザの好きな70年代のヒットソングである歌を含むオーディオクリップを聞くことで、マルチメディア体験を開始する。技術的には、ユーザは観測可能なもの(1)として特徴付けられる状況「i」にいる。続いて、ユーザは最初の歌の現代のカバー曲、観測可能なもの(2)に関する、より新しいミュージックビデオを検索および見つけることで、システムと対話する。この動作により、「i」から「i+1」への状況変移が生じる。ユーザは、役割を最初のオーディオクリップからの「派生物」として指定する。最後に、ユーザはこのコレクション(複合的な観測可能なもの)に、「この歌のビデオはカバーである」という注釈を付けて、オーディオクリップ及びビデオを収集することを決定する。特定の対話プリミティブとして定義されたこの動作により、状況「i+1」から「i+2へと変化する。すると、マルチメディアプラットフォームは70年代のオリジナルバンドによる歌の複数の現代のカバーをさらに返す。
ユーザは、その関連付けをクエリとして指定して、マルチメディアコンテンツをロードできる。
ユーザはゴシップ記事を読むことで、マルチメディア体験を開始する。ユーザは観測可能なもの(1)として特徴付けられる状況「i」にいる。当該記事は記載されたテキストと写真とを含む。当該テキストは、有名な米国人俳優の最近の浮気について記載しており、写真は人気映画のあるシーン内の彼を示している。写真、すなわち観測可能なもの(2)から、ユーザはそのシーンを認識するのであるが、そのシーンが抽出された映画のタイトルが思い出せない。次に、ユーザが写真を選択すると、状況は「i」から「i+1」へと変わる。ユーザは当該写真にその有名な米国人俳優の名前を関連付け、その写真を「クエリ」として使用する。すると、マルチメディアプラットフォームはそのシーンが抽出された映画の予告編を返す。
ユーザはその関連付けを先例および結果的として指定し、マルチメディアコンテンツをロードできる。
ユーザは孫娘が誕生日の最初のキャンドルを吹き消そうとしている、面白い写真を見ることで、マルチメディア体験を開始する。ユーザは観測可能なもの(1)として特徴付けられる状況「i」にいる。ユーザはその写真の数か月前に撮られた彼の孫娘のビデオ、観測可能なもの(2)が同一フォルダ内にあることを思い出す。写真に対し、ユーザは先例の役割とともにアーティファクト「観測可能なもの2」を追加することを決定し、それにより「観測可能なもの3」を生成する。そして、状況は「i」から「i+1」へ変更する。この動作によって、祖父(つまり、このユーザ)は孫娘が生まれる前に彼女のために書いた詩を思い出す。この詩、「観測可能なもの3」は、デスクトップ上に保存されている。コンピュータを切る前に、祖父は当該ビデオと当該写真(アーティファクト)とを、結果的なものとして解釈し、詩に関連付けることを決定する。 マルチメディアプラットフォームは顔認識ソフトウェアを用いて、その詩に対し、孫娘を特集する複数の写真やビデオといったさらなる複数のマルチメディアコンテンツを関連付ける。
ユーザはその関連付けを暗示および示唆として指定し、マルチメディアコンテンツをロードできる。
ユーザ、ロッシ夫人はテレビで複数の料理番組のコンテンツを好んで見る。彼女の夫、ロッシ氏はこれに対し、スポーツコンテンツを扱う複数のテレビ番組を主に見る。
ロッシ夫人は自宅に一人でいる間、対話型テレビを付け、チャンネルX(状況「i」)に合わせ、マルチメディア体験を開始する。チャンネルXはカラブリアの複数の典型的料理に関する番組(観測可能なもの(1))を放送している。この時点で、夫人は一人でテレビを見るとき、彼女は現在放送中のものに類似するものを扱う複数の番組のみを好むという事実をシステムに伝達することを決定する。(例えば)リモートコントロール上の青いキーを押すことで、夫人は特定の動作を開始する。当該テレビに統合されたビデオカメラは写真を撮り、とりわけロッシ夫人の顔を記録する。
つまり、ユーザによって撮られた写真を使用し、システムは既知の複数の技術を通して、その人の顔および身元を認識できると考えることができる。
写真(アーティファクト)には暗示の役割が与えられる。状況は「i」から「i+1」へと変化する。
その夜、ロッシ氏が仕事から帰ってくる。彼の妻は台所にいて、夕食の支度をしている。テーブルにつく前に、ロッシ氏はテレビで何か見ようと決定する。彼がテレビをつけると、テレビは自動的にチャンネルX(状況「k」)、つまり、彼の妻が見た直前のチャンネルに合わせられている。ロッシ氏は、今彼にとってあまり関心のないコンテンツ(観測可能なもの(k))を放送中のテレビの前に座っている。どの番組を選べばよいかわからず、また番組スケジュールを調べるのが面倒くさかったため、ロッシ氏はシステムに対し、示唆(役割)を求める。
(例えば)リモートコントロールの赤いボタンを押すだけで、テレビに統合されたビデオカメラが別の写真(アーティファクト)を撮る。システムはユーザを認識し、過去に保存された情報(前夜または数日前に見られた番組に関する情報等)に基づき、貴重なラグビーの試合をライブ放送中の番組を提案する。
例示であるが、次の複数のパラメータは可能性のある「フルーションユーザ」システム(簡素化のため、表示されない他の複数のパラメータとともに)を構成し得る。: genre(ジャンル),geographic position(地理的位置),event type(イベントタイプ),等。
上記複数のパラメータは、次の複数の値を取り得る(簡素化のため、本明細書ではさらなる値を考慮しない)。
genre(ジャンル):政治、スポーツ、ニュース等。
geographic position(地理的位置):イタリア、ドイツ等。
event type(イベントタイプ):コンサート、地震等。
最初の時点インスタントt0において、「フルーションユーザ」システムは「状況」state(t0)にいる。状況state(t0)は次のように特徴付けられる。
state(t0):政治、イタリア、複数の選挙等。
この最初の状況では、システムはユーザの複数の好みに関する情報をまだ何も有していない。先行技術では、推奨システムは、複数の定義済みスキーム(複数の共同的またはコンテンツベースシステム)に基づき、マルチメディアコンテンツを推奨する可能性がある。
特定のインスタントでは、たとえ、前述の定義済みスキームに所属していなくても、ユーザは自身のニーズに従い自身によって選択された第2のマルチメディアコンテンツを選択する。
ユーザによるフルーションの後、フルーションの条件は、最初の状況state(t0)から後続の状況state(t1)に切り替わる。
state(t1):政治、ドイツ、複数の選挙。
この段階で、推奨システムは2つの連続的状況、つまり、state(t0)とstate(t1)との間の既存の関係を自動的に検出する。実際、これら2つの状況の複数の特性パラメータは、1つのフィールドが異なっており、このフィールドには「地理的位置」という情報が関連付けられている。すなわち、状況state(t0)とstate(t1)は明示的意味関係によって結合されており、それはマシン可読的であり、かつ、その利用可能性は当該対話モデルの形式化で使用される特定のオントロジーに依存する。
よって、ユーザは複数のマルチメディアコンテンツを使用する際、ある状況から別の状況へと「ジャンプ」し、かつ、そのような複数の状況をオントロジーによって提供される様々な関係の関数として「集約」できるようになる。
関係のいくつかの例を示す。
state(t0)はstate(t1)に類似する。
state(t0)はstate(t1)によって発生させられる。
state(t0)はstate(t1)と異なる、等。
上記の例を継続すべく、ユーザは自身のニーズに従い選択された第2のマルチメディアコンテンツを見ることを選び、よって、state(t0)からstate(t1)へと「ジャンプ」する。
この点で、ユーザは複数の状況を次の関係を用いて結合することを決定する。
state(t0)はstate(t1)に類似する。
推奨システムは複数のマルチメディアコンテンツに関連付けられた意味情報、および異なる複数の状況に関する意味的集約情報を使用する。このような意味的集約情報は次のように提供され得る。
(i)複数の暗黙的関係、すなわち、ユーザがどの状況にいるか識別できるようにする、複数の状況の複数の特性パラメータである。
(ii)明示的関係、ユーザ自身によって示される。
本例では、ユーザは2つの状況を意味的に結合する関係、この場合「異なる地理的位置」、を推奨システムに暗黙的に伝える。
暗黙的関係は、進化モデルとなる。推奨システムは進化モデルを介して、次のような「潜在的」state(t2)を提供できる。
state(t2):政治、スウェーデン、複数の選挙。
本明細書で使用される「潜在的」という用語は、ユーザがstate(t1)のコンテンツを選択する際、ユーザが常にフルーションがstate(t2)になるようにさせることは必須でないということを考慮している。多くの他の代替がまた可能である。
ユーザによってなされる各フルーションの選択はよって、推奨システムが複数のマルチメディアコンテンツに関する複数の推奨を提供する際の信頼性を確保する。
例を継続するに、ユーザが実際に状況state(t2)に関連付けられたコンテンツを使用すると決定すると、推奨システムはさらなる潜在的状況state(t3)を生成する。
state(t3):政治、ルーマニア、複数の選挙等。
ユーザは2つ(それより多い)のマルチメディアコンテンツを1または複数の関係を用いて結合できる。
概して、推奨システムは2つまたは2つより多い状況間の既存の複数の関係に関する情報を、2つの異なる状況の複数の特性パラメータを比較することによる暗黙的な方法、あるいはユーザによって実行される動作を介した明示的な方法の、いずれかの方法で取得するよう適合される。
すなわち、マルチメディアプラットフォームは意味情報の各々が関連付けられた第2のマルチメディアコンテンツを選択するためのコマンドを受信すると、ユーザによって観測されている複数のマルチメディアコンテンツ間の意味的集約に関する、関連付けについての情報を受信できる(暗黙的または明示的に)。
明示的関係の使用については、ユーザが最初のフルーションf0(前例で参照された)を終了し、しばらくたった後においても、別のフルーションf1(本例が参照する)を開始すると考えることができる。
フルーションf1中、ユーザはフルーションf0中に到達された状況と同一の状況state(t1)に再度入るが、state(t1)は必ずしもフルーションf0が開始する同一の状況state(t0)から到来するとは限らない。
この点において、推奨システムは、state(t0)はstate(t1)に類似するといった、さらなる意味的集約情報を追加することで、ユーザに対し、状況state(t0)(政治、イタリア、複数の選挙等)の特性コンテンツを推奨できる。
様々なマルチメディアコンテンツと状況に関連付けられた複数の意味情報にわたる複数の意味的集約を形式化することで、推奨システムはシステム自身をユーザの特定の複数の好みに適応させることができる。これは、原理的にフルーションの状況およびマルチメディアフルーションパスで発生した任意の前の状況により決まる。
これにより、システムの複雑さを増大させつつ、ユーザの複数の要求をより満足させることができる複数のマルチメディアコンテンツの意味的集約の生成が可能になる。
複数の状況にわたる、そのような複数の集約を「帰納的に」使用することは、複数の状況そのものを生成する時間のかかる複数のロジックから完全に解放されている点に留意されたい。
また複数の例によって示されたように、本発明の主要な利点の1つは、提案される方法は、マルチメディアコンテンツの特定のセットのフルーションに関与するユーザの対話をモデル化でき、かつ、ユーザが、特定の役割にそのような複数のコンテンツを関連付けつつ、さらなる複数のマルチメディアコンテンツを追加する可能性を付与されることにある。
提案される方法およびシステムは、情報を追跡でき、かつ、ユーザによって実行される探究プロセスを精緻に作成することができるようになる。ユーザは所定のマルチメディアコンテンツをユーザ自身の他の複数のコンテンツで、強力かつ複雑に補強することができる。このようにして、複数の検索および取得システムが、モデルの豊富な情報を十分に活用できるため、可能な情報検索および取得フェーズは著しく推進される。実際、複数の検索および取得システムは、ユーザ自身から提供されるグループ化と複合情報とともに、複数のユーザの複数の対話オブジェクトに関連付けられた複数の役割に関する情報を使用し、システム自身の複数のインデックスを動的に強化させることができる。よって、本方法に基づく推奨システムは、ユーザの複数の要求により良く対応できる。
複数の提案される方法およびシステムは、コンピュータプログラムを用いてコンピュータ上にロードおよび実行される実装に特に適している。
コンピュータは、例えばインターネット経由で接続された、コンピュータ群のネットワークに属することが好ましい。そこでは、特にユーザにアクセス可能な、複数のデバイスのうち少なくとも1つがPC、ラップトップ、タブレット、スマートフォン、メディアセンタ、テレビ受像機または任意の他の機能的等価のデバイスである。
当業者が理解するように、提案される方法は多くの変形を受ける可能性がある。例えば、本明細書では、オントロジーは非限定的にOWL言語を参照して記載されたが、XMLスキーマなどの他の複数の言語を用いてよい。
さらに、複数のマルチメディアコンテンツのフルーションに関与するユーザ動作または複数のユーザのコミュニティの動作に関する情報は記録、共有、および複数の異質の技術プラットフォームにわたり効率的に再利用されることができる。
また、この方法は、異なる複数のデバイス、例えば複数の対話型TV、携帯電話、タブレット、PCといった複数のデバイスに同時に統合されることができる。このようにして、複数のデバイスの複数のユーザの動作は追跡可能とされ、それによりそのような情報は新たな用途に用いられることができる。

Claims (10)

  1. 少なくとも1つのユーザインタフェースを介して観測可能な複数のマルチメディアコンテンツを備えるマルチメディアプラットフォームを介して前記複数のマルチメディアコンテンツを推奨する方法であって、
    前記マルチメディアプラットフォームが、前記少なくとも1つのユーザインタフェースから、少なくとも1つの第1の意味情報が関連付けられた少なくとも1つの第1のマルチメディアコンテンツを選択すべく、少なくとも1つの第1のコマンドを受信する段階と、
    前記マルチメディアプラットフォームが、前記少なくとも1つのユーザインタフェースから、ユーザ識別子、少なくとも1つの第2の意味情報が関連付けられた少なくとも1つの第2のマルチメディアコンテンツを選択すべく、第2のコマンドを受信し、さらに、前記少なくとも1つの第2のマルチメディアコンテンツと観測中の前記少なくとも1つの第1のマルチメディアコンテンツ間の関連付けに関する、意味的集約についての少なくとも1つの情報を受信する段階と、
    前記マルチメディアプラットフォームが、前記ユーザ識別子と、前記少なくとも1つの第1のマルチメディアコンテンツ及び前記少なくとも1つの第2のマルチメディアコンテンツと、前記関連付けとを示す少なくとも1つの第1の状況を、前記第2の意味情報と前記第1の意味情報間の比較を介して処理する段階と、
    前記マルチメディアプラットフォームが、処理された前記少なくとも1つの第1の状況と、前記複数のマルチメディアコンテンツに関する複数の状況のうち少なくとも1つのさらなる状況との比較に基づき、少なくとも1つの第3のマルチメディアコンテンツを示す少なくとも1つの第2の状況を推奨する段階とを備える、
    方法。
  2. 前記少なくとも1つのユーザインタフェースから受信された前記少なくとも1つの第2のマルチメディアコンテンツが、前記少なくとも1つのユーザインタフェースの取得デバイスを介して直接的に生成されたコンテンツである、請求項1に記載の方法。
  3. 前記少なくとも1つの第2のマルチメディアコンテンツが、複数の画像およびオーディオを備え、それらが好ましくはビデオである、請求項1または2に記載の方法。
  4. 前記少なくとも1つの意味的集約情報が、前記第1の意味情報と前記第2の意味情報とが関連付けられたテキスト情報間のテキスト比較から取得される、請求項1から3のいずれか一項に記載の方法。
  5. 関連付けに関する前記少なくとも1つの情報がさらに、観測中の前記少なくとも1つの第1のマルチメディアコンテンツおよび前記少なくとも1つの第2のマルチメディアコンテンツの受信時刻が関連付けられた時間情報間の時間比較から取得される、請求項1から4のいずれか一項に記載の方法。
  6. 前記第1の状況と前記第2の状況が、推奨システムの複数の条件の各々を示す複数の格納された情報に関連付けられている、請求項1から5のいずれか一項に記載の方法。
  7. 第1のメモリと、プロセッサと、少なくとも1つのユーザインタフェースと、少なくとも1つの第2のメモリとを備えた複数のマルチメディアコンテンツを推奨するためのシステムであって、
    前記第1のメモリは、複数のマルチメディアコンテンツおよび複数の第1の意味情報の各々を格納し、
    前記少なくとも1つのユーザインタフェースは、少なくとも1つの第1のマルチメディアコンテンツを再生し、
    前記少なくとも1つの第2のメモリは、前記ユーザインタフェースを介して選択された少なくとも1つの第2のマルチメディアコンテンツと、少なくとも1つの第2の意味情報と、ユーザ識別子とを格納し、さらに前記少なくとも1つの第2のメモリは、前記少なくとも1つの第2のマルチメディアコンテンツと観測中の前記少なくとも1つの第1のマルチメディアコンテンツ間の関連付けに関する少なくとも1つの情報を格納し、前記少なくとも1つの情報は前記ユーザインタフェースを介して受信される、意味的集約に関するものであり、
    前記プロセッサは、少なくとも前記第2の意味情報を前記第1の意味情報と比較し、かつ、少なくとも1つの第1の情報状況を処理すべく、前記少なくとも1つのユーザ識別子と、前記少なくとも1つの第1のマルチメディアコンテンツ及び前記少なくとも1つの第2のマルチメディアコンテンツと、関連付けに関する前記少なくとも1つの情報とに関する情報を処理し、
    前記第2のメモリは、前記少なくとも1つの第1の情報状況を格納し、
    前記プロセッサはさらに、前記第1のメモリ内の少なくとも1つの第3のマルチメディアコンテンツを示す少なくとも1つの第2の情報状況を精緻に作成すべく、前記少なくとも1つの第1の情報状況と前記複数のマルチメディアコンテンツとに関する情報をさらに処理し、
    前記プロセッサは、前記複数のマルチメディアコンテンツに関する複数の状況のうち、少なくとも1つのさらなる状況と比較する、システム。
  8. 前記システムが請求項1から6のいずれか一項に記載の前記方法を実装する、請求項7に記載のシステム。
  9. コンピュータ上での実行時に、請求項1から6のいずれか一項に記載の方法を実装する複数の命令を備えたコンピュータプログラム。
  10. 前記プログラムがResource Description Framework標準に基づくウェブオントロジー言語を使用してコンパイルされた複数の命令を備える、請求項9に記載のコンピュータプログラム。
JP2015535156A 2012-10-05 2013-10-04 マルチメディアプラットフォームを介して複数のマルチメディアコンテンツを推奨する方法およびシステム Active JP6597967B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT000867A ITTO20120867A1 (it) 2012-10-05 2012-10-05 Metodo e sistema per la raccomandazione di contenuti multimediali su una piattaforma multimediale
ITTO2012A000867 2012-10-05
PCT/IB2013/059115 WO2014054025A1 (en) 2012-10-05 2013-10-04 Method and system for recommending multimedia contents through a multimedia platform

Publications (2)

Publication Number Publication Date
JP2015536005A true JP2015536005A (ja) 2015-12-17
JP6597967B2 JP6597967B2 (ja) 2019-10-30

Family

ID=47278469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015535156A Active JP6597967B2 (ja) 2012-10-05 2013-10-04 マルチメディアプラットフォームを介して複数のマルチメディアコンテンツを推奨する方法およびシステム

Country Status (12)

Country Link
US (1) US20150278351A1 (ja)
EP (1) EP2904523A1 (ja)
JP (1) JP6597967B2 (ja)
KR (1) KR102111270B1 (ja)
CN (1) CN104903888A (ja)
AR (1) AR101615A1 (ja)
BR (1) BR112015007486A2 (ja)
EA (1) EA201590672A1 (ja)
IT (1) ITTO20120867A1 (ja)
MX (1) MX2015003977A (ja)
TW (1) TWI499287B (ja)
WO (1) WO2014054025A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101655674B1 (ko) 2015-05-14 2016-09-08 현대자동차주식회사 하이브리드 차량용 변속기
CN105357562B (zh) * 2015-11-11 2017-10-24 腾讯科技(深圳)有限公司 一种信息处理方法及终端
US10255503B2 (en) 2016-09-27 2019-04-09 Politecnico Di Milano Enhanced content-based multimedia recommendation method
KR101983493B1 (ko) * 2017-04-10 2019-05-29 한국과학기술원 자연어 텍스트로부터 학습된 객체 표상에 포함된 특성 해석 및 시각화 방법 그리고 시스템
US10747833B2 (en) * 2017-10-30 2020-08-18 Nio Usa, Inc. Personalized news recommendation engine
CN111159435B (zh) * 2019-12-27 2023-09-05 新方正控股发展有限责任公司 多媒体资源处理方法、系统、终端及计算机可读存储介质
CN111246255B (zh) 2020-01-21 2022-05-06 北京达佳互联信息技术有限公司 视频推荐方法、装置、存储介质、终端及服务器
CN113792212B (zh) * 2021-08-31 2023-09-01 北京百度网讯科技有限公司 多媒体资源推荐方法、装置、设备以及存储介质
US11962857B2 (en) * 2021-12-10 2024-04-16 On24, Inc. Methods, systems, and apparatuses for content recommendations based on user activity
US20240064354A1 (en) * 2022-08-18 2024-02-22 Roku, Inc. Recommendation system with reduced bias based on a view history
CN117992676B (zh) * 2024-04-02 2024-06-07 福建省君诺科技成果转化服务有限公司 一种基于大数据的科技成果智能推荐方法
CN118467607B (zh) * 2024-07-12 2024-09-27 成都乐超人科技有限公司 基于物联网的用户行为数据挖掘方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006500674A (ja) * 2002-09-24 2006-01-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 異なるタイプのメディアコンテンツを関連付けるシステム及び方法
JP2011164681A (ja) * 2010-02-04 2011-08-25 Sharp Corp 文字入力装置、文字入力方法、文字入力プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317722B1 (en) * 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
US7917924B2 (en) * 2000-04-07 2011-03-29 Visible World, Inc. Systems and methods for semantic editorial control and video/audio editing
KR100493902B1 (ko) * 2003-08-28 2005-06-10 삼성전자주식회사 콘텐츠 추천방법 및 시스템
US8949899B2 (en) * 2005-03-04 2015-02-03 Sharp Laboratories Of America, Inc. Collaborative recommendation system
TW200606681A (en) * 2004-08-13 2006-02-16 Parasoft Corp Music recommendation system and method
WO2007047560A2 (en) * 2005-10-18 2007-04-26 Packetvideo Corp. System and method for controlling and/or managing metadata of multimedia
US20070208718A1 (en) * 2006-03-03 2007-09-06 Sasha Javid Method for providing web-based program guide for multimedia content
CN101227502A (zh) * 2008-02-20 2008-07-23 赛码科技(北京)有限公司 一种基于内容定向的数字信息发布方法和系统
KR101460611B1 (ko) * 2008-09-04 2014-11-13 삼성전자주식회사 멀티미디어 컨텐츠에 관한 사용자 관심정보의 수집 방법 및제공 방법과 그 장치
US8862579B2 (en) 2009-04-15 2014-10-14 Vcvc Iii Llc Search and search optimization using a pattern of a location identifier
JP5359534B2 (ja) * 2009-05-01 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8666994B2 (en) * 2009-09-26 2014-03-04 Sajari Pty Ltd Document analysis and association system and method
US9443245B2 (en) * 2009-09-29 2016-09-13 Microsoft Technology Licensing, Llc Opinion search engine
US8332434B2 (en) * 2009-09-30 2012-12-11 Business Objects Software Limited Method and system for finding appropriate semantic web ontology terms from words
US20110125585A1 (en) 2009-11-20 2011-05-26 Rovi Technologies Corporation Content recommendation for a content system
JP2011217209A (ja) * 2010-03-31 2011-10-27 Sony Corp 電子機器、コンテンツ推薦方法及びプログラム
CN101968802A (zh) * 2010-09-30 2011-02-09 百度在线网络技术(北京)有限公司 一种基于用户浏览行为进行互联网内容推荐的方法与设备
US8694656B2 (en) * 2010-11-09 2014-04-08 Sony Corporation System and method for creating a viewing social network
TWI529628B (zh) * 2010-11-18 2016-04-11 Alibaba Group Holding Ltd Information sending method and system based on user card

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006500674A (ja) * 2002-09-24 2006-01-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 異なるタイプのメディアコンテンツを関連付けるシステム及び方法
JP2011164681A (ja) * 2010-02-04 2011-08-25 Sharp Corp 文字入力装置、文字入力方法、文字入力プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
KR102111270B1 (ko) 2020-05-18
ITTO20120867A1 (it) 2014-04-06
AR101615A1 (es) 2017-01-04
CN104903888A (zh) 2015-09-09
US20150278351A1 (en) 2015-10-01
KR20150067242A (ko) 2015-06-17
EP2904523A1 (en) 2015-08-12
WO2014054025A1 (en) 2014-04-10
BR112015007486A2 (pt) 2017-07-04
EA201590672A1 (ru) 2015-08-31
TWI499287B (zh) 2015-09-01
MX2015003977A (es) 2015-10-29
JP6597967B2 (ja) 2019-10-30
TW201419840A (zh) 2014-05-16

Similar Documents

Publication Publication Date Title
JP6597967B2 (ja) マルチメディアプラットフォームを介して複数のマルチメディアコンテンツを推奨する方法およびシステム
US11468109B2 (en) Searching for segments based on an ontology
US20210021550A1 (en) System and interface that facilitate selecting videos to share in a messaging application
US11709888B2 (en) User interface for viewing targeted segments of multimedia content based on time-based metadata search criteria
JP4363806B2 (ja) オーディオビジュアルプログラム管理システム及びオーディオビジュアルプログラム管理方法
KR101382499B1 (ko) 영상 태깅 방법 및 이를 사용하는 영상 재생 장치.
JP4107811B2 (ja) オーディオビジュアルシステムの使用方法
US20120317136A1 (en) Systems and methods for domain-specific tokenization
US20030061610A1 (en) Audiovisual management system
US20120047119A1 (en) System and method for creating and navigating annotated hyperlinks between video segments
US10491968B2 (en) Time-based video metadata system
US11609738B1 (en) Audio segment recommendation
JP2013506342A (ja) 異種のコンテンツソースの関連付け
US20170337201A1 (en) Methods, systems, and media for presenting content organized by category
Kaiser et al. Metadata-driven interactive web video assembly
JP2007143183A (ja) テレビアプリケーションプログラムインタフェース装置
Tjondronegoro et al. Delivering a fully interactive mobile TV
Majumdar et al. Scaling New Peaks: A Viewership-centric Approach to Automated Content Curation
JP2005202946A (ja) エージェントインターフェース装置
Tjondronegoro Mobile Sports Video with Total Users Control
Fricke et al. Work Package 5: LinkedTV platform

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180417

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180426

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190917

R150 Certificate of patent or registration of utility model

Ref document number: 6597967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250