JP2002259720A - コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム - Google Patents

コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム

Info

Publication number
JP2002259720A
JP2002259720A JP2001058807A JP2001058807A JP2002259720A JP 2002259720 A JP2002259720 A JP 2002259720A JP 2001058807 A JP2001058807 A JP 2001058807A JP 2001058807 A JP2001058807 A JP 2001058807A JP 2002259720 A JP2002259720 A JP 2002259720A
Authority
JP
Japan
Prior art keywords
content
video
importance
user
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001058807A
Other languages
English (en)
Inventor
Takeshi Masumitsu
健 益満
Tomio Echigo
富夫 越後
Takaaki Murao
高秋 村尾
Masayoshi Teraguchi
正義 寺口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2001058807A priority Critical patent/JP2002259720A/ja
Priority to US10/081,274 priority patent/US7971217B2/en
Publication of JP2002259720A publication Critical patent/JP2002259720A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Abstract

(57)【要約】 【課題】 コンテンツの中から数種類の典型的な要約コ
ンテンツを自動生成し、ユーザの興味にあった要約コン
テンツの選定を可能にする。 【解決手段】 映像や音楽等のコンテンツ２１を提供す
るコンテンツプロバイダ２０と、このコンテンツ２１に
対する要約映像等の要約コンテンツの提供に関わる要約
サーバ３０と、要約コンテンツを受信するクライアント
１０とを含み、このコンテンツプロバイダ２０は、コン
テンツ２１についての記述である注釈データを含むメタ
データ２２を要約サーバ３０に提供し、要約サーバ３０
は、提供されたメタデータ２２に含まれる注釈データを
特徴量に変換し、特徴量の有する重要度に基づいて、例
えば各シーンである区分コンテンツの重要度を算出し、
クライアント１０は、区分コンテンツの重要度に基づい
て作成された要約コンテンツをコンテンツプロバイダ２
０から受信する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、映像等のコンテン
ツをクライアントに提供するコンテンツ提供技術に係
り、特に、膨大なコンテンツを効率良く要約(ダイジェ
スト)させるコンテンツ要約システム等に関する。
【０００２】
【従来の技術】近年、グローバルサービスやマルチメデ
ィア通信サービスの提供を目的として、次世代の移動通
信システムであるＩＭＴ-2000(International Mobile T
elecommunications 2000)を用いた次世代携帯電話の早
期導入が進められている。この次世代携帯電話ＩＭＴ-2
000上においては、帯域も最大２Ｍbpsとなり、アプリケ
ーションとして映像配信サービスも予定されている。し
かしながら、例えば、デバイスの制限(デバイスのサイ
ズや解像度等)や通信料金等の様々な条件によって、携
帯端末にて長時間の映像を見ることは困難である。
【０００３】そこで、このような膨大な映像等のコンテ
ンツを要約して提示する仕組みが必要となる。例えば、
ＭＰＥＧ-７では、マルチメディア情報における高速検
索エンジンの実現に向け、検索時のキーワードとして使
えるオーディオ・ビジュアル情報における記述仕様とし
て、メタデータの標準化が進められている。
【０００４】一方、メタデータを用いた要約映像・ダイ
ジェスト映像を生成するシステムとして、最も単純な手
法は、クエリーデータに該当するメタデータが存在して
いる区間を探索して要約映像を作成する手法である。し
かしながら、該当するメタデータが存在するか否かとい
う二値的な操作しかできないことから、複数のデータを
用いてクエリーを行ったとしても、探索結果の優先付け
はできない。
【０００５】また、例えば、映像のドメインに適したル
ールを作成し、そのルールに基づいて重要度を計算して
要約映像を作成する技術も存在している(情報処理学会
論文誌Vol.41 No.SIG3(TOD 6)「ＴＶ受信端末におけるダ
イジェスト視聴システム」)。更に、メタデータに対し
て、単語の重み付けを行うtf・idf法の特徴とユーザプ
ロファイルとの類似度を用いて要約映像を作成する例も
存在している(ACM MM, 1999, 323-331, “Automatic Co
nstruction of Personalized TV News Programs”)。
【０００６】
【発明が解決しようとする課題】しかしながら、上述
の、ルールに基づいて重要度を計算して要約映像を作成
する技術では、タグにより構造化されたメタデータに対
して、人間が予め作成した重要度算出ルールを用いて重
要度を算出しており、構造化されたメタデータを付ける
負担や、ドメインごとに重要度算出ルールを生成する負
担が生じてしまう。また、ユーザプロファイルとの類似
度を用いて要約映像を作成する方法では、ストーリ単位
のように、十分に多くのメタデータが存在していないと
効果を発揮することができない。
【０００７】更に、現在の要約映像は、コンテンツプロ
バイダが全て人手で作成していることから、人の負担が
大きく、かつ、様々な視聴者の需要に適した要約を作成
することは困難である。また、コンテンツの標準化を進
めた場合であっても、全てのコンテンツにシーン内容を
詳細に記述したメタデータは存在せず、また、字幕情報
を表示するクローズドキャンプションや、音声認識によ
り得られたテキストでは、必ずしもそのシーンを表現し
ているとは限らない。
【０００８】即ち、例えば、映像を例にとると、膨大な
映像コンテンツを効率良く視聴するためには、映像要約
技術が必要であるが、現在は、コンテンツプロバイダ側
が用意したものを視聴する方法しか存在せず、好みの異
なるユーザに対して、ユーザの嗜好に応じた要約映像を
提供するに至っていない。また、嗜好に応じた要約を行
うためには、個人の興味(ユーザプロファイル)を学習等
により取得し、詳細なユーザプロファイルを設け、その
ユーザにとって最適な要約映像を作成する方法が考えら
れる。しかしながら、ユーザプロファイルの学習には、
一般に手間と時間がかかり、全てのユーザが詳細なプロ
ファイルを保持することは、ユーザの負担が大きいこと
から現実的とは言い得ない。
【０００９】本発明は、以上のような技術的課題を解決
するためになされたものであって、その目的とするとこ
ろは、コンテンツの中から数種類の典型的な要約コンテ
ンツを自動生成することにある。また他の目的は、ユー
ザプロファイルの信頼度が低い場合にあっても、ユーザ
の興味にあった要約の選定を可能にすることにある。更
に他の目的は、プロバイダが提供したダイジェストにユ
ーザプロファイルを組み合わせ、個人に適したダイジェ
ストを提供することにある。
【００１０】
【課題を解決するための手段】かかる目的のもと、本発
明が適用されるコンテンツ要約システムは、映像や音楽
等のコンテンツを提供するコンテンツプロバイダと、こ
のコンテンツに対する要約映像(ダイジェスト映像)等の
要約コンテンツの提供に関わる要約サーバと、要約コン
テンツを受信するクライアントとを含み、このコンテン
ツプロバイダは、コンテンツについての記述である注釈
データを含むメタデータを要約サーバに提供し、要約サ
ーバは、提供されたメタデータに含まれる注釈データを
特徴量に変換し、特徴量の有する重要度(コンテンツス
コア)に基づいて、例えば各シーンである区分コンテン
ツの重要度を算出し、クライアントは、区分コンテンツ
の重要度に基づいて作成された要約コンテンツをコンテ
ンツプロバイダから受信することを特徴としている。
【００１１】ここで、この要約サーバは、過去のコンテ
ンツのメタデータにおける特徴量の重要度に基づいて、
コンテンツのメタデータにおける特徴量の重要度を推定
することを特徴とすれば、新たなコンテンツについて信
頼度の高い特徴量の重要度を推定することができる点で
好ましい。また、この要約サーバは、要約サーバにおけ
るオペレータに対してコンテンツである映像を表示する
と共に、表示された映像に対してこのオペレータから入
力された映像重要度(例えば１〜５段階のランク付け)に
基づいて、表示された映像の各区分コンテンツに対して
特徴量の重要度を推定することを特徴とすれば、一番最
初で過去のコンテンツが全くない場合や、類似したコン
テンツがない場合に簡単に特徴量の重要度を推定できる
点で優れている。更に、このクライアントは、ユーザの
好みに関する情報であるユーザプロファイルを備え、こ
の要約サーバは、クライアントから提供されるこのユー
ザプロファイルに基づいて区分コンテンツの重要度を算
出することを特徴とすれば、視聴するユーザの好みに適
応した要約コンテンツを提供することが可能となる。
【００１２】一方、本発明が適用されるコンテンツ要約
システムは、コンテンツに対して過去に蓄積されたコン
テンツの類似性をもとに、メタデータにおける特徴量の
重要度を推定する重要度推定手段と、コンテンツの提供
を受けたユーザが有するユーザプロファイルを認識する
プロファイル認識手段と、認識されたユーザプロファイ
ルに基づいて推定された特徴量の重要度を更新する更新
手段とを含むことを特徴としている。
【００１３】また、本発明は、ユーザに対して要約映像
を提供する映像要約システムであって、映像コンテンツ
の有するメタデータから得られる特徴量を格納するメタ
データ特徴量データベースと、格納される特徴量の重要
度を示すコンテンツスコアから、映像コンテンツを構成
する所定数からなるシーンの重要度を算出する重要度算
出部と、算出されたシーンの重要度に基づいて所定数か
らなるシーンを選択し、選択されたシーンを時間順にソ
ートして要約映像情報を作成する要約映像情報作成部と
を備えたことを特徴としている。
【００１４】ここで、この要約映像情報作成部は、要約
映像の時間長に基づいて閾値を定め、シーンの重要度と
閾値とに基づいて選定されたシーンを時間順にソートし
て要約映像を提供することを特徴とすることができる。
例えば、時間長が長い場合には閾値を下げて多くのシー
ンを選定し、短い場合には閾値を上げて重要度の高いシ
ーンを選定することができる等である。
【００１５】他の観点から把えると、本発明が適用され
る携帯電話、携帯情報端末(ＰＤＡ)、パーソナルコンピ
ュータ等からなるユーザ端末は、ダイジェスト映像を表
示し、また表示される各シーンが備えるメタデータをシ
ーンに対応させて表示する表示手段と、表示されたダイ
ジェスト映像を構成するシーンに対してユーザによる興
味の意思表示を認識する認識手段と、認識された意思表
示に基づいて、シーンに含まれている特徴量に対するユ
ーザの興味を示した情報であるユーザプロファイルを生
成または更新するユーザプロファイル生成/更新手段
と、生成または更新されたユーザプロファイルを、ダイ
ジェスト映像の提供に関わるサーバに対して送信するユ
ーザプロファイル送信手段とを備えたことを特徴として
いる。
【００１６】また、本発明が適用されるユーザ端末は、
配信を受けたコンテンツ一覧からユーザにより選択され
た所定のコンテンツの情報、およびユーザが欲する要約
映像時間長を送信する視聴前送信手段と、この送信に基
づき、コンテンツプロバイダから要約映像およびメタデ
ータの配信を受ける受信手段と、配信を受けた要約映像
を視聴した後、視聴に関するユーザからの結果情報、例
えば、ユーザの興味を示すユーザプロファイル、お気に
入り登録した時間等を送信する視聴後送信手段とを備え
たことを特徴としている。
【００１７】一方、本発明が適用される要約映像生成方
法は、コンテンツを構成する複数のシーンを、各々、メ
タデータの特徴量で示し、各々のシーンにおけるメタデ
ータの特徴量の出現頻度を求め、各々のシーンにおける
メタデータの特徴量の重要度を算出し、求められた出現
頻度と算出された重要度とに基づいて各々のシーンにお
ける映像重要度を算出し、算出された映像重要度に基づ
いて所定数のシーンを選定して要約映像を生成すること
を特徴としている。
【００１８】また、本発明が適用される要約映像受信方
法は、ユーザが視聴を欲するコンテンツの情報、視聴す
るための要約映像時間長の情報、ユーザの興味を示す情
報であるユーザプロファイルを送信し、要約映像時間長
とユーザプロファイルとが反映されてコンテンツを構成
する複数のシーンが時間軸にソートされた要約映像とシ
ーンが備えるメタデータとを受信し、要約映像を視聴し
た結果としてなされるユーザからの情報を送信すること
を特徴としている。
【００１９】本発明をコンピュータに用いられるプログ
ラムから把えると、本発明が適用されるプログラムは、
コンピュータに、コンテンツを構成する複数のシーン
を、各々、メタデータの特徴量で示す機能と、各々のシ
ーンにおけるメタデータの特徴量の重要度を認識する機
能と、要約映像を提供すべきユーザのユーザプロファイ
ルを認識する機能と、認識された特徴量の重要度とユー
ザプロファイルとに基づいて各々のシーンにおける映像
重要度を算出する機能と、ユーザから要求される要約映
像時間長を認識する機能と、認識された映像重要度と要
約映像時間長とに基づき、所定数のシーンを選定して要
約映像を生成する機能とを実現させることを特徴として
いる。
【００２０】また、他の観点から把えると、本発明が適
用されるコンピュータプログラムは、コンピュータ端末
に、表示されるダイジェスト映像を構成するシーンに対
してユーザによる興味の意思表示を認識する機能と、認
識された意思表示に基づいて、シーンに含まれている特
徴量に対応するユーザプロファイルを生成または更新す
る機能と、このユーザプロファイルを送信する機能とを
実現させることを特徴としている。また、コンピュータ
端末に、視聴したいコンテンツの情報と要約映像時間長
とを送信する機能と、送信されたコンテンツの情報と要
約映像時間長とに基づいて要約映像と要約映像の有する
メタデータとを受信する機能と、表示された要約映像に
対するユーザによる興味の意思表示をメタデータに関連
させて認識する機能とを実現させることを特徴としてい
る。
【００２１】尚、これらのコンピュータプログラムは、
例えば、プログラム伝送装置からネットワークを介し
て、クライアントである携帯電話、ＰＤＡ、ＰＣ等のコ
ンピュータ端末、要約サーバ等に対して提供することが
できる。このプログラム伝送装置としては、上記したよ
うなプログラムを記憶させたＣＤ−ＲＯＭ、ＤＶＤ、メ
モリ、ハードディスク等の記憶手段と、これらの記憶手
段からプログラムを読み出し、プログラムを実行する装
置側に、コネクタ、インターネットやＬＡＮ等のネット
ワークを介して伝送する伝送手段とを備える構成とすれ
ば良い。また、ＣＤ−ＲＯＭ等の記憶媒体を介して、直
接、プログラムを提供することもできる。
【００２２】
【発明の実施の形態】以下、添付図面に示す実施の形態
に基づいて本発明を詳細に説明する。図１は、本実施の
形態におけるネットワークシステムの概略構成を説明す
るための図である。本実施の形態が適用されるネットワ
ークシステムは、例えばインターネットであるネットワ
ーク９に対して、要約(ダイジェスト)されたコンテンツ
の配信を受けるユーザ端末(ユーザ)であるクライアント
１０と、コンテンツを提供するコンテンツプロバイダ２
０と、コンテンツプロバイダ２０により提供されるコン
テンツに対して要約作業を実行する要約サーバ３０とを
備えている。尚、クライアント１０、コンテンツプロバ
イダ２０、および要約サーバ３０は、必ずしも単体のコ
ンピュータ装置によって構成されるとは限らず、複数の
コンピュータ装置によって構成される場合もある。ま
た、各構成要素間における通信は、有線か無線かを問う
ものではなく、例えば、クライアント１０は、携帯電話
やＰＤＡ(Personal Digital Assistant)として構成する
ことが可能である。更に、本実施の形態では、コンテン
ツとして映像データを例に説明しているが、時系列に変
化するコンテンツであれば、例えば、音楽データ等、必
ずしも映像に限らずに適用することができる。
【００２３】クライアント１０は、ユーザ個人の興味の
情報として、例えばキーワードからなる特徴量が格納さ
れるユーザプロファイル１１と、例えばユーザプロファ
イル１１に対する初期値としてユーザによるコンテンツ
スコアの作成を受け付けたり、視聴状態やユーザによる
所定操作等によってコンテンツスコアの修正等を行うユ
ーザ処理部１２を備えている。また、ユーザ処理部１２
は、要約されたコンテンツをユーザに対して提供する機
能を備えている。このクライアント１０であるユーザ端
末に備えられる各機能は、例えば、機能プログラムを遠
隔地のサーバからダウンロードすることによって得るこ
とができる。また、ユーザ端末の販売等による提供時
に、かかる機能を搭載するように構成することも可能で
ある。
【００２４】コンテンツプロバイダ２０は、例えば映像
情報や音楽情報等のコンテンツ２１、シーンについての
記述である注釈データやそのシーンの有効範囲であるシ
ーンの先頭・終了時刻等、コンテンツ２１について記述
したデータであるメタデータ２２を備えている。また、
ネットワーク９を介して要約映像やメタデータ２２を送
信するコンテンツ送信部２３を備えている。
【００２５】要約サーバ３０は、コンテンツ頻度やコン
テンツスコアを有するコンテンツデータ３１、メタデー
タ２２中における特徴量の出現頻度を計数する等、コン
テンツデータ３１に関する処理を行うコンテンツデータ
処理部３２、各ドメインごとに作成されるメタデータ特
徴量を格納するメタデータ特徴量データベース(ＤＢ)３
３、各コンテンツ２１における重要度を算出する重要度
算出部３４、要約コンテンツである要約映像の情報を作
成する要約映像情報作成部３５を備えている。
【００２６】ユーザ処理部１２から重要度算出部３４へ
は、選択されたコンテンツ２１に関するコンテンツスコ
ア、要約映像時間等が送出され、また、ユーザプロファ
イル１１が送信される。重要度算出部３４からコンテン
ツ送信部２３へは、要約映像の送信命令が出される。要
約映像情報作成部３５からコンテンツ送信部２３に対し
て要約映像情報が送信され、コンテンツ送信部２３から
ユーザ処理部１２へは、要約映像と共にメタデータ２２
が配信される。また、コンテンツ送信部２３からコンテ
ンツデータ処理部３２へは、コンテンツ２１に関するコ
ンテンツスコアの一覧が送信される。但し、コンテンツ
スコアを要約サーバ３０にて作成される場合もあり、か
かる場合には、この送信は省略される。ユーザ処理部１
２からコンテンツデータ処理部３２へは、ユーザプロフ
ァイル１１が送信される。クライアント１０では、コン
テンツ２１の視聴中に、お気に入りシーンの登録による
ユーザプロファイル１１の登録処理が行われ、視聴終了
後に、ユーザプロファイル１１の更新処理が行われる。
【００２７】図２は、クライアント１０におけるユーザ
視聴時の全体の流れを示したフローチャートである。ま
ず、要約サーバ３０のコンテンツデータ処理部３２は、
視聴可能なコンテンツ２１とコンテンツスコア、コンテ
ンツ一覧をクライアント１０のユーザ処理部１２に送信
する(ステップ１０１)。次に、クライアント１０である
ユーザは、視聴したいとして選択されたコンテンツ２１
と、そのコンテンツ２１中のコンテンツスコアを要約サ
ーバ３０の重要度算出部３４に送信する(ステップ１０
２)。その後、重要度算出部３４では、選択されたコン
テンツスコアと、送信されたユーザプロファイル１１を
もとに、各シーンの重要度が算出される(ステップ１０
３)。要約サーバ３０の要約映像情報作成部３５では、
算出された重要度をもとに、要約映像時間長となる要約
映像情報が作成される(ステップ１０４)。
【００２８】次に、コンテンツプロバイダ２０のコンテ
ンツ送信部２３から、要約映像とメタデータ２２がクラ
イアント１０に対して送信される(ステップ１０５)。ク
ライアント１０であるユーザでは、ユーザ視聴がなされ
る(ステップ１０６)。視聴終了後、ユーザプロファイル
１１の更新処理を行い、ユーザプロファイル１１を要約
サーバ３０のコンテンツデータ処理部３２に送信する。
その後、コンテンツデータ処理部３２では、視聴者のユ
ーザプロファイル１１をもとに、コンテンツスコアが更
新される(ステップ１０７)。
【００２９】図３は、本実施の形態におけるネットワー
クシステムの配信手順を示した図であり、上述した流れ
を整理している。まず、要約サーバ３０からクライアン
ト１０に対し、コンテンツ一覧が配信される()。この
コンテンツ一覧には、コンテンツ２１の名称だけではな
く、コンテンツデータ３１に格納されているコンテンツ
スコアも配信される。クライアント１０からは、選択さ
れたコンテンツ２１(例えば、Ａチーム対Ｂチーム第１
３回戦等)と、コンテンツスコア(例えば、Ａチームの得
点場面、主力Ｍ選手のホームラン場面等)、要約映像時
間長(例えば、２.５時間を１５分で等)、ユーザプロフ
ァイル１１が送信される()。その後、要約サーバ３０
にて、重要度算出と要約映像情報作成が行われ()、要
約映像情報がコンテンツプロバイダ２０に送信される
()。コンテンツプロバイダ２０では、例えば、送信さ
れた要約映像情報に基づいて実際の要約映像を生成し、
要約映像とメタデータ２２とをクライアント１０に配信
する()。クライアント１０では、要約映像の視聴中
に、お気に入りシーンの登録によるユーザプロファイル
１１の登録処理を行い、視聴終了後にユーザプロファイ
ル１１の更新処理を行う()。そして、更新されたユー
ザプロファイル１１を要約サーバ３０に送信し()、要
約サーバ３０では、コンテンツスコアの更新処理が行わ
れる()。
【００３０】図４は、要約サーバ３０のメタデータ特徴
量データベース３３に格納される情報とコンテンツデー
タ３１を説明するための図である。映像に付けられてい
る各メタデータ２２は、例えば、シーンについての記述
である注釈データと、そのシーンの有効範囲であるシー
ンの先頭・終了時刻から構成されている。まず、各ドメ
インごとに作成されたメタデータ特徴量データベース３
３によって、区分コンテンツである各シーンに記述され
ている注釈データを特徴量に変換する。メタデータ特徴
量データベース３３は、予め特徴量として用いるキーワ
ードを登録しておいたものである。ここでは、例えば、
Ｍ選手、Ｎ選手、パス、シュート、ゴール等、Ｎ個のキ
ーワードがメタデータ特徴量データベース３３に登録さ
れているものとする。このメタデータ特徴量データベー
ス３３に登録されていない注釈データは、特徴量には変
換されない。尚、ドメインとは、サッカーや野球等、例
えば映像におけるコンテンツ２１のカテゴリを示してい
る。
【００３１】コンテンツデータ３１は、コンテンツ２１
内の特徴量の出現頻度を表すコンテンツ頻度(CFreq)３
６を有している。コンテンツ頻度３６はそのコンテンツ
２１のメタデータ２２中のキーワードによってのみ決ま
るので、コンテンツ２１により一意に決定される。例え
ば、i番目のコンテンツのコンテンツ頻度３６を、CFreq
_i = ( cf_i1, ..., cf_iN )で表すものとする。このコ
ンテンツ頻度３６は、キーワードの出現回数やキーワー
ドの単位時間当たりの出現時間によって定義される。
【００３２】更に、コンテンツデータ３１は、コンテン
ツ２１内の特徴量の重要度を示すコンテンツスコア３７
を備えている。同じコンテンツ２１を見ても、人それぞ
れ、各特徴量の重要度は異なる。例えば、プロ野球にて
Ａチーム対Ｂチームの試合ならば、Ａチームファンにと
ってはＡチームの主力４番打者やＡチームの主力投手の
特徴量における重要度は大きくなるが、Ｂチームのファ
ンにとってはその重要度は大きくならない。従って、各
コンテンツ２１は、その視聴者集団(ユーザ集団)の興味
のばらつきに応じて、異なる数のコンテンツスコア３７
を所有している。今、例えば、i番目のコンテンツにお
けるp番目のコンテンツスコア３７は、CScore_ip = ( c
s_ip1, ..., cs_ipN )で表される。尚、後述するが、要
約映像は映像重要度から算出され、映像重要度はコンテ
ンツスコア３７とユーザプロファイル１１により重み付
けられた値をもとに作成される。従って、各コンテンツ
スコア３７とユーザプロファイル１１の組から、それぞ
れ映像重要度を算出でき、そこから要約映像を作成する
ことが可能となる。
【００３３】ここで、質の高いユーザプロファイル１１
を保有しているクライアント１０に対しては、コンテン
ツスコア３７を全く使わずに、そのクライアント１０で
ある個人のための要約映像を作成することができる。し
かし、全てのクライアント１０が質の高いユーザプロフ
ァイル１１を保持しているとは考えにくい。そこで、本
実施の形態では、コンテンツスコア３７を用いて映像重
要度を算出し、要約映像を作成するように構成してい
る。更に、嗜好の似ているクライアント１０の保持して
いるユーザプロファイル１１と、類似した他のコンテン
ツの保持するコンテンツスコア３７をもとに、コンテン
ツごとに複数のコンテンツスコア３７を作成することに
より、複数の典型的な要約映像を作成することが可能と
なる。複数の要約映像を作成し、クライアント１０に選
択権を与えることで、クライアント１０は自分に適した
要約映像を見ることができる。
【００３４】但し、コンテンツスコア３７をコンテンツ
２１が発生する度に全て作成することは、一般に困難を
伴う。そこで、本実施の形態では、コンテンツ２１の視
聴者と、他のコンテンツ２１におけるコンテンツスコア
３７の両者を用いて、コンテンツスコア３７を推定する
ように構成している。コンテンツスコア３７の推定で
は、大きく、初期設定と更新処理とに分けられる。初期
設定では、新コンテンツC_[C+1]のコンテンツスコア
は、既存の他のコンテンツ(過去のコンテンツ)C_1〜C_C
との類似度によりコンテンツスコア３７が算出される。
また、更新処理では、視聴者のユーザプロファイル１１
を用いて更新がなされる。
【００３５】図５(ａ),(ｂ)は、初期設定として、過去
のコンテンツスコアから新たなコンテンツスコアを作成
する手順を説明するための図である。図５(ａ)は、過去
のコンテンツスコア３７-１を備える過去のコンテンツC
_1〜C_Cと、新たなコンテンツスコア３７-２を備える新
たなコンテンツC_[C+1]が示されている。また、図５
(ｂ)は、全コンテンツ２１の全てのコンテンツスコア３
７をＮ次元空間上にプロットする状態を説明するための
図であり、この図５(ｂ)では２次元に簡略化して示して
いる。図５(ｂ)において、点の濃度は各点の重み(類似
度)を表し、類似性が高いほど重みが大きくなる。
【００３６】まず、新たなコンテンツC_[C+1]を得たと
き、新たなコンテンツC_[C+1]の初期コンテンツスコア
は、蓄積された過去のコンテンツC_1〜C_Cを用いて、次
の方法によって推定される。まず、類似したコンテンツ
２１に対しては、ユーザの興味は同じであると考えられ
るので、コンテンツ頻度(CFreq)３１を用いて、新たな
コンテンツC_[C+1]と過去のコンテンツC_1〜C_Cとの各
類似度を求める。この類似度は次式のようにコサイン尺
度により算出される。
【式１】
【００３７】また、過去のコンテンツC_1〜C_Cは、各
々、一つ以上のコンテンツスコア３７を持っている。全
てのコンテンツスコア３７は、図５(ｂ)に示されるよう
なＮ次元の特徴空間上の点で示され、各点は前述の類似
度を重みとして用いている。例えば、CFreq_[C+1]とCFr
eq_iのコサイン尺度による類似度をSimil( C_[C+1], C_
i )とすると、コンテンツC_iに属するコンテンツスコア
CScore_i1, CScore_i2,..は、重みSimil( C_[C+1], C_i
)を持った点としてプロットされる。これらの重みは、
前述のように、例えば、点の濃度によって表現される。
その後、本実施の形態では、この過去のコンテンツスコ
ア３７-１をクラスタリングし、各クラスタの代表値を
それぞれ新たなコンテンツスコア３７-２として使用し
ている。代表値としては、例えば、クラスタリングされ
たクラスタ中心をそれぞれ初期コンテンツスコアとする
ことができる。
【００３８】次に、コンテンツスコア３７の更新処理に
ついて、説明する。クライアント１０であるユーザU_j
がコンテンツC_iを視聴した場合、そのユーザのユーザ
プロファイル１１を用いて、コンテンツスコア３７が修
正される。複数のコンテンツスコア３７が存在する場合
は、ユーザは視聴するときに自分の見たい要約映像のコ
ンテンツスコア３７に対して更新を行う。この更新は、
特定のユーザが視聴したときだけでなく、視聴があった
とき全ての場合に生じる。今、ユーザU_jがコンテンツC
_i中のp番目のコンテンツスコア(CScore_ip)を選択した
とする。
【式２】 但し、0＜=α＜=1 とする。αはコンテンツスコア３７
を視聴したユーザのユーザプロファイル１１によって更
新する際のパラメータで、値が小さいほどユーザプロフ
ァイルUProf_jの影響が大きくなる。
【００３９】複数のコンテンツスコア３７が存在してい
た場合、複数の要約映像を作成することができるが、ユ
ーザに対して選択のための指標を設ける必要がある。コ
ンテンツプロバイダ２０側でコンテンツスコア３７を見
て人間が適当なタイトルを与えてやることもできるが、
負担が大きい。そこで、例えば、各コンテンツスコア３
７の中からスコアの大きい上位Ｒ個の特徴量をキーワー
ドとして提示するように構成すれば良い。
【００４０】次に、ユーザプロファイル１１の推定(学
習方法)について説明する。ユーザプロファイル１１
は、( UProf_j=(u_j1, ..., u_jN) )、(0＜= u_jk＜=1)
で表される。但し、このユーザプロファイル１１はドメ
インごとに異なるものが使用される。ユーザプロファイ
ル１１の推定では、まず、初期化(u_jk=0 , for all k)
された後、例えばお気に入りボタンによる好みのシーン
の登録がなされ、その後、視聴後の忘却処理がなされ
る。まず初期化として、ユーザプロファイル１１に対し
て初期値UProf_j=(0,...,0)が導入される。次に、好み
のシーンの登録として、ユーザは、映像を見ながら、気
に入ったシーンがあったときに、例えばウェブブラウザ
にあるようなお気に入りボタンを押し、そのシーンに含
まれている特徴量に対応するユーザプロファイル１１の
値を１(重要度を１)にする(u_jk= 1)ことにより、登録
を行う。しかしながら、興味というものは時間とともに
移り変わって行く。そこで、登録したメタデータ特徴の
存在する場面を視聴しなければ、ユーザプロファイル１
１中のそのメタデータ特徴の値は減少し、視聴すると増
加するように、１コンテンツの視聴終了時にユーザプロ
ファイル１１に登録した特徴量に対して更新が施され
る。言い換えると、登録していない特徴量に対しては更
新処理が行われない。即ち、忘却処理として、視聴終了
時に、登録した特徴を含むシーンが存在していなけれ
ば、その特徴の重要度は０に近づいていき、逆に存在し
ていれば、１に近づく。
【００４１】ユーザプロファイル１１に登録された特徴
量の更新は、
【式３】 のように行われる。但し、0＜=β＜=1 とする。βは興
味の減衰率(忘却率)を示すパラメータで、βが小さいほ
ど減衰率(忘却率)は大きくなる。ユーザはユーザプロフ
ァイル１１を編集する場合は、ユーザに対しては登録し
てある特徴量(キーワードのみ)を表示し、修正をしても
らう。つまり、ユーザに対しては、その特徴量が登録し
てあるか否かの二値的な扱いのみを許し、システム内部
でのみ連続的に扱う。
【００４２】次に、図２に示したステップ１０３である
重要度算出の処理を説明する。図６(ａ),(ｂ)は、コン
テンツスコア３７とユーザプロファイル１１から映像の
重要度を求める作業を説明するための図である。図６
(ａ)に示すように、この例では、コンテンツ(Content_
i)の時間[t1,t2]におけるシーンＡにメタデータ特徴(x_
1,x_3)が存在している。同様に、時間[t3,t4]における
シーンＢにメタデータ特徴(x_2,x_4)、時間[t4,t5]にお
けるシーンＣにメタデータ特徴(x_5)が存在している。
また、この例では、max関数を用いて、ユーザプロファ
イル１１をu=max(u_L,…,u_M)、コンテンツスコア３７
をcs=max(cs_L,…,cs_M)とし、ユーザプロファイル１１
およびコンテンツスコア３７は、シーンＡにてu=max(u_
1,u_3)およびcs=max(cs_1,cs_3)、シーンＢにてu=max(u
_2,u_4)およびcs=max(cs_2,cs_4)、シーンＣにてu=max
(u_5)およびcs=max(cs_5)で表されている。
【００４３】図６(ｂ)に示すように、例えば、時間[t1,
t2]におけるシーンＡの映像重要度imp[t1,t2]は、後述
する同時生起確率P(x_1, x_3)、重みｗとすると、imp(t
1, t2) = ( w*u + (1-w)*cs )*log(1/P(x_1, x_3))で表
される。他の時区間についても同様に算出される。算出
された映像重要度をグラフで示すと、例えば、図６(ｂ)
に示すようになる。ここで示される閾値は、ユーザが見
たいと欲する要約映像の時間長を入力することにより求
められる。この閾値によって、図６(ｂ)に示す例では、
閾値より高いシーンＢとシーンＣが選ばれ、要約映像は
シーンＢとシーンＣから作られる。
【００４４】図７は、図６(ａ),(ｂ)を用いて説明した
重要度算出の処理(図２のステップ１０３の処理)の流れ
を示したフローチャートである。要約サーバ３０の重要
度算出部３４では、まず、あるシーンの処理後に次のシ
ーン(次シーン)が存在しているか否かが判断される(ス
テップ２０１)。存在していなければ、処理は終了す
る。存在している場合には、次シーン情報を取得する
(ステップ２０２)。あるシーン[t1, t2]に特徴量である
メタデータ特徴(x_L, ..., x_M)が存在していたとする
と、まず、特徴量に対応するコンテンツスコア(cs_ipL,
..., cs_ipM)を降順にソートする(ステップ２０３)。
ここで「ip」は、コンテンツｉのｐ番目として一般化し
て表現したものである。その後、特徴量に対応するユー
ザプロファイル(u_jL, ..., u_jM) を降順にソートする
(ステップ２０４)。ソートされたユーザプロファイル１
１およびコンテンツスコア３７を、それぞれ(u_j[1], u
_j[2], ... )、 (cs_ip[1], cs_ip[2],... )と表す。こ
のとき、シーン[t1, t2]の映像重要度は第１映像重要度
imp(t1,t2)[1] から順に、次式のように表されて取得さ
れる(ステップ２０５)。 第１映像重要度 imp(t1, t2)[1] = (w*u_j[1] + (1-w)*cs_j[1])*log1/P(x_L,...,x_M )…式 第２映像重要度 imp(t1, t2)[2] = (w*u_j[2] + (1-w)*cs_j[2])*log1/P(x_L,...,x_M )…式 ………
【００４５】ここで、P(x_L, ..., x_M) は コンテンツ
中でメタデータx_L, ..., x_Mの同時生起確率である。
この同時生起確率は、まず、コンテンツ頻度CFreq_iよ
り、コンテンツ内の各特徴の生起確率P(x_i)を
【式４】 として計算され、各特徴が独立に生じているものとする
と、同時生起確率は、P(x_i, x_j) = P(x_i)*P(x_j)と
なる。そして係数log 1/P(x_L, ..., x_M)は、各特徴の
情報量を示すものとなる。通常のテキスト処理において
は、意味の無いノイズのような単語の値を大きくしてし
まうが、本実施の形態が対象としているような、ある程
度の質を持ったメタデータ２２に対しては有効である。
【００４６】また、wは、ユーザプロファイル１１の信
頼度からか、または視聴者が明示的に与えることによっ
て決定される。まず、信頼度から得る場合に、ユーザプ
ロファイル１１の信頼度は、
【式５】 より得られる。ユーザプロファイル１１の信頼度はユー
ザプロファイル１１の質の高さを示すものであり、基本
的には、ユーザの学習(お気に入りボタンを押した回数)
をもとに定義される。従って、お気に入りボタンで自分
の好みを多く学習しているユーザは、それを用いて要約
を生成して欲しいと考えられるので、信頼度はユーザプ
ロファイル１１をもとに定義される。得られた信頼度(c
onf_j)より、重みwは、信頼度に比例するように求めら
れる。 w ∝ conf, 0＜=w＜=1 ここで、w=0のときは、ユーザプロファイル１１を全く
使わずに、コンテンツスコア３７のみから映像重要度を
決めることに相当し、典型的な要約映像をそのまま提示
することに相当する。逆に、w=１のときは、コンテンツ
スコア３７を使わずに、ユーザプロファイル１１だけか
ら作成するために、完全にパーソナライズされた重要度
を得ることができる。
【００４７】尚、同じ映像重要度を持つ区間が存在して
いた場合に、max関数ではなく、max2関数を用いて映像
重要度を算出し、大小を比較する。但し、max2関数は２
番目に大きい値を返す関数である。また、この場合も同
じ値となった場合には、max3関数を用いて大小を比較す
る。この操作を繰り返していく。例えば、 imp[t1, t2] = imp[t3, t4] のとき、 imp2[t1, t2] = (w*u(1-w)*cs)*log( 1/P(x_L, ... x_
M) ) u = max2( u_jL, ..., u_jM) cs = max2( cs_ipL, ..., cs_ipM ) を算出する。同様に、imp2[t3, t4] を算出し、imp2[t
1,t2]とimp2[t3, t4]とを比較して、時区間[t1,t2]と[t
3,t4]との重要度の大小を比較すればよい。
【００４８】次に、コンテンツプロバイダ２０側のオペ
レータによって入力される映像重要度について説明す
る。例えば、一番最初であって、過去のコンテンツが全
くない場合や、類似したコンテンツがない場合には、コ
ンテンツプロバイダ２０側のオペレータによって、手動
でコンテンツスコア３７を作成する必要がある。しかし
ながら、各特徴量のスコアを一つずつ入力し、その結果
を視聴して再びスコアを修正していくのは負担が大きい
ことから、本実施の形態では、簡易にコンテンツスコア
３７を作成する仕組みを提供している。
【００４９】図８は、要約サーバ３０側のオペレータに
よって映像重要度を入力する際の表示画面を示した図で
ある。図８に示す表示画面では、映像画面２５と共に映
像重要度入力画面２６が表示される。この映像重要度入
力画面２６には、映像重要度入力ボタン２７が備えられ
ている。映像重要度入力ボタン２７は、例えば、スライ
ドバーやボタンを用いたＧＵＩツールとして構成するこ
とができる。オペレータは、映像画面２５に表示される
映像を見ながら、各シーンの映像重要度を映像重要度入
力ボタン２７によって簡易に入力することができる。こ
こで、各特徴量（x_i）の保持するコンテンツスコア３
７をcs_iとして、オペレータが入力した映像重要度 imp
[t]から、cs_1, ..., cs_Nを求めるという逆問題に置き
換える。これには、上述の式を用いて得た映像重要度
と、オペレータが入力した映像重要度imp[t]の二乗誤差
が最小になるように、つまり最小二乗法を用いて推定さ
れる(但し、w=0、cs = (cs_ipL + ... + cs_ipM)/(M-L+
1)とする)。
【００５０】次に、要約映像情報作成について説明す
る。図９は、図２のステップ１０４で示した要約映像情
報作成処理を詳述したフローチャートである。要約サー
バ３０の要約映像情報作成部３５にて作成される要約映
像情報は、要約映像がオリジナルコンテンツ中のどのシ
ーンから構成されるかを示したものであり、例えば、0:
10〜0:15(０時１０分から０時１５分)、0:30〜1:04、0:
06〜1:08となっていた場合には、要約映像は、オリジナ
ル映像中のシーン[0:10,0:15]、シーン[0:30,1:04]、シ
ーン[1:06,1:08]から構成される。
【００５１】ここでは、まず、全シーンを重要度順にソ
ートする(ステップ３０１)。但し、imp(t_i,t_j)[1]を
第１ソートキー、imp(t_i,t_j)[2]を第２ソートキー、i
mp(t_i,t_j)[k]を第ｋソートキーとしてソートする。次
に、ｉ＝１を設定し(ステップ３０２)、要約映像時間長
＜Ｔであり、かつ、ｉ番目に大きい重要度のシーンが存
在するか否かが判断される(ステップ３０３)。ＹＥＳの
場合には、ｉ番目に大きい重要度のシーンが要約映像に
追加され(ステップ３０４)、ｉを１繰り上げてｉ＋１と
し(ステップ３０５)、ステップ３０３に戻る。ステップ
３０３がＮＯである場合には、要約映像情報をコンテン
ツプロバイダ２０のコンテンツ送信部２３に送信し(ス
テップ３０６)、処理が終了する。
【００５２】このように、得られた第１映像重要度、第
２映像重要度、……を、それぞれ第１ソートキー、第２
ソートキーとして降順にソートし、最も大きい映像重要
度のシーンから、ユーザの指定した要約映像時間になる
までのシーンを順に加えることで、要約映像が作成され
る。但し、作成された要約映像中のそれぞれのシーン
は、映像重要度順ではなく、もとの映像におけるシーン
の時間順にソートされる。
【００５３】次に、クライアント１０にてなされるユー
ザ視聴について説明する。図１０は、図２のステップ１
０６で示したユーザ視聴の処理を示したフローチャート
である。ここでは、視聴者のユーザプロファイル１１
が、例えば、UProf=(u_1,…,u_N)からスタートするもの
とする。まず、映像が終了したか否かが判断され(ステ
ップ４０１)、終了していない場合に、ｋが１〜Ｎまで
繰り返されたか否かが判断される(ステップ４０２)。繰
り返された場合には、処理が終了する。繰り返されてい
ない場合には、ユーザプロファイル１１の「u_jk」が０
ではないかどうかが判断される(ステップ４０３)。０で
ある場合には、ステップ４０２に戻り、０ではない場合
には、ステップ４０４に移行して、メタデータx_kを含
むシーンが視聴されたか否かが判断される。視聴された
場合には、上述した式によって特徴量が更新されて
(ステップ４０５)、ステップ４０２に戻る。ステップ４
０４で視聴されていない場合には、上述した式によっ
て特徴量が更新され(ステップ４０６)、ステップ４０２
に戻る。
【００５４】一方、ステップ４０１にて映像が終了した
場合には、次シーンの再生が行われる(ステップ４０
７)。その後、お気に入りとしてのユーザによる登録が
あったか否かが判断され(ステップ４０８)、登録がない
場合には、ステップ４０１に戻り、登録があった場合に
は、そのシーンに存在している特徴量に対応するユーザ
プロファイル１１の値を１にして(ステップ４０９)、ス
テップ４０１に戻る。
【００５５】図１１(ａ),(ｂ)は、以上のようにして得
られた、メタデータ特徴量データベース３３、コンテン
ツデータ３１におけるコンテンツ頻度３６及びコンテン
ツスコア３７の例を示した図である。図１１(ａ)に示す
ように、例えば、メタデータ特徴量データベース３３に
は、Ａチームの主力Ｍ選手、主力Ｕ投手、ＢチームのＳ
選手、Ｈ投手、三振、ヒット、ホームラン等の特徴量が
格納されている。また、図１１(ａ)では、コンテンツデ
ータ３１として、Ａチーム対Ｂチームの１３回戦につい
て、得られたコンテンツ頻度３６と、コンテンツスコア
３７とが示されている。図１１(ｂ)では、この場合に重
要度算出式で用いられる同時生起確率が示されている。
このようにして求められる同時生起確率を用いて、図５
にて説明したようにして映像重要度が算出され、要約映
像の提供が可能となる。
【００５６】図１２は、クライアント１０であるユーザ
端末の一例を示した図である。図１２に示すユーザ端末
は、携帯電話を例に示している。ここでは、携帯電話の
ディスプレイを利用して、要約された映像を表示する映
像表示部１４と、映像表示部１４に表示されている映像
における特定シーンの特徴を記したメタデータ表示部１
５とを備えている。また、ユーザプロファイル１１の作
成等に用いられるお気に入りボタン１６を備えている。
このお気に入りボタン１６が頻繁に押された場合には、
前述のように、ユーザプロファイル１１の質が向上し、
信頼度の高い要約映像をユーザ端末に対して提供するこ
とが可能となる。
【００５７】最後に、本実施の形態における適用例とし
て、サッカー中継の要約を紹介する。ユーザは初めて映
像を見る場合、ユーザプロファイル１１は存在していな
い。あるコンテンツ２１を視聴しようとした場合、各コ
ンテンツスコア３７を代表する複数のキーワードを持っ
た要約映像が選択できる。その中から自分の興味に合致
した要約映像を選択することにより、自分の気に入った
要約映像を見ることができる。例えば、Ｅチームファン
であったら、Ｅチームの選手名がキーワードとして表示
されているものを選択することにより、Ｅチームファン
用の要約映像が再生される。ユーザはその映像の視聴中
に、気に入った映像があれば、例えば図１２に示すお気
に入りボタン１６を押すことにより、そのシーンに含ま
れているメタデータ特徴をユーザプロファイル１１に登
録することができる。更に、視聴終了時に更新処理を行
うことにより、ユーザプロファイル１１を更新する。こ
の登録作業によって、ユーザプロファイル１１の信頼度
は高くなっていく。次回以降、映像を視聴するときに
は、ユーザプロファイル１１の質が高ければ、そのユー
ザ個人に適した要約映像を作成することが可能となる。
一方、ユーザプロファイル１１の質が低ければ、再び要
約映像を選択することで、自分の好みの要約映像を見る
ことができる。
【００５８】コンテンツプロバイダ２０は、コンテンツ
２１が視聴されるたびに、視聴者のユーザプロファイル
１１を用いて、コンテンツスコア３７を更新する。新た
なコンテンツを得た場合には、信頼度の高いコンテンツ
スコア３７を得るために、過去に蓄積されたコンテンツ
２１のコンテンツスコア３７から、代表となる数種類の
コンテンツスコア３７を作成する。作成されたそれぞれ
のコンテンツスコア３７から、スコアの高いＲ個の特徴
量をキーワードとして要約映像選択のための指標として
提示する。その後は、視聴者のユーザプロファイル１１
を基に更新することにより、コンテンツスコア３７の質
を高めることができる。
【００５９】以上、詳述したように、本実施の形態によ
れば、コンテンツ２１の類似性、および視聴者集団のユ
ーザプロファイル１１をもとに、メタデータ２２のスコ
アを算出することで、典型的な(数種類の)要約映像を自
動生成することが可能となり、クライアント１０である
ユーザに対して、要約映像の選択権を与えることが可能
となる。更に、クライアント１０であるユーザは、ユー
ザプロファイル１１を用いることにより、個人に適した
要約映像を作成することが可能となる。また、ユーザプ
ロファイル１１の信頼度が低い場合であっても、コンテ
ンツ２１の１つから数種類の要約映像が提示されるため
に、そこから自分の興味にあった要約映像を選定するこ
とが可能となり、自分の興味を満足させることができ
る。更には、コンテンツプロバイダ２０から提供される
要約映像にユーザプロファイル１１を組み合わせた、個
人の要約映像を作成することも可能となる。
【００６０】尚、図１に基づく上述の説明では、ユーザ
プロファイル１１をクライアント１０に設けるように構
成したが、このユーザプロファイル１１を要約サーバ３
０側に備えることも可能となる。かかる場合には、クラ
イアント１０から、例えば、お気に入りとして登録され
た時間情報が要約サーバ３０に送信され、要約サーバ３
０にて、ユーザプロファイル１１の登録処理、および更
新処理が実行される。また、要約サーバ３０に設けられ
た重要度算出部３４および/または要約映像情報作成部
３５をクライアント１０側に設けるように構成すること
も可能である。かかる場合には、クライアント１０は、
選択したコンテンツスコア３７の取得要求を要約サーバ
３０に出力し、要約サーバ３０からコンテンツスコア３
７を受信して、自ら重要度算出と要約映像情報作成を実
行し、作成された要約映像情報をコンテンツプロバイダ
２０に送信されるように構成すれば良い。更には、コン
テンツプロバイダ２０と要約サーバ３０とを同一のサイ
トにて構成することも可能であり、また、例えば、要約
サーバ３０の構成要素の一部だけをコンテンツプロバイ
ダ２０側に設けることも可能である。即ち、本実施の形
態を実行するにあたり、システムのハード構成が本実施
の形態に必ずしも限定されないことは言うまでもない。
【００６１】
【発明の効果】このように、本発明によれば、コンテン
ツの中から数種類の典型的な要約を自動生成することが
でき、更に、この要約をユーザの好みに近づけることが
可能となる。
【図面の簡単な説明】
【図１】 本実施の形態におけるネットワークシステム
の概略構成を説明するための図である。
【図２】 クライアントにおけるユーザ視聴時の全体の
流れを示したフローチャートである。
【図３】 本実施の形態におけるネットワークシステム
の配信手順を示した図である。
【図４】 要約サーバのメタデータ特徴量データベース
に格納される情報とコンテンツデータを説明するための
図である。
【図５】 (ａ),(ｂ)は、初期設定として、過去のコン
テンツスコアから新たなコンテンツスコアを作成する手
順を説明するための図である。
【図６】 (ａ),(ｂ)は、コンテンツスコアとユーザプ
ロファイルから映像の重要度を求める作業を説明するた
めの図である。
【図７】 重要度算出の処理(図２のステップ１０３の
処理)の流れを示したフローチャートである。
【図８】 コンテンツプロバイダ側のオペレータによっ
て映像重要度を入力する際の表示画面を示した図であ
る。
【図９】 図２のステップ１０４で示した要約映像情報
作成処理を詳述したフローチャートである。
【図１０】 図２のステップ１０６で示したユーザ視聴
の処理を示したフローチャートである。
【図１１】 (ａ),(ｂ)は、メタデータ特徴量データベ
ース、コンテンツデータにおけるコンテンツ頻度及びコ
ンテンツスコアの例を示した図である。
【図１２】 クライアントであるユーザ端末の一例を示
した図である。
【符号の説明】
１０…クライアント、１１…ユーザプロファイル、１２
…ユーザ処理部、１４…映像表示部、１５…メタデータ
表示部、１６…お気に入りボタン、２０…コンテンツプ
ロバイダ、２１…コンテンツ、２２…メタデータ、２３
…コンテンツ送信部、２５…映像画面、２６…映像重要
度入力画面、２７…映像重要度入力ボタン、３０…要約
サーバ、３１…コンテンツデータ、３２…コンテンツデ
ータ処理部、３３…メタデータ特徴量データベース(Ｄ
Ｂ)、３４…重要度算出部、３５…要約映像情報作成
部、３６…コンテンツ頻度(CFreq)、３７…コンテンツ
スコア
───────────────────────────────────────────────────── フロントページの続き (72)発明者 益満 健 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 越後 富夫 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 村尾 高秋 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 寺口 正義 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 Ｆターム(参考） 5C064 BA01 BA07 BC18 BC23 BC25 BD03

Claims (28)

    【特許請求の範囲】
  1. 【請求項１】 コンテンツを提供するコンテンツプロバ
    イダと、当該コンテンツに対する要約コンテンツの提供
    に関わる要約サーバと、当該要約コンテンツを受信する
    クライアントと、を含むコンテンツ要約システムであっ
    て、 前記コンテンツプロバイダは、前記コンテンツについて
    の記述である注釈データを含むメタデータを前記要約サ
    ーバに提供し、 前記要約サーバは、提供された前記メタデータに含まれ
    る前記注釈データを特徴量に変換し、変換された当該特
    徴量の有する重要度に基づいて区分コンテンツの重要度
    を算出し、 前記クライアントは、前記区分コンテンツの重要度に基
    づいて作成された要約コンテンツを前記コンテンツプロ
    バイダから受信することを特徴とするコンテンツ要約シ
    ステム。
  2. 【請求項２】 前記要約サーバは、過去のコンテンツの
    メタデータにおける特徴量の重要度に基づいて、前記コ
    ンテンツのメタデータにおける特徴量の重要度を推定す
    ることを特徴とする請求項１記載のコンテンツ要約シス
    テム。
  3. 【請求項３】 前記要約サーバは、オペレータに対して
    コンテンツである映像を表示すると共に、表示された当
    該映像に対して当該オペレータから入力された映像重要
    度に基づいて、表示された当該映像の各区分コンテンツ
    に対して特徴量の重要度を推定することを特徴とする請
    求項１記載のコンテンツ要約システム。
  4. 【請求項４】 前記クライアントは、ユーザの好みに関
    する情報であるユーザプロファイルを備え、 前記要約サーバは、前記クライアントから提供される前
    記ユーザプロファイルに基づいて前記区分コンテンツの
    重要度を算出することを特徴とする請求項１記載のコン
    テンツ要約システム。
  5. 【請求項５】 コンテンツプロバイダから提供されるコ
    ンテンツに対して所定の要約を施して提供するコンテン
    ツ要約システムであって、 前記コンテンツに対して過去に蓄積されたコンテンツの
    類似性をもとに、メタデータにおける特徴量の重要度を
    推定する重要度推定手段と、 前記コンテンツの提供を受けたユーザが有するユーザプ
    ロファイルを認識するプロファイル認識手段と、 前記プロファイル認識手段により認識された前記ユーザ
    プロファイルに基づいて前記重要度推定手段により推定
    された前記特徴量の重要度を更新する更新手段と、を含
    むことを特徴とするコンテンツ要約システム。
  6. 【請求項６】 前記重要度推定手段は、過去のコンテン
    ツが有する特徴量の重要度と当該特徴量の出現頻度であ
    るコンテンツ頻度とに基づいて、新たなコンテンツの特
    徴量の重要度を推定することを特徴とする請求項５記載
    のコンテンツ要約システム。
  7. 【請求項７】 前記重要度推定手段により推定される前
    記特徴量の重要度は、要約される前記コンテンツに対し
    て複数個、推定されることを特徴とする請求項５記載の
    コンテンツ要約システム。
  8. 【請求項８】 ユーザに対して要約映像を提供する映像
    要約システムであって、 映像コンテンツの有するメタデータから得られる特徴量
    を格納するメタデータ特徴量データベースと、 前記メタデータ特徴量データベースに格納される前記特
    徴量の重要度を示すコンテンツスコアから、前記映像コ
    ンテンツを構成する所定数からなるシーンの重要度を算
    出する重要度算出部と、 前記重要度算出部により算出されたシーンの重要度に基
    づいて所定数からなるシーンを選択し、選択された当該
    シーンを時間順にソートして要約映像情報を作成する要
    約映像情報作成部と、を備えたことを特徴とする映像要
    約システム。
  9. 【請求項９】 前記重要度算出部は、過去に蓄積された
    映像コンテンツとの類似性から、新たな映像コンテンツ
    に対するコンテンツスコアを算出することを特徴とする
    請求項８記載の映像要約システム。
  10. 【請求項１０】 前記重要度算出部は、前記要約映像情
    報が提供されるユーザのユーザプロファイルを受信し、
    当該ユーザプロファイルに基づいて前記シーンの重要度
    を算出することを特徴とする請求項８記載の映像要約シ
    ステム。
  11. 【請求項１１】 前記要約映像情報作成部は、 要約映像の時間長に基づいて閾値を定め、 前記シーンの重要度と前記閾値とに基づいて選定された
    シーンを時間順にソートして要約映像を提供することを
    特徴とする請求項８記載の映像要約システム。
  12. 【請求項１２】 ダイジェスト映像を表示する表示手段
    と、 前記表示手段に表示された前記ダイジェスト映像を構成
    するシーンに対してユーザによる興味の意思表示を認識
    する認識手段と、 前記認識手段により認識された意思表示に基づいて、前
    記シーンに含まれている特徴量に対するユーザの興味を
    示した情報であるユーザプロファイルを生成または更新
    するユーザプロファイル生成/更新手段と、を備えたこ
    とを特徴とするユーザ端末。
  13. 【請求項１３】 前記ユーザプロファイル生成/更新手
    段により生成または更新された前記ユーザプロファイル
    を、前記ダイジェスト映像の提供に関わるサーバに対し
    て送信するユーザプロファイル送信手段と、を更に備え
    たことを特徴とする請求項１２記載のユーザ端末。
  14. 【請求項１４】 前記表示手段は、表示される各シーン
    が備えるメタデータを当該シーンに対応させて表示する
    ことを特徴とする請求項１２記載のユーザ端末。
  15. 【請求項１５】 配信を受けたコンテンツ一覧からユー
    ザにより選択された所定のコンテンツの情報、およびユ
    ーザが欲する要約映像時間長を送信する視聴前送信手段
    と、 前記視聴前送信手段による送信に基づき、コンテンツプ
    ロバイダから要約映像およびメタデータの配信を受ける
    受信手段と、 前記受信手段により配信を受けた前記要約映像を視聴し
    た後、視聴に関するユーザからの結果情報を送信する視
    聴後送信手段と、を備えたことを特徴とするユーザ端
    末。
  16. 【請求項１６】 前記視聴後送信手段により送信される
    結果情報は、ユーザの興味を示すユーザプロファイルで
    あることを特徴とする請求項１５記載のユーザ端末。
  17. 【請求項１７】 コンテンツを構成する複数のシーン
    を、各々、メタデータの特徴量で示し、 各々のシーンにおけるメタデータの特徴量の出現頻度を
    求め、 各々のシーンにおけるメタデータの特徴量の重要度を算
    出し、 求められた前記出現頻度と算出された前記重要度とに基
    づいて各々のシーンにおける映像重要度を算出し、 算出された前記映像重要度に基づいて所定数のシーンを
    選定して要約映像を生成すること、を特徴とする要約映
    像生成方法。
  18. 【請求項１８】 前記特徴量の重要度は、過去に蓄積さ
    れたコンテンツの類似性をもとにして推定されることを
    特徴とする請求項１７記載の要約映像生成方法。
  19. 【請求項１９】 前記要約映像を視聴した複数ユーザか
    ら得られるプロファイルに基づいて前記特徴量の重要度
    を更新すること、を特徴とする請求項１７記載の要約映
    像生成方法。
  20. 【請求項２０】 前記映像重要度は、要約映像を配信す
    るユーザのユーザプロファイルに基づいて算出されるこ
    と、を特徴とする請求項１７記載の要約映像生成方法。
  21. 【請求項２１】 前記要約映像は、当該要約映像を配信
    するユーザから送信される要約映像時間長に基づいて所
    定数のシーンが選定されること、を特徴とする請求項１
    ７記載の要約映像生成方法。
  22. 【請求項２２】 ユーザが視聴を欲するコンテンツの情
    報と、視聴するための要約映像時間長の情報とを送信
    し、 前記要約映像時間長に基づき前記コンテンツを構成する
    複数のシーンが時間軸にソートされた要約映像と、当該
    シーンが備えるメタデータとを受信することを特徴とす
    る要約映像受信方法。
  23. 【請求項２３】 前記要約映像を視聴した結果としてな
    される前記ユーザからの情報を送信すること、を特徴と
    する請求項２２記載の要約映像受信方法。
  24. 【請求項２４】 前記ユーザの興味を示す情報であるユ
    ーザプロファイルを予め送信し、 受信する前記要約映像は、前記ユーザプロファイルが反
    映されていることを特徴とする請求項２２記載の要約映
    像受信方法。
  25. 【請求項２５】 コンピュータに、 コンテンツを構成する複数のシーンを、各々、メタデー
    タの特徴量で示す機能と、 各々のシーンにおけるメタデータの特徴量の重要度を認
    識する機能と、 要約映像を提供すべきユーザのユーザプロファイルを認
    識する機能と、 認識された前記特徴量の重要度と前記ユーザプロファイ
    ルとに基づいて各々のシーンにおける映像重要度を算出
    する機能と、を実現させるためのプログラム。
  26. 【請求項２６】 前記ユーザから要求される要約映像時
    間長を認識する機能と、 認識された前記映像重要度と前記要約映像時間長とに基
    づき、所定数のシーンを選定して要約映像を生成する機
    能と、を更に実現させることを特徴とする請求項２５記
    載のプログラム。
  27. 【請求項２７】 コンピュータ端末に、 表示されるダイジェスト映像を構成するシーンに対して
    ユーザによる興味の意思表示を認識する機能と、 認識された意思表示に基づいて、前記シーンに含まれて
    いる特徴量に対応するユーザプロファイルを生成または
    更新する機能と、 生成または更新された前記ユーザプロファイルを送信す
    る機能と、を実現させるためのプログラム。
  28. 【請求項２８】 コンピュータ端末に、 視聴したいコンテンツの情報と要約映像時間長とを送信
    する機能と、 送信された前記コンテンツの情報と前記要約映像時間長
    とに基づいて要約映像と当該要約映像の有するメタデー
    タとを受信する機能と、 表示された前記要約映像に対するユーザによる興味の意
    思表示を前記メタデータに関連させて認識する機能と、 を実現させるためのプログラム。
JP2001058807A 2001-03-02 2001-03-02 コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム Pending JP2002259720A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001058807A JP2002259720A (ja) 2001-03-02 2001-03-02 コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム
US10/081,274 US7971217B2 (en) 2001-03-02 2002-02-21 Content digest system, video digest system, user terminal, video digest generation method, video digest reception method and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001058807A JP2002259720A (ja) 2001-03-02 2001-03-02 コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2002259720A true JP2002259720A (ja) 2002-09-13

Family

ID=18918475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001058807A Pending JP2002259720A (ja) 2001-03-02 2001-03-02 コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム

Country Status (2)

Country Link
US (1) US7971217B2 (ja)
JP (1) JP2002259720A (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525537A (ja) * 2003-04-14 2006-11-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ コンテンツ解析を用いて音楽ビデオを要約する方法及び装置
JP2007264764A (ja) * 2006-03-27 2007-10-11 Denso It Laboratory Inc コンテンツ選別方法
KR100831531B1 (ko) * 2004-01-14 2008-05-22 미쓰비시덴키 가부시키가이샤 기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법
WO2008126775A1 (ja) * 2007-04-05 2008-10-23 Nec Corporation 情報推薦装置、情報推薦システム、情報推薦方法及び情報推薦プログラム
JP2008262572A (ja) * 2008-04-28 2008-10-30 Toshiba Corp メタデータ利用管理装置、メタデータ利用管理方法及びプログラム
JP2009527831A (ja) * 2006-02-22 2009-07-30 ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング ユーザプロフィール更新方法
JP2009545930A (ja) * 2006-08-01 2009-12-24 ビデオプレッション リミテッド ライアビリティ カンパニー 携帯通信デバイス上でマルチメディアコンテンツを再生している間に実行されるユーザー主導の通信（ｕｓｅｒ−ｉｎｉｔａｔｅｄｃｏｍｍｕｎｉｃａｔｉｏｎｓｄｕｒｉｎｇｍｕｌｔｉｍｅｄｉａｃｏｎｔｅｎｔｐｌａｙｂａｃｋｏｎｍｏｂｉｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓｄｅｖｉｃｅ）
US7664376B2 (en) 2003-08-20 2010-02-16 Sony Corporation Information signal processing apparatus and method, information signal processing system and method, and information signal playback apparatus and method
JP2010258615A (ja) * 2009-04-22 2010-11-11 Fujitsu Ltd 再生装置及びプログラム
JP2010266880A (ja) * 2010-06-23 2010-11-25 Sony Corp 携帯端末装置、情報処理方法、及びプログラム
JP2011124656A (ja) * 2009-12-08 2011-06-23 Nomura Research Institute Ltd 映像コンテンツ推奨管理装置、映像コンテンツのシーン再生指示方法及びそのプログラム
JP2012510752A (ja) * 2008-11-28 2012-05-10 サムスン エレクトロニクス カンパニー リミテッド メタデータを利用するコンテンツ消費方法及びその装置
JP2014078259A (ja) * 2004-03-15 2014-05-01 Yahoo Inc ユーザ注釈を一体化したサーチシステム及び方法
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20160150049A (ko) * 2015-06-19 2016-12-28 디즈니엔터프라이지즈,인크. 콘텐츠의 동적 시간 버전의 생성
JP2017084072A (ja) * 2015-10-27 2017-05-18 富士通株式会社 コンテンツ出力装置、方法、プログラム、コンテンツ配信装置、方法及びプログラム
WO2017094326A1 (ja) * 2015-11-30 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017161963A (ja) * 2016-03-07 2017-09-14 富士ゼロックス株式会社 動画検索装置およびプログラム
JP2017163181A (ja) * 2016-03-07 2017-09-14 富士ゼロックス株式会社 動画編集装置およびプログラム
JP2017538989A (ja) * 2014-10-09 2017-12-28 スーズ，インコーポレイテッド 物語構成要素をもつハイライトショーのカスタマイズ生成
JP2019062357A (ja) * 2017-09-26 2019-04-18 株式会社日立国際電気 ビデオサーバシステム
JP2022000955A (ja) * 2016-12-09 2022-01-04 日本放送協会 シーン共有システム
US11778287B2 (en) 2014-10-09 2023-10-03 Stats Llc Generating a customized highlight sequence depicting multiple events
US11863848B1 (en) 2014-10-09 2024-01-02 Stats Llc User interface for interaction with customized highlight shows

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050183017A1 (en) * 2001-01-31 2005-08-18 Microsoft Corporation Seekbar in taskbar player visualization mode
US20040019658A1 (en) * 2001-03-26 2004-01-29 Microsoft Corporation Metadata retrieval protocols and namespace identifiers
US7277859B2 (en) * 2001-12-21 2007-10-02 Nippon Telegraph And Telephone Corporation Digest generation method and apparatus for image and sound content
US20030182139A1 (en) * 2002-03-22 2003-09-25 Microsoft Corporation Storage, retrieval, and display of contextual art with digital media files
JP2004007342A (ja) * 2002-03-29 2004-01-08 Fujitsu Ltd ダイジェスト自動生成方法
US7219308B2 (en) * 2002-06-21 2007-05-15 Microsoft Corporation User interface for media player program
CA2395905A1 (en) * 2002-07-26 2004-01-26 Teraxion Inc. Multi-grating tunable chromatic dispersion compensator
US8087054B2 (en) * 2002-09-30 2011-12-27 Eastman Kodak Company Automated event content processing method and system
US20040177081A1 (en) * 2003-03-03 2004-09-09 Scott Dresden Neural-based internet search engine with fuzzy and learning processes implemented at multiple levels
KR20040080736A (ko) * 2003-03-13 2004-09-20 삼성전자주식회사 인터랙티브 컨텐츠 동기화 장치 및 방법
US7757182B2 (en) 2003-06-25 2010-07-13 Microsoft Corporation Taskbar media player
US7512884B2 (en) 2003-06-25 2009-03-31 Microsoft Corporation System and method for switching of media presentation
ES2277260T3 (es) 2003-06-30 2007-07-01 Koninklijke Philips Electronics N.V. Sistema y metodo para generar un resumen multimedia de flujos multimedia.
US7434170B2 (en) * 2003-07-09 2008-10-07 Microsoft Corporation Drag and drop metadata editing
US7293227B2 (en) * 2003-07-18 2007-11-06 Microsoft Corporation Associating image files with media content
US20050015405A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Multi-valued properties
US7392477B2 (en) * 2003-07-18 2008-06-24 Microsoft Corporation Resolving metadata matched to media content
US20050015389A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Intelligent metadata attribute resolution
US20050071328A1 (en) * 2003-09-30 2005-03-31 Lawrence Stephen R. Personalization of web search
US20050154987A1 (en) * 2004-01-14 2005-07-14 Isao Otsuka System and method for recording and reproducing multimedia
KR20070007788A (ko) * 2004-01-30 2007-01-16 마츠시타 덴끼 산교 가부시키가이샤 콘텐츠 재생장치
WO2005119515A1 (en) * 2004-06-01 2005-12-15 Koninklijke Philips Electronics N.V. Updating video summary
JP4758161B2 (ja) * 2004-07-30 2011-08-24 パナソニック株式会社 ダイジェストの作成方法及び装置
US7272592B2 (en) 2004-12-30 2007-09-18 Microsoft Corporation Updating metadata stored in a read-only media file
US7756388B2 (en) 2005-03-21 2010-07-13 Microsoft Corporation Media item subgroup generation from a library
US7647346B2 (en) 2005-03-29 2010-01-12 Microsoft Corporation Automatic rules-based device synchronization
US7533091B2 (en) 2005-04-06 2009-05-12 Microsoft Corporation Methods, systems, and computer-readable media for generating a suggested list of media items based upon a seed
US7647128B2 (en) * 2005-04-22 2010-01-12 Microsoft Corporation Methods, computer-readable media, and data structures for building an authoritative database of digital audio identifier elements and identifying media items
US20060242198A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Methods, computer-readable media, and data structures for building an authoritative database of digital audio identifier elements and identifying media items
US7890513B2 (en) 2005-06-20 2011-02-15 Microsoft Corporation Providing community-based media item ratings to users
US7580932B2 (en) * 2005-07-15 2009-08-25 Microsoft Corporation User interface for establishing a filtering engine
US7681238B2 (en) * 2005-08-11 2010-03-16 Microsoft Corporation Remotely accessing protected files via streaming
US7680824B2 (en) 2005-08-11 2010-03-16 Microsoft Corporation Single action media playlist generation
US7831605B2 (en) 2005-08-12 2010-11-09 Microsoft Corporation Media player service library
US20070048713A1 (en) * 2005-08-12 2007-03-01 Microsoft Corporation Media player service library
US7236559B2 (en) * 2005-08-17 2007-06-26 General Electric Company Dual energy scanning protocols for motion mitigation and material differentiation
JP4403415B2 (ja) * 2005-09-20 2010-01-27 ソニー株式会社 コンテンツ再生方法およびコンテンツ再生装置
US7685210B2 (en) * 2005-12-30 2010-03-23 Microsoft Corporation Media discovery and curation of playlists
US7559072B2 (en) * 2006-08-01 2009-07-07 Sony Corporation System and method for neighborhood optimization for content recommendation
JP2009543411A (ja) * 2006-07-04 2009-12-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツ置換の方法
EP2041900A2 (en) * 2006-07-04 2009-04-01 Koninklijke Philips Electronics N.V. Method of content substitution
US20080031491A1 (en) * 2006-08-03 2008-02-07 Honeywell International Inc. Anomaly detection in a video system
JP4835321B2 (ja) * 2006-08-21 2011-12-14 ソニー株式会社 番組提供方法、番組提供方法のプログラム、番組提供方法のプログラムを記録した記録媒体及び番組提供装置
US8224087B2 (en) * 2007-07-16 2012-07-17 Michael Bronstein Method and apparatus for video digest generation
US8442384B2 (en) * 2007-07-16 2013-05-14 Michael Bronstein Method and apparatus for video digest generation
US9110569B2 (en) 2007-08-22 2015-08-18 Linkedin Corporation Indicating a content preference
JP4717871B2 (ja) * 2007-11-06 2011-07-06 シャープ株式会社 コンテンツ視聴装置及びコンテンツ推薦方法
US8862582B2 (en) * 2007-11-15 2014-10-14 At&T Intellectual Property I, L.P. System and method of organizing images
GB2455331B (en) * 2007-12-05 2012-06-20 British Sky Broadcasting Ltd Personalised news bulletin
US9043313B2 (en) * 2008-02-28 2015-05-26 Yahoo! Inc. System and/or method for personalization of searches
US20090254533A1 (en) * 2008-04-02 2009-10-08 Garbow Zachary A Methods, Systems, and Articles of Manufacture for Distribution of Search Metadata
WO2010104927A2 (en) * 2009-03-10 2010-09-16 Viasat, Inc. Internet protocol broadcasting
US20110087676A1 (en) * 2009-10-13 2011-04-14 Hermann Geupel Communication system, server and method
US9241195B2 (en) * 2010-11-05 2016-01-19 Verizon Patent And Licensing Inc. Searching recorded or viewed content
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US9326033B2 (en) * 2011-06-17 2016-04-26 Microsoft Technology Licensing, Llc Movie discovery system
US8996650B2 (en) * 2011-08-26 2015-03-31 Accenture Global Services Limited Preparing content packages
US8812499B2 (en) 2011-11-30 2014-08-19 Nokia Corporation Method and apparatus for providing context-based obfuscation of media
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US20130268955A1 (en) * 2012-04-06 2013-10-10 Microsoft Corporation Highlighting or augmenting a media program
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US20150302088A1 (en) * 2013-03-15 2015-10-22 Yahoo! Inc. Method and System for Providing Personalized Content
US10297287B2 (en) 2013-10-21 2019-05-21 Thuuz, Inc. Dynamic media recording
CN104202640B (zh) * 2014-08-28 2016-03-30 深圳市国华识别科技开发有限公司 基于图像识别的智能电视交互控制系统和方法
US10419830B2 (en) * 2014-10-09 2019-09-17 Thuuz, Inc. Generating a customized highlight sequence depicting an event
KR20170098079A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서의 비디오 녹화 방법
US10250611B2 (en) * 2017-03-14 2019-04-02 Allstate Insurance Company Authenticating drivers
US11594028B2 (en) 2018-05-18 2023-02-28 Stats Llc Video processing for enabling sports highlights generation
US11264048B1 (en) 2018-06-05 2022-03-01 Stats Llc Audio processing for detecting occurrences of loud sound characterized by brief audio bursts
US11025985B2 (en) 2018-06-05 2021-06-01 Stats Llc Audio processing for detecting occurrences of crowd noise in sporting event television programming
GB202014075D0 (en) * 2020-09-08 2020-10-21 Taylor Andrew Content delivery system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2583386B2 (ja) * 1993-03-29 1997-02-19 日本電気株式会社 キーワード自動抽出装置
US5410344A (en) * 1993-09-22 1995-04-25 Arrowsmith Technologies, Inc. Apparatus and method of selecting video programs based on viewers' preferences
US5758257A (en) * 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US7028325B1 (en) * 1999-09-13 2006-04-11 Microsoft Corporation Annotating programs for automatic summary generation
JP2004534978A (ja) * 2000-11-16 2004-11-18 マイ ディーティービー ビデオ・プログラミング・イベントの望ましさを決定するシステムおよび方法
US7761899B2 (en) * 2001-01-23 2010-07-20 N2 Broadband, Inc. Systems and methods for packaging, distributing and managing assets in digital cable systems

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525537A (ja) * 2003-04-14 2006-11-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ コンテンツ解析を用いて音楽ビデオを要約する方法及び装置
US8577207B2 (en) 2003-08-20 2013-11-05 Sony Corporation Information signal processing apparatus and method, information signal processing system and method, and information signal playback apparatus and method
US7664376B2 (en) 2003-08-20 2010-02-16 Sony Corporation Information signal processing apparatus and method, information signal processing system and method, and information signal playback apparatus and method
KR100831531B1 (ko) * 2004-01-14 2008-05-22 미쓰비시덴키 가부시키가이샤 기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법
US9984164B2 (en) 2004-03-15 2018-05-29 Excalibur Ip, Llc Search systems and methods with integration of aggregate user annotations
JP2014078259A (ja) * 2004-03-15 2014-05-01 Yahoo Inc ユーザ注釈を一体化したサーチシステム及び方法
JP2009527831A (ja) * 2006-02-22 2009-07-30 ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング ユーザプロフィール更新方法
US9256877B2 (en) 2006-02-22 2016-02-09 Sony Deutschland Gmbh Method for updating a user profile
JP2007264764A (ja) * 2006-03-27 2007-10-11 Denso It Laboratory Inc コンテンツ選別方法
JP2009545930A (ja) * 2006-08-01 2009-12-24 ビデオプレッション リミテッド ライアビリティ カンパニー 携帯通信デバイス上でマルチメディアコンテンツを再生している間に実行されるユーザー主導の通信（ｕｓｅｒ−ｉｎｉｔａｔｅｄｃｏｍｍｕｎｉｃａｔｉｏｎｓｄｕｒｉｎｇｍｕｌｔｉｍｅｄｉａｃｏｎｔｅｎｔｐｌａｙｂａｃｋｏｎｍｏｂｉｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓｄｅｖｉｃｅ）
US8150376B2 (en) 2006-08-01 2012-04-03 Videopression Llc User-initiated communications during multimedia content playback on a mobile communications device
US8606238B2 (en) 2006-08-01 2013-12-10 Videopression Llc User-initiated communications during multimedia content playback on a mobile communications device
WO2008126775A1 (ja) * 2007-04-05 2008-10-23 Nec Corporation 情報推薦装置、情報推薦システム、情報推薦方法及び情報推薦プログラム
JP2008262572A (ja) * 2008-04-28 2008-10-30 Toshiba Corp メタデータ利用管理装置、メタデータ利用管理方法及びプログラム
JP2012510752A (ja) * 2008-11-28 2012-05-10 サムスン エレクトロニクス カンパニー リミテッド メタデータを利用するコンテンツ消費方法及びその装置
JP2010258615A (ja) * 2009-04-22 2010-11-11 Fujitsu Ltd 再生装置及びプログラム
JP2011124656A (ja) * 2009-12-08 2011-06-23 Nomura Research Institute Ltd 映像コンテンツ推奨管理装置、映像コンテンツのシーン再生指示方法及びそのプログラム
JP2010266880A (ja) * 2010-06-23 2010-11-25 Sony Corp 携帯端末装置、情報処理方法、及びプログラム
JP2017538989A (ja) * 2014-10-09 2017-12-28 スーズ，インコーポレイテッド 物語構成要素をもつハイライトショーのカスタマイズ生成
US11882345B2 (en) 2014-10-09 2024-01-23 Stats Llc Customized generation of highlights show with narrative component
US11863848B1 (en) 2014-10-09 2024-01-02 Stats Llc User interface for interaction with customized highlight shows
US11778287B2 (en) 2014-10-09 2023-10-03 Stats Llc Generating a customized highlight sequence depicting multiple events
US10873777B2 (en) 2014-12-18 2020-12-22 Sony Corporation Information processing device and information processing method to calculate score for evaluation of action
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20160150049A (ko) * 2015-06-19 2016-12-28 디즈니엔터프라이지즈,인크. 콘텐츠의 동적 시간 버전의 생성
KR102305962B1 (ko) 2015-06-19 2021-09-30 디즈니엔터프라이지즈,인크. 콘텐츠의 동적 시간 버전의 생성
JP2017017687A (ja) * 2015-06-19 2017-01-19 ディズニー エンタープライゼス インコーポレイテッド コンテンツの動的な時間バージョンの生成方法
JP2017084072A (ja) * 2015-10-27 2017-05-18 富士通株式会社 コンテンツ出力装置、方法、プログラム、コンテンツ配信装置、方法及びプログラム
JPWO2017094326A1 (ja) * 2015-11-30 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2017094326A1 (ja) * 2015-11-30 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2017163181A (ja) * 2016-03-07 2017-09-14 富士ゼロックス株式会社 動画編集装置およびプログラム
US10049701B2 (en) 2016-03-07 2018-08-14 Fuji Xerox Co., Ltd. Video editing apparatus, video editing method, and non-transitory computer readable medium
JP2017161963A (ja) * 2016-03-07 2017-09-14 富士ゼロックス株式会社 動画検索装置およびプログラム
JP2022000955A (ja) * 2016-12-09 2022-01-04 日本放送協会 シーン共有システム
JP7153115B2 (ja) 2016-12-09 2022-10-13 日本放送協会 シーン共有システム
JP2019062357A (ja) * 2017-09-26 2019-04-18 株式会社日立国際電気 ビデオサーバシステム

Also Published As

Publication number Publication date
US20020157095A1 (en) 2002-10-24
US7971217B2 (en) 2011-06-28

Similar Documents

Publication Publication Date Title
JP2002259720A (ja) コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム
US10255353B2 (en) Individualized detailed program recommendations with active updating of viewer preferences
US9148701B2 (en) Systems and methods for ranking assets relative to a group of viewers
KR102033585B1 (ko) 다수의 컨텐츠 소스로부터 토픽과 연관된 컨텐츠 아이템의 피드 생성
US8060906B2 (en) Method and apparatus for interactively retrieving content related to previous query results
JP6235556B2 (ja) コンテンツ提示方法、コンテンツ提示装置及びプログラム
JP4370850B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
US20120185482A1 (en) Methods, systems, and computer readable media for dynamically searching and presenting factually tagged media clips
US20100036839A1 (en) Apparatus, method and computer program for content recommendation and recording medium
CN1326075C (zh) 自动视频检索器精灵
JP4487018B2 (ja) 関連シーン付与装置及び関連シーン付与方法
JP2003032654A (ja) 番組関連コンテンツ生成・提示方法および番組関連コンテンツ生成・提示装置
WO2004054245A1 (ja) 情報処理装置および情報処理方法、情報処理システム、記録媒体、並びにプログラム
US11388561B2 (en) Providing a summary of media content to a communication device
US11687585B2 (en) Systems and methods for identifying a media asset from an ambiguous audio indicator
US20140317647A1 (en) Content evaluation/playback device
JP2000048046A (ja) 情報処理装置および方法、並びに記録媒体
JP2005352754A (ja) 情報ナビゲーション装置、方法、プログラム、及び記録媒体
JP2005011307A (ja) コンテンツ提供方法、コンテンツ利用者の端末およびプログラムと記録媒体
CN104427361B (zh) 电视服务系统与提供影音服务的方法
JP5008250B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP4961760B2 (ja) コンテンツ出力装置、及びコンテンツ出力方法
Masumitsu et al. Meta-data framework for constructing individualized video digest
JP2002268596A (ja) 広告提供システム及び方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040611

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041109

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041210

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20081225