JP2017525179A - 再生を介した関連するビデオコンテンツの自動特定 - Google Patents

Abstract

ビデオ番組の要約は、番組コンテンツの繰り返し部分を特定し、編集することによって自動的に生成されることができる。（スポーツイベントの放送のような）多くの番組において、イベントのうちの最も興味深い部分は、しばしば、番組の間に１回以上繰り返される。ビデオプレゼンテーションの繰り返し部分を自動的に特定することにより、テレビ放送のハイライト要約は、自動的に生成されることができる。繰り返し画像は、ビデオフレームのコンテンツを表す計量値を比較することにより自動的に特定されることができる。この技術は、視聴者によって操作されるセットトップボックス又は他のテレビ受信機内で実装されることができ、それによって、高レベルの柔軟性と利便性を提供する。【選択図】図２

Description

＜関連出願への参照＞
この出願は、２０１４年５月２９日出願の米国出願第１４／２９０、８０２号に対して優先権を主張する。

＜技術分野＞
本開示は、概して、ビデオ処理に関する。更に具体的には、以下の議論は、テレビ放送又は他のビデオプレゼンテーションの重要な部分を自動的に特定するデバイス、方法、及びシステムに関する。

セットトップボックス及び他のテレビ受信機は、現在、受動的テレビ視聴を大きく超えた特性を提供することが出来る強力なコンピューティングリソースを組み込んでいる。現在のテレビ受信機は、幾つかの例を挙げれば、タイムシフト機能（例えば、デジタルビデオレコーダ）、場所シフト機能、及び／又は、複数の同時の番組を受信するための追加のチューナをしばしば提供する。これらの新規の機能により、以前には可能とは思われなかった時間及び場所で、視聴者は、より多くの番組を視聴することが出来る。

しかし、しばしば、視聴者は、番組、映画、又は、他のビデオプレゼンテーションの全体を視聴する時間がない、又は、視聴したいと思わない。そのような場合、視聴者が、番組全体を視聴することなしに、プレゼンテーションのうちでもっとも関連する部分を楽しむことが出来るように、要約又は「ハイライトリール」を有することは便利であろう。例えば、スポーツイベントの放送は、得点イベントなどの「ビッグプレー」によって要約されることが出来るだろう。

しかし、現在、そのような要約は、プロデューサ、レポータ、又は、ニュースキャスターが、ニュースレポートなどの一部として、放送のためのビデオハイライトを手動で編集する、ニュース放送又は他のメディアソースからもっとも普通に得られる。ニュース型の要約は、便利である一方、これらは、通常、ニュースキャスターの対象のマーケットに一般的に興味深いイベントについてのみ得られる。そうでなければ、視聴者に得られる番組の大半については、要約は得られない。更に、ニュースの要約は、通常、いくらか時間が経った後利用可能なだけなので、視聴者にとってはその要約はあまり有用でなくなる。よりリアルタイムに近い形で、視聴者が得られる多数の番組について要約を有することは便利であろう。

更に、ニュース型の要約は、一般に、生成するのに非常に多くの労力を使う。１以上の人間の視聴者（例えば、プロデューサ、レポータ、又は、編集者）は、典型的には、本当に「ハイライトを当てる（ｈｉｇｌｉｇｈｔ）」部分を主観的に選ぶために、イベントそのものを見る。選択されたハイライトは、典型的には、ニュース放送などのために、手動で編集されるが、それは、しばしば時間が制限され、及び／又は、提示することが出来る「ハイライト」コンテンツの種類及び量について他の制約を有することもある。ニュース型番組の要約が得られる場合でも、これらは、時間、及び、内容において制約を持つ傾向がある。更に、これらの要約は、典型的には、単に、ハイライトコンテンツに制限され；ハイライトを当てられたイベントが発生した前後のコンテンツに視聴者がアクセスするために便利な方法はない。要約が、個々の視聴者に対して特に興味深い、或る番組について自動的に生成されることができたら、ずっと便利であろう。

したがって、ユーザにとってもっとも興味深い特定のテレビ番組、映画、又は、他のビデオプレゼンテーションの一部を自動的に特定するためのシステム、デバイス、及び、方法を生成することが望まれる。添付の図面及びこの背景技術のセクションと共に理解されると、後続の詳細な記述及び添付の請求項から、これら、及び、他の望ましい特徴及び特性が明らかになるであろう。

様々な実施形態は、テレビ放送、映画、又は、他のビデオプレゼンテーションの「ハイライトリール」又は他の要約を自動的に生成するシステム、デバイス、及び、方法を提供する。多くの番組（例えば、スポーツイベントの放送）においては、イベントのうちの最も興味深い部分は、２回以上再生される。その結果、繰り返される放送の部分は、放送のうちで、最も関連した、面白い、興奮する及び／又は重要な部分にしばしば対応する。様々な実施形態は、したがって、繰り返されるプレゼンテーションのそれらの部分を特定し、抽出することによって、テレビ放送のハイライト要約を自動的に生成することが出来る。

様々な実施形態は、テレビ受信機インタフェースと、ディスプレイインタフェースと、プロセッサとを含む、セットトップボックス又は他のテレビ受信機デバイスを提供する。テレビ受信機インタフェースは、視聴者によって選択されたテレビ番組の放送を受信するように構成される。ディスプレイインタフェースは、ディスプレイ上での視聴者への提示のためのテレビ番組を含む、ビデオ出力を提供するように構成される。プロセッサは、放送中に再生された受信テレビ放送の部分を自動特定し、放送中に再生されたテレビ番組の特定された部分をテレビ番組の要約に自動的に抽出かつ編集し、ならびに、視聴者によって選択されたテレビ番組の編集された要約を、視聴者に提示するために、ディスプレイインタフェースへ提供するように構成される。

他の実施形態は、テレビ放送の要約を生成するために、セットトップボックス又は他の処理デバイスによって実行可能な方法を提供する。この方法は、：処理デバイスにおいてテレビ放送を受信することと；テレビ放送の複数のビデオフレームのそれぞれについて、ビデオフレームのコンテンツを表す計量を計算することと；異なるビデオフレームのコンテンツを表す計量を相関付け、それによって、テレビ放送の繰り返し部分を特定することと；テレビ放送の繰り返し部分を、テレビ放送の要約として編集することと、を適切には含む。様々な実施形態においては、ハイライトを当てられたイベントの周囲で発生する、より多くのコンテンツをユーザが視聴したいときのために、全番組に関連して、ハイライトが追跡され、又は、維持されても良い。

これらの例、及び、他の実施形態、態様及び特徴が、以下に詳細に記述される。

例示的実施形態は、以後、以下の図面と共に記述され、図面においては、同様な参照番号は、同様な要素を示す。

受信された番組のハイライト要約を自動的に生成することが出来る例示的テレビ受信機のブロック図である。 ビデオプレゼンテーションにおいて再生されたコンテンツを特定するテレビ受信機又は他のコンピューティングデバイスによって実行可能な例示的プロセスの図である。 ビデオプレゼンテーションのハイライトを編集するテレビ受信機又は他のコンピューティングデバイスによって実行可能な例示的プロセスのフローチャートである。

本発明の以下の詳細な記述は、その性質上単なる例示に過ぎず、本発明、又は、本出願、及び、本発明の用途を限定することは意図しない。更に、前述の背景技術又は以下の詳細な説明に提示されるいかなる理論にも拘束される意図はない。

様々な実施形態によると、ビデオプレゼンテーションのうちの最も関連するシーンは、放送又は他のビデオプレゼンテーションの間の、そのシーンの再生を介して特定される。例えば、スポーツイベントの放送は、イベント中に発生するスコア、ペナルティ、間一髪であったところ、又は、興味深い他のシーンの「インスタント再生」又は他の繰り返し表示をしばしば含む。その結果、再生される放送の部分は、視聴者に最も興味深いシーンである傾向がある。ビデオプレゼンテーションの「ハイライトリール」又は同様な要約は、したがって、再生されたシーンのクリップを特定し、格納し、及び、編集することによって自動的に生成されることが出来る。

様々な実施形態において、ビデオフレームのピクセルデータの幾つか又は全てを表すことが出来るデジタル値又は計量を生成するために、受信された番組のビデオフレームが解析される。例えば、平均ピクセル強度は、ビデオコンテンツの繰り返し部分を特定するために、他のフレームの平均ピクセル強度と比較されることが出来る。これらの繰り返し部分は、自動的に特定され、抽出され、及び、視聴者に対する再生コンテンツの「ハイライトリール」に編集されることが出来る。

本明細書で記述する様々な技術は、ビデオ生成、テレビ放送などを含む、任意の設定において、実装されても良い。幾つかの実装は、個人の視聴者によって視聴され、受信され、及び／又は、記録される番組の要約を自動的に生成するために、セットトップボックス（ＳＴＢ）又は同様なテレビ受信機内で具現化されてもよい。例えば、家庭用テレビの視聴者は、全放送を視聴する時間をとりたいと思うか判断するために、又は、任意の他の目的で、番組のハイライトを見る１以上の番組の要約を視聴したいかもしれない。ユーザの家庭のテレビ受信機に提供される自動要約生成機能は、利便性を大きく改善することが出来、視聴者に最も重要なときに、その視聴者にとって興味深い特定の番組の、自動生成された要約を提供することによって、視聴者の視聴効率を大きく改善することが出来る。更に、様々な実施形態は、視聴者が、文脈内のハイライトを視聴し、そうでなければ、ハイライトの直前又は直後に発生する番組に容易にアクセスできるように、ＤＶＲなどに格納された、全番組コンテンツに対して、ハイライトをリンクすることが出来るだろう。等価な実施形態は、追加的、又は、代替的な特徴を提供しても良く、及び／又は、好みに応じて、任意の数の他のデバイス又は設定において実装されても良い。

図面に転じて、図１を最初に参照すると、例示的テレビ受信機システム１００は、ビデオ番組を受信し、受信された番組のビデオ要約を自動的に生成し、及び、視聴者への提示のために、ディスプレイ１１０に出力信号を提供する、セットトップボックス又は同様なビデオ受信機１０２を適切には含む。様々な実施形態においては、ビデオ受信機１０２は、従来のＳＴＢ受信機におけるように、ケーブル、直接放送衛星（ＤＢＳ）、地上波放送、又は、他のソース１１８から、放送テレビコンテンツを受信する。他の実施形態は、ビデオ・オン・デマンド（ＶＯＤ）サービス、ＩＰテレビ（ＩＰＴＶ）サービス、リモートストレージデジタルビデオレコーダ（ＲＳＤＶＲ）又は任意の他のソースなどの、ネットワークソース１１６からコンテンツを代替的に、又は、追加的に受信することが出来る。更に他の実施形態は、所望のように、デジタルビデオレコーダ１０８、外部メディアプレーヤー（例えば、ＤＶＤもしくはブルーレイプレーヤー、デジタルメディアプレーヤー、及び／又は同様なもの）又は、任意の他のソースからコンテンツを追加的に、又は、代替的に受信することが出来る。図示された例においては、テレビ受信機１０２は、受信され、処理された特定のビデオコンテンツを各視聴者が選択するように、テレビ視聴者の家、職場、又は、他の顧客の敷地内で一般に操作される、コンシューマ型デバイスである。しかし、他の実施形態は、所望のように、ビデオ生成、編集及び／又は配信環境内で実装されることが出来る。

図１に図示されるようなビデオ受信機１０２は、テレビ受信機インタフェース１０３、ディスプレイインタフェース１０７、及び、制御プロセッサ１０５を含む。様々な実施形態は、所望のように、ネットワークインタフェース１０４、デジタルビデオレコーダ（ＤＶＲ）又は同様なストレージ１０８、及び、任意の数の追加的、もしくは、別のコンポーネントを追加的に含むことが出来る。様々な実施形態においては、ビデオ受信機１０２は、ビデオフレーム識別及び比較モジュール１０６を含む。モジュール１０６は、デジタルメモリなどに格納され、及び、以下に述べるように、制御プロセッサ１０５によって実行される、ソフトウェア又はファームウェアアプリケーションとして常駐してもよい。

制御プロセッサ１０５は、あらゆる種類のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、又は、受信した命令に応答してデバイス１０２のインタフェースのそれぞれを制御し、それによって、所望のように、ディスプレイ１１０への出力を生成することが出来る他の処理ハードウェアを適切には含む。様々な実施形態においては、制御プロセッサ１０５は、以下の図２〜図３と共に記述される様々な機能を実行するための、適切な処理回路、メモリ、及び入出力インタフェースを提供する。例えば、ＶＩＸＳシステム、ＮＸＰ半導体、ブロードコム社（Ｂｒｏａｄｃｏｍ Ｃｏｒｐｏｒａｔｉｏｎ）、コネクサント社（Ｃｏｎｅｘａｎｔ Ｃｏｒｐｏｒａｔｉｏｎ）及び／又は他から購入することが出来る、様々な処理チップが、本明細書で記述するように、ビデオ処理及び他の機能を提供するために用いられることが出来る。多くの実施形態において、追加のチップ又は他の回路は、所望のように、追加の符号化、復号化、スイッチング、処理及び／又は他の機能をサポートするために提供されても良い。他の実施形態は、ネットワーク１１４上のデバイス１０２から遠隔に存在する、又は、他の場所のクラウド型プロセッサを含む、個別のプロセッサにおいて、モジュール１０６の様々な機能を実行してもよい。

テレビ受信機インタフェース１０３は、放送ソース１１８からテレビ番組信号を受信する適切なハードウェア、ソフトウェア、ファームウェア、制御ロジックなどを含む。上記したように、テレビ番組のソースは、所望のように、ケーブル、ＤＢＳ、地上波放送及び／又は他のソースを含むことが出来る。

ディスプレイインタフェース１０７は、ディスプレイ１１０上への提示のためのビデオ出力を容易にするための、適切なハードウェア、ソフトウェア、ファームウェア、制御ロジックなどを同様に提供する。ディスプレイインタフェース１０７は、所望のように、コンポーネント、コンポジット、Ｓ−ビデオ、ＨＤＭＩ、ＵＳＢ、ＬＩＧＨＴＮＩＮＧ及び／又は、任意の他のフォーマットを用いた出力を提供しても良い。

ネットワークインタフェース１０４は、ローカルエリアネットワーク又はネットワーク１１４のような、他のネットワークとの通信を容易にするための、任意の適切なハードウェア、ソフトウェア、ファームウェア、制御ロジックなどを含む。様々な実施形態において、ネットワークインタフェース１０４は、顧客の家内で動作するローカルエリアネットワークに物理的に接続することが出来る、従来のＥＴＨＥＲＮＥＴ（ＩＥＥＥ８０２．３）である。等価な実施形態は、ＷＩ−ＦＩ（ＩＥＥＥ８０２．１１）インタフェースなどの無線インタフェースを用いて、ネットワークインタフェース１０４を実装しても良い。ネットワークインタフェース１０４は、例えば、ネットワーク１１４上のコンテンツソース１１６との通信を容易にしても良い。

動作中、受信機デバイス１０２は、デバイス１０２において受信されたビデオ番組のビデオフレーム１１５のための計量データを計算する処理モジュール１０６を適切に実行する。様々なフレームに関連した計量は、相互相関され、又は、ビデオ画像の繰り返しフレームを特定するために、評価される。これらのフレームは、今度は、抽出され、又は、ビデオ番組の要約として、視聴者に提示されることが出来る。

図２に移ると、テレビ番組、又は、他のビデオプレゼンテーション内の繰り返しビデオコンテンツを特定するための例示的プロセス２００は、プレゼンテーションのうちの２以上のビデオフレーム１１５Ａ−Ｎ（それぞれ）について、数値的な計量２０５Ａ−Ｎを生成することと、それから、同様な計量２０５を有する他のフレーム１１５について、相関検索（機能２１０）を実行することと、を適切には含む。図２に示される様々な機能は、プロセッサ１０５によって実行されるソフトウェアなどのビデオ受信機１０２内に常駐するソフトウェア又はファームウェアによって実行されてもよい。他の実施形態は、他の種類のハードウェア、ソフトウェア、ファームウェア、及び／又は、任意のデバイス及び／又は任意の環境において実行する他のプログラマブルロジックを用いて、プロセス２００を実装することが出来る。

ビデオフレーム１１５Ａ−Ｎは、任意の方法で、受信された番組の画像から選択されても良い。様々な実施形態において、様々なフレーム１１５Ａ−Ｎは、所望のように、毎秒、数秒毎、又は、１秒の何分の１か毎など、任意の規則的又は不規則な時間スキームに基づいた処理のために選択される。他の実施形態は、フレームの符号化（例えば、ＭＰＥＧｉ−フレームをｐ−フレーム及びｂ−フレームより優先する）、又はフレーム自対の間隔（例えば、Ｎをフレームの整数番号として、Ｎフレームごとに解析する）に基づいた解析のためにフレーム１１５を選択しても良い。他の実施形態は、評価された、又は測定された以前のフレームとの差異（例えば、新規のシーンを表す可能性の最も高いフレームは、以前のシーンとより似ているフレームに対し優先されることが出来る）に基づいた解析のためにフレーム１１５を選択しても良い。他のフレーム選択技術を用いても良く、任意の数のフレーム１１５Ａ−Ｎが、処理のために選択されても良い。考慮されるフレーム１１５の数を増加することは、デバイス１０２の追加の処理リソースを消費するが、結果の精度を改善するかもしれない。特定の選択周波数は、したがって、利用可能な処理能力と望まれる精度のレベルに依存するだろう。

様々なフレーム１１５Ａ−Ｎについての計量２０５Ａ−Ｎは、任意の方法で計算されても良い（機能２０２）。この結果、計量２０５は、ビデオフレーム１１５の基礎のコンテンツの任意の数値的表現である。様々な種類の計量２０５は、ビデオフレーム１１５においてレンダリングされるピクセルに関連した数値に基づいて定式化されても良い。ピクセル値の例は、必要に応じて、輝度（「ｌｕｍａ」）及び／又は色差（「ｃｈｒｏｍａ」）値を含むことが出来る。幾つかの実施形態は、処理リソースを節約するため、及び／又は、間違った結果を与える可能性の高い画像の一部を排除するため、画像に含まれるピクセルの全集合ではなく、むしろ、利用可能なピクセル値の部分集合のみを考慮しても良い。番組の放送が、「ｔｉｃｋｅｒ」という情報、チャネル識別「ｂｕｇ」、及び／又は、他のフレームとの比較に影響を与えるだろう他の画像を提供することが知られているなら、間違った画像を含むピクセルは、所望のように、更なる処理から排除しても良い。等価な実施形態は、所望のように、ピクセル値と異なる、又は、ピクセル値に追加して、他の種類の画像データを考慮しても良い。

各フレーム１１５Ａ−Ｎを表すのに用いられる特定の計量２０５は、任意の適切な方法で計算されても良い。理想的には、各計量２０５Ａ−Ｎは、同一の画像の再生を識別するために用いられることが出来る関連するビデオフレーム１１５Ａ−Ｎ（それぞれ）の基礎のビデオ画像の相対的に一意的な数値識別を提供する。様々な実施形態は、例えば、各フレーム１１５Ａ−Ｎについて、相対的に一意的な計量２０５Ａ−Ｎを生成するために、ハッシュ、ダイジェスト、チェックサムなどの一方向機能を用いることが出来る。他の実施形態は、フレーム１１５の基礎の画像を表すために、２以上のピクセル値の平均を単純に計算することが出来る。例えば、単純に、フレーム１１５内のピクセルの平均輝度である計量２０５は、多くの応用において、十分一意的に、各フレーム１１５を識別することが出来る。計量２０５に対して適切な値を生成するために用いられることが出来る他の機能は、デジタル暗号化（例えば、ダイジェスト、又は、ハッシュアルゴリズム）、統計（例えば、平均／中央値／最頻値／偏差アルゴリズム）及び／又は、必要に応じて、他の分野から導出されることが出来る。各計量２０５の解像度（例えば、各計量値に対する有効桁数の数）は、利用可能な処理リソースと、望まれる一意性のレベルによって決定され；追加の解像度は、追加的な処理リソースの消費と引き換えに、計量２０５に対してより一意的な値を提供するだろう。

各ビデオフレーム１１５Ａ−Ｎについて計算された計量値２０５Ａ−Ｎは、所望のように、後続の処理のために、テーブル又は他のデータ構造２０４内に格納されることが出来る。関連するフレームが、後続の処理において識別されることができるように、図２に示されるテーブル２０４は、各値２０５Ａ−Ｎに関連したフレーム１１５Ａ−Ｎの識別子と共に、各フレームについて計算された計量値２０５を含む。識別子は、解析されたフレームを符号化するＭＰＥＧデータから、又は、任意の他のソースから抽出された、任意の識別子又はスタンプなどの、フレーム識別子又はタイムスタンプとしてもよい。テーブル２０４は、プロセッサ１０５が利用可能なメモリ又は他のストレージ内に格納されても良い。幾つかの実装においては、全ビデオ番組について、計量値２０５のすべてを格納する必要はないかもしれない。例えば、再生は、相互に数分以内に発生すると仮定する場合、テーブル２０４は、関連する解析時間ウィンドウ内で計算されるそれらの値を含むだけでよい。

計量２０５Ａ−Ｎが、複数のビデオフレーム１１５Ａ−Ｎに対して取得された後、それから、様々な計量２０５Ａ−Ｎが、繰り返されたビデオフレーム１１５Ａ−Ｎを識別するために、相互に比較されることができる（機能２１０、２１２）。この比較は、所望のように、フレームごとの比較、又は、ビデオフレームのシーケンスを考慮する統計相互相関解析としてもよい。フレームごとの解析においては、２つの計量２０５Ａ−Ｎの差が、適切な閾値ほどは異ならない場合に、一致２１２が識別されてもよい。特定の閾値は、計量値２０５の解像度及び望まれる精度のレベルに依存するだろう。一般的に言って、閾値がより大きくなると、より包括的である（例えば、より多くの一致を見つける）傾向があるが、誤った検出の可能性も増加するだろう。閾値がより小さくなると、より誤った結果を除外する傾向があるだろうが、ビデオフレーム１１５Ａ−Ｎ間のわずかな差をあまり許容しないだろう。比較されるフレームが完全に同一ではなくても、一致２１２が識別される可能性があることと；再生される番組のセグメントは、殆どの番組画像が繰り返されるとしても、わずかに異なるだろう（例えば、異なるテキストオーバレイ、コメンテータ編集など）ことに注意されたい。閾値は、したがって、繰り返しビデオフレーム１１５Ａ−Ｎから導出される計量値２０５Ａ−Ｎにおける少なくともいくらかの偏差を調整するように選択されてもよい。

更なる実施形態は、追加的に、又は、代替的に、相互にシーケンシャルな計量値２０５の列を比較しても良い。つまり、特定のビデオフレーム１１５が、一致２１２にトリガーを掛けなくても、フレーム１１５のシーケンスは、類似性を識別するために、同一の番組からのフレーム１１５の他のシーケンスに対して、相互相関付けされても良い。様々なシーケンスの長さは、処理能力及び望ましい精度に基づいて決定されることができ、より短いシーケンス長は、一般に、より多くの一致を示すと予想されるが、潜在的により多くの間違いを含むだろう。様々な相互相関技術は、所望のように、線形回帰、一次又は二次微分解析、統計解析及び／又は、他の数学的技術を利用する。

図３は、テレビ視聴者によって選択される番組のビデオ要約を自動的に生成するために、テレビ受信機１０２又は他のビデオ処理デバイス内に実装されることができる例示的プロセス３００のフローチャートを図示する。様々な機能３０１−３１４は、例えば、図１に図示されるデバイス１０２内のプロセッサ１０５及び／又は他のコンピューティングハードウェアによって実行されるソフトウェア又はファームウェアの指示の下に実行さてもよい。他の実施形態は、所望のように、他のハードウェア、ソフトウェア、ファームウェア、又は、他のプログラムされたロジックを用いて、図３に示される機能の幾つか又はすべてを実装してもよい。

上記したように、解析される番組は、任意のソースから受信されても良い（機能３０２）。テレビ受信機１０２内に実装される実施形態において、解析される番組は、典型的には、電子番組ガイド（ＥＰＧ）、チャネルセレクタ、又は、他の従来の番組セレクタを用いる視聴者によって選択される番組であろう。解析された番組は、テレビ受信機１０３によって受信された放送テレビ番組、ネットワークソース１１６から受信されるストリーミングメディア、ＤＶＲ１０８もしくは他のソースからの格納メディア、又は、所望の、任意の他の番組としてもよい。

選択された番組のビデオフレーム１１５の幾つか又は全てについての数値的計量１０５は、必要に応じて、計算され、格納される（機能３０４）。上記したように、解析されたフレーム１１５は、所望のように、任意の時間的、空間的、又は他の基準に基づいて、選択されても良く、番組コンテンツを形成する全フレーム１１５のうちの任意のパーセンテージを含んでも良い。計量１０５は、上記したように、任意のアルゴリズム又は技術によって計算されても良く、更なる処理のために、メモリ又は他のストレージ内に、テーブル２０４又は他のデータ構造として格納されても良い。

一致するビデオフレーム１１５は、機能３０４で計算される計量２０５を用いて、任意の方法で識別されても良い（機能３０６）。各計量２０５は、１つのビデオフレーム１１５において、ピクセル画像を数値的に表すので、同一のアルゴリズムによって計算された計量２０５は、類似の画像を提示するフレームを識別するために、相互に比較されることができる。上記したように、計量２０５は、異なるフレーム１１５に関連した他の計量２０５と個別に比較されても良く、及び／又は、計量２０５のシーケンシャルな列は、繰り返しビデオ画像を識別するために、他の列と比較されても良い。

一致が検出されると（機能３０８）、それから、一致が、ビデオ要約機能の一部であり得る繰り返しビデオシーケンスの一部であるか否かを判定するために、更なる評価が発生する。このために、追加的処理が、ビデオクリップの最初と最後を識別するために実行される（機能３１０）。典型的には、繰り返しビデオシーケンスは、同様な計量２０５を有する一連のフレーム１１５によって識別される。様々な実施形態において、追加的なフレーム一致が容易に識別されるように、計量値２０５における差異を評価するために用いられる閾値は、最初の一致フレーム１１５が発見されたときに、わずかに緩められても良い。一致するビデオ部分の開始点と終了点は、テーブル２０４内の識別子を用いて、追跡されることができる。幾つかの実施形態において、一致するフレーム１１５が、必要に応じて、更なる処理のために、フラグ付けされることができるように、テーブル２０４は、追加的なデータフィールドを含む。他の実施形態は、所望のように、繰り返しフレームシーケンスを追跡する新規のテーブル又は他の構造を生成しても良い。様々な実施形態において、特定のシーケンスが繰り返される回数を追跡するのは便利であろうし；例えば、２回以上繰り返されるシーケンスは、少しだけ繰り返されるシーケンスに対し、ビデオ要約において優先性を与えられても良い。

繰り返されるビデオのクリップは、任意の方法での更なる処理のために、タグ付けされ、抽出され、又は、識別されることができる（機能３１２）。様々な実施形態において、繰り返されるビデオフレーム１１５は、更なる処理のために、テーブル２０４において、単純に、フラグ付けされるか、又は、識別される。つまり、抽出されるクリップに含まれるべきフレーム１１５は、ＤＶＲ１０８に格納される番組内から続いて再生されるために単純に識別されても良い。他の実施形態は、格納される番組よりも長さが短いハイライトビデオを生成するために、所望のように、ＤＶＲ１０８、又は、デバイス１０２内の他のストレージ内に格納されるべき、新規のビデオファイルに復号化されたフレーム１１５をコピーすることができる。フレーム１１５は、任意の他の方法での更なる処理のために、タグ付けされ、抽出され、又は、識別されても良い。

再生されたコンテンツは、番組の長さに渡って識別される（機能３１４）。図３の例は、機能３１４から機能３０６に戻る処理を示しているが、番組が放送ソースから受信され、又は、ＤＶＲなどから検索されると、解析が実施されることを示すために、等価な実施形態は、機能３０２又は３０４へ戻ることができる。この結果、放送番組の受信もしくは再生中、格納された番組の再生中の任意のときに、番組がＤＶＲもしくは他の場所に格納される間、又は、任意の他のときに、再生されるコンテンツの識別（機能３０４−３１４）が実行されてもよい。幾つかの実装において、記録された番組は、評価されても良く、ビデオ要約は、デバイス１０２が、夜間などの相対的にアイドル状態である間に編集されても良い。

ビデオ要約は、任意の方法で、識別されたクリップから編集されても良い（機能３１６）。上記されたように、繰り返しビデオフレーム１１５は、ＤＶＲ１０８から再生するためにタグ付けされても良く、又は、オリジナルの番組の新規のビデオ要約を生成するために処理されても良い。他の実施形態は、再生のときに、オリジナルの番組自体の格納されたコピーから、識別されたビデオセグメントを抽出可能であっても良い。更に他の実施形態は、受信された番組の要約を生成するために、ＳＴＢ又は他のテレビ受信機内の動作していないチューナを用いることができる。視聴者が、基礎の番組を録画し、又は、視聴する意図がない場合にも、例えば、スポーツファンは、複数のチャネルで受信されるスポーツ番組のハイライトを受信し、要約するために動作していないチューナを用いることができる。この結果、任意の数のチャネル上の複数の番組放送のハイライトは、今日の（又は、今週の）スポーツ番組の単一の「ハイライトリール」に組み合わされることができる。特定の番組（例えば、あるスポーツ、あるチーム、ある選手など）は、ＥＰＧデータに基づいて、要約に含めるか、又は、要約から排除するために、隔離されることができ、ＥＰＧデータは、視聴者に潜在的に興味深い受信され、要約されることができる番組を受信機１０２が特定することを可能とする。要約は、また、複数の番組又は複数のチャネルにおいて特定される繰り返し画像に基づいて、生成されても良い。特定のクリップが、例えば、複数のチャネルで、多数回再実行される場合、自動的に生成される要約に含めることは、特に関心のあることであり得る。他の実施形態は、追加的なフィーチャを提供し、及び／又は、所望のように、任意の他の方法で操作することができる。

編集された要約は、任意の方法で、視聴者に提示されても良く；幾つかの実装においては、番組をＤＶＲメニューで見ているとき、視聴者が「ビューサマリ」オプションなどを選択することが可能であるように、要約は、基礎の番組と共に、ＤＶＲ番組リスト内に提供される。他の実施形態は、ディスプレイインタフェース１０７などを用いて、任意の他の方法で、視聴者に提示されるように、編集された要約ビデオを配布してもよい。他の実施形態は、ネットワークインタフェース１０４を介して、視聴者のコンピュータ、電話、タブレット、又は他のデバイスに、要約ビデオをプレイスシフトすることができる。

プロセス３００は、任意の方法で、補充、又は、拡張されても良い。様々な実施形態において、ビデオ要約は、繰り返しクリップの長さを制限するように、要約の全体の長さを制限するように、要約におけるクリップの数を制限するように、又は、任意の他の方法で構成可能とされてもよい。検索パラメータは、また、受信番組の一部のみが、再生のために検索されるように、構成可能とされてもよい（例えば、コンテンツのうちの数分のみが検索される）。しかし、他の実施形態は、所望のように、番組のプロデューサによって特定され、再生されるハイライトされたコンテンツを録画する目的で、番組内の任意の場所で発生する再生を識別可能である。番組コンテンツが、例えば、ハーフタイム時、又は、アクションの他の中断時にハイライトを含むならば、これらの繰り返しビデオフレームは、所望のように、認識され、自動で生成されるハイライト要約に追加されることができる。

更に別の実施形態は、視聴者が、識別されたハイライトの直前もしくは直後に発生する番組を便利に視聴する、又は、識別されたハイライトの時点から格納された番組の視聴を開始することを可能とすることによって、自動ハイライト特性を強化することができる。例えば、テーブル２０４内の情報は、再生の開始点を容易に特定でき、又は、ＤＶＲ１０８もしくは他所に格納される、前の、及び／もしくは、後のフレームと、ハイライトクリップのフレーム１１５とを少なくとも相関付けることができる。そのような実施形態は、したがって、視聴者が、ハイライトクリップを視聴することを可能とすることができ、視聴者からの更なる入力時に、ハイライトされたイベントが発生した時点から格納された番組の視聴を続けることを可能とすることができる。つまり、ハイライトクリップは、ＤＶＲ１０８に格納された番組を視聴するために「開始点」を提供することが出来、それによって、視聴者に非常に便利な支援を提供することができる。

したがって、様々な実施形態は、ユーザが選択したテレビ番組又は他のビデオ番組の要約を自動的に生成するためのシステム、デバイス、及び、方法／プロセスを提供する。計算された計量に基づく繰り返し番組画像の識別、及び、自動的にビデオ要約を編集するときの繰り返しの使用などの、本明細書で記述した一般的概念は、コンテンツ生成、編集、配布、放送などに容易に適用されるだろう。

語句「例示的」は、本明細書では、任意の数の等価な代替形態を有するだろう一例、インスタンス、又は、図解を表すために用いられる。「例示的」として本明細書に記述される任意の実装は、他の可能な実装に対し、好適、又は、利点があるとして、必ずしも解釈される必要はない。幾つかの例示的実施形態が、上記詳細な説明に提示されたが、多くの代替形態であるものの等価な変形例が存在し、本明細書で提示した例は、いかなる方法においても、本発明の範囲、適用性、又は、構成を限定することは意図しないことは理解されるべきである。これとは逆に、請求項とその法的均等物の範囲を逸脱することなく、記述された機能及び要素の配置に対して、様々な変更がなされても良い。

Claims (20)

1. 視聴者によって選択されるテレビ番組の放送を受信するように構成されたテレビ受信機インタフェースと、
   ディスプレイ上で、前記視聴者に提示するための前記テレビ番組を含むビデオ出力を提供するように構成されたディスプレイインタフェースと、
   前記放送の間再生される、前記受信されたテレビ放送の一部を自動的に特定し、前記放送の間に再生される前記テレビ番組の前記特定された部分を、前記テレビ番組の要約に自動的に編集し、前記視聴者によって選択された前記テレビ番組の前記編集された要約を、前記視聴者への提示のために前記ディスプレイインタフェースへ提供するように構成されたプロセッサと、
   を備えるテレビ受信機デバイス。
2. 前記プロセッサは、前記テレビ放送における複数のビデオフレームのそれぞれに対して、前記ビデオフレームの前記コンテンツを表す計量を生成し、前記複数のビデオフレームの複数のものについて生成された前記計量を相互相関付け、それによって、相互の実質的な複製であるビデオフレームを特定することにより、前記テレビ放送の前記再生部分を自動的に特定する、請求項１に記載のテレビ受信機デバイス。
3. 前記計量は、前記ビデオフレームにおける少なくとも幾つかのビデオピクセルに関連した、輝度値の関数である、請求項２に記載のテレビ受信機デバイス。
4. 前記計量は、前記ビデオフレームにおける少なくとも幾つかのビデオピクセルに関連した、色差値の関数である、請求項２に記載のテレビ受信機デバイス。
5. 前記相互相関付けることは、前記テレビ放送の再生部分の開始と終了を特定することを含む、請求項２に記載のテレビ受信機デバイス。
6. 前記テレビ番組の前記放送を格納するように構成されたデジタルビデオレコーダを更に備え、前記プロセッサは、前記デジタルビデオレコーダに格納される前記受信されたテレビ放送のビデオフレームを解析することによって、再生される前記受信されたテレビ放送の前記部分を自動的に特定する、請求項１に記載のテレビ受信機デバイス。
7. 前記プロセッサは、前記解析されたビデオフレームのそれぞれについて、前記ビデオフレームの前記コンテンツを一意的に特定する計量を生成し、前記解析されたビデオフレームについて生成された前記計量を相互相関付け、それによって、相互の実質的な複製のビデオフレームを特定することにより、前記テレビ放送の前記再生された部分を自動的に特定する、請求項６に記載のテレビ受信機デバイス。
8. 前記編集された要約を前記ディスプレイインタフェースに提供する前に、前記デジタルビデオレコーダにおいて、前記視聴者によって選択された前記テレビ番組の前記編集された要約を格納するように、前記プロセッサが構成される、請求項７に記載のテレビ受信機。
9. 前記視聴者からの入力に応答して、前記デジタルビデオレコーダに格納された前記放送番組のバージョンが、前記テレビ放送の前記特定された部分から始まる時間点からの視聴のためにレンダリングされるように、前記デジタルビデオレコーダに格納される前記放送番組の前記バージョンへ、前記テレビ放送の前記特定された部分をリンクするように、前記プロセッサが更に構成される、請求項６に記載のテレビ受信機。
10. 前記編集された要約が、前記テレビ番組より短い期間を有するように、前記テレビ番組の前記編集された要約は、前記放送中に再生される前記テレビ番組の前記特定された部分のみを含む、請求項１に記載のテレビ受信機。
11. テレビ放送の要約を生成するために処理デバイスによって実行可能な方法であって、
    前記処理デバイスにおいて前記テレビ放送を受信することと、
    前記テレビ放送の複数のビデオフレームのそれぞれについて、前記ビデオフレームの前記コンテンツを表す計量を計算することであって、前記計算することは、前記処理デバイスによって実行される、ことと、
    前記処理デバイスによって、異なるビデオフレームの前記コンテンツを表す前記計量を相関付け、それによって、前記テレビ放送の繰り返し部分を自動的に特定する、ことと、
    前記処理デバイスによって、前記テレビ放送の前記繰り返し部分を、前記テレビ放送の前記要約として、編集することと、
    を含む方法。
12. 前記計量は、前記ビデオフレームにおける少なくとも幾つかのビデオピクセルに関連した輝度レベルの関数である、請求項１１に記載の方法。
13. 前記計量は、前記ビデオフレームにおける少なくとも幾つかのビデオピクセルに関連した色差の関数である、請求項１１に記載の方法。
14. 前記計量は、前記ビデオフレームにおける前記ビデオピクセルの部分集合にのみ関連する値の関数である、請求項１１に記載の方法。
15. ある期間に発生するビデオフレームのみが、前記テレビ放送の前記繰り返し部分を特定するために評価されるように、前記相関付けることは、時間的に制限される、請求項１１に記載の方法。
16. 前記計量は、前記ビデオフレーム内の少なくとも幾つかのビデオピクセルに関連した、輝度レベルの平均である、請求項１５に記載の方法。
17. 前記計量は、前記ビデオフレーム内の少なくとも幾つかのビデオピクセルに関連した輝度レベルの関数である、請求項１１に記載の方法。
18. 前記計量に基づいて、前記テレビ放送の前記繰り返し部分の開始と終了を特定すること、を更に含む、請求項１１に記載の方法。
19. 前記テレビ放送は、前記テレビ放送の視聴者によって選択されるが、前記計算すること、相関付けること、及び、編集することは、前記視聴者からの入力なしに、前記処理デバイスによって自動的に実行される、請求項１１に記載の方法。
20. 前記編集された要約が、前記テレビ放送より短い期間を有するように、前記テレビ番組の前記編集された要約は、前記放送の間、再生される前記テレビ放送の前記特定された部分のみを含む、請求項１１に記載の方法。