JP2012142784A - 類似映像フレーム抽出方法、及び類似映像フレーム表示方法、そのような方法を用いる類似映像フレーム抽出装置、及び類似映像フレーム抽出プログラム - Google Patents

Abstract

【課題】それぞれの映像フレーム列に含まれる類似映像フレームを抽出し、表示する、類似映像フレーム抽出方法を提供することを目的とする。
【解決手段】第１映像フレーム列(41)のそれぞれの画像と、異なる放送事業者から提供された第２映像フレーム列(42)をサンプリング周期の異なる２段階の照合処理によりそれぞれの画像とを照合して、第２照合映像フレーム(47)を特定することと、第２照合映像フレームから類似映像フレーム列(49)を抽出することとを有することを特徴とする。さらに、互いに類似する類似映像フレームを関係付けて、類似映像フレーム束を形成し、類似映像フレーム束を構成する類似映像フレームを提供した放送事業者の数を計数し、計数した放送事業者数に応じて映像フレームのフレームサイズを決定し、類似映像フレーム束を構成する映像フレームの１つを、決定されたフレームサイズで表示部に表示する。
【選択図】図２

Description

本発明は、類似映像フレーム抽出方法、及び類似映像フレーム表示方法、そのような方法を用いる類似映像フレーム抽出装置、及び類似映像フレーム抽出プログラムに関する。より詳細には、それぞれ異なる複数の放送事業者から提供される少なくとも２つの映像フレーム列から互いに類似する類似映像フレームを抽出する類似映像フレーム抽出方法、及び類似映像フレーム表示方法、そのような方法を用いる類似映像フレーム抽出装置、及び類似映像フレーム抽出プログラムに関する。

今日、コンピュータが有する記憶装置、及びテレビ受像機とともに使用される記憶装置の記憶容量が増大するに伴い、保存記録した映像を閲覧し、利用するための労力が急激に増大している。このため、記憶装置に記憶された膨大な放送プログラムから、必要な放送プログラムを検索する種々の方法が提案されている。例えば、非特許文献１では、準同一映像区間（near duplicate video segments、ＮＤＶＳ）を検出して、放送プログラムを分析する手法が提案されている。

一方、放送事業者が放送するテレビ放送プログラムの１つであるニュースプログラムは、日々の生活の中で、重要かつ主要な情報源の１つである。このため、記憶装置に記憶された放送プログラムから、提供する放送事業者が異なるニュースプログラムに含まれるニュース記事の内容を照合する方法が提案される。非特許文献２において、ニュースプログラムの映像フレームに表示される人物の顔情報などの映像情報と、音声認識技術（automatic speech recognition、ＡＳＲ）により取得される音声情報とに基づいて、ニュース記事を照合する手法が開示される。非特許文献２で開示される手法では、ニュースプログラムの司会者の映像情報を検出し、ニュースプログラムの司会者が話す音声情報を使用して、ソースが異なるニュースプログラムに含まれるニュース記事の切り分けをして、それぞれのニュース記事の内容を照合する。

Ichiro Ide, Yuji Shamoto, Daisuke Deguchi, Tomokazu Takahashi, Hiroshi Murase, "Classification of Near-Duplicate Video Segments Based on Their Appearance Patterns," 20th International Conference on Pattern Recognition, pp. 3129-3133, 2010 Yun Zhai, Mubarak Shah, "Tracking News Stories Across Different Sources" in proceedings of ACM Multimedia 2005, pp.2-10.ACM, New York, 2005

しかしながら、非特許文献２で開示される手法では、ニュースプログラムに含まれるニュース記事を切り分けてニュース記事の内容を照合するため、ニュース記事の境界、及び内容を判定する複雑な処理によりニュースプログラムを分析する必要があった。このため、記憶されたニュースプログラムの量が増大すると、分析のための計算処理量が増大するという不具合があった。

そこで、本発明は、上述した不具合を解決することが可能な類似映像フレーム抽出方法及び類似映像フレーム表示方法を提供することを目的とする。

また、本発明は、それぞれ異なる複数の放送事業者から提供される少なくとも２つの映像フレーム列の間で、２段階の照合処理を実行することにより、それぞれの映像フレーム列に含まれる類似映像フレームを抽出する類似映像フレーム抽出方法を提供することを目的とする。

本発明に係る類似映像フレーム抽出方法は、プロセッサ及びインタフェイスを含む処理装置において類似映像フレームを抽出する抽出方法であって、プロセッサは、インタフェイスを利用して第１映像フレーム列及び第１映像フレーム列とは異なる第２映像フレーム列とを受信し、第１映像フレーム列に含まれるそれぞれの映像フレームと、第２映像フレーム列に含まれる全ての映像フレームを第１サンプリング周期でサンプリングした映像フレームとを照合して、類似する画像を有する映像フレームを第２映像フレーム列から抽出して複数の第１照合映像フレームを特定し、第１映像フレーム列において、第１照合映像フレームに対応した映像フレームを含み且つ第１サンプリング周期内に位置する全ての映像フレームを含む第１映像フレーム群を特定し、第２映像フレーム列において、第１照合映像フレームを含み且つ第１サンプリング周期内に位置する全ての映像フレームを、第１サンプリング周期より短い第２サンプリング周期でサンプリングした全ての映像フレームを含む第２映像フレーム群を特定し、第１映像フレーム群のそれぞれの映像フレームと、第２映像フレーム群に含まれる全ての映像フレームとを照合して、類似する画像を有する映像フレームを第２映像フレーム群から抽出して複数の第２照合映像フレームを特定し、複数の第２照合映像フレームを時系列に配置して、時系列上の配置が近接する複数の第２照合映像フレーム列を形成し、複数の第２照合映像フレーム列のそれぞれのフレーム列長を決定し、決定されたフレーム列長が所定のフレーム列長とほぼ同一な第２照合映像フレーム列を削除することによって、第２映像フレーム群から類似映像フレーム列を特定する、ステップを有することを特徴とする。

更に、本発明に係る類似映像フレーム抽出方法では、プロセッサは、類似映像フレーム列に含まれる映像フレームを類似映像フレームとして抽出し、抽出された類似映像フレームを表示部に表示する、ステップを更に有することが好ましい。

更に、本発明に係る類似映像フレーム抽出方法では、第１映像フレーム列と、第２映像フレーム列とは、提供される放送事業者が異なることが好ましい。

更に、本発明に係る類似映像フレーム抽出方法では、プロセッサは、第１映像フレーム列、及び第２映像フレーム列のショット境界検出を実行する、ステップを更に有することが好ましい。

更に、本発明に係る類似映像フレーム抽出方法では、第１映像フレーム列、及び第２映像フレーム列は、テレビコマーシャルを含むニュースプログラムを構成し、所定のフレーム列長は、テレビコマーシャルを構成する映像フレーム列のフレーム列長に応じて決定されることが好ましい。

更に、本発明に係る類似映像フレーム抽出方法では、それぞれ異なる複数の放送事業者から提供される少なくとも３つの映像フレーム列それぞれから類似映像フレーム列を抽出するときに、プロセッサは、互いに類似する類似映像フレームそれぞれを関係付けて、類似映像フレーム束を形成し、類似映像フレーム束を構成する類似映像フレームを提供した放送事業者の数を計数し、計数した放送事業者数に応じて映像フレームのフレームサイズを決定する、ステップを更に有することが好ましい。

更に、本発明に係る類似映像フレーム抽出方法では、プロセッサは、類似映像フレーム束を構成する映像フレームの１つを、決定されたフレームサイズで表示部に表示する、ステップを更に有することが好ましい。

また、本発明に係る類似映像フレーム抽出装置は、第１映像フレーム列及び第１映像フレーム列とは異なる第２映像フレーム列とを受信するインタフェイスと、インタフェイスを利用して第１映像フレーム列及び第１映像フレーム列とは異なる第２映像フレーム列とを受信し、第１映像フレーム列に含まれるそれぞれの映像フレームと、第２映像フレーム列に含まれる全ての映像フレームを第１サンプリング周期でサンプリングした映像フレームとを照合して、類似する画像を有する映像フレームを第２映像フレーム列から抽出して複数の第１照合映像フレームを特定し、第１映像フレーム列において、第１照合映像フレームに対応した映像フレームを含み且つ第１サンプリング周期内に位置する全ての映像フレームを含む第１映像フレーム群を特定し、第２映像フレーム列において、第１照合映像フレームを含み且つ第１サンプリング周期内に位置する全ての映像フレームを、第１サンプリング周期より短い第２サンプリング周期でサンプリングした全ての映像フレームを含む第２映像フレーム群を特定し、第１映像フレーム群のそれぞれの映像フレームと、第２映像フレーム群に含まれる全ての映像フレームとを照合して、類似する画像を有する映像フレームを第２映像フレーム群から抽出して複数の第２照合映像フレームを特定し、複数の第２照合映像フレームを時系列に配置して、時系列上の配置が近接する複数の第２照合映像フレーム列を形成し、複数の第２照合映像フレーム列のそれぞれのフレーム列長を決定し、決定されたフレーム列長が所定のフレーム列長とほぼ同一な第２照合映像フレーム列を削除することによって、第２映像フレーム群から類似映像フレーム列を特定する、ステップを有する演算処理を実行するプロセッサと、を有することを特徴とする。

更にまた、本発明に係る類似映像フレーム抽出プログラムは、インタフェイスを利用して第１映像フレーム列及び第１映像フレーム列とは異なる第２映像フレーム列とを受信し、第１映像フレーム列に含まれるそれぞれの映像フレームと、第２映像フレーム列に含まれる全ての映像フレームを第１サンプリング周期でサンプリングした映像フレームとを照合して、類似する画像を有する映像フレームを第２映像フレーム列から抽出して複数の第１照合映像フレームを特定し、第１映像フレーム列において、第１照合映像フレームに対応した映像フレームを含み且つ第１サンプリング周期内に位置する全ての映像フレームを含む第１映像フレーム群を特定し、第２映像フレーム列において、第１照合映像フレームを含み且つ第１サンプリング周期内に位置する全ての映像フレームを、第１サンプリング周期より短い第２サンプリング周期でサンプリングした全ての映像フレームを含む第２映像フレーム群を特定し、第１映像フレーム群のそれぞれの映像フレームと、第２映像フレーム群に含まれる全ての映像フレームとを照合して、類似する画像を有する映像フレームを第２映像フレーム群から抽出して複数の第２照合映像フレームを特定し、複数の第２照合映像フレームを時系列に配置して、時系列上の配置が近接する複数の第２照合映像フレーム列を形成し、複数の第２照合映像フレーム列のそれぞれのフレーム列長を決定し、決定されたフレーム列長が所定のフレーム列長とほぼ同一な第２照合映像フレーム列を削除することによって、第２映像フレーム群から類似映像フレーム列を特定する、ステップをプロセッサに実行させることを特徴とする。

本発明に係る類似映像フレーム抽出方法では、それぞれ異なる複数の放送事業者から提供される少なくとも２つの映像フレーム列の間で、２段階の照合処理を実行することにより、それぞれの映像フレーム列に含まれる類似映像フレームを抽出するので、放送プログラムの内容を照合することなく、適切な映像フレームを抽出することが可能となり、計算処理量が削減された。

本発明に係る類似映像フレーム抽出装置の第１の実施形態を示す図である。 ２段階照合処理のフローを示す図である。 ２段階照合処理を概略的に示す図である。 図１に示す類似映像フレーム抽出装置の動作フローを示す図である。 第１照合映像フレームを抽出する処理を概略的に示す図である。 第２照合映像フレームを抽出する処理を概略的に示す図である。 類似映像フレーム列の一例を示す図である。 類似映像フレーム列の構成の一例を示す図である。 類似映像フレーム列の構成の他の例を示す図である。 類似映像フレームを抽出する処理を概略的に示す図である。 類似映像フレーム束を形成する処理を概略的に示す図である。 「ニュースショットクラウド」を表示するときの映像フレーム配置の一例を示す図である。 「ニュースショットクラウド」の表示の一例を示す図である。 「ニュースショットクラウド」の表示の他の例を示す図である。 「ニュースショットクラウド」の実験結果を示す図である。 「ニュースショットクラウド」の実験結果を示す図である。 「ニュースショットクラウド」の実験結果を示す図である。 本発明に係る類似映像フレーム抽出装置の第３の実施形態を示す図である。 本発明に係る類似映像フレーム抽出装置の第４の実施形態の動作フローを示す図である。

以下、本発明に係る類似映像フレーム抽出装置の実施形態を、図面を参照しながら説明する。なお、本発明の開示において提供される図は、本発明の説明を意図したものであり、適当な縮尺を示すことを意図したものではないことを理解すべきである。また、それぞれの図面において、同一、又は類似する機能を有する構成要素には、同一、又は類似する符号が付される。したがって、先に説明した構成要素と同一、又は類似する機能を有する構成要素に関しては、改めて説明をしないことがある。

図１〜３を参照して、本発明に係る第１の実施形態について詳細に説明する。

図１を参照すると、本発明に係る類似映像フレーム抽出装置１を含むシステム１００が示される。類似映像フレーム抽出装置１は、少なくとも２つ以上の放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送される放送プログラムを、放送通信網３０を介して受信して、表示する装置である。放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送される放送プログラムは、アナログデータ形式、又はデジタルデータ形式で放送される。類似映像フレーム抽出装置１は、放送されたニュースプログラムを構成する映像フレーム列を分析して、放送事業者から放送された映像フレームをランク付けして、放送した放送事業者の数に応じて映像フレームのフレームサイズを変えて表示することが可能である。本明細書では、このようなニュースプログラムの映像フレームのランキングを示す表示を「ニュースショットクラウド（News Shot Cloud）」と称する。「ニュースショットクラウド」を表示するときに、ニュースプログラムに含まれるコマーシャルメッセージ（以下、コマーシャルとも称する）に含まれる映像フレームを削除する必要がある。本明細書では、ニュースプログラムからコマーシャルを削除する処理を、２段階照合処理と称する。また、本明細書において、用語「放送プログラム」は、一般に「放送番組」とも称され、表示装置により表示可能な動画像データと、音声データとを含むデータにより構成されるものとする。また、用語「ニュースプログラム」は、一般に「ニュース番組」とも称され、ワイドショー、又はニュースバラエティなどとも称される情報番組を含む。

類似映像フレーム抽出装置１は、２段階照合処理を含む演算処理により「ニュースショットクラウド」を表示するための演算処理を実行する演算部１０と、放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送された放送プログラム、及び演算部１０に所定の機能を実行させるプログラムなどが記憶される記憶部１２と、放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送された放送プログラムを受信する受信部１４と、放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送された放送プログラム、及び「ニュースショットクラウド」などを表示する表示部１６と、視聴する放送事業者３２ａ、３２ｂ、・・・、３２ｎが割り当てられた周波数帯を選択するためのいわゆるテレビチャンネルを選択するための指示などが入力される入力部１８を有する。

演算部１０は、ＣＰＵ（Central Processing Unit、中央演算処理装置）で構成され、プロセッサとも称される。記憶部１２は、不揮発性のＲＡＭ（Random Access Memory、ランダムアクセスメモリ）、ＲＯＭ（Read Only Memory、リードオンリーメモリ）、及びＨＤＤ（Hard Disk Drive、ハードディスクドライブ）などの記憶装置で構成される。好適には、記憶部１２は、少なくとも２つ以上の放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送される放送プログラムを構成する映像フレーム列を２４時間、数日〜数十日分記録可能な容量を有する。例えば、記憶部１２は、６つの放送事業者から放送される放送プログラムを構成する映像フレーム列を２４時間、１ヶ月分記録可能な容量を有する。類似映像フレーム抽出装置１は、記憶部１２を複数の構成にすることができる。例えば、放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送された放送プログラムを構成する映像フレーム列を記憶する部分と、演算部１０に所定の機能を実行させるプログラムを記憶する部分を分離してもよい。

受信部１４は、放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送された放送プログラムを受信するように構成される。放送事業者３２ａ、３２ｂ、・・・、３２ｎが、直交周波数分割多重伝送方式（ＯＦＤＭ方式）の地上デジタルテレビジョン放送方式で、無線通信網である放送通信網を介して放送プログラムを放送する場合、受信部１４は、受信用アンテナ（図示せず）を介して受信した信号を、復調し、誤り訂正符号処理などの処理を施した後に、復号するように構成される。

表示部１６は、ＬＣＤ（Liquid Crystal Display、液晶ディスプレイ）、ＬＥＤ(Light Emitting Diode、発光ダイオード)、ＥＬ(Electro Luminescence)ディスプレイなどで構成される。表示部１６は、放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送された放送プログラム、「ニュースショットクラウド」、及び記憶部１２の記憶可能容量などの類似映像フレーム抽出装置１が有する情報などを表示する。

入力部１８は、押下ボタン、タッチパネル、又はキーボードのユーザインタフェイス部と、ユーザインタフェイス部を制御するユーザインタフェイス制御部とにより構成され、類似映像フレーム抽出装置１を使用するユーザによってユーザインタフェイス部を介して入力された情報を、演算部１０が処理可能な電気信号に変換する機能を有する。放送事業者３２ａ、３２ｂ、・・・、３２ｎは、放送通信網３０を介して放送プログラムを放送する事業者であり、日本国では、公営、及び私営のテレビ放送事業者が含まれる。

次に、図２、及び３を参照して、類似映像フレーム抽出装置１により「ニュースショットクラウド」を表示する処理フローの１つの演算処理を構成する２段階照合処理の処理フローの概要を以下に説明する。図２において、図１に示す類似映像フレーム抽出装置１の演算部１０が、記憶部１２に記憶されたプログラムに従って、２段階照合処理を実行する処理フローが示される。

まず図２に示すステップＳ１０１において、類似映像フレーム抽出装置１の演算部１０は、第１映像フレーム列４１に含まれるそれぞれの映像フレーム４３と、第２映像フレーム列４２に含まれる全ての映像フレームを第１サンプリング周期でサンプリングした映像フレームとを照合して、類似する画像を有する映像フレームを第２映像フレーム列４２から抽出して複数の第１照合映像フレーム４４を特定する。

図３（ａ）、及び（ｂ）を参照して、ステップＳ１０１について詳細に説明する。図３（ａ）に示す第１映像フレーム列４１、及び第２映像フレーム列４２は、受信部１４が受信した互いに異なる映像フレーム列である。また好適には、第１映像フレーム列４１と、第２映像フレーム列４２とは、異なる放送事業者から提供された放送プログラムを構成する映像フレーム列であることが好ましい。ステップＳ１０１において、第１映像フレーム列４１に含まれるそれぞれの映像フレームについて、照合処理されるが、説明を簡明にするために、第１映像フレーム列４１に含まれる１つの映像フレーム４３に関して説明する。図３（ａ）に示すように、映像フレーム４３は、第２映像フレーム列４２に含まれる全ての映像フレームを第１サンプリング周期でサンプリングした映像フレームと照合される。図３（ａ）では第１サンプリング周期は、８フレームである。

図３（ｂ）において、第２映像フレーム列４２に含まれる全ての映像フレームを８フレームのサンプリング周期でサンプリングした映像フレームと、映像フレーム４３との照合処理結果の一例を示す。図３（ｂ）において、右肩上がりのハッチがなされた映像フレーム４３との照合処理により、映像フレーム４３が有する画像と類似する画像を有する複数の第１照合映像フレーム４４が抽出される。図３（ｂ）において、複数の第１照合映像フレーム４４は、右肩下がりのハッチがなされている。ステップＳ１０１の処理が、２段階照合処理の第１段階の照合処理に相当する。本明細書では、ステップＳ１０１の処理は、第１の照合処理とも称される。

次にステップＳ１０２において、演算部１０は、第１映像フレーム列４１において、第１照合映像フレームに対応した映像フレーム４３を含み且つ第１サンプリング周期内に位置する全ての映像フレームを含む第１映像フレーム群４５を特定する。図３（ｃ）において、第１映像フレーム群４５は、右肩上がりのハッチがなされた映像フレーム４３と、映像フレーム４３から８フレームのサンプリング周期内に位置する７つの映像フレームとを含む。

次にステップＳ１０３において、演算部１０は、第２映像フレーム列４２において、第１照合映像フレーム４４を含み且つ第１サンプリング周期内に位置する全ての映像フレームを、第１サンプリング周期より短い第２サンプリング周期でサンプリングした全ての映像フレームを含む第２映像フレーム群４６を特定する。図３（ｃ）において、第２映像フレーム群４６は、右肩下がりのハッチがなされた映像フレーム４４と、映像フレーム４４から８フレームのサンプリング周期内に位置する全ての映像フレームを、第１サンプリング周期より短い第２サンプリング周期でサンプリングした３つの映像フレームを含む。図３（ｃ）において第２サンプリング周期は、２フレームである。

次にステップＳ１０４において、演算部１０は、第１映像フレーム群４５のそれぞれの映像フレームと、第２映像フレーム群４６に含まれる全ての映像フレームとを照合して、類似する映像フレームを第２映像フレーム群４６から抽出して複数の第２照合映像フレーム４７を特定する。図３（ｄ）において、左端に隣接して配置される第２映像フレーム群４６、及び右端に配置される第２映像フレーム群４６に含まれる全ての映像フレームは、第１映像フレーム群のいずれかの映像フレームが有する画像と類似する画像を有するので、複数の第２照合映像フレーム４７と特定されている。一方、右端から２番目の第２映像フレーム群４６に含まれる２つの映像フレームが有する画像は、第１映像フレーム群のいずれの映像フレームが有する画像とも類似していないので、複数の第２照合映像フレーム４７と特定されていない。ステップＳ１０４の処理が、２段階照合処理の第２段階の照合処理に相当する。また、本明細書において、ステップＳ１０４における照合処理は、第２の照合処理とも称される。

次にステップＳ１０５において、演算部１０は、複数の第２照合映像フレーム４７を時系列に配置して、時系列上の配置が近接する複数の第２照合映像フレーム列４８を形成する。図３（ｅ）において形成される複数の第２照合映像フレーム列４８の一例が示される。左端に隣接して配置される第２映像フレーム群４６は、互いに近接しているので１つの第２照合映像フレーム列４８を形成する。一方、右端側に配置される２つの第２映像フレーム群４６は、互いに近接していないので第２照合映像フレーム列４８をそれぞれ形成する。第２映像フレーム群４６が、互いに近接しているのか否かは、ノイズなどに起因する画像の類否の誤検出の頻度に基づいて決定できる。

次にステップＳ１０６において、演算部１０は、複数の第２照合映像フレーム列４８のそれぞれのフレーム列長Ｆｄを決定する。図３（ｅ）において、左端に位置する第２照合映像フレーム列４８は、Ｆｄ₁のフレーム列長を有し、中央に位置する第２照合映像フレーム列４８は、Ｆｄ₂のフレーム列長を有し、右端に位置する第２照合映像フレーム列４８は、Ｆｄ₃のフレーム列長を有する。

次にステップＳ１０７において、演算部１０は、ステップＳ１０６において決定されたフレーム列長が所定のフレーム列長とほぼ同一な第２照合映像フレーム列４８を削除することによって、第２照合映像フレーム列４８から類似映像フレーム列４９を特定する。図３（ｅ）において、所定のフレーム列長は、Ｆｄ₁であると仮定される。したがって、Ｆｄ₁のフレーム列長を有する左端に位置する第２照合映像フレーム列４８は、削除される。一方、Ｆｄ₂のフレーム列長を有する中央に位置する第２照合映像フレーム列４８、及びＦｄ₃のフレーム列長を有する右端に位置する第２照合映像フレーム列４８のフレーム列長は、Ｆｄ₁と大きく異なるので、それぞれ類似映像フレーム列４９として特定される。第２照合映像フレーム列４８のフレーム列長が、所定のフレーム列長とほぼ同一か否かを判定するとき、ステップＳ１０４における第２サンプリング周期が考慮される。

そして、ステップＳ１０８において、演算部１０は、類似映像フレーム列４９に含まれる映像フレームを類似映像フレーム５０として抽出し、抽出された類似映像フレーム５０を表示部１６に表示する。図３（ｆ）において、類似映像フレーム列４９から適当な方法で選択された類似映像フレーム５０が示される。以上、図１〜３を参照して、本発明に係る第１の実施形態について説明した。

次に、図４〜１７を参照して、本発明に係る第２実施形態である「ニュースショットクラウド」を表示する処理について詳細に説明する。「ニュースショットクラウド」を表示する処理を説明するときに、２段階照合処理の処理フローが示される図２も適宜参照される。図３において、図１に示す類似映像フレーム抽出装置１の演算部１０が、記憶部１２に記憶されたプログラムに従って、「ニュースショットクラウド」を表示する処理フローを示される。図３に示す処理フローのそれぞれのステップの詳細を、図２、及び４〜１４を適宜参照しながら、以下に順に説明する。

まず、ステップＳ２０１において、類似映像フレーム抽出装置１の演算部１０は、複数の放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送された映像フレーム列を、受信部１４を介して受信する。演算部１０は、複数の放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送される全ての放送プログラムを受信してもよく、またニュースプログラムなど放送事業者から放送される放送プログラムの一部の放送プログラムのみを選択して受信してもよい。

次に、ステップＳ２０２において、演算部１０は、ステップＳ２０１で受信した放送プログラムを構成する映像フレーム列を記憶部１２に記憶する。後述するように、演算部１０は、複数の放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送された映像フレーム列を受信し、記憶するときに、映像フレーム列のショット境界検出を同時に実行してもよい。この場合、検出されたショット境界は、ショット境界が発生した時間に関する情報とともに、メタデータとして記憶部１２に記憶される。

次にステップＳ２０３において、映像フレーム列からニュースプログラムを検出する。いわゆるニュースバラエティを含むニュースプログラムは、電子番組ガイド（Electronic program guides、ＥＰＧ、又はinteractive program guides、ＩＰＧ）を使用して、検出することができる。デジタル放送の場合には、電子番組ガイドは、放送プログラムとともに放送される番組配列情報（Service Information、ＳＩ）を記憶部１２に記憶できる。なお、私営のテレビ放送事業者で放送されたニュースプログラムには、コマーシャルが含まれることが一般的である。一方、公営のテレビ放送事業者から放送されるニュースプログラム、及び有料放送に含まれるニュースプログラムには、一般的にはコマーシャルは、含まれない。

次に、ステップＳ２０４において、演算部１０は、図２に示す２段階照合処理を利用して、ステップＳ２０３で検出されたニュースプログラムを含む映像フレーム列から類似映像フレームを抽出する。

ここで、図２を再び参照して「ニュースショットクラウド」における２段階照合処理のフローを詳細に説明する。「ニュースショットクラウド」では、２段階照合処理を実行することにより、異なる複数の放送事業者から放送されたニュースプログラムに含まれる類似映像フレームを抽出する。併せて、ニュースプログラムに含まれるコマーシャルが有する類似映像フレーム、又は同一映像フレームを、「ニュースショットクラウド」に使用する映像フレームから除去することができる。以下に、図５〜１０を適宜参照しながら、「ニュースショットクラウド」における２段階照合処理のフローのそれぞれのステップの詳細を順に説明する。

まず、ステップＳ１０１において、類似映像フレーム抽出装置１の演算部１０は、第１映像フレーム列４１に含まれるそれぞれの映像フレーム４３と、第２映像フレーム列４２に含まれる全ての映像フレームを第１サンプリング周期でサンプリングした映像フレームとを照合して、類似する画像を有する映像フレームを第２映像フレーム列４２から抽出する複数の第１照合映像フレーム４４を特定する。

図５を参照してステップＳ１０１の照合処理を具体的に説明する。図５において、第１映像フレーム列４１と、第２映像フレーム列４２とが示される。第１映像フレーム列４１と、第２映像フレーム列４２とはそれぞれ、異なる放送事業者から提供されたニュースプログラムを構成する映像フレーム列である。ステップＳ１０１で、第１映像フレーム列４１と、第２映像フレーム列４２とを照合するとき、第１映像フレーム列４１の全ての映像フレームと、第２映像フレーム列４２から所定のサンプリング周期でサンプリングした映像フレームとをそれぞれ照合する。すなわち、第１映像フレーム列４１の最初の映像フレームと、第２映像フレーム列４２の最初の映像フレームとを照合した後に、第１映像フレーム列４１の最初の映像フレームと、第２映像フレーム列４２の最初の映像フレームから所定のフレーム後に位置する映像フレームとを照合する。次いで、第１映像フレーム列４１の最初の映像フレームと、先に照合した第２映像フレームから更に所定のフレーム後に位置する映像フレームとを照合する。このように第１映像フレーム列４１の最初の映像フレームと、第２映像フレーム列４２から所定のフレームごとに選択した映像フレーム列を順に照合する。

第１映像フレーム列４１の最初の映像フレームの照合処理が終了すると、次に、第１映像フレーム列４１の２番目の映像フレームの照合処理を開始する。第１映像フレーム列４１の２番目の映像フレームの照合処理は、第２映像フレーム列４２の最初の映像フレームとの照合処理から開始される。そして、第１映像フレーム列４１の最初の映像フレームでの照合処理と同様に、第２映像フレーム列４２から所定のフレーム数ごとに選択した映像フレーム列を順次照合する。そして、第１映像フレーム列４１の２番目の映像フレームの照合処理が終了すると、第１映像フレーム列４１の３番目の映像フレームの照合処理を開始する。以下、順に第１映像フレーム列４１を構成する全ての映像フレームと、第２映像フレーム列４２から所定のフレーム数ごとに選択した映像フレーム列とを照合していく。そして、類似する画像を有する映像フレームを第２映像フレーム列４２から抽出して複数の第１照合映像フレーム４４を特定する。

照合する映像フレームを第２映像フレーム列４２から第１照合映像フレームとして特定するときのサンプリング周期は、放送されるニュースプログラムにおいて、画像が類似する映像が継続して放送される時間を考慮して決定できる。例えば、放送時間に換算して、１秒になるように、サンプリング周期を決定してもよい。日本国のテレビジョン放送で採用されるＮＴＳＣ方式では、１秒は、３０フレームに相当する。したがって、好適には、照合する映像フレームを第２映像フレーム列４２から選択するサンプリング周期は、３０フレームになる。

ステップＳ１０１では、第１映像フレーム列４１を構成する映像フレームと、第２映像フレーム列４２を構成する映像フレームとを照合することにより、それぞれの映像フレーム列の間で画像が類似する第１照合映像フレームを特定する。このため、映像フレームを照合するときに、それぞれの映像フレームが有する画像が類似するか否かを決定するための基準を規定する必要がある。

画像が類似するか否かを決定するための基準は、画像の類似する程度をどの程度まで許容するかにより異なる。ニュースプログラムにおいて、類似する画像を抽出する場合は、例えば、ニュース映像の解説のために映像フレームの端部に配置される説明文の有無、撮影したカメラの位置に起因する被写体を撮影する角度の差異、及び色照明の相違などの相違は、許容してもよい。

映像フレームが有する画像の類否を判断するために、画像がそれぞれ有する空間周波数を使用することができる。具体的には、離散コサイン変換（Discrete Cosine Transform、ＤＣＴ）の基底関数の低周波成分などを使用することができる。この場合、映像フレームが有する明度、色相、彩度、及び色階調など複数の色属性は、離散コサイン変換され、定量化される。映像フレームが有する画像の類否判断の精度を向上させるために、１つの映像フレームごとに２つの領域について離散コサイン変換の基底関数に基づく照合処理を実行することが好ましい。１つの領域は、映像フレームの画像領域全体であり、もう１つの領域は、映像フレームの画像の中央領域である。このように２つの領域について照合処理を行うことにより、映像フレームの端部に配置される説明文の有無による相違の影響を軽減することが可能である。ここで、画像の類否判断の基準は、画像領域全体の照合処理においては、比較的緩く設定し、画像の中央領域の照合処理においては、比較的厳しく設定することが好ましい。映像フレームを互いに照合した結果、照合処理に使用した色属性の係数の全てが、所与のしきい値の範囲内であれば、照合された１対の映像フレームは、類似する画像を有すると判断される。本実施形態においては、単一の色属性に基づいて画像の類否判断処理を行うのではなく、複数の色属性に基づいて画像の類否判断処理を行うため、高い感度を得ることができる。

なお、同一の放送事業者が放送プログラム用の複数の周波数帯を介して、２つ以上の放送プログラムを同時に放送している場合、同一の放送事業者から放送される放送プログラムに含まれるニュースプログラムの間では、照合処理は行わない。一般的に、同一の放送事業者から提供されるニュースプログラムには、同一の映像フレームを含む可能性が高いと考えられる。このため、同一の放送事業者から提供されるニュースプログラム映像フレームを使用すると、「ニュースショットクラウド」の精度が低下する虞があるためである。同様に、資本関係を有するなどの理由で協力関係にある放送事業者（日本国では「系列局」などと称される放送事業者など）が提供するニュースプログラムの間においても、同一の映像フレームを含む可能性が高いため、照合処理の対象から除外することが好ましい。

次に再び図２を参照すると、ステップＳ１０２において、演算部１０は、第１映像フレーム列４１において、第１照合映像フレームに対応した映像フレームを含み且つ第１サンプリング周期内に位置する全ての映像フレームを含む複数の第１映像フレーム群４５を特定する。次にステップＳ１０３において、演算部１０は、第２映像フレーム列４２において、第１照合映像フレーム４４を含み且つ第１サンプリング周期内に位置する全ての映像フレームを、第１サンプリング周期より短い第２サンプリング周期でサンプリングした全ての映像フレームを含む複数の第２映像フレーム群４６を特定する。図６において、ステップＳ１０２、及びステップＳ１０３でそれぞれ特定された第１映像フレーム群４５、及び第２映像フレーム群４６の一例を示す。

次に再び図２を参照すると、ステップＳ１０４において、演算部１０は、第１映像フレーム群４５のそれぞれの映像フレームと、第２映像フレーム群４６に含まれる全ての映像フレームとを照合して、類似する映像フレームを第２映像フレーム群４６から抽出して複数の第２照合映像フレーム４７を特定する。図６に示す例では、第１映像フレーム群４５は、第１映像フレーム列４１において、第１照合映像フレーム４４に対応した映像フレーム４３を含み且つ第１サンプリング周期内に位置する全ての映像フレームを含む。ここで、第１サンプリング周期は、３０フレームである。また第２映像フレーム群４６は、第２映像フレーム列４２において、第１照合映像フレーム４４を含み且つ第１サンプリング周期内に位置する全ての映像フレームを、第１サンプリング周期より短い第２サンプリング周期でサンプリングした全ての映像フレームを含む。図６に示す例では、第２サンプリング周期は、１０フレームである。

図６に示される例では、互いに類似する第１照合映像フレーム４４と、第１照合映像フレーム４４に対応した映像フレーム４３はそれぞれ、第２映像フレーム群４６、及び第１映像フレーム群４５の先頭に位置するが、他の例では第１照合映像フレーム４４と、第１照合映像フレーム４４に対応した映像フレーム４３は、第２映像フレーム群４６、及び第１映像フレーム群４５の任意の位置に配置してもよい。例えば、第１照合映像フレーム４４と、第１照合映像フレーム４４に対応した映像フレーム４３を、第２映像フレーム群４６、及び第１映像フレーム群４５それぞれの時系列の最後方の位置に配置してもよい。

図６において、第１映像フレーム群４５は、第１照合映像フレーム４４に対応した映像フレーム４３と、映像フレーム４３に続く一連の２９フレームの映像フレームとにより構成される。一方、第２映像フレーム群４６は、第１照合映像フレーム４４と、第１照合映像フレーム４４からそれぞれ１０フレームごとにサンプリングされた２つの映像フレームとにより構成される。したがって、第１映像フレーム群４５の全ての映像フレームは、第２映像フレーム群４６に含まれる３つの映像フレームと照合される。なお、図６に示す例では、第１映像フレーム群４５と、第１照合映像フレーム４４に対応した映像フレーム４３との間の照合処理は、ステップＳ１０１における第１の照合処理と重複する処理になる。好適には、ステップＳ１０２において、ステップＳ１０１における第１の照合処理で既に照合されている映像フレーム対に関しては、照合処理を省略してもよい。

ステップＳ１０４における照合処理での画像の類否判断の基準は、ステップ１０１における照合処理での類否判断の基準と同一の基準を採用できる。

ステップＳ１０１において抽出された第１照合映像フレーム４４、及び第１照合映像フレーム４４に対応した映像フレーム４３がそれぞれ、複数存在する場合は、ステップＳ１０４における照合処理は、全ての第１照合映像フレームを含む第２映像フレーム群４６についてそれぞれ実行される。この結果、先に図３（ｄ）を参照して説明したように、互いに類似する映像フレームが時系列で近接して配置されるとともに、ショット境界を形成するような互いに非類似の映像フレームが時系列で近接して配置されることになる。

次にステップＳ１０５において、演算部１０は、複数の第２照合映像フレーム４７を時系列に配置して、時系列上の配置が近接する複数の第２照合映像フレーム列４８を形成する。

図７、及び８を参照して、ステップＳ１０５において、複数の第２照合映像フレーム列４８の構成を具体的に説明する。図７は、第２映像フレーム列４２における時系列の順序で、第２照合映像フレーム４７を配列して形成される複数の第２映像フレーム列４８ａ〜４８ｅ、・・・を示す図である。図７に示すように、複数の第２映像フレーム列４８ａ〜４８ｅ、・・・は、様々なフレーム列長を有し、かつ不規則な周期で発生する。しかしながら、コマーシャルを構成する映像フレーム列から抽出された第２映像フレーム列４８は固有のフレーム列長を有する。コマーシャルは、１５秒など一定の時間を有するためである。

図８を参照して、第２照合映像フレーム列４８の具体的な構成の一例を説明する。図８に示す第２照合映像フレーム列４８では、ステップＳ１０１における第１の照合処理におけるサンプリング周期は３０フレームとし、ステップＳ１０４における第２の照合処理におけるサンプリング周期は１０フレームとする。図８において、第２照合映像フレーム列４８は、複数の第２照合映像フレーム４７より構成される。上述したように、第２照合映像フレーム列４８に含まれる複数の第２照合映像フレーム４７は、互いに類似する画像を有する場合もあるが、互いに非類似の画像を有する場合もある。図８において、それぞれの映像フレームが有する画像がＡ〜Ｉのローマ字でそれぞれ示される。

次に再び図２を参照すると、ステップＳ１０６において、演算部１０は、複数の第２照合映像フレーム列４８のそれぞれのフレーム列長Ｆｄを決定する。図９に第２照合映像フレーム列４８の他の例を示す。図９に示す第２照合映像フレーム列４８では、一連の第２照合映像フレーム４７の全てが、第１映像フレーム群４５に類似する画像を有する映像フレームがあるにも関わらず、破線で示す第２照合映像フレーム４７がステップＳ１０４の第２の照合処理において非類似であると照合された例である。ステップＳ１０４の第２の照合処理において類似する映像フレーム列、又は同一の映像フレーム列が抽出される場合、理想的には、対応する全ての映像フレーム対が同一、又は類似であると判断されることになる。しかしながら、図９に示す例のように、ステップＳ１０４の第２の照合処理において、ノイズなどの外的要因により、同一、又は類似する画像情報を有する映像フレームが非類似であると判断される場合がある。そこでステップＳ１０６では、隣接する映像フレームが類似しているなど所定の条件を満たす場合は、その映像フレーム対は類似しているものと見なすなどして、フレーム列の補間処理を行う。そして、非類似であると判断される映像フレームの時系列の位置を補間した上で第２照合映像フレーム列４８のフレーム列長Ｆｄを決定する。

次に再び図２を参照すると、ステップＳ１０７において、演算部１０は、ステップＳ１０６において決定されたフレーム列長が所定のフレーム列長とほぼ同一な第２照合映像フレーム列を削除することによって、第２照合映像フレーム列４８から類似映像フレーム列４９を特定する。ステップＳ１０７の処理により、フレーム列長からコマーシャルに相当する類似映像フレーム列を削除し、コマーシャルに相当する類似映像フレーム列に含まれない映像フレーム列を構成する第２照合映像フレーム列４８それぞれを、「ニュースショットクラウド」に使用される類似映像フレームを含む類似映像フレーム列４９として特定することができる。

一般にコマーシャルは、所定のフレーム列長を有する。例えば、現在日本国で一般に放送されるコマーシャルは、１５秒、若しくは１５秒の整数倍である３０秒、又は６０秒などの時間幅を有するものに、ほぼ限定される。このため、ＮＴＳＣ方式で、１５秒、３０秒、及び６０秒の時間幅に相当する４５０フレーム、９００フレーム、及び１８００フレームのフレーム列長を有する第２照合映像フレーム列４８は、コマーシャルを構成する映像フレーム列と推定することができる。そして、コマーシャルを提供する映像フレーム列と推定された第２照合映像フレーム列４８に含まれる映像フレームは、「ニュースショットクラウド」に使用する映像フレームから除外することができる。

図１０を参照して、類似映像フレーム列４９を抽出する処理を具体的に説明する。図１０では、破線で示される第２照合映像フレーム列４８ａ、４８ｂ、４８ｃ、及び４８ｄ・・・は、１５秒の長さに相当するフレーム列長Ｆｄ₁₅を有する。このため、第２照合映像フレーム列４８ａ、４８ｂ、４８ｃ、及び４８ｄ・・・が削除される。一方、１５秒、若しくは１５秒の整数倍である３０秒、又は６０秒などの時間幅に相当するフレーム列長を有さない第２照合映像フレーム列４８は、類似映像フレーム列４９ａ、４９ｂ、及び４９ｃ、・・・として特定される。

以上、「ニュースショットクラウド」における２段階照合処理の処理フローを図４〜１０を参照して説明してきた。「ニュースショットクラウド」における２段階照合処理の処理フローでは、ニュースプログラムに含まれるコマーシャルを構成する映像フレーム列を特定して、コマーシャルを構成する映像フレーム列に含まれる類似映像フレームを「ニュースショットクラウド」に使用する映像フレームから除外する。その上で、「ニュースショットクラウド」に使用する類似映像フレーム列４９を特定することができる。このときに、図２に示すように、ステップＳ１０１における第１の照合処理、及びステップＳ１０４における第２の照合処理を介することにより、コマーシャルと推定される映像フレーム列の除去処理に要する計算処理量を削減することができる。

次に再び図４を参照すると、ステップＳ２０５において、演算部１０は、互いに類似する類似映像フレームが関連付けられた類似映像フレーム束を形成する。少なくもと３つ以上の異なる放送事業者から提供される映像フレームそれぞれについてステップＳ２０４の処理により特定された類似映像フレームの中で、互いに類似する映像フレームを有する映像フレーム束を関連付けることにより、類似映像フレーム束を抽出することができる。

図１１に類似映像フレーム束を形成する処理を概略的に示す。図１１において、第１の類似映像フレーム対５１は、第１の放送事業者が放送した映像フレーム列から抽出された類似合映像フレーム列４９ａと、第２の放送事業者が放送した映像フレーム列から抽出された類似映像フレーム４９ｂとを有する。また、第２類似映像フレーム対５２は、第２の放送事業者が放送した映像フレーム列から抽出された類似映像フレーム４９ｂ´と、第３の放送事業者が放送した映像フレーム列から抽出された類似映像フレーム４９ｃとを有する。ここで、第２放送事業者が放送した映像フレーム列から抽出された類似映像フレーム４９ｂ、及び４９ｂ´が同一時間に放送された映像フレームを含むと仮定する。演算部１０は、同一時間に放送された映像フレームを含む第１類似映像フレーム対５１と、第２類似映像フレーム対５２を、映像フレーム列間の包含関係を探索するなど適当な検出方法により検出して、類似映像フレーム束５３として関連付けることができる。

また、類似映像フレーム束を抽出するときに、それぞれの類似映像フレーム対を２部グラフの枝と考えることにより、互いに類似する類似映像フレームを関連付けることができる。上述のように、本発明では、同一の放送事業者から提供されるニュースプログラム間で類似映像フレームの照合処理はされず、異なる放送事業者から提供されるニュースプログラム間での照合処理を行って類似映像フレーム列４９を形成する。このため、ステップＳ２０５で形成される類似映像フレーム束は、一方の放送事業者から提供されるニュースプログラムに含まれる類似映像フレーム列４９と、他方の放送事業者から提供されるニュースプログラムに含まれる類似映像フレーム列４９とにより構成される２部グラフであると考えられる。そして２部グラフの接続点を辿ることにより、３つ以上の異なる放送事業者から提供された互いに類似する類似映像フレーム列４９からなる類似映像フレーム束を容易に抽出することが可能になる。

次に再び図３を参照すると、ステップＳ２０６において、演算部１０は、類似映像フレーム束５３を構成する映像フレームを提供した放送事業者の数を計数する。映像フレームを提供した放送事業者は、映像フレームに付加されたメタデータにより識別することができる。映像フレームを提供した放送事業者を識別するメタデータが、それぞれの放送事業者から提供されたときに付加されている場合は、当該メタデータを使用することができる。また、演算部１０は、提供された映像フレーム列を記憶部１２に記憶するときに、映像フレーム列を提供した放送事業者を識別するためのメタデータを付加することができる。例えば、図１１の例では、類似映像フレーム束は、第１の放送事業者、第２の放送事業者、及び第３の放送事業者の３つの放送事業者から提供された類似映像フレーム列４９ａ、４９ｂ、及び４９ｃを有するので、放送事業者の数は、３と計数される。

次にステップＳ２０７において、演算部１０は、「ニュースショットクラウド」を表示するときの映像フレームそれぞれのフレームサイズを、ステップＳ２０６で計数された放送事業者数に基づいて決定する。ここで、６つの放送事業者から提供されたニュースプログラムに基づき「ニュースショットクラウド」を構成するときに、２〜６の放送事業者から提供された類似映像フレームを「ニュースショットクラウド」の表示用の映像フレームとして選択する場合を考える。この場合、２つの放送事業者のみから提供された映像フレームのフレームサイズは、一番小さくし、提供された放送事業者の数が増えるに従って、フレームサイズを大きくすることができる。そして、６つの放送事業者から提供された映像フレームのフレームサイズは、最大のサイズにできる。

そして、ステップＳ２０８において、演算部１０は、ステップＳ２０７において決定されたフレームサイズで映像フレームを、「ニュースショットクラウド」として表示部１６が有する表示画面に表示する。図１２において、表示画面７０に「ニュースショットクラウド」として表示される映像フレーム７２の配列の一例を示す。図１２に示すように、映像フレームそれぞれは、提供された放送事業者の数に応じたフレームサイズで、適当に配置される。ここで、提供された放送事業者の数が一番多い（例えば６つ）映像フレーム７２ｂ、及び７２ｉは、一番大きく表示される。そして提供された放送事業者の数が次に多い（例えば５つ）映像フレーム７２ａ、７２ｃ、７２ｅ、７２ｆ、７２ｈ、７２ｊ、７２ｍ、７２ｐ、７２ｒ、及び７２ｓは、次に大きく表示される。提供された放送事業者の数が一番少ない（例えば４つ）映像フレーム７２ｄ、７２ｇ、７２ｋ、７２ｌ、７２ｎ、７２ｏ、及び７２ｑは、一番小さく表示される。「ニュースショットクラウド」では、全ての類似映像フレーム束に対応する映像フレームを表示する必要はなく、より多くの放送事業者から提供された類似映像フレーム束に対応する映像フレームを優先的に表示することが好ましい。より多くの放送事業者から提供された類似映像フレーム束に対応する映像フレームは、より重要なニュースと関連している可能性が高いためである。

映像フレーム７２の配置は、適当な手順で決定してもよい。例えば、表示される映像フレームを含む類似映像フレーム束を構成するそれぞれの映像フレームの中で、放送された順序で映像フレーム７２を配列することができる。一般にニュースなどの報道において、報道の対象とする事件、又は事実が発生した時間は、重要な事項の１つである。このため、「ニュースショットクラウド」においても、映像フレームが放送された順序で配列することにより、ニュースプログラムが放送された時系列を維持することが可能になる。図１２に示す「ニュースショットクラウド」では、映像フレーム７２ａが最も早く放送された映像フレームであり、映像フレーム７２ｓが最も遅く放送された映像フレームである。図１２では、映像フレーム７２は、破線矢印で示すように３段に分割された表示画面の左上から右下に配列される。

なお、「ニュースショットクラウド」の表示に使用される映像フレーム７２は、類似映像フレーム束を構成する映像フレームの中から適当な方法で選択することができる。例えば、「ニュースショットクラウド」の表示に使用される映像フレームは、動きが少なくかつ平坦でない画像を選択することができる。このような画像を選択する方法を以下に簡単に説明する。まず、演算部１０は、類似映像フレーム束５３を構成する映像フレームの前後に位置する映像フレームの画像をそれぞれ照合して、互いに類似する映像フレームが連接する映像フレーム列のフレーム列長を比較する。そして、互いに類似する映像フレームが連接する映像フレーム列のフレーム列長が長いものをいくつか選択する。互いに類似する映像フレームが連接する映像フレーム列のフレーム列長が長い箇所は、放送されるときに動きが少ないと考えられるためである。次いで、選択された映像フレームそれぞれの映像フレーム内での輝度、及び色相の分散を計算する。そして、映像フレーム内の輝度、及び色相の分散が大きい映像フレームを、「ニュースショットクラウド」に表示する映像フレームとして選択する。

図１３、及び１４に、「ニュースショットクラウド」の表示例を示す。図１３は、東京で視聴可能な６つの放送事業者で放送された放送プログラムから生成された「ニュースショットクラウド」が表示部１６の表示画面７０に表示される一例を示す図である。図１０に示す「ニュースショットクラウド」では、３つの放送事業者で放送された類似映像フレーム７２が最も小さなフレームサイズで示され、６つの放送事業者で放送された類似映像フレーム７２が最も大きなフレームサイズで示される。

「ニュースショットクラウド」に表示される映像フレーム７２は、様々な表示画面と関連付けることができる。例えば、「ニュースショットクラウド」に表示される映像フレーム７２は、その映像フレーム７２が抽出されたニュースプログラムを放送した放送事業者、放送された日時、及びニュースプログラムの名称などを記載した一覧表を表示する表示画面と関連付けることができる。また「ニュースショットクラウド」に表示される映像フレーム７２は、当該映像フレームを含む類似映像フレーム束に含まれる他の類似映像フレームの画像を表示する表示画面と関連付けることができる。関連付けられた表示画面は、「ニュースショットクラウド」に表示される映像フレーム７２を適当な手段により選択することにより表示することができる。

図１４において、表示部１６の表示画面８０に表示される「ニュースショットクラウド」の他の表示例を示す。図１４に示すように、１日ごとに生成された複数日分の「ニュースショットクラウド」を同時に表示するカレンダー表示８２とすることができる。図１４に示すカレンダー表示８２では、４〜６の放送事業者で放送された類似映像フレーム８４がそれぞれ表示される。

以上、「ニュースショットクラウド」を表示するための処理フローを図２〜１４を参照して説明してきた。次いで、「ニュースショットクラウド」の効果を調べるために実施された実験結果について説明する。

本実験は、東京で視聴可能な互いに独立の６つの放送事業者が放送する２４時間放送の放送プログラムにおける、４週間分の放送プログラムを対象とした。実験対象の放送プログラムの記憶フォーマットは、ＭＰＥＧ１、フレームサイズは、３５２×２４０、フレームレートは、２９．９７ｆｐｓ、そしてビットレートは、１．５Ｍｂｐｓである。また、ＥＰＧによりニュースプログラム、及びニュースバラエティを検出したところ、実験対象の放送プログラムのおおよそ半分がニュースプログラム、又はニュースバラエティであった。したがって、「ニュースショットクラウド」表示処理の対象となるニュースプログラムなどの放送時間は、合計で２０００時間を超える時間を有する。

図２に示すステップＳ１０１における第１の照合処理におけるサンプリング周期は、３０フレームとし、ステップＳ１０４における第２の照合処理におけるサンプリング周期は、１０フレームとした。また、ステップＳ１０１、及びＳ１０４における映像フレーム間の類否判断の基準は、ニュース映像の解説のために映像フレームの端部に配置される説明文の有無、撮影したカメラの位置に起因する被写体を撮影する角度の差異、及び色照明の相違のみが相違する映像フレームが類似すると判断されるように設定した。このような条件の下で実験した結果、コマーシャルを構成する映像フレームを検出するなどの誤検出は、１％よりも少なく、本発明に係る画像抽出方法が、非常に高い精度を有することが示された。

図１５は、特定の日において、異なる放送事業者から放送された類似映像フレーム束の数と、その類似映像フレーム束が１つの放送事業者で放送された平均放送回数との相関を示す図である。横軸は、類似映像フレーム束を放送した放送事業者の数を示す。左側の縦軸は、棒グラフで示される１日で放送された類似映像フレーム束の数を示す。例えば、２つの放送事業者によって放送された類似映像フレーム束の数は、５００弱であり、３つの放送事業者によって放送された類似映像フレーム束の数は、１５０程度である。右側の縦軸は、折れ線グラフで示される１つの放送事業者が１日で放送した類似映像フレーム束の平均数を示す。例えば、２つの放送事業者で放送された類似映像フレーム束は、それぞれの放送事業者の平均で１回程度しか放送しない一方、６つの放送事業者で放送された類似映像フレーム束は、それぞれの放送事業者の平均で６回程度放送されていることになる。

図１５からより多くの放送事業者から放送された映像フレームは、放送事業者それぞれが数多く放送していることが理解される。重要なニュースは、反復して放送されるために、類似する映像フレームが反復して放送されていると仮定すると、「ニュースショットクラウド」でフレームサイズが大きく表示される映像フレームは、重要なニュースに関連する映像フレームであると考えられる。

図１６は、上記６つの放送事業者から放送された１週間分のニュースプログラムと、その週のニュースをまとめた週間ニュースプログラムとの照合処理を実施した結果を示す。横軸は、類似映像フレーム束を放送した放送事業者の数を示し、縦軸は、放送された類似映像フレーム束の数を示す。図１５に示すグラフと比較すると、５つ、及び６つの放送事業者から放送された類似映像フレーム束の割合が増加していることが理解される。

図１７は、図１５に示す棒グラフ、及び図１６に示す棒グラフにおける放送した放送事業者数ごとの割合の差を示す図である。図１７に示すグラフの横軸は、類似映像フレーム束を放送した放送事業者の数を示し、縦軸は、図１５に示す類似映像フレーム束の数の割合と、図１６に示す類似映像フレーム束の数の割合の差異をパーセント単位で示す。縦軸の値が０の場合は、図１５と、図１６における類似映像フレーム束の割合が等しく、正方向は、図１６に示される類似映像フレーム束の割合が大きいことを示し、負方向は、図１５に示される類似映像フレーム束の割合が大きいことを示す。

図１７から理解されるように、２つの放送事業者で放送された類似映像フレーム束の数は、図１５に示すグラフよりも図１６に示すグラフの方が１５％程度減少している。一方、５つ、及び６つの放送事業者で放送された類似映像フレーム束の数は、図１６に示すグラフの方が１０％程度増加している。これは、放送される放送事業者数が少ない類似映像フレームほど、週間ニュースプログラムで放送される類似映像フレームとの相関が低く、放送される放送事業者数が多い類似映像フレームほど、週間ニュースプログラムで放送される類似映像フレームとの相関が高いことを示す。この結果から、放送される放送事業者数が多い映像フレームほど重要なニュースに関連する映像フレームという考え方を基に表示する映像フレームを選択する「ニュースショットクラウド」の有用性が示される。

以上、図２〜１７を参照して、本発明に係る第２の実施形態を類似映像フレーム抽出装置１の処理フローに基づいて説明してきた。次に、図１８を参照して、本発明に係る第３の実施形態を説明する。図１８において、本発明に係る類似映像フレーム抽出処理を実行可能なコンピュータ２を含むシステム２００が示される。

第３の実施形態では、コンピュータ２は、少なくとも２つ以上の放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送される放送プログラムを、インタネットネットワーク３５を介して受信する点で、第１の実施形態と異なる。

コンピュータ２は、「ニュースショットクラウド」を生成するための演算処理を図３に示す処理フローに基づいて実行する演算部１０と、放送事業者３２ａ、３２ｂ、・・・、３２ｎからインタネットネットワーク３５を介して送信された放送プログラムを構成する映像フレーム列、及び演算部１０に所定の機能を実施させるプログラムなどが記憶される記憶部１２と、記憶装置２２、表示装置２６、及び入力装置２８などの周辺機器と、バス回路２０を介して電気的に通信可能なように接続するためのインタフェイスであるＩ／Ｆ部１９と、放送事業者３２ａ、３２ｂ、・・・、３２ｎから送信された放送プログラムを受信するインタネットネットワーク３５を介して通信部２４とを有する。

Ｉ／Ｆ部１９は、記憶装置２２、表示装置２６、及び入力装置２８などの周辺機器と、コンピュータ２との間を電気的な通信可能なように接続するためのインタフェイス部であり、ＵＳＢ（Universal Serial Bus）などの通信規格に対応している。通信部２４は、インタネットネットワーク３５に接続するルータで構成される。通信部２４は、放送事業者３２ａ、３２ｂ、・・・、３２ｎから送信された放送プログラムとともに、図３のステップＳ１０３において使用される電子番組ガイドを受信する。

記憶装置２２は、不揮発性のＲＡＭで構成でき、放送事業者３２ａ、３２ｂ、・・・、３２ｎから送信された放送プログラムを構成する映像フレーム列を記憶できる。表示装置２６は、ＬＣＤなどで構成でき、「ニュースショットクラウド」などの画像を表示できる。入力装置２８は、キーボードなどのユーザインタフェイス部と、ユーザインタフェイス部を制御するユーザインタフェイス制御部とにより構成され、コンピュータ２を使用するユーザによってユーザインタフェイス部を介して入力された情報を、コンピュータ２が有する演算部１０が処理可能な電気信号に変換する機能を有する。

第３の実施形態では、コンピュータ２は、インタネットネットワーク３５を介して放送事業者３２ａ、３２ｂ、・・・、３２ｎと接続されるが、コンピュータが接続可能な他の通信ネットワークを介して、放送事業者３２ａ、３２ｂ、・・・、３２ｎと接続できる。例えば、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、移動体通信網、衛星通信網などを介して、放送事業者３２ａ、３２ｂ、・・・、３２ｎと接続できる。また、この通信ネットワークを構成する伝送媒体も、放送プログラムを伝送可能な任意の媒体であればよく、特定の構成、又は種類のものに限定されない。たとえば、ＩＥＥＥ１３９４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）回線などの有線回線でもよく、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線回線でもよい。

以上、図１８を参照して、本発明に係る第３の実施形態を説明してきた。次に、図１９を参照して、本発明に係る第４の実施形態を説明する。本発明に係る第４の実施形態は、上述の類似映像フレーム抽出装置１、及びコンピュータ２のいずれでも実施可能な方法であり、第１の実施形態、第２の実施形態、及び第３の実施形態とは、２段階照合処理の処理フローが異なる。

図１９を参照すると、本発明に係る類似映像フレーム抽出装置の第４の実施形態の動作フローが示される。図１９に示す処理フローは、ステップＳ３０４において、演算部１０は、ニュースプログラムを構成する映像フレーム列のショット境界検出を実行する点において、図２に示した２段階照合処理の処理フローと相違する。ショット境界検出は、映像フレーム列を構成する前後の映像フレームを比較して、連続性が失われている部分、すなわち前後の映像フレームが有する色属性情報などが大きく相違する箇所をショットの境界であるとして検出する処理である。ショット境界検出を実行することにより、ニュースプログラムのカット、及びディゾルブなどを検出することができる。検出されたショット境界となる映像フレームには、ショット境界であることを示すメタデータが付与される。

本発明に係る第４の実施形態の変形では、検出されたショット境界を様々に利用することが可能である。ショット境界を利用する一例として、図１９に示すステップＳ３０５において、ショット境界を利用することが考えられる。コマーシャルの先頭に位置する映像フレームは、ショット境界であると仮定して、ショット境界が位置する映像フレームから、ステップＳ３０５における第２の照合処理を開始することが可能である。ステップＳ３０５における第２の照合処理を実行するときにショット境界を利用することにより、コマーシャルの検出精度を更に向上させることができる。またステップＳ３０５における第２の照合処理でのサンプリング周期を広げることにより、計算処理量を削減することができる。

またショット境界を利用する他の例として、図１９に示すステップＳ３０７において、類似映像フレーム列のフレーム列長を決定するときに、ショット境界を利用することが考えられる。

ショット境界検出は、放送プログラムを構成する全ての映像フレームについて、前後の映像フレームの間で色属性などの画像の比較を行う必要があるため、計算処理量が非常に多い処理である。このため、ショット境界検出は、必要最低限の放送プログラムに対して実行することが好ましい。本実施形態では、第１映像フレーム群、及び第２映像フレーム群が含まれる範囲にのみ、ショット境界検出を実行する。また上述のように、演算部１０は、放送事業者３２ａ、３２ｂ、・・・、３２ｎから放送された放送プログラムを構成する映像フレーム列を記憶部１２に記憶するときに同時に、ショット境界検出を実行することもできる。

以上、図１〜１９を参照して、本発明に係る実施形態を「ニュースショットクラウド」を例に説明してきた。しかしながら、本発明の精神、及び範囲を逸脱しない範囲内で、様々な変化及び変形を行うことができることが理解されるであろう。

本発明に係る実施形態の変形として、２段階照合処理における第１の照合処理、及び第２の照合処理における類否判断の基準を相違させることができる。ステップＳ１０１における第１の照合処理では、映像フレームの端部に配置される説明文の有無などの相違を有する映像フレーム対を、互いに類似する類似映像フレーム対と判断する必要がある。一方、「ニュースショットクラウド」では、ステップＳ１０４における第２の照合処理では、コマーシャルを構成する映像フレーム列を検出することを目的とするため、同一の映像フレームのみ検出するように類否判断の基準を設定することができる。

また本発明に係る実施形態の変形として、２段階照合処理における第１の照合処理、及び第２の照合処理を、図３に示す処理フローのステップＳ１０２において記憶部１２に放送プログラムを構成する映像フレーム列を記憶するときに同時に実行できる。放送プログラムを構成する映像フレーム列を記憶しながら、照合処理を実行するため、処理時間の短縮を図ることができる。さらに、照合結果を逐次更新できるため、放送映像を受信しながら随時最新の処理結果を表示することが可能になる。

さらに本発明に係る実施形態の変形として、「ニュースショットクラウド」を表示する処理において、２段階照合処理の１つの照合処理を省略することができる。すなわち、ステップＳ１０１において、第１サンプリング周期を１０フレームなど短いフレーム間隔にすることにより、ステップＳ１０２〜Ｓ１０４の処理を省略することが可能である。そして、ステップＳ１０５において、演算部１０は、複数の第１照合映像フレーム４４を時系列に配置して、時系列上の配置が近接する複数の第２照合映像フレーム列４８を形成することになる。

この変形では、計算量の削減という２段階照合処理の効果は奏することはできない。しかしながら、重要なニュースに関連する映像フレームを大きなフレームサイズで表示することによって、視聴者が重要なニュースを容易に把握することができるという「ニュースショットクラウド」が有する効果を奏することができる。

１ 類似映像フレーム抽出装置
２ コンピュータ
１０ 演算部
１２ 記憶部
１４ 受信部
１６ 表示部
１８ 入力部
１９ Ｉ／Ｆ部
２２ 記憶装置
２４ 通信装置
２６ 表示装置
３０ 放送通信網
３２ 放送事業者
３５ インタネットネットワーク
４１ 第１映像フレーム列
４２ 第２映像フレーム列
４３ 第１照合映像フレームに対応する映像フレーム
４４ 第１照合映像フレーム
４５ 第１映像フレーム群
４６ 第２映像フレーム群
４７ 第２照合映像フレーム
４８ 第２照合映像フレーム列
４９ 類似映像フレーム列
５０ 類似映像フレーム
５１ 第１類似映像フレーム対
５２ 第２類似映像フレーム対
５３ 類似映像フレーム束

Claims (11)

1. プロセッサ及びインタフェイスを含む処理装置において類似映像フレームを抽出する抽出方法であって、前記プロセッサは、
   前記インタフェイスを利用して第１映像フレーム列及び前記第１映像フレーム列とは異なる第２映像フレーム列とを受信し、
   前記第１映像フレーム列に含まれるそれぞれの映像フレームと、前記第２映像フレーム列に含まれる全ての映像フレームを第１サンプリング周期でサンプリングした映像フレームとを照合して、類似する画像を有する映像フレームを前記第２映像フレーム列から抽出して複数の第１照合映像フレームを特定し、
   前記第１映像フレーム列において、前記第１照合映像フレームに対応した映像フレームを含み且つ前記第１サンプリング周期内に位置する全ての映像フレームを含む第１映像フレーム群を特定し、
   前記第２映像フレーム列において、前記第１照合映像フレームを含み且つ前記第１サンプリング周期内に位置する全ての映像フレームを、前記第１サンプリング周期より短い第２サンプリング周期でサンプリングした全ての映像フレームを含む第２映像フレーム群を特定し、
   前記第１映像フレーム群のそれぞれの映像フレームと、前記第２映像フレーム群に含まれる全ての映像フレームとを照合して、類似する画像を有する映像フレームを前記第２映像フレーム群から抽出して複数の第２照合映像フレームを特定し、
   前記複数の第２照合映像フレームを時系列に配置して、時系列上の配置が近接する複数の第２照合映像フレーム列を形成し、
   前記複数の第２照合映像フレーム列のそれぞれのフレーム列長を決定し、
   決定されたフレーム列長が所定のフレーム列長とほぼ同一な第２照合映像フレーム列を削除することによって、前記第２映像フレーム群から類似映像フレーム列を特定する、
   ステップを有することを特徴とする類似映像フレーム抽出方法。
2. 前記プロセッサは、前記類似映像フレーム列に含まれる映像フレームを類似映像フレームとして抽出し、
   抽出された前記類似映像フレームを表示部に表示する、
   ステップを更に有する請求項１に記載の類似映像フレーム抽出方法。
3. 前記第１映像フレーム列と、前記第２映像フレーム列とは、提供される放送事業者が異なる請求項１、又は請求項２に記載の類似映像フレーム抽出方法。
4. 前記プロセッサは、前記第１映像フレーム列、及び前記第２映像フレーム列のショット境界検出を実行するステップを更に有する請求項１〜請求項３のいずれか一項に記載の類似映像フレーム抽出方法。
5. 前記第１映像フレーム列、及び第２映像フレーム列は、テレビコマーシャルを含むニュースプログラムを構成し、前記所定のフレーム列長は、前記テレビコマーシャルを構成する映像フレーム列のフレーム列長に応じて決定される請求項１〜請求項４のいずれか一項に記載の類似映像フレーム抽出方法。
6. それぞれ異なる複数の放送事業者から提供される少なくとも３つの映像フレーム列それぞれから前記類似映像フレーム列を抽出するときに、前記プロセッサは、
   互いに類似する前記類似映像フレームそれぞれを関係付けて、類似映像フレーム束を形成し、
   前記類似映像フレーム束を構成する類似映像フレームを提供した放送事業者の数を計数し、前記計数した放送事業者数に応じて映像フレームのフレームサイズを決定する、
   ステップを更に有する請求項１〜請求項５のいずれか一項に記載の類似映像フレーム抽出方法。
7. 前記プロセッサは、前記類似映像フレーム束を構成する映像フレームの１つを、前記決定されたフレームサイズで表示部に表示するステップを更に有する請求項６に記載の類似映像フレーム抽出方法。
8. 第１映像フレーム列及び前記第１映像フレーム列とは異なる第２映像フレーム列とを受信するインタフェイスと、
   前記インタフェイスを利用して第１映像フレーム列及び前記第１映像フレーム列とは異なる第２映像フレーム列とを受信し、
   前記第１映像フレーム列に含まれるそれぞれの映像フレームと、前記第２映像フレーム列に含まれる全ての映像フレームを第１サンプリング周期でサンプリングした映像フレームとを照合して、類似する画像を有する映像フレームを前記第２映像フレーム列から抽出して複数の第１照合映像フレームを特定し、
   前記第１映像フレーム列において、前記第１照合映像フレームに対応した映像フレームを含み且つ前記第１サンプリング周期内に位置する全ての映像フレームを含む第１映像フレーム群を特定し、
   前記第２映像フレーム列において、前記第１照合映像フレームを含み且つ前記第１サンプリング周期内に位置する全ての映像フレームを、前記第１サンプリング周期より短い第２サンプリング周期でサンプリングした全ての映像フレームを含む第２映像フレーム群を特定し、
   前記第１映像フレーム群のそれぞれの映像フレームと、前記第２映像フレーム群に含まれる全ての映像フレームとを照合して、類似する画像を有する映像フレームを前記第２映像フレーム群から抽出して複数の第２照合映像フレームを特定し、
   前記複数の第２照合映像フレームを時系列に配置して、時系列上の配置が近接する複数の第２照合映像フレーム列を形成し、
   前記複数の第２照合映像フレーム列のそれぞれのフレーム列長を決定し、
   決定されたフレーム列長が所定のフレーム列長とほぼ同一な第２照合映像フレーム列を削除することによって、前記第２映像フレーム群から類似映像フレーム列を特定する、
   ステップを有する演算処理を実行するプロセッサと、
   を有することを特徴とする類似映像フレーム抽出装置。
9. それぞれ異なる複数の放送事業者から提供される少なくとも３つの映像フレーム列それぞれから前記類似映像フレーム列を抽出するときに、前記プロセッサは、
   互いに類似する前記類似映像フレームそれぞれを関係付けて、類似映像フレーム束を形成し、
   前記類似映像フレーム束を構成する類似映像フレームを提供した放送事業者の数を計数し、前記計数した放送事業者数に応じて映像フレームのフレームサイズを決定し、
   前記類似映像フレーム束を構成する映像フレームの１つを、前記決定されたフレームサイズで表示部に表示するステップを更に有する請求項８に記載の類似映像フレーム抽出装置。
10. インタフェイスを利用して第１映像フレーム列及び前記第１映像フレーム列とは異なる第２映像フレーム列とを受信し、
    前記第１映像フレーム列に含まれるそれぞれの映像フレームと、前記第２映像フレーム列に含まれる全ての映像フレームを第１サンプリング周期でサンプリングした映像フレームとを照合して、類似する画像を有する映像フレームを前記第２映像フレーム列から抽出して複数の第１照合映像フレームを特定し、
    前記第１映像フレーム列において、前記第１照合映像フレームに対応した映像フレームを含み且つ前記第１サンプリング周期内に位置する全ての映像フレームを含む第１映像フレーム群を特定し、
    前記第２映像フレーム列において、前記第１照合映像フレームを含み且つ前記第１サンプリング周期内に位置する全ての映像フレームを、前記第１サンプリング周期より短い第２サンプリング周期でサンプリングした全ての映像フレームを含む第２映像フレーム群を特定し、
    前記第１映像フレーム群のそれぞれの映像フレームと、前記第２映像フレーム群に含まれる全ての映像フレームとを照合して、類似する画像を有する映像フレームを前記第２映像フレーム群から抽出して複数の第２照合映像フレームを特定し、
    前記複数の第２照合映像フレームを時系列に配置して、時系列上の配置が近接する複数の第２照合映像フレーム列を形成し、
    前記複数の第２照合映像フレーム列のそれぞれのフレーム列長を決定し、
    決定されたフレーム列長が所定のフレーム列長とほぼ同一な第２照合映像フレーム列を削除することによって、前記第２映像フレーム群から類似映像フレーム列を特定する、
    ステップをプロセッサに実行させることを特徴とする類似映像フレーム抽出プログラム。
11. プロセッサ及びインタフェイスを含む処理装置において、それぞれ異なる複数の放送事業者から提供される少なくとも３つの映像フレーム列それぞれから類似映像フレームを表示する表示方法であって、前記プロセッサは、
    前記インタフェイスを利用して第１映像フレーム列及び前記第１映像フレーム列とは異なる第２映像フレーム列とを受信し、
    前記第１映像フレーム列に含まれるそれぞれの映像フレームと、前記第２映像フレーム列に含まれる全ての映像フレームを所定のサンプリング周期でサンプリングした映像フレームとを照合して、類似する画像を有する映像フレームを前記第２映像フレーム列から抽出して複数の照合映像フレームを特定し、
    前記複数の照合映像フレームを時系列に配置して、時系列上の配置が近接する複数の照合映像フレーム列を形成し、
    前記複数の照合映像フレーム列のそれぞれのフレーム列長を決定し、
    決定されたフレーム列長が所定のフレーム列長とほぼ同一な照合映像フレーム列を削除することによって、前記映像フレーム列から類似映像フレーム列を特定し、
    互いに類似する前記類似映像フレームそれぞれを関係付けて、類似映像フレーム束を形成し、
    前記類似映像フレーム束を構成する類似映像フレームを提供した放送事業者の数を計数し、前記計数した放送事業者数に応じて映像フレームのフレームサイズを決定し、
    前記類似映像フレーム束を構成する映像フレームの１つを、前記決定されたフレームサイズで表示部に表示する
    ステップを有することを特徴とする類似映像フレーム表示方法。

Images