JP2005251018A - 映像コンテンツ重要度解析システム - Google Patents

Abstract

【課題】事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させることができる映像コンテンツ重要度解析システムを提供することを課題とする。
【解決手段】メタデータを利用して、スポーツ映像の重要度を解析する映像コンテンツ重要度解析システムにおいて、メタデータを抽出して対応するシーンの内容を解析し、解析された内容から特定のシーンを抽出し、抽出されたシーンの重要度であるシーン重要度を解析する。
【選択図】 図４

Description

本発明は、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させることができる映像コンテンツ重要度解析システムに関するものである。

近年、携帯端末やＰＣ向けにマルチメディア情報を配信するサービスの普及がめざましい。特にスポーツ番組に対しては、映像シーンを始めとするマルチメディア情報配信サービスが人気となっている。

このようなサービスでは、利用者の嗜好を反映し、利用者が重要と考えるシーンをダイジェストとして効率的に配信する機能が重要となる。

これまでに、本発明者は映像メタデータを利用したパーソナルなダイジェスト作成方式（Ｐｅｒｓｏｎａｌ Ｄｉｇｅｓｔ Ｍａｋｉｎｇ Ｍｅｔｈｏｄ， ＰＤＭＳ）を提案してきた（特許文献１、特許文献２、特許文献３参照。）。

ここで、ＰＤＭＳは、スポーツ映像を対象とし、映像メタデータを利用して、試合で発生した事象の重要度を算出して、利用者ごとに重要なシーンを検索し、重要度の高いシーンを集めてダイジェストとして生成する方式である。

また、本発明者は、ＰＤＭＳに基づいて、携帯端末上で日本のプロ野球のダイジェスト情報を配信するシステムの発明も行った（特許文献４参照。）。

特開２００２−２３２８２８号公報 特開２００１−２７５０５８号公報 特開２００２−３２８９１７号公報 特開２００４−００７３７１号公報

しかしながら、ＰＤＭＳは加点事象を中心に重要度を算出して重要シーンを抽出していたため、得点が多く入った試合の精度は高いが、得点がほとんど入らなかった試合の精度は低い、という課題があった。

例えば野球の場合、乱打戦（例えば両チームとも５点以上加点された試合）の場合、ＴＶのニュース番組が人手でニュースダイジェストとして選択したシーンとほぼ同等のシーンをＰＤＭＳは抽出できたが、投手戦（例えば両チームとも得点が２点以下）の場合、ニュース番組が選択したシーンと同じシーンを重要シーンとして抽出することができなかった。

本発明は上記問題点に鑑みてなされたもので、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させることができる映像コンテンツ重要度解析システムを提供することを目的としている。

本発明では、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させる方式を提案する。

ここで、場面とはシーンの最初の状況である。そのため、場面重要度はシーンの先頭で算出される値となる。具体的には、該当するシーン内で事象が発生する前に、どのような事象が発生しそうかを予測し、発生事象が試合の勝敗にどのような影響を与えるか、また、どの程度試合に勝つチャンスがありそうかを指標化する。場面重要度が高ければ高いほどチャンスの度合いが大きいことになり、事象発生前の「場面としてのおもしろさ」を表すことが可能となる。この場面重要度を考慮することにより、得点の低い試合に対しての精度の高い重要シーン抽出が実現できる。

また、この場面重要度はリアルタイムに試合の状況を配信するアプリケーションにも利用できる。例えば、試合として面白い場面となったとき、直ちにその情報を利用者に通知し、利用者はその時点からリアルタイムに試合の進行を視聴する、といった機能が実現できる。

したがって、上述した課題を解決し、目的を達成するために、請求項１にかかる映像コンテンツ重要度解析システムは、メタデータを利用して、スポーツ映像の重要度を解析する映像コンテンツ重要度解析システムにおいて、前記メタデータを抽出して対応するシーンの内容を解析するメタデータ解析手段と、前記メタデータ解析手段により解析された前記内容から特定のシーンを抽出するシーン抽出手段と、前記シーン抽出手段により抽出された前記シーンの重要度であるシーン重要度を解析するシーン重要度解析手段とを備えたことを特徴とする。

この請求項１にかかる発明によれば、メタデータを抽出して対応するシーンの内容を解析し、解析された内容から特定のシーンを抽出し、抽出されたシーンの重要度であるシーン重要度を解析することにより、スポーツ映像から重要度の高いシーンを集めてダイジェストを生成することが可能になる。

また、請求項２にかかる発明は、請求項１に記載の映像コンテンツ重要度解析システムであって、前記シーン重要度解析手段は、各シーンの先頭において、当該シーンの状況に基づいて、実際に事象が発生する前の場面としての重要度である場面重要度を算出する場面重要度算出手段をさらに備えたことを特徴とする。

この請求項２にかかる発明によれば、各シーンの先頭において、当該シーンの状況に基づいて、実際に事象が発生する前の場面としての重要度である場面重要度を算出することにより、事象が発生する前の「場面としてのチャンスの度合い」を場面重要度として算出することが実現可能になる。

また、この請求項２にかかる発明によれば、場面重要度を考慮することにより、例えば得点の低い試合に対して精度の高い重要シーン抽出が実現できる。

また、この請求項２にかかる発明によれば、場面重要度を、リアルタイムに試合の状況を配信するアプリケーションに利用することにより、例えば試合として面白い場面となったとき、直ちにその情報を利用者に通知し、利用者はその時点からリアルタイムに試合の進行を視聴することが実現できる。

また、請求項３にかかる発明は、請求項２に記載の映像コンテンツ重要度解析システムであって、前記シーンの先頭の前記状況は、前記シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応するステイタスを表現する値のセットであることを特徴とし、前記シーン重要度解析手段は、前記値のセットをスポーツのジャンルに依存して決定する値セット決定手段をさらに備えたことを特徴とする。

この請求項３にかかる発明によれば、シーンの先頭の状況は、シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応するステイタスを表現する値のセットであり、当該値のセットをスポーツのジャンルに依存して決定することにより、各種スポーツに対応した場面重要度の算出が可能になる。

また、請求項４にかかる発明は、請求項２に記載の映像コンテンツ重要度解析システムであって、前記場面重要度算出手段は、前記シーンの前記状況に基づいて、前記シーンで発生する事象である発生事象を予測する事象予測手段をさらに備えたことを特徴とする。

この請求項４にかかる発明によれば、シーンの状況に基づいて、シーンで発生する事象である発生事象を予測することにより、予測された発生事象を考慮した場面重要度を算出することが可能になる。

また、請求項５にかかる発明は、請求項４に記載の映像コンテンツ重要度解析システムであって、前記場面重要度算出手段は、前記事象予測手段により予測された前記発生事象に基づいて、前記シーンにおける得点の期待値である予想得点値を算出する期待値算出手段をさらに備えたことを特徴とする。

この請求項５にかかる発明によれば、予測された発生事象に基づいて、シーンにおける得点の期待値である予想得点値を算出することにより、期待値に基づいて場面重要度を算出することが可能になる。

また、請求項６にかかる発明は、請求項５に記載の映像コンテンツ重要度解析システムであって、前記場面重要度算出手段は、前記期待値算出手段により予測された前記得点の前記期待値に基づいて、前記得点が加算されることで、試合の経過にどの程度影響を与えるかを指標値として算出する指標値算出手段をさらに備えたことを特徴とする。

この請求項６にかかる発明によれば、予測された得点の期待値に基づいて、得点が加算されることで、試合の経過にどの程度影響を与えるかを指標値として算出することにより、当該指標値に基づいて場面重要度を算出することが可能である。

また、請求項７にかかる発明は、請求項６に記載の映像コンテンツ重要度解析システムであって、前記指標値は、ホームチームの勝利確率の差、または、前記得点の前記期待値の加点後の勝利確率と前記シーンの先頭における勝利確率との差の絶対値であり、前記場面重要度算出手段は、前記指標値算出手段により算出された前記指標値を前記場面重要度として求めることを特徴とする。

この請求項７にかかる発明によれば、指標値は、ホームチームの勝利確率の差、または、得点の期待値の加点後の勝利確率とシーンの先頭における勝利確率との差の絶対値であり、算出された指標値（絶対値）を場面重要度として求めることにより、勝利確率の差に基づいて事象が発生する前の「場面としての面白さ」を考慮した場面重要度を算出することが可能である。

また、請求項８にかかる発明は、請求項７に記載の映像コンテンツ重要度解析システムであって、前記シーン重要度解析手段は、前記勝利確率の前記差が大きい前記シーンを前記場面重要度の高い前記シーンとして認識するシーン認識手段と、前記シーン認識手段により認識した前記シーンの前記場面重要度と、予め算出した事象を基にした重要度である事象重要度と、を組み合わせて前記シーン重要度を算出するシーン重要度算出手段とをさらに備えたことを特徴とする。

この請求項８にかかる発明によれば、ホームチームの勝利確率の差が大きいシーンを場面重要度の高いシーンとして認識し、認識したシーンの場面重要度と、予め算出した事象を基にした重要度である事象重要度と、を組み合わせてシーン重要度を算出するので、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させることができる。

本発明（請求項１）にかかる映像コンテンツ重要度解析システムは、メタデータを抽出して対応するシーンの内容を解析し、解析された内容から特定のシーンを抽出し、抽出されたシーンの重要度であるシーン重要度を解析することにより、スポーツ映像から重要度の高いシーンを集めてダイジェストを生成することが可能になる映像コンテンツ重要度解析システムを提供するという効果を奏する。

また、本発明（請求項２）にかかる映像コンテンツ重要度解析システムは、請求項１において、事象が発生する前の「場面としてのチャンスの度合い」を場面重要度として算出することが実現可能になるという効果を奏する。

また、本発明（請求項２）にかかる映像コンテンツ重要度解析システムは、請求項１において、場面重要度を考慮することにより、例えば得点の低い試合に対して精度の高い重要シーン抽出が実現できるという効果を奏する。

また、本発明（請求項２）にかかる映像コンテンツ重要度解析システムは、請求項１において、場面重要度を、リアルタイムに試合の状況を配信するアプリケーションに利用することにより、例えば試合として面白い場面となったとき、直ちにその情報を利用者に通知し、利用者はその時点からリアルタイムに試合の進行を視聴することが実現できるという効果を奏する。

また、本発明（請求項３）にかかる映像コンテンツ重要度解析システムは、請求項２において、各種スポーツに対応した場面重要度の算出が可能になるという効果を奏する。

また、本発明（請求項４）にかかる映像コンテンツ重要度解析システムは、請求項２において、予測された発生事象を考慮した場面重要度を算出することが可能になるという効果を奏する。

また、本発明（請求項５）にかかる映像コンテンツ重要度解析システムは、請求項４において、期待値に基づいて場面重要度を算出することが可能になるという効果を奏する。

また、本発明（請求項６）にかかる映像コンテンツ重要度解析システムは、請求項５において、指標値に基づいて場面重要度を算出することが可能であるという効果を奏する。

また、本発明（請求項７）にかかる映像コンテンツ重要度解析システムは、請求項６において、勝利確率の差に基づいて事象が発生する前の「場面としての面白さ」を考慮した場面重要度を算出することが可能であるという効果を奏する。

また、本発明（請求項８）にかかる映像コンテンツ重要度解析システムは、請求項７において、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させることができるという効果を奏する。

以下に、本発明にかかる映像コンテンツ重要度解析システムの最良な実施の形態について添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態により限定されるものではない。

［本発明の概要］
本発明では、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させる方式を提案する。

例えば野球の場合、満塁でホームランをよく打つバッターが打席に入ったとする。ここで、相手チームとの得点差が−４点以下である場合、ホームラン（ＨＲ）が出れば同点（あるいは逆転）にできるため、チャンスの度合いは大きくなり、試合に勝つ可能性が高まる。しかし、相手チームとの差が−４点よりもはるかに大きかった場合、ＨＲが出たとしても点差はまだ大きく、試合に勝つ可能性が低いままであるため、チャンスの度合いは小さくなる。すなわち、このチャンスの度合いは、打者が打席に入ったときに求まる値であり、結果として該当打者が三振に終わりチャンスを逃したとしても影響を受けることはない。

そこで、本発明は、映像メタデータを利用して場面重要度を算出し、場面重要度をシーンの重要度に反映させるために、概略的に、以下の基本的特徴を有する。すなわち、本発明は、まず、メタデータを抽出して対応するシーンの内容を解析する。

ついで、解析された内容から特定のシーンを抽出する。

ついで、抽出されたシーンの重要度であるシーン重要度を解析する。

ここで、シーン重要度の解析において、各シーンの先頭において、当該シーンの状況に基づいて、実際に事象が発生する前の場面としての重要度である場面重要度を算出する。具体的には、該当シーンの得点の期待値を求め、得点の期待値に基づいて場面重要度を算出する。なお、シーンの先頭の状況は、シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応するステイタスを表現する値のセットでもよい。また、値のセットはスポーツのジャンルに依存して決定してもよい。

また、場面重要度の算出において、シーンの状況に基づいて、シーンで発生する事象である発生事象を予測してもよい。

また、予測された発生事象に基づいて、シーンにおける得点の期待値である予想得点値を算出してもよい。

また、予測された得点の期待値に基づいて、得点が加算されることで、試合の経過にどの程度影響を与えるかを指標値として算出してもよい。

また、算出された指標値を、ホームチームの勝利確率の差、または、得点の期待値の加点後の勝利確率とシーンの先頭における勝利確率との差の絶対値とし、算出された指標値（絶対値）を場面重要度として求めてもよい。

また、ホームチームの勝利確率の差が大きいシーンを場面重要度の高いシーンとして認識し、認識したシーンの場面重要度と、予め算出した事象を基にした重要度である事象重要度と、を組み合わせてシーン重要度を算出してもよい。

［システム構成］
つぎに、本システムの構成について説明する。
図１は、本発明の実施の形態にかかる映像コンテンツ重要度解析システム１００のハードウェア構成を示すブロック図である。

図１に示すように、映像コンテンツ重要度解析システム１００は、概略的に、映像コンテンツ重要度解析システム１００の全体を統括的に制御し後述するソフトウェアに基づく処理を実行するＣＰＵ１０１と、プログラム等を記録したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、各種の入力操作を行うためのキーボード１０５およびマウス１０６と、映像や各種情報を表示するモニタ１０４と、各種のアプリケーションプログラムやデータなどを記録したハードディスク（ＨＤ）１０７と、外部機器と接続するための各種ドライバー、ネットワークアダプタなどのインタフェース部１０８と、を少なくとも備えている。

図１において、ＣＰＵ１０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。ＣＰＵ１０１は、図２に示すように、機能概念的に、メタデータ解析部１０１ａ、シーン抽出部１０１ｂ、シーン重要度解析部１０１ｃを含んで構成される。

図２は、図１におけるＣＰＵ１０１のソフトウェア構成を示すブロック図である。
図２において、メタデータ解析部１０１ａは、メタデータを抽出して対応するシーンの内容を解析するメタデータ解析手段である。

また、シーン抽出部１０１ｂは、解析された内容から特定のシーンを抽出するシーン抽出手段である。

また、シーン重要度解析部１０１ｃは、抽出されたシーンの重要度であるシーン重要度を解析するシーン重要度解析手段である。ここで、シーン重要度解析部１０１ｃは、図３に示すように、値セット決定部１０１ｃ−１、場面重要度算出部１０１ｃ−２、シーン認識部１０１ｃ−３、シーン重要度算出部１０１ｃ−４を含んで構成される。

図３は、図２におけるシーン重要度解析部１０１ｃのソフトウェア構成を示すブロック図である。
図３において、値セット決定部１０１ｃ−１は、シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応するステイタスを表現する値のセットをスポーツのジャンルに依存して決定する値セット決定手段である。

また、場面重要度算出部１０１ｃ−２は、各シーンの先頭において、当該シーンの状況に基づいて、実際に事象が発生する前の場面としての重要度である場面重要度を算出する場面重要度算出手段である。ここで、場面重要度算出部１０１ｃ−２は、事象予測部１０１ｃ−２−１、期待値算出部１０１ｃ−２−２、指標値算出部１０１ｃ−２−３を含んで構成される。

図３において、事象予測部１０１ｃ−２−１は、シーンの状況に基づいて、シーンで発生する事象である発生事象を予測する事象予測手段である。

また、期待値算出部１０１ｃ−２−２は、予測された発生事象に基づいて、シーンにおける得点の期待値である予想得点値を算出する期待値算出手段である。

また、指標値算出部１０１ｃ−２−３は、予測された得点の期待値に基づいて、得点が加算されることで、試合の経過にどの程度影響を与えるかを指標値（例えば、ホームチームの勝利確率の差、または、得点の期待値の加点後の勝利確率とシーンの先頭における勝利確率との差の絶対値）として算出する指標値算出手段である。

また、シーン認識部１０１ｃ−３は、ホームチームの勝利確率の差が大きいシーンを場面重要度の高いシーンとして認識するシーン認識手段である。

また、シーン重要度算出部１０１ｃ−４は、認識したシーンの場面重要度と予め算出した事象を基にした重要度である事象重要度とを組み合わせてシーン重要度を算出するシーン重要度算出手段である。

なお、これら各部によって行われる処理の詳細については、後述する。

［システムの処理］
つぎに、このように構成された本実施の形態における本システムの処理の一例について、以下に、図４や図５などを参照して詳細に説明する。

ここで、まず、場面重要度算出のための入力情報となる映像メタデータと、ダイジェストの構成単位となるシーンについて簡単に説明する。なお、詳細は、特開２００２−２３２８２８号公報、特開２００１−２７５０５８号公報、特開２００２−３２８９１７号公報を参照されたい。

「映像メタデータ」は、メタデータの一例を示す図である図６に示すように、映像上で発生した事象情報を表現する記述子（Ｐｒｉｍｉｔｉｖｅ Ｄｅｓｃｒｉｐｔｏｒ）であり、以下のようなタプルで表現される。

例えば打席開始の場合は、投手や打者の名前、アウトカウント、出塁などの状況に関する情報が属性として指定されている。

また、「シーン」は、２つのメタデータ間の区間であり、例えば、打席開始から次の打席開始までが打席シーン、投球開始から次の投球開始（あるいは次の打席開始）までが投球シーン、といったようにシーンの粒度が定義される。なお、ＰＤＭＳにより生成されるダイジェストはこのシーンの集合であり、どの粒度のシーンを配信するかは、あらかじめ決められている。

（メイン処理）
ここでは、映像コンテンツ重要度解析システム１００にて行われるメイン処理について、図４等を参照して詳細に説明する。
図４は、本実施形態における本システムのメイン処理の一例を示すフローチャートである。

まず、映像コンテンツ重要度解析システム１００は、メタデータ解析部１０１ａの処理により、メタデータを抽出して対応するシーンの内容を解析する（ステップＳＡ−１）。

ついで、映像コンテンツ重要度解析システム１００は、シーン抽出部１０１ｂの処理により、ステップＳＡ−１にて解析された内容から特定のシーンを抽出する（ステップＳＡ−２）。

ついで、映像コンテンツ重要度解析システム１００は、シーン重要度解析部１０１ｃにて行われるシーン重要度解析処理により、ステップＳＡ−２にて抽出されたシーンの重要度であるシーン重要度を解析する（ステップＳＡ−３）。

（シーン重要度解析処理）
ここで、シーン重要度解析部１０１ｃに含まれる各処理部にて行われるシーン重要度解析処理について、図５を参照して詳細に説明する。

図５は、本実施形態における本システムのシーン重要度解析処理の一例を示すフローチャートである。

まず、シーン重要度解析部１０１ｃは、場面重要度算出部１０１ｃ−２にて行われる場面重要度算出処理により、ステップＳＡ−２にて抽出された各シーンの先頭において、当該シーンの状況に基づいて、実際に事象が発生する前の場面としての重要度である場面重要度を算出する（ステップＳＢ−１）。なお、シーンの先頭の状況は、シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応するステイタスを表現する値のセットでもよい。また、シーン重要度解析部１０１ｃは、値セット決定部１０１ｃ−１の処理により、値のセットをスポーツのジャンルに依存して決定してもよい。

（場面重要度算出処理）
ここで、場面重要度算出部１０１ｃ−２に含まれる各処理部にて行われる場面重要度算出処理について、図５を参照して詳細に説明する。

まず、場面重要度算出部１０１ｃ−２は、事象予測部１０１ｃ−２−１の処理により、ステップＳＡ−２にて抽出されたシーンの状況に基づいて、シーンで発生する事象である発生事象を予測する（ステップＳＣ−１）。

ついで、場面重要度算出部１０１ｃ−２は、期待値算出部１０１ｃ−２−２の処理により、ステップＳＣ−１にて予測された発生事象に基づいて、シーンにおける得点の期待値である予想得点値を算出する（ステップＳＣ−２）。

ここで、ステップＳＣ−２にて行われる処理の具体例について、詳細に説明する。

上述したように、場面重要度はチャンスの度合いを表現する。例えば、野球の試合の場合、ホームランバッターが打席に立ち、その時点での得点差が−４点以下ならば、ホームランが発生した場合、同点あるいは逆転とすることができ、試合に勝つ確率は大きくなり、このシーンはチャンスの場面であるということができる。

しかし、その時点での得点差が−４点よりはるかに大きければ、ホームランが発生しても同点に持ち込むことはできない。よって、この場合、試合に勝つ確率は小さいままであり、チャンスの場面であるということはできない。

このように場面重要度は、シーンの先頭で算出される値であり、実際にホームランを打ったかどうかによって値は変化しない。

そのため、場面重要度は、得点の期待値（Ｅｘｐｅｃｔｅｄ Ｓｃｏｒｅ（ＥＮ））と、得点差の期待値（得点の期待値が加算された後に予想される得点差）に依存する。

まず、ＥＮを算出するために、得点確率（Ｓｃｏｒｅ Ｐｒｏｂａｂｉｌｉｔｉｅｓ（ＳＰ））を算出する。ここで、「ＳＰ_n」は、ｎ点加算できる確率を示す。そして、あるシーンＳｉにおける「ＳＰ_n」は数式１により算出する。

ここで、数式１において、関数「ＧｅｔＳｉｔｕａｔｉｏｎ（Ｓｉ）」は、シーンＳｉの状況を返す関数である。

該当するシーンＳｉのＥＮは、数式２により算出する。

ここで、関数「ＧｅｔＳＰ（ ）」および「ＧｅｔＥＮ（ ）」は、スポーツのタイプに依存する。以下では、野球を例として説明を行う。

野球の場合、「状況」は、例えば、（ｂａｓｅ−ｉｎｆｏ，ｐｉｔｃｈｅｒ，ｂａｔｔｅｒ）という３つ組のタプルとして表現される。

また、関数「ＧｅｔＳｉｔｕａｔｉｏｎ（Ｓｉ）」は、シーンＳｉの先頭におけるこの３つ組の値を返す。

また、野球の場合、満塁ホームランで追加される４点が、一つの事象で加点される得点の最大値であるので、数式２において、ｎは１〜４の範囲の数となる。

ここで、関数「ＧｅｔＳＰ（ ）」は、数式３に示すように、「ＧｅｔＳＥＰ（ ）」および「ＧｅｔＥａｃｈＳｉＳＰ（ ）」から構成される。

ここで、関数「ＧｅｔＳＥＰ（ ）」は、ヒット、二塁打、三塁打、ホームランの発生確率を返す。また、関数「ＧｅｔＥａｃｈＳｉＳＰ（ ）」は、該当する状況において、ヒット、二塁打、三塁打、ホームランのそれぞれの事象が発生した場合の、ｎ点加点する確率を示す。

該当する状況において、事象ＰＤｊが発生した場合のｎ点加点する確率は、過去の１００試合における経験値を元に統計的に算出した。

具体的には、例えば、満塁で打者が２塁打を打った時に１点追加された場合と２点追加された場合の数を過去の試合から求め、満塁で２塁打が発生した時の１点追加、２点追加の確率を算出した。

ここで、事象の発生確率の算出における発生確率の段階的抽象化について図１７を参照して説明する。図１７は、事象の発生確率の段階的抽象化の概念を模式的に示した図である。

上述のように、加点に関わる事象の発生確率は、打者と投手を特定した状況における事象ＰＤｊの発生確率から求める（図１７）。

図１７において、ＰＤ１は安打の発生確率、ＰＤ２は二塁打の発生確率、ＰＤ３は三塁打の発生確率、ＰＤ４は本塁打の発生確率を示す。野球の場合、出塁状況は塁上に走者なし、１塁に走者あり、２塁に走者あり、３塁に走者あり、１塁２塁に走者あり、１塁３塁に走者あり、２塁３塁に走者あり、満塁の８種類の出塁状況があり、それぞれｎｏｎｅ、１、２、３、１２、１３、２３、１２３と表現することとする。

ある状況における加点事象の発生確率（ｐｒｏｂａｂｉｌｉｔｙ）は、８種類の出塁状況における確率値と、全体を平均した状況に依存しない確率値の９個の要素から構成されることになる。例えば、投手Ａ対打者１（ＰｉｔｃｈｅｒＡ ｖｓ． Ｂａｔｔｅｒ１）の事象の発生確率は、図１７の構造の最下層に記述されている。

しかし、ルーキーなどで試合に出場しておらずその選手に関する情報がない、あるいは確率を求めるためのサンプル数が少なく精度が低いなどの理由により、該当する投手および打者における状況を特定した事象発生確率（ｐｒｏｂａｂｉｌｉｔｙ）がない（Ｎｏ ｐｒｏｂａｂｉｌｉｔｙ）場合、発生確率の抽象化（Ａｂｓｔｒａｃｔｉｏｎ）を行う。

例えば、図１７において、投手Ｃ対打者２（ＰｉｔｃｈｅｒＣ ｖｓ． Ｂａｔｔｅｒ２）における発生確率がない（Ｎｏ ｐｒｏｂａｂｉｌｉｔｙ）。この場合は、階層が１つ上がり、該当する投手の発生確率と該当する打者の発生確率を求め、両者の値の精度に応じて加重平均により擬似的に発生確率を求めることにより行う。

該当する打者や投手の事象発生確率がない（Ｎｏ ｐｒｏｂａｂｉｌｉｔｙ）場合、投手全体における事象の平均発生確率（Ａｖｅｒａｇｅ ｐｒｏｂａｂｉｌｉｔｉｅｓ ｏｆ ａｌｌ ｐｉｔｃｈｅｒｓ）、打者全体における事象の平均発生確率（Ａｖｅｒａｇｅ ｐｒｏｂａｂｉｌｉｔｉｅｓ ｏｆ ａｌｌ ｂａｔｔｅｒｓ）、全ての打者対投手における事象の平均発生確率（Ａｖｅｒａｇｅ ｐｒｏｂａｂｉｌｉｔｉｅｓ ｏｆ ａｌｌ ｂａｔｔｅｒｓ ｖｓ． ａｌｌ ｐｉｔｃｈｅｒｓ）を利用する。

例えば、投手Ｃ対打者２（ＰｉｔｃｈｅｒＣ ｖｓ． Ｂａｔｔｅｒ２）の場合、打者２（Ｂａｔｔｅｒ２）の発生確率はあるが、投手Ｃ（ＰｉｔｈｅｒＣ）の発生確率はない。そのため、さらに１段階抽象化を行い、投手全体の発生確率（Ａｖｅｒａｇｅ ｐｒｏｂａｂｉｌｉｔｉｅｓ ｏｆ ａｌｌ ｐｉｔｃｈｅｒｓ）を利用し、打者２（Ｂａｔｔｅｒ２）の発生確率と組み合わせて擬似的に発生確率を求める。

これにて、事象の発生確率の段階的抽象化についての説明が終了する。

これにて、ステップＳＣ−２にて行われる処理の具体例についての説明が終了する。

ついで、場面重要度算出部１０１ｃ−２は、指標値算出部１０１ｃ−２−３の処理により、ステップＳＣ−２にて予測された得点の期待値に基づいて、得点が加算されることで、試合の経過にどの程度影響を与えるかを指標値として算出する（ステップＳＣ−３）。

ここで、指標値は、ホームチームの勝利確率の差、または、得点の期待値の加点後の勝利確率とシーンの先頭における勝利確率との差の絶対値であってもよく、場面重要度算出部１０１ｃ−２は、指標値算出部１０１ｃ−２−３により算出された指標値を場面重要度として求めてもよい。

ここで、ステップＳＣ−３にて行われる処理の具体例について、詳細に説明する。

本具体例では、シーンＳｉにおける場面重要度（ＳＩｉ）を、数式４で定義する。

ここで、関数「ＧｅｔＳＩ（ ）」は、勝利確率に基づいてＳＩを算出する。なお、勝利確率は、該当するイニングにおいて得点差が「ホームチームのスコア−アウェイチームのスコア」であったときに、ホームチームが勝利する確率である。

関数「ＧｅｔＩｎｎｉｎｇ（Ｓｉ）」は、シーンＳｉのイニング数を返す。また、関数「ＧｅｔＤｅｌｔａ（ ）」は、指定された得点が加点された場合の勝利確率を返す。

図８から図１６は、各イニング（１イニング（１ｓｔ Ｉｎｎｉｎｇ）から９イニング（９ｔｈ Ｉｎｎｉｎｇ））の開始時点における各得点差（Ｓｃｏｒｅ Ｄｉｆｆｅｒｅｎｃｅ）の場合の勝利確率（Ｗｉｎｎｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ）のグラフを示す図である。なお、各グラフは、過去の１００試合から統計的に求めている。また、試合数が少なく、勝利確率（Ｗｉｎｎｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ）を求めるのに十分なサンプルがなかった場合は、値を近似した。例えば、終盤のイニングでは、勝利確率（Ｗｉｎｎｉｎｇ Ｐｒｏｂａｂｉｌｉｔｙ）はたとえ得点差（Ｓｃｏｒｅ Ｄｉｆｆｅｒｅｎｃｅ）が小さくても大きくなる傾向になる。具体的には、９イニング前半の場合、得点差が−１の時は、勝利確率は０．１と低いが、得点差が１になると勝利確率は０．７と高くなる。

場面重要度ＳＩは、この勝利確率の差の絶対値として算出される。なお、１イニングの開始時点では、得点差は０、勝利確率は０．５と固定されている。そのため、１イニングの勝利確率は、２イニングのものを利用することとする。

これにて、ステップＳＣ−３にて行われる処理の具体例についての説明が終了する。

これにて、場面重要度算出処理が終了する。

ついで、シーン重要度解析部１０１ｃは、シーン認識部１０１ｃ−３の処理により、ステップＳＣ−３にて算出されたホームチームの勝利確率の差が大きいシーンを場面重要度の高いシーンとして認識する（ステップＳＢ−２）。

ついで、シーン重要度解析部１０１ｃは、シーン重要度算出部１０１ｃ−４の処理により、ステップＳＢ−２にて認識したシーンの場面重要度と、予め算出した、事象を基にした重要度である事象重要度と、を組み合わせて、シーン重要度を算出する（ステップＳＢ−３）。

ここで、ステップＳＢ−３にて行われる処理の具体例について、詳細に説明する。

上述の場面重要度算出処理にて算出された場面重要度ＳＩと、予め算出されたＰＤＭＳによる重要度ＰｄｍｓＳｉｇとから、該当シーンの最終的な重要度ＦＳを算出する。

ここで、ＰＤＭＳによる重要度ＰｄｍｓＳｉｇの算出について、図７を参照して詳細に説明する。図７は、ＰＤＭＳによる重要度の算出について説明する図である。なお、詳細は、特開２００２−２３２８２８、特開２００１−２７５０５８、特開２００２−３２８９１７を参照されたい。

ＰＤＭＳは映像上で発生した事象の重要度をステイタスパラメタの値として算出する。例えば野球の場合、攻撃的重要度（ａｇｇｒｅｓｓｉｖｅ ｉｍｐｏｒｔａｎｃｅ）を表現する攻撃レベル（Ａｇｇｒｅｓｓｉｏｎ Ｌｅｖｅｌ）、守備の重要度を表現する守備レベルなどがある。攻撃レベルは、ヒットやＨＲのような攻撃的事象の際に値が加算される。ステイタスパラメタの値の算出はルールに基づいている。例えば図７に示すように、ヒット（ｈｉｔ）が発生した場合、攻撃レベルは２ポイント加算される。そして、各シーンの重要度は、そのシーンのステイタスパラメタ値の和として算出される。なお、本発明において、このステイタスパラメタの和をＰｄｍｓＳｉｇとして参照する。

ここで、ＦＳを算出するにあたり、まず、ＰｄｍｓＳｉｇの値を調整した値である、数式５で定義されるＰｄｍｓＳｉｇＬｉｎを求める。

ここで、関数「Ｍｉｎ（Ｓｉ）」は、シーンＳｉを含む該当する試合のＰｄｍｓＳｉｇの最小値を返す。また、関数「Ａｖｅｒａｇｅ（Ｓｉ）」は、シーンＳｉを含む該当する試合のＰｄｍｓＳｉｇの平均値を返す。

そして、数式５に示すＰｄｍｓＳｉｇＬｉｎを正規化し、ＰｄｍｓＳｉｇＮｉを求める。

そして、場面重要度ＳＩｉとＰｄｍｓＳｉｇＮｉを利用して、数式６で定義される最終重要度を算出する。

ここで、αとβは、ＦＳｉを算出するための重み係数である。なお、重みはスポーツのタイプに依存する。

そして、算出した最終重要度でシーンをソートすることにより、重要シーンを得ることができる。

これにて、ステップＳＢ−３にて行われる処理の具体例についての説明を終了する。

これにて、シーン重要度解析処理が終了する。

以上、メイン処理が終了する。

本実施例では、本発明による場面重要度を考慮した重要シーン抽出の評価を行った。ここで、本評価において、投手と打者を特定した状況における事象の発生確率は、日本プロ野球機構のデータベースのデータを利用した。ただし、ルーキーなどで発生確率がない場合は、打者全体の平均値を利用することとした。また、最終的重要度（ＦＳｉ）の算出にあたり、α、βを以下のように設定した。

α＝２、β＝１

図１８に、場面重要度を考慮した場合と、考慮しない場合（従来通りのＰｄｍｓＳｉｇによる重要度算出）の重要シーン抽出による平均適合率（平均正解率）を示す。ここで、重要シーン抽出の正解集合は、ＴＶのニュース番組のスポーツダイジェストとした。また、平均適合率算出における検索数は、各正解集合のシーン抽出数とした。

図１８に示すように、場面重要度を考慮した場合の平均適合率が高くなっており、場面重要度の有効性がわかる。

図１９は、２００３年の６月２６日における巨人対横浜戦のシーン抽出の具体例を示す図である。図１９において、正解集合として、ＴＶニュースがスポーツダイジェストとして選択したシーンを示した。また、ＰｄｍｓＳｉｇによるソート結果のランキングと、ＦＳによるソート結果のランキングを示し、それぞれ平均適合率を求めた。

ここで、ＦＳは場面重要度を考慮し、ＰｄｍｓＳｉｇは考慮していない。それゆえ、ＰｄｍｓＳｉｇとＦＳのランキングの値は異なっている。

図１９に示すように、ＦＳの平均適合率のほうが高くなっていることから、ＦＳのほうがより正確に重要シーンを抽出できていることがわかる。

以上のように、本発明にかかる映像コンテンツ重要度解析システムは、事象が発生する前の「場面としてのチャンスの度合い」である場面重要度をシーンの重要度に反映させることができ、特にスポーツ映像において、携帯端末やＰＣ向けに映像シーンを始めとするマルチメディア情報を配信するサービスにおいて極めて有用である。

また、本発明にかかる映像コンテンツ重要度解析システムは、産業上の多くの分野、特に情報通信サービスの分野で実施することができ、極めて有用である。

本発明の実施の形態にかかる映像コンテンツ重要度解析システム１００の ハードウェア構成を示すブロック図である。 図１におけるＣＰＵ１０１のソフトウェア構成を示すブロック図である。 図２におけるシーン重要度解析部１０１ｃのソフトウェア構成を示すブロ ック図である。 本実施形態における本システムのメイン処理の一例を示すフローチャート である。 本実施形態における本システムのシーン重要度解析処理の一例を示すフロ ーチャートである。 メタデータの一例を示す図である。 ＰＤＭＳによる重要度の算出について説明する図である。 １イニングの開始時点における各得点差の場合の勝利確率のグラフを示す 図である。 ２イニングの開始時点における各得点差の場合の勝利確率のグラフを示す 図である。 ３イニングの開始時点における各得点差の場合の勝利確率のグラフを示 す図である。 ４イニングの開始時点における各得点差の場合の勝利確率のグラフを示 す図である。 ５イニングの開始時点における各得点差の場合の勝利確率のグラフを示 す図である。 ６イニングの開始時点における各得点差の場合の勝利確率のグラフを示 す図である。 ７イニングの開始時点における各得点差の場合の勝利確率のグラフを示 す図である。 ８イニングの開始時点における各得点差の場合の勝利確率のグラフを示 す図である。 ９イニングの開始時点における各得点差の場合の勝利確率のグラフを示 す図である。 事象の発生確率の段階的抽象化の概念を模式的に示した図である。 場面重要度を考慮した場合と、考慮しない場合（従来通りのＰｄｍｓＳ ｉｇによる重要度算出）の重要シーン抽出による平均適合率を示す図である。 ２００３年の６月２６日における巨人対横浜戦のシーン抽出の具体例を 示す図である。

符号の説明

１００ 映像コンテンツ重要度解析システム
１０１ ＣＰＵ
１０１ａ メタデータ解析部
１０１ｂ シーン抽出部
１０１ｃ シーン重要度解析部
１０１ｃ−１ 値セット決定部
１０１ｃ−２ 場面重要度算出部
１０１ｃ−２−１ 事象予測部
１０１ｃ−２−２ 期待値算出部
１０１ｃ−２−３ 指標値算出部
１０１ｃ−３ シーン認識部
１０１ｃ−４ シーン重要度算出部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ モニタ
１０５ キーボード
１０６ マウス
１０７ ハードディスク
１０８ インタフェース部

Claims (8)

1. メタデータを利用して、スポーツ映像の重要度を解析する映像コンテンツ重要度解析システムにおいて、
   前記メタデータを抽出して対応するシーンの内容を解析するメタデータ解析手段と、
   前記メタデータ解析手段により解析された前記内容から特定のシーンを抽出するシーン抽出手段と、
   前記シーン抽出手段により抽出された前記シーンの重要度であるシーン重要度を解析するシーン重要度解析手段と、
   を備えたことを特徴とする映像コンテンツ重要度解析システム。
2. 前記シーン重要度解析手段は、
   各シーンの先頭において、当該シーンの状況に基づいて、実際に事象が発生する前の場面としての重要度である場面重要度を算出する場面重要度算出手段、
   をさらに備えたことを特徴とする請求項１に記載の映像コンテンツ重要度解析システム。
3. 前記シーンの先頭の前記状況は、前記シーンの登場人物、得点、場所、時間のうち少なくとも一つに対応するステイタスを表現する値のセットであること、
   を特徴とし、
   前記シーン重要度解析手段は、
   前記値のセットをスポーツのジャンルに依存して決定する値セット決定手段、
   をさらに備えたことを特徴とする請求項２に記載の映像コンテンツ重要度解析システム。
4. 前記場面重要度算出手段は、
   前記シーンの前記状況に基づいて、前記シーンで発生する事象である発生事象を予測する事象予測手段、
   をさらに備えたことを特徴とする請求項２に記載の映像コンテンツ重要度解析システム。
5. 前記場面重要度算出手段は、
   前記事象予測手段により予測された前記発生事象に基づいて、前記シーンにおける得点の期待値である予想得点値を算出する期待値算出手段、
   をさらに備えたことを特徴とする請求項４に記載の映像コンテンツ重要度解析システム。
6. 前記場面重要度算出手段は、
   前記期待値算出手段により予測された前記得点の前記期待値に基づいて、前記得点が加算されることで、試合の経過にどの程度影響を与えるかを指標値として算出する指標値算出手段、
   をさらに備えたことを特徴とする請求項５に記載の映像コンテンツ重要度解析システム。
7. 前記指標値は、ホームチームの勝利確率の差、または、前記得点の前記期待値の加点後の勝利確率と前記シーンの先頭における勝利確率との差の絶対値であり、
   前記場面重要度算出手段は、前記指標値算出手段により算出された前記指標値を前記場面重要度として求めること、
   を特徴とする請求項６に記載の映像コンテンツ重要度解析システム。
8. 前記シーン重要度解析手段は、
   前記勝利確率の前記差が大きい前記シーンを前記場面重要度の高い前記シーンとして認識するシーン認識手段と、
   前記シーン認識手段により認識した前記シーンの前記場面重要度と、予め算出した事象を基にした重要度である事象重要度と、を組み合わせて前記シーン重要度を算出するシーン重要度算出手段と、
   をさらに備えたことを特徴とする請求項７に記載の映像コンテンツ重要度解析システム。

Images