JP2016107001A - 抽出プログラム、方法、及び装置 - Google Patents

Abstract

【課題】野球の試合を撮影した映像から、打席の終わりを精度良く抽出する。【解決手段】第２抽出部２４が、打席の始まりを示す箇所と、その打席の始まりから特定される各打席の結果を示す情報とが対応付けられた野球の試合の撮影映像から、打席における最後の投球シーンを含むカットの後、打席の結果に応じた回数カットが切り替わった箇所を、打席の終わりとして抽出する。【選択図】図３

Description

本発明は、抽出プログラム、抽出方法、及び抽出装置に関する。

従来、スポーツ中継の映像から、その映像に含まれる特定のシーンを抽出することが行われている。例えば、ダイジェスト視聴の対象となるスポーツ映像のイベント終了点を抽出する装置が提案されている。この装置では、イベント開始点が決定されたスポーツ映像から、イベント開始点以降のカット点を検出し、検出されたカット点間のカット長の種別をそのカット長の短長に応じて分類する。また、カット長の種別の出現パターンをイベント終了点に対応付けて、出現パターン記憶部に記憶しておく。そして、出現パターン記憶部を参照して、分類された種別の出現パターンに対応するイベント終了点を抽出し、抽出されたイベント終了点を出力する。

特開２００７−３３５９８４号公報

ここで、野球の試合を撮影した映像を対象とし、イベント終了点として打席の終わりを想定する。この場合、試合状況に応じてカットの切り替わり方は様々な態様があるため、従来技術のように、カット長の種別の出現パターンだけでは、打席の終わりを精度良く抽出することができない。

一つの側面として、野球の試合を撮影した映像から、打席の終わりを抽出する精度の向上を図ることを目的とする。

一つの態様では、打席の始まりを示す箇所と、該打席の始まりから特定される各打席の結果を示す情報とが対応付けられた野球の試合の撮影映像から、打席の終わりを抽出する。打席の終わりとして、前記打席における最後の投球シーンを含むカットの後、前記打席の結果に応じた回数カットが切り替わった箇所を抽出する。

一つの側面として、野球の試合を撮影した映像から、打席の終わりを抽出する精度の向上を図ることができる。

本実施形態に係る映像配信システムの概略構成を示すブロック図である。 野球データ・データベースの一例を示す図である。 本実施形態に係る抽出装置及び配信装置の機能ブロック図である。 投球構図フレーム及び編集の一例を説明するための図である。 カウント表示の一例を示す図である。 得点テロップの一例を示す図である。 フレーム情報テーブルの一例を示す図である。 打席タグデータテーブルの一例を示す図である。 野球データＤＢのデータと、編集済み映像の各フレームとの対応付けを説明するための図である。 修正画面の一例を示す図である。 カットチェンジ回数テーブルの一例を示す図である。 抽出した打席の終わりの一例を示す図である。 得点シーンにおけるカットの切り替わり、及び得点テロップの一例を示す図である。 メタ情報ファイルの一例を示す図である。 配信画面の一例を示す図である。 抽出装置として機能するコンピュータの一例を示す概略ブロック図である。 配信装置として機能するコンピュータの一例を示す概略ブロック図である。 編集処理の一例を示すフローチャートである。 抽出処理の一例を示すフローチャートである。 打席終わり抽出処理の一例を示すフローチャートである。 配信処理の一例を示すフローチャートである。

以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。本実施形態では、本発明に係る抽出装置を、映像配信システムに適用した例について説明する。

図１に示すように、本実施形態に係る映像配信システム１０は、抽出装置２０と、配信装置３０と、ユーザ端末４０と、外部装置５０とを含む。抽出装置２０と、配信装置３０と、ユーザ端末４０と、外部装置５０とは、互いにネットワークを介して接続されている。

ユーザ端末４０は、映像を表示する表示部及び情報を入力する入力部を備えた装置であり、例えば、パーソナルコンピュータ（ＰＣ）、ノート型ＰＣ、タブレット端末、スマートフォン等である。なお、図１では、ユーザ端末４０を１台のみ表記しているが、ユーザ端末は複数台であってもよい。

外部装置５０には、野球の試合に関する各種データが記録された野球データ・データベース（ＤＢ）５１が記憶されている。図２に野球データＤＢ５１の一例を示す。図２の例では、野球データＤＢ５１は、打席データテーブル５１Ａと、試合データテーブル５１Ｂと、打者データテーブル５１Ｃと、投手データテーブル５１Ｄとを含む。

図２の例では、打席データテーブル５１Ａは、各打席を識別するための識別情報である「打席イベントＩＤ」に、「試合ＩＤ」、「イニング」、「打順」、「打者ＩＤ」、「投手ＩＤ」、及び「打席結果」の各項目が対応付けられて記憶されている。打席データテーブル５１Ａにおいて、各レコード（各行）が１打席のデータに相当する。「打席イベントＩＤ」は、試合毎かつチーム毎の各打席に対して、試合開始からの通し番号を付与したものである。

「試合ＩＤ」は、その打席を含む試合を識別するための識別情報である。「イニング」は、その打席が何イニング時の打席かを示す情報である。「打順」は、その打席が１番から９番までのいずれの打順における打席かを示す情報である。「打者ＩＤ」は、その打席における打者を識別するための識別情報である。「投手ＩＤ」は、その打席での対戦チームの投手を識別するための識別情報である。「打席結果」は、その打席の詳細な最終結果を示す情報である。

試合データテーブル５１Ｂには、打席データテーブル５１Ａの「試合ＩＤ」に対応する情報が記憶される。図２の例では、試合データテーブル５１Ｂは、「試合ＩＤ」、「日時」、「場所」、「チーム」等の項目を含む。「日時」は、試合が行われた日時、「場所」は試合が行われた球場名等である。「チーム」はその試合で対戦したチーム及び先攻または後攻の区別を示す情報である。

打者データテーブル５１Ｃには、打席データテーブル５１Ａの「打者ＩＤ」に対応する情報が記憶される。図２の例では、打者データテーブル５１Ｃは、「打者ＩＤ」、「選手名」、及び「チーム」の項目を含む。「選手名」は、打者ＩＤで識別される打者の氏名の情報である。「チーム」は、打者ＩＤで識別される打者の所属チームの情報である。

投手データテーブル５１Ｄには、打席データテーブル５１Ａの「投手ＩＤ」に対応する情報が記憶される。図２の例では、投手データテーブル５１Ｄは、「投手ＩＤ」、「選手名」、「チーム」、及び「左右」の項目を含む。「選手名」は、投手ＩＤで識別される投手の氏名の情報である。「チーム」は、投手ＩＤで識別される投手の所属チームの情報である。「左右」は、投手ＩＤで識別される投手が左投手（左投げ）か右投手（右投げ）かを示す情報である。

なお、野球データＤＢ５１に含まれるテーブル及び各テーブルの項目は、図２に示す例に限定されず、他の情報を含んでもよい。また、データ構造も図２の例に限定されず、打席毎のデータが、その打席の順番を識別できる状態で記録されたデータであればよい。

映像配信システム１０では、抽出装置２０により、野球の試合を撮影した映像に、打席の始まり及び終わりを示すメタ情報と、外部装置５０に記憶された野球データＤＢ５１のデータを各打席に対応付けたメタ情報とが付加される。そして、配信装置３０及びネットワークを介して、メタ情報が付加された映像がユーザ端末４０に配信される。図３に示すように、抽出装置２０は、第１抽出部２１と、計算部２２と、対応付け部２３と、第２抽出部２４と、作成部２５とを含む。また、配信装置３０は、編集部３１と、配信部３２とを含む。

まず、配信装置３０の各部について詳述する。

編集部３１は、野球の試合を撮影した映像（以下、「撮影映像」という）を取得する。撮影映像は、例えば３０ｆｐｓや６０ｆｐｓ等のフレームレートで撮影された映像であり、複数のフレームを含む。各フレームには、撮影映像の撮影開始からの経過時間で表されるフレーム時間が対応付けられている。本実施形態では、フレーム時間は、フレームの識別情報としても用いられる。

編集部３１は、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。編集内容としては、例えば図４に示すように、撮影映像の所定の場面に対応する各フレーム１００に対して、試合状況を示すカウント表示１０２を付加することを含む。

カウント表示１０２は、イニング、ボールカウント、ストライクカウント、アウトカウント、ランナーの状況、及びチーム毎の現在の得点を含むカウント情報を示す表示である。カウント表示１０２は、例えば図５に示すように、イニングを示すイニング表示１０４、ボールカウントを示すボールカウント表示１０５、及びストライクカウントを示すストライクカウント表示１０６を含む。さらに、カウント表示１０２は、アウトカウントを示すアウトカウント表示１０７、ランナーの状況を示すランナー表示１０８、及びチーム毎の現在の得点を示す得点表示１０９を含む。なお、カウント表示１０２のフォーマットは図５の例に限定されず、少なくとも、イニング、アウトカウント、ランナーの状況、及びチーム毎の現在の得点を含むカウント情報を示す表示であればよい。

また、編集部３１は、得点があったシーンを示す各フレーム１００に、例えば図６に示すように、得点があったことを示す得点テロップ１０１を付加する。

なお、編集内容はカウント表示１０２及び得点テロップ１０１の付加に限定されず、氏名やプロフィールなどの選手情報を示すテロップの付加など、様々な内容を含む。以下では、撮影映像に対して編集部３１による編集が行われた映像を「編集済み映像」という。編集部３１は、編集済み映像を、抽出装置２０へ送信する。

配信部３２は、抽出装置２０によりメタ情報が付加された映像（以下、「メタ情報付き映像」という。詳細は後述）を取得する。配信部３２は、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先のユーザ端末４０に配信する。

次に、抽出装置２０の各部について詳述する。

第１抽出部２１は、配信装置３０から送信された編集済み映像を取得する。第１抽出部２１は、編集済み映像から、打席の始まりを示すフレームを抽出し、打席の始まりを示す打席タグを編集済み映像に付与する。打席の始まりを示すフレームの抽出は、編集済み映像の各フレームの特徴から抽出してもよいし、人手により抽出してもよい。本実施形態では、一例として、各フレームの構図及びカウント表示１０２に基づいて、打席の始まりを示すフレームを抽出し、そのフレームに打席の始まりを示す打席タグを付与する場合について説明する。

第１抽出部２１は、編集済み映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された構図のフレームを、投球構図フレームとして検出する。本実施形態では、図４に示すように、投手の背後から打者方向を撮影した構図のフレームを、投球構図フレームとする場合について説明する。

具体的には、第１抽出部２１は、フレーム毎に画像特徴を抽出する。画像特徴とは、フレーム内の各画素の輝度や色等の画素情報により表される特徴である。そして、第１抽出部２１は、予め用意された投球構図フレームから抽出された基準画像特徴と、編集済み映像の各フレームから抽出した抽出画像特徴との類似度を求める。第１抽出部２１は、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、投球構図フレームとして抽出する。画像特徴としては、画像の構図（構成）を表す特徴、例えば色や輝度の配置や分布を表す特徴、ウェーブレット変換により得られる特徴等を用いることができる。

また、第１抽出部２１は、各フレームから、カウント表示１０２を抽出し、カウント表示１０２が示すカウント情報を検出する。例えば、第１抽出部２１は、カウント表示１０２が表示される領域として予め定められたフレーム内の領域から、カウント表示１０２を抽出する。または、予め定められたカウント表示１０２のフォーマットを用いたパターンマッチング等により、フレーム内からカウント表示１０２を抽出する。そして、第１抽出部２１は、抽出したカウント表示１０２から、パターンマッチングや文字認識処理等により、イニング表示１０４の領域を特定すると共に、イニング表示１０４が示すイニングを検出する。同様に、第１抽出部２１は、ボールカウント表示１０５からボールカウントを、ストライクカウント表示１０６からストライクカウントを検出する。また、第１抽出部２１は、アウトカウント表示１０７からアウトカウントを、ランナー表示１０８からランナーの状況を、得点表示１０９から得点を検出する。

第１抽出部２１は、投球構図フレームの検出結果、及びフレーム毎に検出したカウント情報を、フレーム情報テーブル２６に記録する。フレーム情報テーブル２６の一例を図７に示す。図７の例では、フレーム時間で識別されるフレーム毎に、「構図判定」、「ボール」、「ストライク」、「アウト」、「ランナー」、「得点（先攻）」、「得点（後攻）」、及び「イニング」の項目を含む。第１抽出部２１は、投球構図フレームとして検出したフレームに対応する「構図判定」の項目に、「ＴＲＵＥ」を記録する。投球構図フレームとして検出されなかったフレームに対応する「構図判定」の項目はブランクとする。また、第１抽出部２１は、カウント情報として検出したボールカウント、ストライクカウント、アウトカウント、ランナーの状況、得点、及びイニングの各々を、対応する項目の各々に記録する。

なお、図７では、説明を簡単にするため、フレーム時間を０．１秒刻みとして表現しているが、例えば、撮影映像のフレームレートが３０ｆｐｓの場合にはフレーム時間は約０．０３秒刻みであり、６０ｆｐｓの場合にはフレーム時間は約０．０１７秒刻みである。

第１抽出部２１は、フレーム情報テーブル２６を参照して、連続する複数の投球構図フレームからなるフレーム群を投球構図シーンとして特定する。第１抽出部２１は、投球構図シーンの先頭フレームを、投球の始まりを示すフレームとして判定し、投球の始まりを示す投球タグを付与する。さらに、第１抽出部２１は、投球の始まりを示すフレームのボールカウントが０、かつストライクカウントが０の場合に、そのフレームを打席の始まりを示すフレームとして判定し、打席の始まりを示す打席タグを付与する。図７の例では、「投球タグ」の項目に「ｓｔａｒｔ」が記録されているフレームが、投球の始まりを示す投球タグが付与されたフレームを表す。また、「打席タグ」の項目に「ｓｔａｒｔ」が記録されているフレームが、打席の始まりを示す打席タグが付与されたフレームを表す。

例えば、図７の例では、第１抽出部２１は、まず、フレーム時間＝１２８．３〜１３０．０に含まれるフレーム群により表されるシーンを、投球構図シーンとして特定する。そして、第１抽出部２１は、投球構図シーンの先頭フレームであるフレーム時間＝１２８．３のフレームを投球の始まりを示すフレームとして判定する。さらに、フレーム時間＝１２８．３のフレームのボールカウント及びストライクカウントはいずれも０であるため、フレーム時間＝１２８．３のフレームを打席の始まりを示すフレームとして判定する。同様に、フレーム時間＝１３０．７以降に含まれるフレーム群により表されるシーンを、投球構図シーンとして特定する。そして、第１抽出部２１は、投球構図シーンの先頭フレームであるフレーム時間＝１３０．７のフレームを投球の始まりを示すフレームとして判定する。ただし、フレーム時間＝１３０．７のフレームは、ボールカウントが０、ストライクカウントが１であるため、打席の始まりを示すフレームとしては判定されない。

計算部２２は、フレーム情報テーブル２６から、打席の順番を計算するために必要な情報を抽出した打席タグデータテーブル２７を作成する。図８に、打席タグデータテーブル２７の一例を示す。図８の例では、「フレーム時間」、「イニング」、「アウト」、「ランナー」、「得点（先攻）」、「得点（後攻）」、「残塁（累積）」、及び「打席イベントＩＤ」の項目を含む。打席タグデータテーブル２７において、各レコード（各行）が打席の始まりを示す打席タグで区切られた各打席に関するタグデータ（以下、「打席タグデータ」という）に相当する。

具体的には、計算部２２は、第１抽出部２１により打席の始まりを示す打席タグが付与されたフレームをフレーム情報テーブル２６から抽出する。そして、計算部２２は、抽出したフレームのフレーム時間、イニング、アウトカウント、得点（先攻）、及び得点（後攻）の情報を、打席タグデータテーブル２７に記録する。また、第１抽出部２１は、フレーム情報テーブル２６の「ランナー」の項目に記録されたランナーの状況から、ランナーの数を求め、打席タグデータテーブル２７の「ランナー」の項目に記録する。例えば、フレーム情報テーブル２６の「ランナー」の項目に記録されたランナーの状況が、１塁及び２塁にランナーがいることを示している場合には、打席タグデータテーブル２７の「ランナー」の項目に「２」を記録する。

また、計算部２２は、各イニングにおける残塁数を累積した値を、「残塁（累積）」の項目に記録する。各イニングにおける残塁数は、「イニング」の項目に同一の値が記録されている打席タグデータのうち、フレーム時間が最も大きい打席タグデータの「ランナー」の項目に記録された人数を、イニングの「表」または「裏」毎に累積したものである。

また、計算部２２は、「イニング」、「アウト」、「ランナー」、「得点（先攻）」、「得点（後攻）」、及び「残塁（累積）」の各項目に記録された値に基づいて、各打席がその試合におけるそのチームにとっての何打席目かを示す打席の順番を計算する。例えば、計算部２２は、下記の式により打席の順番を計算することができる。
打席の順番＝｛（（「イニング」の数字）−１）×３＋「残塁（累積）」＋１｝
＋「アウト」＋「ランナー」＋「得点」
ここで、「得点」は、「イニング」が「表」の場合には、「得点（先攻）」の値を用い、「イニング」が「裏」の場合には、「得点（後攻）」の値を用いる。計算部２２は、打席毎に計算した打席の順番を、打席タグデータテーブル２７の「打席イベントＩＤ」の項目に記録する。

なお、打席の順番の計算方法は上記に限定されず、その打席に至るまでに何人の打者を送り出したかということを計算するものであればよい。例えば、下記の式によっても打席の順番を計算することができる。
打席の順番＝（前のイニングにおける最終の打席の順番）＋「アウト」
＋「ランナー」＋（「得点」−前のイニングにおける最終の「得点」）
ここで、（前のイニングにおける最終の打席の順番）は、「イニング」の項目に前のイニングの値が記録されている打席タグデータのうち、フレーム時間が最も大きい打席タグデータの「打席イベントＩＤ」の項目に記録された値である。同様に、前のイニングにおける最終の「得点」は、「イニング」の項目に前のイニングの値が記録されている打席タグデータのうち、フレーム時間が最も大きい打席タグデータの「得点」の項目に記録された値である。なお、「前のイニングの値」は、計算対象の打席タグデータの「イニング」に記録された値と、「表」または「裏」の区別が同一で、数字が１小さい値である。

対応付け部２３は、外部装置５０から野球データＤＢ５１を取得して、野球データＤＢ５１と、打席タグデータテーブル２７とを、両者の打席イベントＩＤに基づいて対応付ける（統合を行なう）。これにより、図９に示すように、既存の外部データである野球データＤＢ５１のデータを、編集済み映像の各フレームに対応するメタ情報として、編集済み映像に付加することができる。

図９の例では、打席毎の打者及び打席結果をメタ情報として付加する例を示しているが、他の項目も同様に、メタ情報として付加することができる。ただし、本実施形態では、後述する第２抽出部２４で利用するために、対応付けるデータには、少なくとも打席結果、及びその打席における得点の有無を判定可能な情報を含める。図９の例では、対応付けられている打席結果は詳細な打席結果であり、その打席において得点があった場合には、その得点の情報も含まれている。なお、図９の例における打者の氏名は、野球データＤＢ５１の打席データテーブル５１Ａの「打者ＩＤ」に対応する選手名を打者データテーブル５１Ｃから抽出したものである。

なお、対応付け部２３は、野球データＤＢ５１と、打席タグデータテーブル２７とを対応付ける際に、野球データＤＢ５１、及び打席タグデータテーブル２７それぞれの「イニング」の情報を参照して、イニング毎に対応付けを行なうこととしてもよい。野球データＤＢ５１と、打席タグデータテーブル２７とをイニング毎に対応付けることで、後述する打席タグの付与エラーが生じた際に、以降のイニングまで対応付けのずれが波及することを抑止することができる。

ここで、本実施形態では、フレームの画像特徴、及びフレームから抽出したカウント表示１０２が示す情報に基づいて、打席の始まりを抽出し、打席の始まりを示す打席タグを付与している。そのため、打席の始まりを完全に抽出できず、打席の始まりを示す打席タグの付与もれが生じたり、打席の始まりではない箇所を打席の始まりとして抽出してしまい、打席の始まりを示す打席タグの重複が生じたりする場合もある。なお、この問題は、打席の始まりを示す打席タグを人手により付与する場合も同様に生じえる。

そこで、対応付け部２３は、打席タグデータテーブル２７の「打席イベントＩＤ」に数字の飛びや重複が存在する箇所を、抽出装置２０に備えられた表示装置を用いてオペレータに提示し、打席タグの修正を促す。例えば、対応付け部２３は、抽出装置２０に備えられた表示装置に、図１０に示すような修正画面１１０を表示する。図１０の例では、修正画面１１０は、編集済み映像が再生される映像再生領域１１１と、対応付けデータ表示領域１１２と、映像の再生、早送り、早戻し、コマ送り、一時停止等の操作を行うための操作ボタン１１３とを含む。また、修正画面１１０は、映像再生領域１１１に表示されているフレームに打席タグを付与するための打席タグ付与ボタン１１４を含む。

対応付けデータ表示領域１１２には、野球データＤＢ５１から編集済み映像に対応付けた打席毎のメタ情報が表示される。対応付けデータ表示領域１１２に表示するメタ情報としては、少なくとも打席イベントＩＤを含み、打席タグの確認を容易にするための他の情報を表示するとよい。対応付けデータ表示領域１１２に表示された各打席のデータが選択されると、対応付け部２３は、打席タグデータテーブル２７から対応するフレーム時間を取得する。そして、映像再生領域１１１において、取得したフレーム時間で示されるフレーム以降の編集済み映像を再生する。

また、対応付けデータ表示領域１１２にメタ情報を表示する際には、打席イベントＩＤに飛びまたは重複がある打席のデータを強調表示するなどして、オペレータに打席タグの付与エラーの存在を提示する。図１０の例では、チームＡについての打席イベントＩＤ＝２（図１０中「ＩＤ：２」と表記、他の打席イベントＩＤについても同様）が重複している。また、チームＢについての打席イベントＩＤ＝３が飛んでいる（２以上増加している）。図１０では、打席タグの付与エラーと判断される打席に下線が付与され、強調表示されている。強調表示の態様は図１０に示した下線の付与以外にも、例えば、文字の色を変える、文字の大きさを変える、文字の字体を変える、などの様々な変形例が考えらえる。

打席イベントＩＤが重複している場合、打席タグの付与エラーとして、打席が重複して抽出されていることが考えられる。したがって、打席イベントＩＤが重複している場合、対応付け部２３は、打席が重複して抽出されたことによる打席タグの付与エラーが発生していることをデータ表示領域１１２に表示させることとしてもよい。また、打席イベントＩＤが、１つ前の打席イベントＩＤに対して２以上増加している場合は、打席の抽出漏れが発生していることが考えられる。したがって、打席イベントＩＤが２以上増加している場合、対応付け部２３は、打席タグの付与エラーとして、打席の抽出漏れが発生していることをデータ表示領域１１２に表示させることとしてもよい。また、対応付け部２３は、打席イベントＩＤが、１つ前の打席イベントＩＤに対して減少している場合にも打席タグの付与エラーが発生していると判定してもよい。

抽出装置２０のオペレータは、例えば、打席イベントＩＤが重複している場合には、該当の打席のデータを対応付けデータ表示領域１１２から選択することにより、映像を確認する。そして、オペレータは、打席タグの付与エラーに該当する打席のデータを、対応付けデータ表示領域１１２から削除する。対応付け部２３は、対応付けデータ表示領域１１２から削除された打席のデータに対応する打席タグデータを打席タグデータテーブル２７から削除する。これにより、誤って打席タグが付与されていたフレームから打席タグを外す。

また、抽出装置２０のオペレータは、例えば、打席イベントＩＤが飛んでいる場合には、該当の前後の打席のデータを対応付けデータ表示領域１１２から選択することにより、映像を確認する。そして、オペレータは、映像再生領域１１１に打席の始まりを示すフレームを表示させた状態で、打席タグ付与ボタン１１４を選択する。対応付け部２３は、打席タグ付与ボタン１１４選択時に、映像再生領域１１１に表示されているフレームのフレーム時間を打席タグデータテーブル２７に追加する。そして、打席タグデータテーブル２７における前後のフレーム時間に対応付けられた打席イベントＩＤを参照して、追加したフレーム時間に打席イベントＩＤを付与する。

対応付け部２３は、修正後の打席タグデータテーブル２７に基づいて、再度野球データＤＢ５１との対応付けを行う。これにより、打席タグが付与された各フレーム、すなわち打席の始まりを示す各フレームのフレーム時間に、野球データＤＢ５１の打席毎のデータがメタ情報として対応付けられる。

なお、野球データＤＢ５１と、打席タグデータテーブル２７との対応付けを行なう際には、下記の態様で対応付けを行なうこととしてもよい。

・打席タグデータテーブル２７の打席イベントＩＤが、１つ前の打席イベントＩＤから１増加している場合には対応付けを行なう。
・打席タグデータテーブル２７の打席イベントＩＤが、１つ前の打席イベントＩＤから１増加している値でない場合には、対応付けの処理を中断する。

打席イベントＩＤが、１つ前の打席イベントＩＤから１増加している値でない場合とは、上述した、打席イベントＩＤが重複している、打席イベントＩＤが２以上増加している、打席イベントＩＤが減少している、などの場合である。対応付けの処理を中断する場合は、１つ前の打席イベントＩＤから１増加している値でない打席イベントＩＤの部分について中断することとしてもよい。また、対応付けの処理において１つ前の打席イベントＩＤから１増加している値でない打席イベントＩＤが検出された時点で、対応付けの処理が中断されることとしてもよい。これにより、打席イベントＩＤが誤って付与されたことに伴い、誤った対応付けの処理が行なわれてしまうことを抑止することができる。

上記のようなメタ情報が映像に付加されることにより、例えば、メタ情報に基づいて、ある選手の打席シーンのみを集めたパーソナルダイジェストを作成することが可能になる。具体的には、ある打者が指定された場合、指定された打者を示す選手名または打者ＩＤがメタ情報として付加されたフレームを抽出する。そして、抽出したフレームから、次の打席タグが付与されたフレームの前のフレームまで、すなわち打席の始まりを示す打席タグで区切られた区間を、指定された打者の１打席の映像として抽出する。

しかし、１打席の映像を、上記のように打席の始まりを示す打席タグで区切られた区間として抽出した場合には、ダイジェストとして視聴するには冗長な映像になる場合がある。例えば、１打席の映像として抽出した区間の終盤では、打席終了後の打者の様子、投手の様子、球場内の様子、グラウンドの様子、次の打者が打席に入るまでの様子などを写したカットが含まれる場合が多く、これらのカットが冗長さの原因となる。なお、「カット」とは、同一のカメラで連続的に撮影された一続きの部分である。

そこで、本実施形態では、打席単位のダイジェストを作成した場合に、冗長さを低減できるように、第２抽出部２４により、適切な箇所を打席の終わりとして抽出する。

具体的には、第２抽出部２４は、打席タグが付与されたフレーム、すなわち打席の始まりを示すフレームに対応付けられた打席毎のデータを示すメタ情報から、打席結果、及びその打席における得点の有無を取得する。第２抽出部２４は、その打席において得点が無かった場合には、その打席における最後の投球を含むカットの後、打席結果に応じた回数カットが切り替わった箇所を、打席の終わりとして抽出する。

より具体的には、第２抽出部２４は、打席タグで区切られた区間において、投球タグが付与されたフレームのうち、フレーム時間が最大のフレームを、その打席における最後の投球の始まりを示すフレームとして抽出する。

また、第２抽出部２４は、例えば、図１１に示すように、打席結果とカットチェンジ回数とを予め対応付けたカットチェンジ回数テーブル２８から、メタ情報から取得した打席結果に応じたカットチェンジ回数を取得する。その打席の最後の投球後のカットの切り替わりは、その打席の結果により異なる傾向にある。これを考慮して、カットチェンジ回数テーブル２８に定めておくカットチェンジ回数は、１打席分の映像として終わり部分が途切れることなく、かつ冗長さを低減できるような回数を、打席結果に応じて定めておく。

打席結果に応じたカットチェンジ回数の一例について説明する。例えば、打席結果が三振の場合、その打席における最後の投球を含むカットは、打者が三振した後、少しの時間三振した打者を追った後に、次のカットに切り替わる傾向がある。打席結果が三振の場合には、このカットの切り替わり箇所を打席の終了とすれば、打席の途中で途切れることなく、かつ冗長さも低減でき、適切である。このカットの切り替わり箇所は、その打席における最後の投球を含むカットと次のカットとの切り替わり箇所であるため、その打席における最後の投球を含むカット後のカットチェンジ回数は「０」となる。従って、カットチェンジ回数テーブル２８には、打席結果「三振」に対応付けて、カットチェンジ回数「０回」を定めておく。

また、打席結果が三振以外のアウト（内野ゴロ、外野フライ等）の場合、その打席の最後の投球に対する打撃の後、打球を追うカットに切り替わる。この打球を追うカットは、打球がフライの場合には、野手がボールを捕球するまで、打球がゴロの場合には、野手がボールを捕球して、いずれかの塁に送球されるまで続き、次のカットに切り替わる傾向がある。打席結果が三振以外のアウトの場合には、この打球を追うカットからの切り替わり箇所を打席の終了とすることが適切である。この打球を追うカットからの切り替わり箇所は、例えば上記のように、その打席における最後の投球を含むカットの後、１回目のカットの切り替わり箇所である場合が多い。そこで、カットチェンジ回数テーブル２８に、打席結果「アウト（三振以外）」に対応付けて、カットチェンジ回数「１回」を定めておく。

また、打席結果がヒットの場合、その打席の最後の投球に対する打撃の後、打球を追うカットに切り替わり、その後、ランナーを追うカットに切り替わる。このランナーを追うカットは、ランナーがいずれかの塁上に到達するまで続き、次のカットに切り替わる傾向がある。打席結果がヒットの場合には、このランナーを追うカットからの切り替わり箇所を打席の終了とすることが適切である。このランナーを追うカットからの切り替わり箇所は、例えば上記のように、その打席における最後の投球を含むカットの後、２回目のカットの切り替わり箇所である場合が多い。そこで、カットチェンジ回数テーブル２８に、打席結果「ヒット」に対応付けて、カットチェンジ回数「２回」を定めておく。

なお、上記のカットチェンジ回数は一例であり、打席単位のダイジェストを作成した場合などの冗長さをどこまで許容するか、撮影映像のカット割の特徴なども考慮して、打席結果に応じたカットチェンジ回数を定めておけばよい。また、打席結果の分類も上記の例に限定されず、より細かく分類したアウト及びヒットの種類毎に、カットチェンジ回数を定めておいてもよい。例えば、一塁打の場合には「２回」、二塁打の場合には「３回」、三塁打の場合には「４回」のように定めておくこともできる。

また、メタ情報に付与された打席結果と、カットチェンジ回数テーブル２８に定められた打席結果とで分類の粒度が異なる場合には、メタ情報に付与された打席結果を、カットチェンジ回数テーブル２８に定められた打席結果に変換するルールを定めておく。そして、第２抽出部２４は、メタ情報に付与された打席結果を、このルールに従って変換した打席結果に応じたカットチェンジ回数を、カットチェンジ回数テーブル２８から取得すればよい。例えば、メタ情報に付与された打席結果が「センター前ヒット」、「セカンドゴロ」等の詳細な打席結果の場合、「センター前ヒット」→「ヒット」、「セカンドゴロ」→「アウト」等のように変換するルールを定めておけばよい。

第２抽出部２４は、カットチェンジ回数を取得すると、その打席における最後の投球の始まりを示すフレームから順に、カットが切り替わるフレームを検出する。カットの切り替わりの検出は、例えば、連続するフレーム間で、輝度や色情報などの画素情報の差分が所定の閾値以上となる箇所を検出するなどの従来既知の手法を用いることができる。第２抽出部２４は、最初に検出されたカットの切り替わりを、その打席における最後の投球を含むカットと次のカットとの切り替わり箇所とし、この箇所以降でカットが切り替わる箇所を、取得したカットチェンジ回数分検出する。第２抽出部２４は、最後に検出した切り替わり箇所の切り替わり前のカットの末尾フレームを、打席の終わりを示すフレームとして抽出する。なお、カットチェンジ回数が０回の場合には、その打席における最後の投球を含むカットの末尾フレームが、打席の終わりを示すフレームとして抽出される。

なお、打席の終わりを示すフレームに対応したカットの切り替わり箇所は、打席における最後の投球の始まりを示すフレームから順に検出していく場合に限定されない。予め全てのカットの切り替わり箇所を検出しておいて、その中から、上述したようなカットチェンジ回数に該当するカットの切り替わり箇所を選択して、打席の終わりを示すフレームを抽出してもよい。

図１１に示すカットチェンジ回数テーブル２８を用いた場合に抽出される打席の終わりの一例を、図１２に示す。次の打席の始まりの前のフレームを、前の打席の終わりとして抽出する場合に比べ、冗長さを低減できることがわかる。

なお、打席タグで区切られた区間内の全てのカットチェンジを検出しておいて、その打席における最後の投球を含むカットと次のカットとの切り替わり箇所を「０番目」とする。そして、検出されたカットチェンジのうち、取得したカットチェンジ回数番目のカットの切り替わりを、打席の終わりとして抽出するようにしてもよい。

また、第２抽出部２４は、その打席において得点があった場合には、得点テロップ１０１が消えた後のカットの切り替わり箇所を、打席の終わりとして抽出する。得点があった場合には、その得点の状況に応じて、カットの切り替わりの状況も異なるため、得点テロップ１０１を手がかりにして、打席の終わりを決定するものである。得点テロップ１０１は、例えば、図１３に示すように、ホームインするランナーに合わせて表示され、複数回カットが切り替わった後に消える傾向がある。従って、少なくとも得点テロップ１０１が表示されている間の映像を、その得点をもたらした打席の映像に含めることで、打席の映像が途中で途切れた印象を与えることを回避できる。

そこで、第２抽出部２４は、得点があったことを示す情報をメタ情報により取得した場合には、打席タグで区切られた区間内の各フレームから、パターンマッチング等により、得点テロップ１０１を含むフレームを抽出する。第２抽出部２４は、抽出された得点テロップ１０１を含むフレーム群より後のフレームから、カットが切り替わる箇所を検出する。カットの切り替わり箇所の検出方法は、上記の得点が無かった場合と同様である。そして、第２抽出部２４は、得点テロップ１０１を含むフレーム群より後で、最初に検出した切り替わり箇所の切り替わり前のカットの末尾フレームを、打席の終わりを示すフレームとして抽出する。

なお、得点テロップ１０１を含むフレーム群より後の最初のカットの切り替わり箇所に限らず、得点テロップ１０１を含むフレーム群より後で、カットが所定回数切り替わった箇所を、打席の終わりとして抽出してもよい。例えば、得点後のベンチやスタンドの盛り上がりシーンなども打席の映像に含めたい場合には、所定回数を多め（例えば、２回）にするなどしてもよい。また、得点があった場合であっても、打席の映像に得点シーンを含める必要がない場合などは、上記の得点が無かった場合と同様に、打席結果に応じた回数カットが切り替わった箇所を、打席の終わりとして抽出してもよい。

作成部２５は、投球の始まりを示すメタ情報、打席の始まりを示すメタ情報、及び打席の終わりを示すメタ情報を作成する。具体的には、作成部２５は、第１抽出部２１により抽出された投球の始まりを示すフレームのフレーム時間に、投球の始まりを示す記号を対応付けたメタ情報を作成する。同様に、作成部２５は、第１抽出部２１により抽出された打席の始まりを示すフレームのフレーム時間に、打席の始まりを示す記号を対応付けたメタ情報を作成する。また、同様に、作成部２５は、第２抽出部２４により抽出された打席の終わりを示すフレームのフレーム時間に、打席の終わりを示す記号を対応付けたメタ情報を作成する。

また、作成部２５は、作成した複数のメタ情報、及び野球データＤＢ５１から対応付けられたメタ情報を、対応するフレーム時間順に記録したメタ情報ファイルを作成する。メタ情報ファイルは、例えばｃｓｖ（comma-separated values）形式のファイルとして作成することができる。図１４に、メタ情報ファイルの一例を示す。図１４の例では、各行が１つのメタ情報を示し、各メタ情報は、フレーム時間１３１を含む。また、各メタ情報は、投球の始まりを示す記号１３２、打席の始まりを示す記号１３３、及び野球データＤＢ５１から対応付けた打席毎の情報（テキストデータ１３４）の少なくとも一つを含む。

作成部２５は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として、配信装置３０へ送信する。

メタ情報付き映像が配信装置３０により配信用映像に変換されて、ユーザ端末４０に配信されると、ユーザ端末４０では、例えば図１５に示すような配信画面１２０が表示される。配信画面１２０は、ユーザが視聴したい打席の映像を検索するための検索領域１２１と、検索結果を一覧表示する一覧表示領域１２２と、映像が再生される映像再生領域１２３とを含む。

検索領域１２１には、例えば、打者名を指定した検索を行うためのテキストボックスや、打席結果を選択して検索を行うための打席結果毎のチェックボックス等が表示される。なお、検索領域１２１の表示はこの例に限定されず、配信映像に付加されているメタ情報、主に、野球データＤＢ５１から対応付けた打席毎の情報（テキストデータ１３４）を用いた検索条件を設定可能な表示であればよい。

一覧表示領域１２２では、検索領域１２１で設定された検索条件をキーとして、配信映像に付加されているメタ情報を検索することにより抽出されたフレーム時間により識別される打席の始まりを示すフレームが一覧で表示される。一覧には、例えば、抽出されたフレーム時間により識別されるフレームのサムネイル画像、及び抽出されたフレーム時間に対応付けられた打席毎の情報を含めることができる。

映像再生領域１２３では、一覧表示領域１２２から選択されたサムネイル画像に対応するフレーム、すなわち打席の始まりを示すフレームから、そのフレームに対応する打席の終わりを示すフレームまでのフレーム群で表される映像が再生される。なお、打席の始まりを示すフレームに対応する打席の終わりを示すフレームは、打席の終わりを示すメタ情報が付与されたフレームであって、選択された打席の始まりを示すフレームの後、最初に現れるフレームである。また、１つの打席の始まりと終わりを示すフレームがペアとなるようなメタ情報を作成しておいて、選択された打席の始まりを示すフレームとペアの打席の終わりを示すフレームを特定してもよい。

抽出装置２０は、例えば図１６に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ６１、一時記憶領域としてのメモリ６２、及び不揮発性の記憶部６３を備える。また、コンピュータ６０は、表示装置及び入力装置等の入出力装置６８が接続される入出力インターフェース（Ｉ／Ｆ）６４を備える。また、コンピュータ６０は、記録媒体６９に対するデータの読み込み及び書き込みを制御するｒｅａｄ／ｗｒｉｔｅ（Ｒ／Ｗ）部６５、及びインターネット等のネットワークに接続されるネットワークＩ／Ｆ６６を備える。ＣＰＵ６１、メモリ６２、記憶部６３、入出力Ｉ／Ｆ６４、Ｒ／Ｗ部６５、及びネットワークＩ／Ｆ６６は、バス６７を介して互いに接続される。

記憶部６３はＨＤＤ（Hard Disk Drive）、ＳＳＤ（solid state drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部６３には、コンピュータ６０を抽出装置２０として機能させるための抽出プログラム７０が記憶される。ＣＰＵ６１は、抽出プログラム７０を記憶部６３から読み出してメモリ６２に展開し、抽出プログラム７０が有するプロセスを順次実行する。

抽出プログラム７０は、第１抽出プロセス７１と、計算プロセス７２と、対応付けプロセス７３と、第２抽出プロセス７４と、作成プロセス７５とを有する。ＣＰＵ６１は、第１抽出プロセス７１を実行することで、図３に示す第１抽出部２１として動作する。また、ＣＰＵ６１は、計算プロセス７２を実行することで、図３に示す計算部２２として動作する。また、ＣＰＵ６１は、対応付けプロセス７３を実行することで、図３に示す対応付け部２３として動作する。また、ＣＰＵ６１は、第２抽出プロセス７４を実行することで、図３に示す第２抽出部２４として動作する。また、ＣＰＵ６１は、作成プロセス７５を実行することで、図３に示す作成部２５として動作する。これにより、抽出プログラム７０を実行したコンピュータ６０が、抽出装置２０として機能することになる。

また、配信装置３０は、例えば図１７に示すコンピュータ８０で実現することができる。コンピュータ８０はＣＰＵ８１、メモリ８２、不揮発性の記憶部８３、入出力装置８８が接続される入出力Ｉ／Ｆ８４を備える。また、コンピュータ８０は、記録媒体８９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ部８５、及びインターネット等のネットワークに接続されるネットワークＩ／Ｆ８６を備える。ＣＰＵ８１、メモリ８２、記憶部８３、入出力Ｉ／Ｆ８４、Ｒ／Ｗ部８５、及びネットワークＩ／Ｆ８６は、バス８７を介して互いに接続される。

また、配信装置３０を実現するコンピュータ８０と抽出装置２０を実現するコンピュータ６０とは、コンピュータ８０のネットワークＩ／Ｆ８６、ネットワーク、及びコンピュータ６０のネットワークＩ／Ｆ６６を介して接続される。

記憶部８３はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部８３には、コンピュータ８０を配信装置３０として機能させるための配信プログラム９０が記憶されている。ＣＰＵ８１は、配信プログラム９０を記憶部８３から読み出してメモリ８２に展開し、配信プログラム９０が有するプロセスを順次実行する。

配信プログラム９０は、編集プロセス９１と、配信プロセス９２とを有する。ＣＰＵ８１は、編集プロセス９１を実行することで、図３に示す編集部３１として動作する。また、ＣＰＵ８１は、配信プロセス９２を実行することで、図３に示す配信部３２として動作する。これにより、配信プログラム９０を実行したコンピュータ８０が、配信装置３０として機能することになる。

なお、抽出装置２０及び配信装置３０の各々は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、本実施形態に係る映像配信システム１０の作用について説明する。撮影映像が配信装置３０に入力されると、配信装置３０が、図１８に示す編集処理を実行し、編集済み映像を出力する。次に、編集済み映像が抽出装置２０に入力されると、抽出装置２０が、図１９に示す抽出処理を実行して、メタ情報付き映像を出力する。そして、メタ情報付き映像が配信装置３０に入力されると、配信装置３０が、図２１に示す配信処理を実行し、配信用映像を出力する。以下、各処理について詳述する。

まず、図１８に示す編集処理のステップＳ１０で、編集部３１が、撮影映像を取得する。次に、ステップＳ１２で、編集部３１が、入出力装置６８を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。次に、ステップＳ１４で、編集部３１が、編集済み映像を、抽出装置２０へ送信して、編集処理は終了する。

次に、図１９に示す抽出処理のステップＳ２０で、第１抽出部２１が、配信装置３０から送信された編集済み映像を取得する。

次に、ステップＳ２２で、第１抽出部２１が、編集済み映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された構図のフレームを、投球構図フレームとして検出する。また、第１抽出部２１が、各フレームから、カウント表示１０２を抽出し、カウント表示１０２が示すカウント情報を検出する。第１抽出部２１は、投球構図フレームの検出結果、及びフレーム毎に検出したカウント情報を、フレーム情報テーブル２６に記録する。

次に、ステップＳ２４で、第１抽出部２１が、フレーム情報テーブル２６を参照して、連続する複数の投球構図フレームからなるフレーム群を投球構図シーンとして特定する。そして、投球構図シーンの開始フレームを、投球の始まりを示すフレームとして判定し、投球の始まりを示す投球タグを付与する。さらに、第１抽出部２１は、投球の始まりを示すフレームのボールカウントが０、かつストライクカウントが０の場合に、そのフレームを打席の始まりを示すフレームとして判定し、打席の始まりを示す打席タグを付与する。

次に、ステップＳ２６で、計算部２２が、フレーム情報テーブル２６から、打席の順番を計算するために必要な情報を抽出した、例えば図８に示すような打席タグデータテーブル２７を作成する。そして、計算部２２は、「イニング」、「アウト」、「ランナー」、「得点（先攻）」、「得点（後攻）」、及び「残塁（累積）」の各項目に記録された値に基づいて、各打席がその試合におけるそのチームにとっての何打席目かを示す打席の順番を計算する。計算部２２は、打席毎に計算した打席の順番を、打席タグデータテーブル２７の「打席イベントＩＤ」の項目に記録する。

次に、ステップＳ２８で、対応付け部２３が、外部装置５０から野球データＤＢ５１を取得して、野球データＤＢ５１と、打席タグデータテーブル２７とを、両者の打席イベントＩＤに基づいて対応付ける。

次に、ステップＳ３０で、対応付け部２３が、打席タグデータテーブル２７の「打席イベントＩＤ」に数字の飛びや重複が存在する箇所を提示し、打席タグの修正を促すための、例えば図１０に示すような修正画面１１０を表示する。

修正画面１１０を提示された抽出装置２０のオペレータは、打席イベントＩＤが重複している場合には、映像を確認して、打席タグの付与エラーに該当する打席のデータを、対応付けデータ表示領域１１２から削除する。また、オペレータは、打席イベントＩＤが飛んでいる場合には、映像を確認しながら、打席タグを付与したい箇所で打席タグ付与ボタン１１４を選択する。

次に、ステップＳ３２で、対応付け部２３が、オペレータからの打席タグの修正を受け付けたか否かを判定する。受け付けていない場合には、受け付けるまで本ステップの判定を繰り返す。受け付けた場合には、処理はステップＳ３４へ移行する。

ステップＳ３４では、対応付け部２３は、対応付けデータ表示領域１１２からの打席のデータの削除を受け付けた場合には、削除された打席のデータに対応する打席タグデータを打席タグデータテーブル２７から削除する。また、対応付け部２３は、打席タグ付与ボタン１１４の選択を受け付けた場合には、打席タグ付与ボタン１１４選択時に、映像再生領域１１１に表示されているフレームのフレーム時間を打席タグデータテーブル２７に追加する。そして、対応付け部２３は、打席タグデータテーブル２７における前後のフレーム時間に対応付けられた打席イベントＩＤを参照して、追加したフレーム時間に打席イベントＩＤを付与する。

なお、打席イベントＩＤに数字の飛びや重複がない場合には、打席タグの付与エラーは存在しないと判定して、上記ステップＳ３０〜Ｓ３４の処理をスキップする。

次に、ステップＳ３６で、第２抽出部２４が、打席タグで区切られた区間毎に、図２０に詳細を示す打席終わり抽出処理を実行する。

図２０に示す打席終わり抽出処理のステップＳ３６１で、第２抽出部２４が、打席タグが付与されたフレーム、すなわち打席の始まりを示すフレームに対応付けられた打席毎のデータを示すメタ情報から、打席結果、及びその打席における得点の有無を取得する。

次に、ステップＳ３６２で、第２抽出部２４が、取得した情報に基づいて、得点の有無を判定する。得点が無かった場合には、処理はステップＳ３６３へ移行し、得点があった場合には、処理はステップＳ３６５へ移行する。

ステップＳ３６３では、第２抽出部２４が、例えば、図１１に示すように、打席結果とカットチェンジ回数とを予め対応付けたカットチェンジ回数テーブル２８から、メタ情報から取得した打席結果に応じたカットチェンジ回数を取得する。

次に、ステップＳ３６４で、第２抽出部２４が、打席タグで区切られた区間において、投球タグが付与されたフレームのうち、フレーム時間が最大のフレームを、その打席における最後の投球の始まりを示すフレームとして抽出する。そして、第２抽出部２４は、その打席における最後の投球の始まりを示すフレームから順に、カットが切り替わるフレームを検出し、最初に検出されたカットの切り替わりを、その打席における最後の投球を含むカットと次のカットとの切り替わり箇所とする。さらに、第２抽出部２４は、その打席における最後の投球を含むカットと次のカットとの切り替わり箇所以降でカットが切り替わる箇所を、取得したカットチェンジ回数分検出する。第２抽出部２４は、最後に検出した切り替わり箇所の切り替わり前のカットの末尾フレームを、打席の終わりを示すフレームとして抽出する。

一方、ステップＳ３６５では、第２抽出部２４が、打席タグで区切られた区間内の各フレームから、得点テロップ１０１を含むフレームを抽出する。

次に、ステップＳ３６６で、第２抽出部２４が、抽出された得点テロップ１０１を含むフレーム群より後のフレームから、カットが切り替わる箇所を検出する。そして、第２抽出部２４が、得点テロップ１０１を含むフレーム群より後で、最初に検出した切り替わり箇所の切り替わり前のカットの末尾フレームを、打席の終わりを示すフレームとして抽出する。

編集済み映像に含まれる打席タグで区切られた全ての区間について、上記の打席終わり抽出処理が終了すると、処理は図１９に示す抽出処理に戻る。

次に、図１９に示す抽出処理のステップＳ３８で、作成部２５が、投球の始まりを示すメタ情報、打席の始まりを示すメタ情報、及び打席の終わりを示すメタ情報を作成する。次に、作成部２５は、作成した複数のメタ情報、及び野球データＤＢ５１から対応付けられたメタ情報を、対応するフレーム時間順に記録したメタ情報ファイルを作成する。そして、作成部２５は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として、配信装置３０へ送信し、抽出処理は終了する。

次に、図２１に示す配信処理のステップＳ４０で、配信部３２が、抽出装置２０から送信されたメタ情報付き映像を取得する。次に、ステップＳ４２で、配信部３２が、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先のユーザ端末４０に配信し、配信処理は終了する。

以上説明したように、本実施形態に係る抽出装置２０によれば、打席の始まりを示す打席タグで区切られた区間における最後の投球を含むカットの後、その区間が表す打席に対応付けられた打席結果に応じた回数カットが切り替わった箇所を検出する。そして、検出した箇所を、その打席の終わりとして抽出する。これにより、１打席分の映像として終わり部分が途切れることなく、かつ冗長さを低減できるような適切な箇所を打席の終わりとして抽出することができる。すなわち、野球の試合を撮影した映像から、打席の終わりを精度良く抽出することができる。

また、得点があったシーンでは、得点があったことを示すテロップが消えた後のカットの切り替わり箇所を、その打席の終わりとして抽出する。これにより、どのような得点シーンであっても、１打席分の映像として得点シーンも含め終わり部分が途切れることなく、かつ冗長さを低減できるような適切な箇所を打席の終わりとして抽出することができる。

また、打席の順番を計算して、外部データである打席のデータを精度良く対応付けるため、打席の終わりを抽出するために用いる打席結果として、精度の高い打席結果を利用することができる。これにより、より精度良く打席の終わりを抽出することができる。

本実施形態により抽出された打席の終わりに基づくメタ情報が付加された映像によれば、打席単位のダイジェスト映像を作成した際に、冗長さを低減することができる。また、外部データを対応付けたメタ情報が付加されているため、詳細な検索条件を設定して、所望の打席の映像を検索して視聴することが可能である。

なお、上記実施形態では、編集済み映像から打席の始まりを示すフレームを抽出し、外部データから打席結果を対応付ける場合について説明したが、予め打席の始まりを示す箇所が特定され、打席結果が付与された映像を、抽出装置２０に入力するようにしてもよい。この場合、抽出装置２０から第１抽出部２１、計算部２２、及び対応付け部２３を省略することができる。また、打席の始まりの特定方法、及び打席結果の付与方法は、本実施形態で説明した方法に限定されず、例えば、人手により抽出及び付与してもよい。

また、上記実施形態では、投手の背後から打者方向を撮影したフレームを、投球構図フレームとする場合について説明したが、投球構図フレームはこれに限定されない。例えば、球審の頭部に備え付けられたカメラから撮影されたフレーム（球審から投手方向を撮影したフレーム）など、投手の投球場面に使用される特徴的なカメラアングルで撮影されたフレームであればよい。

また、上記実施形態では、外部データから対応付けられた得点の有無を示す情報に基づいて、得点があったか否かを判定する場合について説明したが、これに限定されない。例えば、フレーム情報テーブル２６を参照して、次の打席との「得点」の差から、その打席において得点があったか否かを判定してもよい。

また、上記実施形態では、得点の有無を判定した上で、得点テロップを検出して、得点があった場合には、得点テロップを検出する処理を行う場合について説明したが、これに限定されない。例えば、得点の有無を判定することなく、各フレームから得点テロップを検出してもよい。この場合、得点テロップが検出された場合には、上記実施形態と同様に、得点テロップが消えた後、所定回数カットが切り替わった箇所を、打席の終わりとして抽出すればよい。

また、上記実施形態では、配信装置３０と抽出装置２０とを含む映像配信システム１０を例に説明したが、これに限定されない。配信装置３０の各機能部と抽出装置２０の各機能部とを、１つのコンピュータで実現するようにしてもよい。

また、本発明の抽出装置は、映像配信システムに適用する場合に限定されない。例えば、ネットワークで接続された外部の記憶装置に格納された映像ファイルを取得し、既存の外部の野球データをメタ情報として映像ファイルに対応付けて、記憶装置に格納し直すようにしてもよい。また、本発明の抽出装置は、野球の他、ソフトボール等のスポーツにも適用可能である。

また、上記では、抽出プログラム７０が記憶部６３に、配信プログラム９０が記憶部８３に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。

以上の上記実施形態に関し、更に以下の付記を開示する。

（付記１）
コンピュータに、
打席の始まりを示す箇所と、該打席の始まりから特定される各打席の結果を示す情報とが対応付けられた野球の試合の撮影映像から、前記打席における最後の投球シーンを含むカットの後、前記打席の結果に応じた回数カットが切り替わった箇所を、前記打席の終わりとして抽出する
ことを含む処理を実行させることを特徴とする抽出プログラム。

（付記２）
前記打席の結果が、得点があったことを示すものであった場合には、得点があったことを示す表示が消えた後、所定回数カットが切り替わった箇所を、前記打席の終わりとして抽出する
付記１記載の抽出プログラム。

（付記３）
コンピュータに、
野球の試合の撮影映像に付加された得点があったことを示す表示が消えた後、所定回数カットが切り替わった箇所を、打席の終わりとして抽出する
ことを含む処理を実行させることを特徴とする抽出プログラム。

（付記４）
コンピュータに、
打席の始まりを示す箇所と、該打席の始まりから特定される各打席の結果を示す情報とが対応付けられた野球の試合の撮影映像から、前記打席における最後の投球シーンを含むカットの後、前記打席の結果に応じた回数カットが切り替わった箇所を、前記打席の終わりとして抽出する
ことを含む処理を実行させることを特徴とする抽出方法。

（付記５）
コンピュータに、
野球の試合の撮影映像に付加された得点があったことを示す表示が消えた後、所定回数カットが切り替わった箇所を、打席の終わりとして抽出する
ことを含む処理を実行させることを特徴とする抽出方法。

（付記６）
打席の始まりを示す箇所と、該打席の始まりから特定される各打席の結果を示す情報とが対応付けられた野球の試合の撮影映像から、前記打席における最後の投球シーンを含むカットの後、前記打席の結果に応じた回数カットが切り替わった箇所を、前記打席の終わりとして抽出する
を含むことを特徴とする抽出装置。

（付記７）
野球の試合の撮影映像に付加された得点があったことを示す表示が消えた後、所定回数カットが切り替わった箇所を、打席の終わりとして抽出する抽出部
を含むことを特徴とする抽出装置。

１０ 映像配信システム
２０ 抽出装置
２１ 第１抽出部
２２ 計算部
２３ 対応付け部
２４ 第２抽出部
２５ 作成部
２６ フレーム情報テーブル
２７ 打席タグデータテーブル
２８ カットチェンジ回数テーブル
３０ 配信装置
３１ 編集部
３２ 配信部
４０ ユーザ端末
５０ 外部装置
５１ 野球データ・データベース
６０、８０ コンピュータ
６１、８１ ＣＰＵ
６２、８２ メモリ
６３、８３ 記憶部
７０ 抽出プログラム
９０ 配信プログラム

Claims (7)

1. コンピュータに、
   打席の始まりを示す箇所と、該打席の始まりから特定される各打席の結果を示す情報とが対応付けられた野球の試合の撮影映像から、前記打席における最後の投球シーンを含むカットの後、前記打席の結果に応じた回数カットが切り替わった箇所を、前記打席の終わりとして抽出する
   ことを含む処理を実行させることを特徴とする抽出プログラム。
2. 前記打席の結果が、得点があったことを示すものであった場合には、得点があったことを示す表示が消えた後、所定回数カットが切り替わった箇所を、前記打席の終わりとして抽出する
   請求項１記載の抽出プログラム。
3. コンピュータに、
   野球の試合の撮影映像に付加された得点があったことを示す表示が消えた後、所定回数カットが切り替わった箇所を、打席の終わりとして抽出する
   ことを含む処理を実行させることを特徴とする抽出プログラム。
4. コンピュータに、
   打席の始まりを示す箇所と、該打席の始まりから特定される各打席の結果を示す情報とが対応付けられた野球の試合の撮影映像から、前記打席における最後の投球シーンを含むカットの後、前記打席の結果に応じた回数カットが切り替わった箇所を、前記打席の終わりとして抽出する
   ことを含む処理を実行させることを特徴とする抽出方法。
5. コンピュータに、
   野球の試合の撮影映像に付加された得点があったことを示す表示が消えた後、所定回数カットが切り替わった箇所を、打席の終わりとして抽出する
   ことを含む処理を実行させることを特徴とする抽出方法。
6. 打席の始まりを示す箇所と、該打席の始まりから特定される各打席の結果を示す情報とが対応付けられた野球の試合の撮影映像から、前記打席における最後の投球シーンを含むカットの後、前記打席の結果に応じた回数カットが切り替わった箇所を、前記打席の終わりとして抽出する抽出部
   を含むことを特徴とする抽出装置。
7. 野球の試合の撮影映像に付加された得点があったことを示す表示が消えた後、所定回数カットが切り替わった箇所を、打席の終わりとして抽出する抽出部
   を含むことを特徴とする抽出装置。