JP2015139016A - 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム - Google Patents

Abstract

【課題】野球の試合を撮影した映像から、打席の始まりを抽出する。
【解決手段】複数のフレームを含む野球の試合の撮影映像に含まれる、投手の投球シーンを示すフレームのうち、ボールカウントが初期状態に対応するフレームを、打席内での最初の投球シーンを示すフレームとして抽出する。
【選択図】図１

Description

本発明は、抽出プログラム、抽出方法、抽出装置、野球映像メタ情報作成装置、野球映像メタ情報作成方法、及び野球映像メタ情報作成プログラムに関する。

従来、野球の試合を撮影した映像を、ライブ配信したり、ビデオ・オン・デマンド（Video on Demand、ＶｏＤ）コンテンツとして配信したりするサービスが存在する。ＶｏＤコンテンツとして配信する場合、例えば、視聴者が所望のイニングを選択して視聴可能な形式で、視聴者に提供することが行われている。このようなＶｏＤコンテンツを提供するために、人手により映像をイニング毎に切り出している。

なお、野球の試合を撮影した映像からハイライトシーンを抽出する技術が提案されている。

特開２００５−２９５２９６号公報

しかしながら、例えば上述のように、人手により映像をイニング毎に切り出す場合は、１イニングの映像の切り出しに１０分程度かかってしまう。さらに、より詳細なＶｏＤコンテンツとして、例えば、１打席毎の頭出しが可能なＶｏＤコンテンツを想定すると、１打席毎に映像を切り出す必要があり、人手による作業工数は増大する。

一つの側面として、本発明は、野球の試合を撮影した映像から、打席の始まりを抽出することを目的とする。

一つの態様では、複数のフレームを含む野球の試合の撮影映像に含まれる、投手の投球シーンを示すフレームのうち、ボールカウントが初期状態に対応するフレームを、打席内での最初の投球シーンを示すフレームとして抽出する。

一つの側面として、野球の試合を撮影した映像から、打席の始まりを抽出することができる、という効果を有する。

第１及び第２実施形態に係る映像配信システムの概略構成を示す機能ブロック図である。 編集の一例を説明するための図である。 特定カットを説明するための図である。 １球の始まりを示すフレームを説明するための図である。 １球の終わりを示すフレームを説明するための図である。 試合状況を示すテロップの一例を示す図である。 メタ情報ファイルの一例を示す図である。 野球映像メタ情報作成装置として機能するコンピュータの一例を示す概略ブロック図である。 配信装置として機能するコンピュータの一例を示す概略ブロック図である。 編集処理の一例を示すフローチャートである。 第１実施形態における野球映像メタ情報作成処理の一例を示すフローチャートである。 配信処理の一例を示すフローチャートである。 １球の始まりを示すフレーム、１球の終わりを示すフレーム、及び１打席の始まりを示す区間を説明するための図である。 ボールカウントが初期状態でも打者に変更がない場合を説明するための図である。 ランナー数、アウトカウント、及び得点の合計に基づく、打者変更の判定を説明するための図である。 試合状況を示すテロップの一例を示す図である。 第２実施形態における野球映像メタ情報作成処理の一例を示すフローチャートである。 判別情報としてのマークの一例を示す図である。 同一の特定カット中に複数の投球場面が含まれる場合を説明するための図である。 球の軌跡を検出するための所定領域を説明するための図である。 差分画像の一例を示す図である。 球の軌跡の検出を説明するための図である。 球の軌跡の方向を説明するための図である。

以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。本実施形態では、野球映像メタ情報作成装置を、映像配信システムに適用した例について説明する。

＜第１実施形態＞
図１に示すように、第１実施形態に係る映像配信システム１０は、野球映像メタ情報作成装置２０と、配信装置３０とを含む。野球映像メタ情報作成装置２０と、配信装置３０とは、ネットワークを介して接続されている。映像配信システム１０では、野球映像メタ情報作成装置２０により作成されたメタ情報が付加された映像を、配信装置３０により、ネットワークを介して、所定の端末に配信する。野球映像メタ情報作成装置２０は、第１検出部２２と、第２検出部２４と、作成部２６とを含む。また、配信装置３０は、編集部３２と、配信部３４とを含む。

まず、配信装置３０の各部について詳述する。

編集部３２は、野球の試合を撮影した映像（以下、「撮影映像」という）を取得する。撮影映像は、例えば３０ｆｐｓや６０ｆｐｓ等のフレームレートで撮影された映像であり、複数のフレームを含む。各フレームには、撮影映像の撮影開始からの経過時間で表される時刻情報が対応付けられている。

編集部３２は、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。編集内容としては、例えば図２に示すように、撮影映像の所定の場面に対応する各フレームに対して、選手情報を示すテロップ８０、及び試合状況を示すテロップ８２を付加することを含む。以下では、撮影映像に対して編集部３２による編集が行われた映像を「編集済み映像」という。編集部３２は、編集済み映像を、野球映像メタ情報作成装置２０へ送信する。

配信部３４は、野球映像メタ情報作成装置２０により作成されたメタ情報が付加された映像（以下、「メタ情報付き映像」という。詳細は後述）を取得する。配信部３４は、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信する。

次に、野球映像メタ情報作成装置２０の各部について詳述する。

第１検出部２２は、配信装置３０から送信された編集済み映像を取得する。第１検出部２２は、編集済み映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影されたカット（以下、「特定カット」という）を示すフレームを抽出する。なお、カットとは、同一のカメラアングルで撮影されたひと続きの部分である。本実施形態では、図３に示すように、投手の背後から打者方向を撮影したカットを、特定カットとする場合について説明する。

具体的には、第１検出部２２は、フレーム毎に画像特徴を抽出する。画像特徴とは、フレーム内の各画素の輝度や色等の画素情報により表される特徴である。そして、第１検出部２２は、予め用意された特定カットを示すフレームから抽出された基準画像特徴と、編集済み映像の各フレームから抽出した抽出画像特徴との類似度を求める。第１検出部２２は、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、特定カットを示すフレームとして抽出する。

なお、第１検出部２２は、画像特徴として、画像の構成（構図）を表す特徴、例えば色や輝度の配置や分布を表す特徴、ウェーブレット変換により得られる特徴等を用いることができる。このような画像特徴を抽出する場合は、各フレームの全体から抽出してもよいし、各フレームの一部（例えば、撮影映像に含まれる球場のフェンスや壁面部分）の特徴を抽出してもよい。実際の撮影映像では、同じ特定カットであっても、カメラアングルの若干の相違、選手の立ち位置の相違、背景の看板の変化等、画像の構成に多少の相違が生じている場合がある。フレーム全体から画像特徴を抽出した場合には、このような画像の構成に生じる多少の相違の影響を抑制した画像特徴を抽出することができる。例えば、一方、フレームの一部から画像特徴を抽出する場合には、画像の構成に多少の相違が生じている領域、例えば背景の看板を示す領域を除外した領域から画像特徴を抽出する。このように抽出された画像特徴を用いることで、類否判定の精度を向上させることができる。

また、球場毎に異なる背景や選手が着用するユニホームの色の違い、放送局毎に異なるテロップのフォーマット等を考慮して、複数種類の基準画像特徴を用意しておいてもよい。この場合、第１検出部２２は、編集済み映像と共に、球場、チーム、放送局等の情報を取得し、取得した情報に応じた基準画像特徴量を選択して用いるようにするとよい。また、カメラアングルの相違について、投手や打者の利き手に応じて、カメラアングルや画像の特徴に相違が発生することが考えられる。そのため、投手や打者の利き手別の基準画像特徴量（例えば、投手：左投げ且つ打者：左打ち、投手：左投げ且つ打者：右打ち、投手：右投げ且つ打者：左打ち、投手：右投げ且つ打者：右打ち、の４パターンなど）を用意することとしてもよい。そして、用意した基準画像特徴量のいずれかに合致する場合に、特定カットを示すフレームとして抽出することとしてもよい。

また、第１検出部２２は、画像特徴として、投手の投球フォームなど、特定カットにおいて映像内の選手に特徴的に表れる動きを示す特徴を抽出してもよい。例えば、特徴点の動きベクトルを画像特徴として抽出することができる。この場合、球場、チーム、テロップのフォーマット等が異なる場合でも、それらの影響を抑制した画像特徴を抽出することができる。

また、第１検出部２２は、抽出した特定カットを示すフレームに基づいて、特定カットを示すフレーム以外のフレームから特定カットを示すフレームへ切り替わったフレームを、１球の始まりを示すフレームとして検出する。例えば、図４に示すように、フレーム８４が特定カットを示すフレーム以外のフレーム、フレーム８４の次のフレーム８６が特定カットを示すフレームであったとする。この場合、第１検出部２２は、フレーム８６を１球の始まりを示すフレームとして検出する。

また、第１検出部２２は、特定カットを示すフレームから特定カットを示すフレーム以外のフレームへ切り替わったフレームを、１球の終わりを示すフレームとして検出する。例えば、図５に示すように、フレーム８８が特定カットを示すフレーム、フレーム８８の次のフレーム９０が特定カットを示すフレーム以外のフレームであったとする。この場合、第１検出部２２は、フレーム８８を１球の終わりを示すフレームとして検出する。すなわち、第１検出部２２は、１球の始まりを示すフレームから１球の終わりを示すフレームまでの特定カットを示すフレームが連続する区間を、投手による投球１球分を示す区間として検出する。

第２検出部２４は、第１検出部２２により検出された区間毎に、区間内のボールカウント表示が初期状態か否かを判定する。具体的には、第２検出部２４は、各区間内の少なくとも１つのフレームに含まれる試合状況を示すテロップ８２から、ボールカウントを示すボールカウント表示を抽出する。なお、ボールカウントとは、投手の投球に対するボールかストライクかの判定結果である。第２検出部２４は、区間内のフレームに付加された試合状況を示すテロップ８２から、例えば図６に示すようなボールカウント表示９２を抽出する。ボールカウント表示９２の抽出は、例えばフレーム内で試合状況を示すテロップが表示される領域として予め定めた領域を抽出したり、パターンマッチングにより抽出したりすることができる。また、文字認識処理によりボールカウント表示を抽出してもよい。図６の例では、ボールカウント表示として、「Ｂ●○○ Ｓ○○」（ボールが１球、ストライクが０球）が抽出される。

また、編集済み映像の編集者や放送局毎に、テロップの形式が異なることを考慮し、編集済み映像の編集者や放送局毎に、抽出すべきテロップの形式は適宜変更することとしてもよい。また、複数の編集済み映像の編集者や複数の放送局それぞれに対応した複数のテロップの形式それぞれを特定するための情報を、予め記憶部４６等が記憶し、第２検出部２４が、編集済み映像の編集者や放送局毎に適宜利用することとしてもよい。

また、第２検出部２４は、区間毎に抽出したボールカウント表示が、初期状態、すなわち０ボール−０ストライクのボールカウント（以下、「０−０」と表記する。他のボールカウントについても同様）を表すものか否かを判定する。この判定は、パターンマッチングや文字認識処理により行うことができる。第２検出部２４は、ボールカウント表示が初期状態を示す場合には、その区間を１打席の始まりを示す区間として検出する。

作成部２６は、第１検出部２２により検出されたフレームに基づいて、投手による投球１球毎の始まりを示すメタ情報及び１球毎の終わりを示すメタ情報を作成する。具体的には、作成部２６は、第１検出部２２により検出された１球の始まりを示すフレームに対応付けられた時刻情報に、１球の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部２６は、第１検出部２２により検出された１球の終わりを示すフレームに対応付けられた時刻情報に、１球の終わりを示す情報を対応付けたメタ情報を作成する。なお、作成部２６は、メタ情報をフレームに対応付けることとしてもよい。

また、作成部２６は、第２検出部２４により検出された区間に基づいて、１打席毎の始まりを示すメタ情報及び１打席毎の終わりを示すメタ情報を作成する。具体的には、作成部２６は、第２検出部２４により検出された区間内の先頭フレームに対応付けられた時刻情報に、１打席の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部２６は、第２検出部２４により検出され区間の前の区間内の最終フレームに対応付けられた時刻情報に、１打席の終わりを示す情報を対応付けたメタ情報を作成する。

また、作成部２６は、作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。メタ情報ファイルは、例えばｃｓｖ（Comma-Separated Values）形式のファイルとして作成することができる。図７に、メタ情報ファイルの一例を示す。図７の例では、各行が１つのメタ情報を示し、各メタ情報は、時刻情報９４、１球の始まりまたは終わりを示す情報（記号９６）、及び１打席の始まりまたは終わりを示す情報（記号９８）を含む。

なお、ここでは、フレームに対応付けられた時刻情報を用いたメタ情報を作成する場合について説明したが、フレーム番号等の各フレームを識別するための他の情報を用いて、メタ情報を作成してもよい。

作成部２６は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信する。

野球映像メタ情報作成装置２０は、例えば図８に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、入出力インターフェース（Ｉ／Ｆ）４７、及びネットワークＩ／Ｆ４８を備えている。ＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８は、バス４９を介して互いに接続されている。

記憶部４６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部４６には、コンピュータ４０を野球映像メタ情報作成装置２０として機能させるための野球映像メタ情報作成プログラム５０が記憶されている。ＣＰＵ４２は、野球映像メタ情報作成プログラム５０を記憶部４６から読み出してメモリ４４に展開し、野球映像メタ情報作成プログラム５０が有するプロセスを順次実行する。

野球映像メタ情報作成プログラム５０は、第１検出プロセス５２と、第２検出プロセス５４と、作成プロセス５６とを有する。ＣＰＵ４２は、第１検出プロセス５２を実行することで、図１に示す第１検出部２２として動作する。また、ＣＰＵ４２は、第２検出プロセス５４を実行することで、図１に示す第２検出部２４として動作する。また、ＣＰＵ４２は、作成プロセス５６を実行することで、図１に示す作成部２６として動作する。これにより、野球映像メタ情報作成プログラム５０を実行したコンピュータ４０が、野球映像メタ情報作成装置２０として機能することになる。

また、配信装置３０は、例えば図９に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ６２、メモリ６４、不揮発性の記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８を備えている。ＣＰＵ６２、メモリ６４、記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８は、バス６９を介して互いに接続されている。また、コンピュータ６０には、入出力Ｉ／Ｆ６７を介して、図示しない表示装置及び入力装置が接続されている。

また、配信装置３０と野球映像メタ情報作成装置２０とは、配信装置３０のネットワークＩ／Ｆ６８、ネットワーク、及び野球映像メタ情報作成装置２０のネットワークＩ／Ｆ４８を介して接続されている。

記憶部６６はＨＤＤやフラッシュメモリ等によって実現できる。記憶媒体としての記憶部６６には、コンピュータ６０を配信装置３０として機能させるための配信プログラム７０が記憶されている。ＣＰＵ６２は、配信プログラム７０を記憶部６６から読み出してメモリ６４に展開し、配信プログラム７０が有するプロセスを順次実行する。

配信プログラム７０は、編集プロセス７２と、配信プロセス７４とを有する。ＣＰＵ６２は、編集プロセス７２を実行することで、図１に示す編集部３２として動作する。また、ＣＰＵ６２は、配信プロセス７４を実行することで、図１に示す配信部３４として動作する。これにより、配信プログラム７０を実行したコンピュータ６０が、配信装置３０として機能することになる。

なお、野球映像メタ情報作成装置２０及び配信装置３０の各々は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、第１実施形態に係る映像配信システム１０の作用について説明する。撮影映像が配信装置３０に入力されると、配信装置３０が、図１０に示す編集処理を実行し、編集済み映像を出力する。次に、編集済み映像が野球映像メタ情報作成装置２０に入力されると、野球映像メタ情報作成装置２０が、図１１に示す野球映像メタ情報作成処理を実行して、メタ情報付き映像を出力する。そして、メタ情報付き映像が配信装置３０に入力されると、配信装置３０が、図１２に示す配信処理を実行し、配信用映像を出力する。以下、各処理いついて詳述する。

まず、図１０に示す編集処理のステップＳ１０で、編集部３２が、撮影映像を取得する。次に、ステップＳ１２で、編集部３２が、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。次に、ステップＳ１４で、編集部３２が、編集済み映像を、野球映像メタ情報作成装置２０へ送信して、編集処理は終了する。

次に、図１１に示す野球映像メタ情報作成処理のステップＳ２０で、第１検出部２２が、配信装置３０から送信された編集済み映像を取得する。

次に、ステップＳ２２で、第１検出部２２が、編集済み映像に含まれる複数のフレームの各々から、特定カットを示すフレームを抽出する。具体的には、第１検出部２２が、編集済み映像に含まれる複数のフレームの各々から抽出画像特徴を抽出する。そして、第１検出部２２は、予め用意された基準画像特徴と抽出画像特徴との類似度を求め、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、特定カットを示すフレームとして抽出する。

次に、ステップＳ２４で、第１検出部２２が、抽出した特定カットを示すフレームに基づいて、特定カットを示すフレーム以外のフレームから特定カットを示すフレームへ切り替わったフレームを、１球の始まりを示すフレームとして検出する。同様に、第１検出部２２は、特定カットを示すフレームから特定カットを示すフレーム以外のフレームへ切り替ったフレームを、１球の終わりを示すフレームとして検出する。すなわち、第１検出部２２は、１球の始まりを示すフレームから１球の終わりを示すフレームまでの特定カットを示すフレームが連続する区間を、投手による投球１球分を示す区間として検出する。

次に、ステップＳ２６で、第２検出部２４が、第１検出部２２により検出された各区間内の少なくとも１つのフレームに含まれる試合状況を示すテロップ８２から、ボールカウントを示すボールカウント表示を抽出する。そして、第２検出部２４は、ボールカウント表示が初期状態（０−０）を示す区間を、１打席の始まりを示す区間として検出する。

図１３に、１球の始まりを示すフレーム、１球の終わりを示すフレーム、及び１打席の始まりを示す区間が検出された一例を概略的に示す。なお、図１３は、フレーム１００、１０２、及び１０４の各々から始まる区間毎に、ボールカウント表示が、「１−１」、「０−０」、及び「１−０」であり、フレーム１０２から始まる区間が１打席の始まりを示す区間として検出されている例である。

次に、ステップＳ２８で、作成部２６が、第１検出部２２により検出された１球の始まりを示すフレームに対応付けられた時刻情報に、１球の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部２６は、第１検出部２２により検出された１球の終わりを示すフレームに対応付けられた時刻情報に、１球の終わりを示す情報を対応付けたメタ情報を作成する。

次に、ステップＳ３０で、作成部２６が、第２検出部２４により検出された区間内の先頭フレームに対応付けられた時刻情報に、１打席の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部２６は、第２検出部２４により検出され区間の前の区間内の最終フレームに対応付けられた時刻情報に、１打席の終わりを示す情報を対応付けたメタ情報を作成する。

次に、ステップＳ３２で、作成部２６が、上記ステップＳ２８及びＳ３０で作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。そして、作成部２６は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信し、野球映像メタ情報作成処理は終了する。

次に、図１２に示す配信処理のステップＳ４０で、配信部３４が、野球映像メタ情報作成装置２０から送信されたメタ情報付き映像を取得する。次に、ステップＳ４２で、配信部３４が、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信し、配信処理は終了する。

以上説明したように、第１実施形態に係る野球映像メタ情報作成装置２０によれば、野球の試合を撮影した映像から、投手の背後から打者方向を撮影した特定カットを示すフレームを検出する。そして、この特定カットを示すフレームが連続する区間を投手による投球１球分の区間とし、区間内から得られるボールカウント表示が初期状態となる区間を、１打席の始まりを示す区間として検出する。そして、１打席の始まりを示す区間内の先頭フレームの時刻情報に、１打席の始まりを示す情報を対応付けたメタ情報を作成する。従って、野球の試合を撮影した映像から、１打席毎の映像の頭出しが可能なメタ情報を自動的に作成することができる。

また、本発明によるメタ情報が付加された映像では、野球の試合映像（撮影映像、または編集済み映像）から、メタ情報に基づく１球単位及び１打席単位の頭出しが可能であり、例えば、投手の投球時の映像や打者の打席の映像、リプレイなどを、容易に特定し、視聴することができる。

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第１実施形態に係る映像配信システム１０と同様の部分については、同一符号を付して、詳細な説明を省略する。

図１に示すように、第２実施形態に係る映像配信システム２１０は、野球映像メタ情報作成装置２２０と、配信装置３０とを含む。野球映像メタ情報作成装置２２０は、第１検出部２２と、第２検出部２２４と、作成部２６とを含む。

第２検出部２２４は、第１実施形態の第２検出部２２４と同様に、ボールカウントが初期状態（０−０）となる区間を、１打席の始まりを示す区間として検出する。

ここで、ボールカウントが０−０の状態から、投手により１球が投じられた後においても、ボールカウントが０−０のまま変化しない場合がある。例えば、打者が１球目から打撃を行ってヒットまたはアウトとなった場合、また、打者の変更を伴わない投球（例えば牽制球など）が行われた場合である。前者の場合、ボールカウントが０−０の区間毎に１打席の始まりとなるため問題ないが、後者の場合、ボールカウントが０−０の区間でも、打者の変更がなく、１打席目の始まりとして検出するのは不適切な場合がある。

例えば図１４に示すように、フレーム１０６から始まる区間において、ボールカウント０−０の状態から投手が牽制球を投げたとする。この場合、特定カットから、ランナーを撮影したカットなどの特定カット以外の映像に切り替わるため、次の投球の前に１球の終わりを示すフレームが検出される。そして、フレーム１０６から始まる区間の次の区間である、フレーム１０８から始まる区間もボールカウントが０−０であるため、１打席の始まりを示す区間として検出されうる。

そこで、第２検出部２２４は、連続する複数の区間の各々のボールカウント表示が初期状態を示す場合であっても、打者の変更を伴わない場合には、１打席の始まりを示す区間として検出しないようにする。

具体的には、第２検出部２２４は、連続する前の区間と後の区間とで、各区間のランナーの数、アウトカウント、及び得点の合計が１増加した場合には、後の区間も１打席の始まりを示す区間として検出する。一方、合計に変化がない場合には、第２検出部２２４は、後の区間を１打席の始まりを示す区間として検出しない。これは、ランナーの数、アウトカウント、及び得点の合計が１増加するということは、打者が変更したことを表し、合計が変化しない場合には、打者が変更していないことを表すこととなるためである。一例として、１球前の状況が、ランナー数が１、アウトカウントが０、得点が０であった場合に、今回の投球に対する結果の場合分けによる打者の変更の有無を、図１５に示す。図１５に示す、ヒット、タイムリーヒット、ホームラン、アウト、ダブルプレー、犠牲フライスクイズ、犠打（進塁のみ）は、いずれも、野球の試合において、打者が変更となる事象である。一方、牽制、暴投等は、野球の試合において、打者が変更とならない事象である。第２検出部２２４は、図１５に示す情報を記憶部４６等に保持し、打者の変更の有無を判定することとしてもよい。

なお、図１５は、投球に対する結果の場合分けによる打者の変更の有無を判定する情報の一例であり、図１５の態様に限定されない。例えば、図１５では、説明のため、１球前の状況を明記しているが、第２検出部２２４は、ランナー数、アウトカウント、特定、合計、及び打者の変更の有無を示す情報によって、打者の変更の有無を判定できる。また、図１５はランナー数が１の場合の例を示しているが、ランナー数が１以外の場合でも、第２検出部２２４は、上述した処理と同様の手順で、打者の変更の有無を判定できる。あるいは、打者の変更の有無の判定を、例えば、ストライクが２球カウントされている状況で実行することにより、第２検出部２２４は、ファウルボール等の判定を行なうこともできる。

第２検出部２２４は、図１６に示すように、試合状況を示すテロップ８２から、出塁状況を示す出塁表示１１０、アウトカウントを示すアウトカウント表示１１２、及びチーム毎の得点を示す得点表示１１４を抽出する。そして、第２検出部２２４は、抽出した出塁表示１１０が示すランナーの数、アウトカウント表示１１２が示すアウトカウント、及び得点表示１１４が示す攻撃中のチームの得点を取得する。これらの情報は、抽出した各表示に対して、パターンマッチングや文字認識処理等を行って取得することができる。また、攻撃中のチームは、試合状況を示すテロップ８２の現在のイニングを示すイニング表示１１６から得られる情報に基づいて判定することができる。

次に、第２実施形態に係る映像配信システム２１０の作用について説明する。なお、第１実施形態に係る映像配信システム１０とは、野球映像メタ情報作成処理が異なるだけである。以下、図１７を参照して、第２実施形態における野球映像メタ情報作成処理について説明する。なお、第１実施形態に係る野球映像メタ情報作成処理と同様の処理については、同一符号を付して、詳細な説明を省略する。

ステップＳ２０〜Ｓ２６で、第１検出部２２及び第２検出部２４が、第１実施形態と同様に、１球の始まりを示すフレーム、１球の終わりを示すフレーム、及びボールカウントが初期状態となる区間を検出する。

次に、ステップＳ５０で、第２検出部２２４が、連続する前の区間と後の区間とで、各区間のランナーの数、アウトカウント、及び得点の合計が変化しない場合の後の区間を、上記ステップＳ２６で検出した区間から除外する。以下、第１実施形態と同様に処理する。

以上説明したように、第２実施形態に係る野球映像メタ情報作成装置２２０によれば、ボールカウントが初期状態の場合でも、試合状況を示す表示の変化に基づいて、打者の変更を伴わないと判断される場合には、１打席の始まりを示す区間として検出しない（検出されることを抑止する）。これにより、より精度良く１打席の始まりを検出することができる。

また、１打席の始まりの検出のみならず、イニングの始まりを検出することとしてもよい。例えば、第２検出部２２４が、ボールカウント、ランナーの数、及びアウトカウントを取得する。そして、ボールカウント（０−０）かつ、アウトカウント及びランナーの数が０に切り替わるフレームまたは打席を、第２検出部２２４が、イニングの始まりとして検出することとしてもよい。これにより、１打席の始まりの検出のみならず、イニングの始まりも検出することができる。あるいは、第２検出部２２４が、テロップ８２の現在のイニングを示すイニング表示１１６から得られる情報に基づいて、イニングが変更されたことを検知した際に、変更が検知されたフレームまたは打席をイニングの始まりとして検出することとしてもよい。

なお、第２実施形態では、ランナーの数、アウトカウント、及び得点の合計の変化に基づいて、打者の変更の有無を判断する場合について説明したが、これに限定されない。ランナーの数、アウトカウント、及び得点のパターンが、前の区間からどのように変化したかを、予め定めたパターンと比較することにより判断してもよい。例えば、ランナーの数が１減少し、アウトカウントが１増加し、得点は変化しないというパターンを、打者の変更がないことを示すパターンとして定めておく。そして、ランナーの数、アウトカウント、及び得点の前の区間からの変化が、この定めたパターンに該当する場合には、後の区間は１打席の始まりを示す区間として検出しないようにすることができる。

また、上記各実施形態では、各フレームの画像特徴に基づいて特定カットを示すフレームを検出する場合について説明したが、これに限定されない。例えば、特定カットを示すフレームに、特定カットを判別するための判別情報が予め付加されている編集済み映像が入力された場合には、この判別情報を用いて、特定カットを示すフレームを検出することができる。判別情報は、例えば図１８に示すようなマーク１１８として、編集済み映像に付加しておくことができる。

なお、判別情報は、撮影映像を撮影する際に付加されてもよいし、撮影映像を編集する際に付加されてもよい。例えば、投手の背後から打者方向を撮影するカメラにスイッチを設けておき、スイッチを押下している間は、そのカメラで撮影される撮影映像に判別情報が付加されるようにすることができる。また、投手の背後から打者方向を撮影するカメラで撮影される撮影映像には、常に判別情報が付加されるようにしてもよい。また、撮影映像にテロップ等を付加する編集の際に、判別情報となるマーク１１８を付加してもよい。

具体的には、第１検出部２２が、編集済み映像のフレーム毎に、判別情報が付加されているか否かを判別する。例えば、第１検出部２２は、各フレームの予め定めた領域に対して、判別情報を示すパターンを用いたパターンマッチングを行って、判別情報が付加されているか否かを判別することができる。第１検出部２２は、判別情報が付加されていると判別したフレームを、特定カットを示すフレームとして抽出する。

このように、特定カットを示すフレームに判別情報が付加された映像を取得することができる場合には、簡易な処理により、特定カットを示すフレームを検出することができる。

なお、上述のように、撮影や編集の際に判別情報を付加する場合には、特定カットを示すフレーム以外のフレームと特定カットを示すフレームとの厳密な切り替わり箇所に判別情報を付加することができない場合がある。そこで、第１検出部２２は、判別情報に基づいて抽出した特定カットを示すフレームの数フレーム分前または後のフレームを、１球の始まりを示すフレーム及び１球の終わりを示すフレームとして検出してもよい。また、上記各実施形態においても、抽出した特定カットを示すフレームの数フレーム分前または後のフレームを、１球の始まりまたは終わりを示すフレームとして検出してもよい。

また、上記各実施形態では、特定カットを示すフレームが連続する区間を、１球を示す区間として検出する場合について説明したが、撮影映像には、１つの特定カットの中に複数の投球場面が含まれていることが考えられる。例えば図１９に示すように、１球目の映像はフレーム１２０で終わり、次のフレーム１２２からは２球目の映像であるとする。フレーム１２０及びフレーム１２２はいずれも特定カットを示すフレームであるため、両フレーム間で１球の始まり及び終わりの間に特定カットと異なるカットの映像が含まれない。図１９のような態様は、例えば、撮影映像において、投手の複数回分（例えば２球分）の投球動作が、特定カットを撮影するカメラ以外のカメラで撮影された映像を含まずに撮影されている場合に生じうる。

そこで、第１検出部２２は、特定カットを示すフレームの各々に含まれる試合状況を示すテロップ８２からボールカウント表示を抽出する。そして、特定カットを示すフレームが連続している間で、ボールカウント表示が変化したフレームを、１球の始まりに対応するフレームとして検出してもよい。そして、作成部２６は、第１検出部２２によりボールカウント表示の変化に基づいて検出された１球の始まりに対応するフレームの所定フレーム分前または後のフレームを、１球の始まりを示すフレームとすることとしてもよい。所定フレーム分前または後は、過去の試合映像などに基づいて、１球の始まりからボールカウント表示が変化するまでの時間、またはボールカウント表示が変化してから次の投球を投手が開始するまでの時間に対応したフレーム数を予め定めておけばよい。

この場合、同一の特定カットの中に複数の投球場面が含まれている場合でも、それぞれの１球の始まりを示すメタ情報を作成することができる。

また、第１検出部２２は、特定カットを示すフレームが連続している間で、連続する複数の特定カットを示すフレームの所定領域から、投手による所定方向への投球を示す球の軌跡が現れたフレームを、１球の始まりに対応するフレームとして検出してもよい。例えば図２０に示すように、投手と打者との間に所定領域１２４を設定することができる。第１検出部２２は、例えば図２１に示すように、連続する特定カットを示すフレーム間の対応する画素同士の差分で表される差分画像を生成する。図２１では、手前の差分画像ほど、元になったフレームの時刻情報が新しいことを表している。また、図２１では、フレーム全体の差分画像を示しているが、所定領域１２４のみの差分画像を生成してもよい。

また、第１検出部２２は、例えば、連続する数枚の差分画像を重ね合わせることにより、球の軌跡が現れた場合には、その軌跡の方向が所定方向か否かを判定する。図２２に、差分画像を５枚重ね合わせた例を示す。図２２中の白丸の各々は、各差分画像に現れた球に対応する差分領域であり、差分画像の重ね合わせにより、破線の矢印で示す球の軌跡が現れた例を示している。

所定方向は、例えば、投手が投球をした際に投げた球が向かっていく編集済み映像（撮影映像でも良い）上の方向である。所定方向は、予め定めておくこととしてもよいし、打者や捕手、球審等の人物の撮影画像中の位置を特定し、特定した人物の位置によって定めることとしてもよい。また、所定方向は、球の軌跡が示す方向が、打者への投球か牽制球かを区別可能な方向を予め定めておくこととしてもよい。例えば、図２３に示すように、特定カットを示すフレームにおいて、矢印１２６は打者への投球方向を示し、矢印１２８及び矢印１３０は牽制球の方向を示す。従って、図２３の例では、矢印１２６の方向を所定方向として定めておけばよい。なお、球の軌跡を検出する領域を牽制球も検出可能な領域として設定しておき、検出された球の軌跡が打者への投球を示す軌跡か、牽制球を示す軌跡（図２３の矢印１２８または矢印１３０の方向の軌跡）かも合わせて判定するようにしてもよい。これにより、編集済み映像（撮影映像でもよい）において、打者への投球か牽制球かを区別可能となる。

作成部２６は、第１検出部２２により球の軌跡に基づいて検出された１球の始まりに対応するフレームの所定フレーム分前のフレームを、１球の始まりを示すフレームとするメタ情報を作成する。所定フレーム分前は、過去の試合映像などに基づいて、１球の始まりから実際の投球が行われるまでの時間に対応したフレーム数を予め定めておけばよい。

この場合も、同一の特定カットの中に複数の投球場面が含まれている場合でも、それぞれの１球の始まりを示すメタ情報を作成することができる。さらに、ボールカウント表示の変化に基づく１球の始まりを示すメタ情報の作成に加えて、球の軌跡に基づくメタ情報の作成を実行するようにしてもよい。この場合、例えば、ツーストライク後に打者がファールを打った場合のように、ボールカウント表示は変化しない場合でも、精度良く１球の始まりを検出することができる。

また、上記各実施形態では、投手の背後から打者方向を撮影したカットを、特定カットとする場合について説明したが、特定カットはこれに限定されない。例えば、球審の頭部に備え付けられたカメラから撮影されたカット（球審から投手方向を撮影したカット）など、投手の投球場面に使用される特徴的なカメラアングルで撮影されたカットであればよい。

また、上記各実施形態では、特定カットに基づいて、１球の始まりを示すフレーム及び１球の終わりを示すフレームの各々を検出する場合について説明したが、これに限定されない。例えば、１球の終わりを示すフレームを、次の１球を示すフレームの所定フレーム分前のフレームとして検出してもよい。

また、野球映像メタ情報作成装置に入力される映像に、リプレイやダイジェストが含まれている場合には、これらを除外した部分から１球の始まりを示すフレームを検出するようにするとよい。例えば、リプレイとは、イニング中の比較的短い時間で、直前のプレイや前打席の映像等を再生するものであり、ダイジェスト映像は、イニング間などの比較的長い時間で、そこまでの試合状況を振り返るような映像を再生するものである。リプレイやダイジェストの映像部分は、例えば、リプレイやダイジェストであることを示すテロップ等を認識することにより除外することができる。

また、リプレイの映像の場合、異なるカメラアングルで撮影された映像や、一部をズームした映像を再生する場合がある。このような場合には、リプレイの映像が特定カットとして抽出されないため、１球の始まりを示すフレームの検出に影響しない。また、リプレイの映像としてスローモーション映像が使用される場合もある。このような場合を考慮して、特定カットを示すフレームとして抽出されたフレームから、スローモーション映像のフレームを除外するようにしてもよい。スローモーション映像は、例えば同一フレームが所定数連続するか否かを判定するなどのスローモーション判定を行うことにより除外することができる。

また、上記各実施形態では、配信装置と野球映像メタ情報作成装置とを含む映像配信システムを例に説明したが、これに限定されない。配信装置の各機能部と野球映像メタ情報作成装置の各機能部とを、１つのコンピュータで実現するようにしてもよい。

また、野球映像メタ情報作成装置からの出力を、映像配信システム以外の用途で利用してもよい。

また、上記では、野球映像メタ情報作成プログラム５０が記憶部４６に、配信プログラム７０が記憶部６６に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。

以上の上記各実施形態に関し、更に以下の付記を開示する。

（付記１）
野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出する第１検出部と、
前記第１検出部により検出された区間から、該区間内の少なくとも１つのフレームに含まれるボールカウント表示が初期状態を示す区間を検出する第２検出部と、
前記第２検出部により検出された区間を、１打席毎の始まりを示す区間とするメタ情報を作成する作成部と、
を含む野球映像メタ情報作成装置。

（付記２）
前記第２検出部は、連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、各区間内の少なくとも１つのフレームに含まれる試合状況を示す表示の変化に基づいて、検出対象から除外する区間を判定する付記１記載の野球映像メタ情報作成装置。

（付記３）
前記試合の状況を示す表示は、少なくともランナーの数、アウトカウント、及び得点の情報を含み、
前記第２検出部は、連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、前記ランナーの数、前記アウトカウント、及び前記得点の合計が前の区間から変化しない区間を、前記検出対象から除外する
付記２記載の野球映像メタ情報作成装置。

（付記４）
前記試合の状況を示す表示は、少なくともランナーの数、アウトカウント、及び得点の情報を含み、
前記第２検出部は、連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、前記ランナーの数、前記アウトカウント、及び前記得点のパターンの前の区間からの変化が、予め定めた打席の変更がないことを示すパターンの変化に該当する区間を、前記検出対象から除外する
付記２記載の野球映像メタ情報作成装置。

（付記５）
コンピュータに、
野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出し、
検出された区間から、該区間内の少なくとも１つのフレームに含まれるボールカウント表示が初期状態を示す区間を検出し、
ボールカウント表示が初期状態を示す区間として検出された区間を、１打席毎の始まりを示す区間とするメタ情報を作成する
ことを含む処理を実行させる野球映像メタ情報作成方法。

（付記６）
連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、各区間内の少なくとも１つのフレームに含まれる試合状況を示す表示の変化に基づいて、検出対象から除外する区間を判定する付記５記載の野球映像メタ情報作成方法。

（付記７）
前記試合の状況を示す表示は、少なくともランナーの数、アウトカウント、及び得点の情報を含み、
連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、前記ランナーの数、前記アウトカウント、及び前記得点の合計が前の区間から変化しない区間を、前記検出対象から除外する
付記６記載の野球映像メタ情報作成方法。

（付記８）
前記試合の状況を示す表示は、少なくともランナーの数、アウトカウント、及び得点の情報を含み、
連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、前記ランナーの数、前記アウトカウント、及び前記得点のパターンの前の区間からの変化が、予め定めた打席の変更がないことを示すパターンの変化に該当する区間を、前記検出対象から除外する
付記６記載の野球映像メタ情報作成方法。

（付記９）
コンピュータに、
野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出し、
検出された区間から、該区間内の少なくとも１つのフレームに含まれるボールカウント表示が初期状態を示す区間を検出し、
ボールカウント表示が初期状態を示す区間として検出された区間を、１打席毎の始まりを示す区間とするメタ情報を作成する
ことを含む処理を実行させるための野球映像メタ情報作成プログラム。

（付記１０）
連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、各区間内の少なくとも１つのフレームに含まれる試合状況を示す表示の変化に基づいて、検出対象から除外する区間を判定する付記９記載の野球映像メタ情報作成プログラム。

（付記１１）
前記試合の状況を示す表示は、少なくともランナーの数、アウトカウント、及び得点の情報を含み、
連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、前記ランナーの数、前記アウトカウント、及び前記得点の合計が前の区間から変化しない区間を、前記検出対象から除外する
付記１０記載の野球映像メタ情報作成プログラム。

（付記１２）
前記試合の状況を示す表示は、少なくともランナーの数、アウトカウント、及び得点の情報を含み、
連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、前記ランナーの数、前記アウトカウント、及び前記得点のパターンの前の区間からの変化が、予め定めた打席の変更がないことを示すパターンの変化に該当する区間を、前記検出対象から除外する
付記１０記載の野球映像メタ情報作成プログラム。

（付記１３）
コンピュータに、
複数のフレームを含む野球の試合の撮影映像に含まれる、投手の投球シーンを示すフレームのうち、ボールカウントが初期状態に対応するフレームを、打席内での最初の投球シーンを示すフレームとして抽出する、
ことを実行させることを特徴とする抽出プログラム。

（付記１４）
コンピュータが、
複数のフレームを含む野球の試合の撮影映像に含まれる、投手の投球シーンを示すフレームのうち、ボールカウントが初期状態に対応するフレームを、打席内での最初の投球シーンを示すフレームとして抽出する、
ことを実行させることを特徴とする抽出方法。

（付記１５）
複数のフレームを含む野球の試合の撮影映像に含まれる、投手の投球シーンを示すフレームのうち、ボールカウントが初期状態に対応するフレームを、打席内での最初の投球シーンを示すフレームとして抽出する抽出部、
を含むことを特徴とする抽出装置。

１０、２１０ 映像配信システム
２０、２２０ 野球映像メタ情報作成装置
２２ 第１検出部
２４、２２４ 第２検出部
２６ 作成部
３０ 配信装置
３２ 編集部
３４ 配信部
４０、６０ コンピュータ
４２、６２ ＣＰＵ
４４、６４ メモリ
４６、６６ 記憶部
５０ 野球映像メタ情報作成プログラム
７０ 配信プログラム

Claims (9)

1. コンピュータに、
   複数のフレームを含む野球の試合の撮影映像に含まれる、投手の投球シーンを示すフレームのうち、ボールカウントが初期状態に対応するフレームを、打席内での最初の投球シーンを示すフレームとして抽出する、
   ことを実行させることを特徴とする抽出プログラム。
2. コンピュータが、
   複数のフレームを含む野球の試合の撮影映像に含まれる、投手の投球シーンを示すフレームのうち、ボールカウントが初期状態に対応するフレームを、打席内での最初の投球シーンを示すフレームとして抽出する、
   ことを実行させることを特徴とする抽出方法。
3. 複数のフレームを含む野球の試合の撮影映像に含まれる、投手の投球シーンを示すフレームのうち、ボールカウントが初期状態に対応するフレームを、打席内での最初の投球シーンを示すフレームとして抽出する抽出部、
   を含むことを特徴とする抽出装置。
4. 野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出する第１検出部と、
   前記第１検出部により検出された区間から、該区間内の少なくとも１つのフレームに含まれるボールカウント表示が初期状態を示す区間を検出する第２検出部と、
   前記第２検出部により検出された区間を、１打席毎の始まりを示す区間とするメタ情報を作成する作成部と、
   を含む野球映像メタ情報作成装置。
5. 前記第２検出部は、連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、各区間内の少なくとも１つのフレームに含まれる試合状況を示す表示の変化に基づいて、検出対象から除外する区間を判定する請求項４記載の野球映像メタ情報作成装置。
6. 前記試合の状況を示す表示は、少なくともランナーの数、アウトカウント、及び得点の情報を含み、
   前記第２検出部は、連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、前記ランナーの数、前記アウトカウント、及び前記得点の合計が前の区間から変化しない区間を、前記検出対象から除外する
   請求項５記載の野球映像メタ情報作成装置。
7. 前記試合の状況を示す表示は、少なくともランナーの数、アウトカウント、及び得点の情報を含み、
   前記第２検出部は、連続する複数の区間の各々のボールカウント表示が初期状態を示す場合に、前記ランナーの数、前記アウトカウント、及び前記得点のパターンの前の区間からの変化が、予め定めた打席の変更がないことを示すパターンの変化に該当する区間を、前記検出対象から除外する
   請求項５記載の野球映像メタ情報作成装置。
8. コンピュータに、
   野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出し、
   検出された区間から、該区間内の少なくとも１つのフレームに含まれるボールカウント表示が初期状態を示す区間を検出し、
   前記ボールカウント表示が初期状態を示す区間として検出された区間を、１打席毎の始まりを示す区間とするメタ情報を作成する
   ことを含む処理を実行させる野球映像メタ情報作成方法。
9. コンピュータに、
   野球の試合を撮影した複数のフレームを含む映像から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレームが連続する区間を検出し、
   検出された区間から、該区間内の少なくとも１つのフレームに含まれるボールカウント表示が初期状態を示す区間を検出し、
   前記ボールカウント表示が初期状態を示す区間として検出された区間を、１打席毎の始まりを示す区間とするメタ情報を作成する
   ことを含む処理を実行させるための野球映像メタ情報作成プログラム。