JP6394184B2 - 判定プログラム、方法、及び装置 - Google Patents

Description

本発明は、判定プログラム、判定方法、及び判定装置に関する。

従来、野球の試合を撮影した映像を、ライブ配信したり、ビデオ・オン・デマンド（Video on Demand、ＶｏＤ）コンテンツとして配信したりするサービスが存在する。ＶｏＤコンテンツとして配信する場合、例えば、視聴者が所望のイニングを選択して視聴可能な形式で、視聴者に提供することが行われている。このようなＶｏＤコンテンツを提供するために、人手により映像をイニング毎に切り出している。

なお、野球の試合を撮影した映像からハイライトシーンを抽出する技術が提案されている。

特開２００５−２９５２９６号公報

しかしながら、例えば上述のように、人手により映像をイニング毎に切り出す場合は、１イニングの映像の切り出しに１０分程度かかってしまう。さらに、より詳細なＶｏＤコンテンツとして、例えば、投手による投球１球毎の頭出しが可能なＶｏＤコンテンツを想定すると、１球毎に映像を切り出す必要があり、人手による作業工数は増大する。

一つの側面として、本発明は、野球の試合を撮影した映像から、投球シーンを判定することを目的とする。

一つの態様では、記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、投球シーンを判定する。この判定は、所定の特徴を有し、かつ、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出される、連続する複数のフレームを判定することで行う。

一つの側面として、野球の試合を撮影した映像から、野球の試合を撮影した映像から、投球シーンを判定することができる、という効果を有する。

本実施形態に係る映像配信システムの概略構成を示すブロック図である。 本実施形態に係る判定装置及び配信装置の機能ブロック図である。 投球構図フレーム及び編集の一例を説明するための図である。 カウント表示の一例を示す図である。 投球の始まりを示すフレームの判定を説明するための図である。 投球の始まりを示すフレームの判定を説明するための図である。 投球構図シーンの開始フレームが投球の始まりを示すフレームとして判定されない場合を説明するための図である。 牽制シーンを説明するための図である。 投球結果の判定を説明するための図である。 メタ情報ファイルの一例を示す図である。 判定装置として機能するコンピュータの一例を示す概略ブロック図である。 配信装置として機能するコンピュータの一例を示す概略ブロック図である。 編集処理の一例を示すフローチャートである。 判定処理の一例を示すフローチャートである。 投球判定処理の一例を示すフローチャートである。 配信処理の一例を示すフローチャートである。 ライブ配信時の処理を説明するための図である。 カウント表示にエフェクトがかかっている場合のカウント情報の変化の検出を説明するための図である。

以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。本実施形態では、本発明に係る判定装置を、映像配信システムに適用した例について説明する。

図１に示すように、本実施形態に係る映像配信システム１０は、判定装置２０と、配信装置３０と、ユーザ端末４０とを含む。判定装置２０と、配信装置３０と、ユーザ端末４０とは、互いにネットワークを介して接続されている。

ユーザ端末４０は、映像を表示する表示部及び情報を入力する入力部を備えた装置であり、例えば、パーソナルコンピュータ（ＰＣ）、ノート型ＰＣ、タブレット端末、スマートフォン等である。なお、図１では、ユーザ端末４０を１台のみ表記しているが、ユーザ端末は複数台であってもよい。

映像配信システム１０では、判定装置２０により作成された投球シーンに関するメタ情報が付加された映像を、配信装置３０により、ネットワークを介して、ユーザ端末４０に配信する。図２に示すように、判定装置２０は、検出部２１と、判定部２２と、作成部２３とを含む。また、配信装置３０は、編集部３１と、配信部３２とを含む。

まず、配信装置３０の各部について詳述する。

編集部３１は、野球の試合を撮影した映像（以下、「撮影映像」という）を取得する。撮影映像は、例えば３０ｆｐｓや６０ｆｐｓ等のフレームレートで撮影された映像であり、複数のフレームを含む。各フレームには、撮影映像の撮影開始からの経過時間で表されるフレーム時間が対応付けられている。本実施形態では、フレーム時間は、フレームの識別情報としても用いられる。

編集部３１は、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。編集内容としては、例えば図３に示すように、撮影映像の所定の場面に対応する各フレーム９０に対して、試合状況を示すカウント表示９２を付加することを含む。

カウント表示９２は、ボールカウント、ストライクカウント、アウトカウント、ランナーの状況、及びチーム毎の現在の得点を含むカウント情報を示す表示である。カウント表示９２は、例えば図４に示すように、ボールカウントを示すボールカウント表示９５、及びストライクカウントを示すストライクカウント表示９６を含む。さらに、カウント表示９２は、アウトカウントを示すアウトカウント表示９７、ランナーの状況を示すランナー表示９８、及びチーム毎の現在の得点を示す得点表示９９を含む。なお、カウント表示９２のフォーマットは図４の例に限定されず、ボールカウント、ストライクカウント、アウトカウント、ランナーの状況、及びチーム毎の現在の得点を含むカウント情報を示す表示であればよい。

なお、編集内容はカウント表示９２の付加に限定されず、氏名やプロフィールなどの選手情報を示すテロップの付加など、様々な内容を含む。以下では、撮影映像に対して編集部３１による編集が行われた映像を「編集済み映像」という。編集部３１は、編集済み映像を、判定装置２０へ送信する。

配信部３２は、判定装置２０により作成されたメタ情報が付加された映像（以下、「メタ情報付き映像」という。詳細は後述）を取得する。配信部３２は、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先のユーザ端末４０に配信する。

次に、判定装置２０の各部について詳述する。

検出部２１は、配信装置３０から送信された編集済み映像を取得する。検出部２１は、編集済み映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された構図のフレームを、投球構図フレームとして検出する。本実施形態では、図３に示すように、投手の背後から打者方向を撮影した構図のフレームを、投球構図フレームとする場合について説明する。

具体的には、検出部２１は、フレーム毎に画像特徴を抽出する。画像特徴とは、フレーム内の各画素の輝度や色等の画素情報により表される特徴である。そして、検出部２１は、予め用意された投球構図フレームから抽出された基準画像特徴と、編集済み映像の各フレームから抽出した抽出画像特徴との類似度を求める。検出部２１は、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、投球構図フレームとして抽出する。

なお、検出部２１は、画像特徴として、画像の構図（構成）を表す特徴、例えば色や輝度の配置や分布を表す特徴、ウェーブレット変換により得られる特徴等を用いることができる。このような画像特徴を抽出する場合は、各フレームの全体から抽出してもよいし、各フレームの一部（例えば、撮影映像に含まれる球場のフェンスや壁面部分）の特徴を抽出してもよい。実際の撮影映像では、同じ投球構図フレームであっても、カメラアングルの若干の相違、選手の立ち位置の相違、背景の看板の変化等、画像の構図に多少の相違が生じている場合がある。フレーム全体から画像特徴を抽出した場合には、このような画像の構図に生じる多少の相違の影響を抑制した画像特徴を抽出することができる。一方、フレームの一部から画像特徴を抽出する場合には、画像の構図に多少の相違が生じている領域、例えば背景の看板を示す領域を除外した領域から画像特徴を抽出する。このように抽出された画像特徴を用いることで、類否判定の精度を向上させることができる。

また、球場毎に異なる背景や選手が着用するユニホームの色の違い、放送局毎に異なるテロップのフォーマット等を考慮して、複数種類の基準画像特徴を用意しておいてもよい。この場合、検出部２１は、編集済み映像と共に、球場、チーム、放送局等の情報を取得し、取得した情報に応じた基準画像特徴を選択して用いるようにするとよい。また、カメラアングルの相違について、投手や打者の利き手に応じて、カメラアングルや画像の特徴に相違が発生することが考えられる。そのため、投手や打者の利き手別の基準画像特徴を用意することとしてもよい。例えば、投手が左投げかつ打者が左打ちの場合、投手が左投げかつ打者が右打ちの場合、投手が右投げかつ打者が左打ちの場合、及び投手が右投げかつ打者が右打ちの場合の４パターンを用意しておくことができる。そして、用意した基準画像特徴のいずれかに合致する場合に、投球構図フレームとして抽出することとしてもよい。

また、検出部２１は、各フレームから、カウント表示９２を抽出し、カウント表示９２が示すカウント情報を検出する。例えば、検出部２１は、カウント表示９２が表示される領域として予め定められたフレーム内の領域から、カウント表示９２を抽出する。または、予め定められたカウント表示９２のフォーマットを用いたパターンマッチング等により、フレーム内からカウント表示９２を抽出する。そして、検出部２１は、抽出したカウント表示９２から、パターンマッチングや文字認識処理等により、ボールカウント表示９５の領域を特定すると共に、ボールカウント表示９５が示すボールカウントを検出する。同様に、検出部２１は、ストライクカウント表示９６からストライクカウントを、アウトカウント表示９７からアウトカウントを、ランナー表示９８からランナーの状況を、及び得点表示９９から得点を検出する。

検出部２１は、投球構図フレームの検出結果、及びフレーム毎に検出したカウント情報を、フレーム情報テーブル２６に記録する。フレーム情報テーブル２６の一例を図５に示す。図５の例では、フレーム時間で識別されるフレーム毎に、「構図判定」、「ボール」、「ストライク」、「アウト」、「ランナー」、及び「得点」の項目を含む。検出部２１は、投球構図フレームとして検出したフレームに対応する「構図判定」の項目に、「ＴＲＵＥ」を記録する。投球構図フレームとして検出されなかったフレームに対応する「構図判定」の項目はブランクとする。また、検出部２１は、カウント情報として検出したボールカウント、ストライクカウント、アウトカウント、ランナーの状況、及び得点の各々を、対応する「ボール」、「ストライク」、「アウト」、「ランナー」、及び「得点」の項目の各々に記録する。

なお、図５及び後述する図６及び図７では、説明を簡単にするため、フレーム時間を０．１秒刻みとして表現しているが、例えば、撮影映像のフレームレートが３０ｆｐｓの場合にはフレーム時間は約０．０３秒刻みである。また、撮影映像のフレームレートが６０ｆｐｓの場合にはフレーム時間は約０．０１７秒刻みである。

判定部２２は、検出部２１により記録されたフレーム情報テーブル２６を参照して、連続する複数の投球構図フレームからなるフレーム群を投球構図シーンとして特定する。また、判定部２２は、投球構図シーンに含まれるいずれかのフレーム間で、カウント情報が変化したか否かを判定する。カウント情報が変化した場合には、判定部２２は、その投球構図シーンは、投手による投球が１球行われたことを表していると判定して、投球構図シーンの開始フレーム（先頭フレーム）を、投球の始まりを示すフレームとして判定する。

例えば、図５の例では、判定部２２は、まず、フレーム時間＝１２８．３〜１３０．０に含まれるフレーム群により表されるシーンを、投球構図シーンとして特定する。この投球構図シーン内では、フレーム時間＝１２９．４のフレームと、フレーム時間＝１２９．５のフレームとの間で、ストライクカウントが変化している。判定部２２は、この変化を検出すると、投球構図シーンの開始フレームであるフレーム時間＝１２８．３のフレームを、投球の始まりを示すフレームとして判定する。

なお、カウント情報の変化については、投球構図シーンとして特定されたフレーム群の各フレームについて判定を行なってもよいし、投球構図シーンとして特定されたフレーム群の一部をサンプルとして選択して判定を行なってもよい。また、投球構図シーン内でカウント情報が変化する場合は、投球構図シーンとして特定されたフレーム群の開始フレームと最終フレーム（最後尾のフレーム）とでカウント情報が変化する。そのため、開始フレームと最終フレーム（最後尾のフレーム）とを比較してカウント情報の変化の判定を行なうこととしてもよい。開始フレームと最終フレーム（最後尾のフレーム）とを比較してカウント情報の変化の判定を行なう場合は、２フレーム分の判定によって、投球構図シーン内で投球がなされたか否かを判定することができる。

上記の判定方法では、カウント表示９２が変化する前にカメラアングルが変わった場合、すなわち投球構図シーンではなくなった場合には、投手が１球を投じた場合であっても、投球の始まりを判定できない場合がある。例えば、打者がファールを打った場合は、ツーストライクまではストライクカウント表示９６が変化するが、ストライクカウント表示９６が変化する前に、打球の行方を追うカメラアングルに切り替わる場合が多い。この場合、ストライクカウントの変化は、投球構図シーン内に表れないため、上記の判定方法では投球の始まりを判定できない。

また、打者による打撃が行われた場合には、その結果がアウトかヒットかによって、アウトカウント、ランナーの状況、及び得点の少なくとも一つが変化する。しかし、このような場合には、アウトカウント表示９７、ランナー表示９８、及び得点表示９９のいずれかが変化する前に、打球や走者の行方を追うカメラアングルに変化する可能性が高い。この場合も、上記の判定方法では投球の始まりを判定できない。

さらに、投手の投球結果がボールまたはストライクであった場合には、ボールカウント表示９５またはストライクカウント表示９６が変化する。しかし、捕手が捕球直後にいずれかの塁に送球した場合には、ボールカウント表示９５またはストライクカウント表示９６が変化する前に、捕手による送球先の塁付近を撮影するカメラアングルに変化する可能性が高い。この場合も、上記の判定方法では投球の始まりを判定できない。

そこで、判定部２２は、判定対象の投球構図シーン内でカウント情報の変化が検出されなかった場合には、判定対象の投球構図シーンの最終フレームと、次の投球構図シーンの開始フレームとでカウント情報を比較する。判定部２２は、両フレーム間でカウント情報が変化していることを検出した場合には、判定対象の投球構図シーンの開始フレームを、投球の始まりを示すフレームとして判定する。なお、カウント表示９２がすぐに変化しないことを考慮して、判定対象の投球構図シーンの最終フレームと比較する対象のフレームを、次の投球構図シーンの開始フレームから所定数分のフレームとしてもよい。

例えば、図６に示すようなフレーム情報テーブル２６において、フレーム時間＝１２８．３〜１３０．６に含まれるフレーム群が判定対象の投球構図シーンとして特定されたとする。また、フレーム時間＝１３１．１以降のフレーム群が、判定対象の投球構図シーンの次の投球構図シーンとして特定されたとする。判定対象の投球構図シーン内では、フレーム間でカウント情報の変化が検出されない。そこで、判定部２２は、判定対象の投球構図シーンの最終フレームであるフレーム時間＝１３０．６のフレームと、次の投球構図シーンの開始フレームであるフレーム時間＝１３１．１のフレームとでカウント情報を比較する。両フレーム間で、ストライクカウントが変化しているため、判定部２２は、判定対象の投球構図シーンの開始フレームであるフレーム時間＝１２８．３のフレームを、投球の始まりを示すフレームとして判定する。

すなわち、図７に示すように、上記いずれの判定方法でもカウント情報の変化が検出されなかった場合には、投球構図シーンの開始フレームは、投球の始まりを示すフレームとして判定されない。これは、投手による投球が行われる前に、カメラアングルに変更があった場合、すなわち投球構図シーンが一旦途切れた場合である。

このような場合に該当する例としては、投手が牽制球を投げた場合などがある。この場合、例えば図８に示すように、投球構図シーン（図８の上段の図）、牽制先の塁付近のシーン、（図８の中段の図）、次の投球構図シーン（図８の下段の図）とシーンが切り替わる。この場合、投手の投球が行われる前に投球構図シーンが途切れることになるが、カウント情報の変化は検出されないため、その投球構図シーンの開始フレームが、投球の始まりを示すフレームとして判定されることはない。

同様に、例えば、投手が投球姿勢をとった後、一旦プレートを外した場合などは、投球構図シーンから投手のアップなどのシーンに切り替わる傾向がある。この場合も牽制の場合と同様に、投手の投球が行われる前に投球構図シーンが途切れることになるが、カウント情報の変化は検出されないため、その投球構図シーンの開始フレームが、投球の始まりを示すフレームとして判定されることはない。

このような牽制シーンや、投手がプレートを外すシーンなどは、投球シーンのみを抽出したい場合には、いわゆるノイズとなるシーンである。本実施形態では、上述のように、カウント情報の変化も用いて投球の始まりを示すフレームを判定する。これにより、投球構図シーンの開始フレームを投球の始まりを示すフレームとして単純に判定する場合には除去することができないノイズとなるシーンを除去して、投球の始まりを判定することができる。

また、判定部２２は、投球構図シーンに含まれる全てのフレームで、いずれのカウント情報も検出されていない場合には、その投球構図シーンはリプレイであると判定し、その投球構図シーンの開始フレームを投球の始まりを示すフレームとして判定しない。なお、本実施形態では、リプレイ時には、カウント表示９２が表示されないことを利用するため、フレーム情報テーブル２６に記録されたカウント情報をに基づいてリプレイか否かを判定することができる。なお、リプレイの判定方法はこの方法に限定されず、カウント情報とは別に、フレームから「Ｒｅｐｌａｙ」や「ＶＴＲ」等のリプレイを表す表示や、飾り枠などの特殊な加工を検出して、リプレイか否かを判定してもよい。

さらに、判定部２２は、投球構図シーン内、または次の投球構図シーンの開始フレームにおけるカウント情報の変化を検出した場合には、図９に示すように、そのカウント情報の変化に基づいて、投球結果を判定する。例えば、図５の場合では、フレーム時間＝１２９．４のフレームのカウント情報と、フレーム時間＝１２９．５のフレームのカウント情報とでは、ストライクカウントが１増加している。従って、判定部２２は、投球の始まりとして判定したフレーム時間＝１２８．３のフレームから始まる投球シーンの投球結果は、「ストライク」であると判定する。

同様に、図６の場合では、フレーム時間＝１３０．６のフレームのカウント情報と、フレーム時間＝１３１．１のフレームのカウント情報とでは、ストライクカウントが１増加している。従って、判定部２２は、投球の始まりとして判定したフレーム時間＝１２８．３のフレームから始まる投球シーンの投球結果は、「ストライク」であると判定する。

作成部２３は、判定部２２による判定結果に基づいて、投球シーンに関するメタ情報を作成する。具体的には、作成部２３は、判定部２２により判定された投球の始まりを示すフレームのフレーム時間に、投球の始まりを示す情報と、そのフレームから始まる投球シーンについて判定された投球結果の情報とを対応付けたメタ情報を作成する。作成部２３は、判定部２２により投球の始まりを示すフレームとして判定されたフレームの各々について、メタ情報を作成する。

また、作成部２３は、作成した複数のメタ情報を、メタ情報に含まれるフレーム時間順に記録したメタ情報ファイル２７を作成する。メタ情報ファイル２７は、例えばｃｓｖ（Comma-Separated Values）形式のファイルとして作成することができる。図１０に、メタ情報ファイル２７の一例を示す。図１０の例では、各行が１つのメタ情報を示し、「投球」の項目が投球の始まりを示す情報、「投球結果」の項目が投球結果の情報である。

なお、ここでは、フレーム時間を用いたメタ情報を作成する場合について説明したが、フレーム番号等の各フレームを識別するための他の情報を用いて、メタ情報を作成してもよい。

作成部２３は、作成したメタ情報ファイル２７を編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信する。

判定装置２０は、例えば図１１に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、表示装置及び入力装置等の入出力装置５８が接続される入出力インターフェース（Ｉ／Ｆ）５４を備える。また、コンピュータ５０は、記録媒体５９に対するデータの読み込み及び書き込みを制御するｒｅａｄ／ｗｒｉｔｅ（Ｒ／Ｗ）部５５、及びインターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３はＨＤＤ（Hard Disk Drive）、ＳＳＤ（solid state drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を判定装置２０として機能させるための判定プログラム６０が記憶される。ＣＰＵ５１は、判定プログラム６０を記憶部５３から読み出してメモリ５２に展開し、判定プログラム６０が有するプロセスを順次実行する。

判定プログラム６０は、検出プロセス６１と、判定プロセス６２と、作成プロセス６３とを有する。ＣＰＵ５１は、検出プロセス６１を実行することで、図２に示す検出部２１として動作する。また、ＣＰＵ５１は、判定プロセス６２を実行することで、図２に示す判定部２２として動作する。また、ＣＰＵ５１は、作成プロセス６３を実行することで、図２に示す作成部２３として動作する。これにより、判定プログラム６０を実行したコンピュータ５０が、判定装置２０として機能することになる。

また、配信装置３０は、例えば図１２に示すコンピュータ７０で実現することができる。コンピュータ７０はＣＰＵ７１、メモリ７２、不揮発性の記憶部７３、入出力装置７８が接続される入出力Ｉ／Ｆ７４を備える。また、コンピュータ７０は、記録媒体７９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ部７５、及びインターネット等のネットワークに接続されるネットワークＩ／Ｆ７６を備える。ＣＰＵ７１、メモリ７２、記憶部７３、入出力Ｉ／Ｆ７４、Ｒ／Ｗ部７５、及びネットワークＩ／Ｆ７６は、バス７７を介して互いに接続される。

また、配信装置３０を実現するコンピュータ７０と判定装置２０を実現するコンピュータ５０とは、コンピュータ７０のネットワークＩ／Ｆ７８、ネットワーク、及びコンピュータ５０のネットワークＩ／Ｆ５８を介して接続される。

記憶部７３はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部７３には、コンピュータ７０を配信装置３０として機能させるための配信プログラム８０が記憶されている。ＣＰＵ７１は、配信プログラム８０を記憶部７３から読み出してメモリ７２に展開し、配信プログラム８０が有するプロセスを順次実行する。

配信プログラム８０は、編集プロセス８１と、配信プロセス８２とを有する。ＣＰＵ７１は、編集プロセス８１を実行することで、図２に示す編集部３１として動作する。また、ＣＰＵ７１は、配信プロセス８２を実行することで、図２に示す配信部３２として動作する。これにより、配信プログラム８０を実行したコンピュータ７０が、配信装置３０として機能することになる。

なお、判定装置２０及び配信装置３０の各々は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、本実施形態に係る映像配信システム１０の作用について説明する。撮影映像が配信装置３０に入力されると、配信装置３０が、図１３に示す編集処理を実行し、編集済み映像を出力する。次に、編集済み映像が判定装置２０に入力されると、判定装置２０が、図１４に示す判定処理を実行して、メタ情報付き映像を出力する。そして、メタ情報付き映像が配信装置３０に入力されると、配信装置３０が、図１６に示す配信処理を実行し、配信用映像を出力する。以下、各処理について詳述する。

まず、図１３に示す編集処理のステップＳ１０で、編集部３１が、撮影映像を取得する。次に、ステップＳ１２で、編集部３１が、入出力装置７８を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。次に、ステップＳ１４で、編集部３１が、編集済み映像を、判定装置２０へ送信して、編集処理は終了する。

次に、図１４に示す判定処理のステップＳ２０で、検出部２１が、配信装置３０から送信された編集済み映像を取得する。

次に、ステップＳ２２で、検出部２１が、編集済み映像に含まれる複数のフレームの各々から、投球構図フレームを検出する。具体的には、検出部２１が、編集済み映像に含まれる複数のフレームの各々から抽出画像特徴を抽出する。そして、検出部２１は、予め用意された基準画像特徴と抽出画像特徴との類似度を求め、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、投球構図フレームとして抽出する。

次に、ステップＳ２４で、検出部２１が、パターンマッチング等を用いて、各フレームからカウント表示９２を抽出する。そして、検出部２１は、パターンマッチングや文字認識処理等を用いて、抽出したカウント表示９２に含まれるボールカウント表示９５、ストライクカウント表示９６、アウトカウント表示９７、ランナー表示９８、及び得点表示９９の各々を特定する。検出部２１は、特定した各表示から、ボールカウント、ストライクカウント、アウトカウント、ランナーの状況、及び得点の各々を検出する。検出部２１は、投球構図フレームの検出結果、及びフレーム毎に検出したカウント情報を、フレーム情報テーブル２６に記録する。

次に、ステップＳ２６で、図１５に詳細を示す投球判定処理が実行される。図１５に示す投球判定処理のステップＳ２６２で、判定部２２が、検出部２１により記録されたフレーム情報テーブル２６を参照して、連続する複数の投球構図フレームからなるフレーム群を投球構図シーンとして特定する。そして、判定部２２が、判定対象として１つの投球構図シーンを選択する。

次に、ステップＳ２６４で、判定部２２が、選択した判定対象の投球構図シーンに含まれるいずれかのフレーム間で、カウント情報が変化しているか否かを判定する。カウント情報が変化している場合には、処理はステップＳ２６６へ移行し、カウント情報が変化していない場合には、処理はステップＳ２８０へ移行する。

ステップＳ２６６では、判定部２２が、判定対象の投球構図シーンは、投手による投球が１球行われたことを表していると判定して、投球構図シーンの開始フレームを、投球の始まりを示すフレームとして判定する。

次に、ステップＳ２６８で、判定部２２が、判定対象の投球構図シーン内において検出したカウント情報の変化に基づいて、投球の始まりとして判定したフレームから始まる投球シーンの投球結果を判定する。例えば、変化前のカウント情報に対して、変化後のカウント情報では、ストライクカウントが１増加していた場合には、投球結果は、「ストライク」であると判定する。そして、処理はステップＳ２８６へ移行する。

一方、ステップＳ２８０では、判定部２２が、判定対象の投球構図シーンの最終フレームと、次の投球構図シーンの開始フレームとでカウント情報を比較する。次に、ステップＳ２８２で、判定部２２が、上記ステップＳ２８０の比較の結果、両フレーム間でカウント情報が変化しているか否かを判定する。カウント情報が変化している場合には、処理はステップＳ２８４へ移行する。カウント情報が変化していない場合には、判定部２２が、判定対象の投球構図シーンは牽制や投手がプレートを外すなどしたノイズを表すシーンであると判定する。そして、処理は、上記ステップＳ２６６及びＳ２６８を経ることなく、ステップＳ２８６へ移行する。

ステップＳ２８４では、判定部２２が、判定対象の投球構図シーンに含まれるいずれかのフレームで、いずれかのカウント情報が検出されているか否かを判定する。カウント情報が検出されている場合には、処理はステップＳ２６６へ移行する。カウント情報が検出されていない場合には、判定部２２が、判定対象の投球構図シーンはリプレイであると判定し、処理は、上記ステップＳ２６６及びＳ２６８を経ることなく、ステップＳ２８６へ移行する。

ステップＳ２８６では、判定部２２が、フレーム情報テーブル２６内の全ての投球構図シーンについて、上記ステップＳ２６４〜Ｓ２６８の処理を終了したか否かを判定する。未処理の投球構図シーンが存在する場合には、処理はステップＳ２６２に戻り、未処理の投球構図シーンを選択して、ステップＳ２６４〜Ｓ２６８の処理を繰り返す。全ての投球構図シーンについて処理が終了した場合には、処理は図１４に示す判定処理に戻る。

次に、図１４に示す判定処理のステップＳ３０で、作成部２３が、投球シーンに関するメタ情報を作成する。ここで作成されるメタ情報は、例えば、判定部２２により判定された投球の始まりを示すフレームのフレーム時間に、投球の始まりを示す情報と、そのフレームから始まる投球シーンについて判定された投球結果の情報とを対応付けた情報である。

次に、ステップＳ３２で、作成部２３が、作成した複数のメタ情報を、メタ情報に含まれるフレーム時間順に記録したメタ情報ファイル２７を作成する。そして、作成部２３は、作成したメタ情報ファイル２７を編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信し、判定処理は終了する。

次に、図１６に示す配信処理のステップＳ４０で、配信部３２が、判定装置２０から送信されたメタ情報付き映像を取得する。次に、ステップＳ４２で、配信部３２が、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先のユーザ端末４０に配信し、配信処理は終了する。

以上説明したように、本実施形態に係る判定装置２０によれば、野球の試合を撮影した映像から、投手の背後から打者方向を撮影した構図の投球構図フレームを検出し、複数の投球構図フレームが連続する投球構図シーンを特定する。また、各フレームのカウント表示からカウント情報を検出する。そして、判定対象の投球構図シーンに含まれるいずれかのフレーム間でカウント情報が変化したか否か、または、判定対象の投球構図シーンの最終フレームと次の投球構図シーンの開始フレームとでカウント情報が変化したか否かを判定する。カウント情報が変化した場合には、判定対象の投球構図シーンの開始フレームを、投球の始まりを示すフレームとして判定する。これにより、投球構図シーンの開始フレームを投球の始まりを示すフレームとして単純に判定する場合には除去することができないノイズとなるシーンを除去して、投球の始まりを判定することができる。

また、検出したカウント情報の変化に基づいて、投球の始まりを示すフレームから始まる投球シーンの投球結果も判定するため、投球シーンの抽出と共に、投球結果の情報も取得することができる。

また、投球の始まりを示すフレームの情報を含むメタ情報を作成して映像に付加することで、メタ情報に基づいて、メタ情報付き映像における１球単位の頭出しが可能である。例えば、メタ情報付き映像において、投手の投球時の映像やリプレイなどを容易に特定し、視聴することができる。また、メタ情報に投球結果の情報も含めた場合には、投球結果を検索条件とした１球単位の投球シーンの抽出が可能となる。

なお、上記実施形態では、投手の背後から打者方向を撮影したフレームを、投球構図フレームとする場合について説明したが、投球構図フレームはこれに限定されない。例えば、球審の頭部に備え付けられたカメラから撮影されたフレーム（球審から投手方向を撮影したフレーム）など、投手の投球場面に使用される特徴的なカメラアングルで撮影されたフレームであればよい。

また、上記実施形態では、試合終了後に撮影映像全体を判定装置２０に入力し、撮影映像全体に対するメタ情報ファイル２７を作成する場合を想定して説明したが、これに限定されない。例えば、撮影映像をライブ配信する場合には、メタ情報が１つ作成される毎に、配信装置３０を介してユーザ端末４０に送信するようにしてもよい。

具体的には、逐次取得される撮影映像の各フレームから投球構図シーン及びフレーム毎のカウント情報が検出される都度、フレーム情報テーブル２６を逐次更新する。そして、フレーム情報テーブル２６におけるカウント情報の変化を監視し、図１７に示すように、カウント情報の変化が検出された段階で、投球の始まりを示すフレームである投球構図シーンの開始フレームを特定し、さらに、投球結果を判定する。そして、例えば「１２８．３ 投球の始まり ストライク」のような１つのメタ情報を作成し、配信装置３０へ送信し、配信装置３０からユーザ端末４０へ送信する。ユーザ端末４０では、メタ情報を受信した段階で、そのメタ情報に基づく１球の頭出し等の処理が可能になる。

また、カウント表示９２が変化する際に、変化させる箇所の輝度を徐々に明るくしたり、点滅させたり等のエフェクトがかけられる場合がある。このような場合、例えば、図１８に示すように、カウント情報の一部が検出されない場合がある（図１８中の斜線のマス）。この場合、カウント情報が検出されていないフレームを除いたフレーム間で、カウント情報を比較すればよい。図１８の例の場合、フレーム時間＝１２９．１〜１２９．４のフレームから、ストライクカウント及びアウトカウントが検出されていない。そこで、フレーム時間＝１２９．０のフレームと、フレーム時間＝１２９．５のフレームとの間で、ストライクカウント及びアウトカウントの各々の変化を検出すればよい。

また、上記各実施形態では、配信装置３０と判定装置２０とを含む映像配信システム１０を例に説明したが、これに限定されない。配信装置３０の各機能部と判定装置２０の各機能部とを、１つのコンピュータで実現するようにしてもよい。

また、本発明の判定装置は、映像配信システムに適用する場合に限定されない。例えば、ネットワークで接続された外部の記憶装置に格納された映像ファイルを取得し、メタ情報ファイル２７を作成して、メタ情報ファイル２７と共に映像ファイルを記憶装置に格納し直すようにしてもよい。また、本発明の判定装置は、野球の他、ソフトボール等のスポーツにも適用可能である。

また、上記では、判定プログラム６０が記憶部５３に、配信プログラム８０が記憶部７３に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。

以上の上記実施形態に関し、更に以下の付記を開示する。

（付記１）
コンピュータに、
記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有し、かつ、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出される、連続する複数のフレームを、投球シーンとして判定する、
ことを実行させることを特徴とする判定プログラム。

（付記２）
前記コンピュータに、
前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれかの変化が検出されると、連続する前記複数のフレームの先頭フレームを、投球の始まりを示すフレームとして抽出する、
ことを実行させることを特徴とする付記１記載の判定プログラム。

（付記３）
前記所定の特徴を有する連続する前記複数のフレームは、撮影映像が特定のアングルで撮像されてから前記特定のアングルと異なるアングルに切り替わるまでの連続する複数のフレームである、
ことを特徴とする付記１または付記２記載の判定プログラム。

（付記４）
前記コンピュータに、
前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、連続する前記複数のフレームの次に検出される前記所定の特徴を有するフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、連続する前記複数のフレームを投球シーンとして判定する、
ことを実行させることを特徴とする付記１〜付記３のいずれか１項に記載の判定プログラム。

（付記５）
前記コンピュータに、
連続する前記複数のフレームの、先頭フレームと最後尾のフレームとにおいて、ボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出されると、連続する前記複数のフレームを投球シーンとして判定する、
ことを実行させることを特徴とする付記１〜付記４のいずれか１項に記載の判定プログラム。

（付記６）
前記コンピュータに、
連続する前記複数のフレームの一部または全部のフレームそれぞれについて、ボールカウント数、アウトカウント数、ランナー数のいずれかの、前記一部または全部のフレームの他のフレームとの変化が検出されると、連続する前記複数のフレームを投球シーンとして判定する、
ことを実行させることを特徴とする付記１〜付記４のいずれか１項に記載の判定プログラム。

（付記７）
コンピュータに、
記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有し、かつ、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出される、連続する複数のフレームを、投球シーンとして判定する、
ことを実行させることを特徴とする判定方法。

（付記８）
前記コンピュータに、
前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれかの変化が検出されると、連続する前記複数のフレームの先頭フレームを、投球の始まりを示すフレームとして抽出する、
ことを実行させることを特徴とする付記７記載の判定方法。

（付記９）
前記所定の特徴を有する連続する前記複数のフレームは、撮影映像が特定のアングルで撮像されてから前記特定のアングルと異なるアングルに切り替わるまでの連続する複数のフレームである、
ことを特徴とする付記７または付記８記載の判定方法。

（付記１０）
前記コンピュータに、
前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、連続する前記複数のフレームの次に検出される前記所定の特徴を有するフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、連続する前記複数のフレームを投球シーンとして判定する、
ことを実行させることを特徴とする付記７〜付記９のいずれか１項に記載の判定方法。

（付記１１）
前記コンピュータに、
連続する前記複数のフレームの、先頭フレームと最後尾のフレームとにおいて、ボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出されると、連続する前記複数のフレームを投球シーンとして判定する、
ことを実行させることを特徴とする付記７〜付記１０のいずれか１項に記載の判定方法。

（付記１２）
前記コンピュータに、
連続する前記複数のフレームの一部または全部のフレームそれぞれについて、ボールカウント数、アウトカウント数、ランナー数のいずれかの、前記一部または全部のフレームの他のフレームとの変化が検出されると、連続する前記複数のフレームを投球シーンとして判定する、
ことを実行させることを特徴とする付記７〜付記１０のいずれか１項に記載の判定方法。

（付記１３）
記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有し、かつ、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出される、連続する複数のフレームを、投球シーンとして判定する判定部
を含むことを特徴とする判定装置。

（付記１４）
前記判定部は、前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれかの変化が検出されると、連続する前記複数のフレームの先頭フレームを、投球の始まりを示すフレームとして抽出する
ことを特徴とする付記１３記載の判定装置。

（付記１５）
前記所定の特徴を有する連続する前記複数のフレームは、撮影映像が特定のアングルで撮像されてから前記特定のアングルと異なるアングルに切り替わるまでの連続する複数のフレームである、
ことを特徴とする付記１３または付記１４記載の判定装置。

（付記１６）
前記判定部は、前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、連続する前記複数のフレームの次に検出される前記所定の特徴を有するフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、連続する前記複数のフレームを投球シーンとして判定する、
ことを特徴とする付記１３〜付記１５のいずれか１項に記載の判定装置。

（付記１７）
前記判定部は、連続する前記複数のフレームの、先頭フレームと最後尾のフレームとにおいて、ボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出されると、連続する前記複数のフレームを投球シーンとして判定する、
ことを特徴とする付記１３〜付記１６のいずれか１項に記載の判定装置。

（付記１８）
前記判定部は、連続する前記複数のフレームの一部または全部のフレームそれぞれについて、ボールカウント数、アウトカウント数、ランナー数のいずれかの、前記一部または全部のフレームの他のフレームとの変化が検出されると、連続する前記複数のフレームを投球シーンとして判定する、
ことを特徴とする付記１３〜付記１６のいずれか１項に記載の判定装置。

（付記１９）
コンピュータに、
記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有する連続する複数のフレームを抽出し、
抽出した前記連続する複数のフレームにおける、ボールカウント数、アウトカウント数、ランナー数のすべてにおける変化の不検出に応じて、前記連続する複数のフレームに投球シーンは含まれないと判定する、
ことを実行させることを特徴とする判定プログラム。

（付記２０）
コンピュータに、
記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から抽出される、所定の特徴を有する、連続する複数のフレームについて、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化を、前記連続する複数のフレームにおいて投球がなされたか否かの確からしさの判定に利用する、
ことを実行させることを特徴とする判定プログラム。

（付記２１）
コンピュータに、
記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有する連続する複数のフレームを抽出し、
抽出した前記連続する複数のフレームにおける、ボールカウント数、アウトカウント数、ランナー数のすべてにおける変化の不検出に応じて、前記連続する複数のフレームに投球シーンは含まれないと判定する、
ことを実行させることを特徴とする判定方法。

（付記２２）
コンピュータに、
記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から抽出される、所定の特徴を有する、連続する複数のフレームについて、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化を、前記連続する複数のフレームにおいて投球がなされたか否かの確からしさの判定に利用する、
ことを実行させることを特徴とする判定方法。

（付記２３）
記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有する連続する複数のフレームを抽出する抽出部と、
抽出した前記連続する複数のフレームにおける、ボールカウント数、アウトカウント数、ランナー数のすべてにおける変化の不検出に応じて、前記連続する複数のフレームに投球シーンは含まれないと判定する判定部と、
を含むことを特徴とする判定装置。

（付記２４）
記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から抽出される、所定の特徴を有する、連続する複数のフレームについて、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化を、前記連続する複数のフレームにおいて投球がなされたか否かの確からしさの判定に利用する判定部
を含むことを特徴とする判定方法。

（付記２５）
コンピュータに、
複数のフレームを含む野球の試合の撮影映像に含まれる各フレームの画像の特徴に基づいて、投手による投球時に用いられる構図の投球構図シーンに対応するフレーム群を検出し、
前記複数のフレームの各々から、ボールカウント及びストライクカウントを含むカウント情報を検出し、
前記投球構図シーンに含まれるフレーム群内で、前記カウント情報のいずれかが変化した場合に、前記投球構図シーンの先頭フレームを、前記投手による投球１球毎の始まりを示すフレームとして抽出する
ことを含む処理を実行させるための抽出プログラム。

（付記２６）
前記カウント情報として、アウトカウント、得点、及びランナーの状況をさらに検出し、
前記投球構図シーンに含まれるフレーム群内で、前記カウント情報のいずれも変化せず、かつ対象の投球構図シーンの最終フレームと、次の投球構図シーンの開始フレームから所定数分までに含まれるいずれかのフレームとにおける前記カウント情報のいずれかが変化した場合に、前記対象の投球構図シーンの先頭フレームを、前記投手による投球１球毎の始まりを示すフレームとして抽出する
付記２５記載の抽出プログラム。

（付記２７）
前記カウント情報の変化に基づいて、前記投手による投球１球毎の投球結果を判定する付記２５または付記２６記載の抽出プログラム。

（付記２８）
前記投手による投球１球毎の始まりを示すフレームの情報と、前記投球結果を示す情報とを含むメタ情報を作成する付記２７記載の抽出プログラム。

（付記２９）
前記投球構図シーンを、投手の投球場面に使用されるカメラアングルで撮影されたフレーム群とした付記２５〜付記２８のいずれか１項記載の抽出プログラム。

１０ 映像配信システム
２０ 抽出装置
２１ 検出部
２２ 判定部
２３ 作成部
２６ フレーム情報
２７ メタ情報ファイル
３０ 配信装置
３１ 編集部
３２ 配信部
４０ ユーザ端末
５０、７０ コンピュータ
５１、７１ ＣＰＵ
５２、７２ メモリ
５３、７３ 記憶部
６０ 抽出プログラム
８０ 配信プログラム
９２ カウント表示
９５ ボールカウント表示
９６ ストライクカウント表示
９７ アウトカウント表示
９８ ランナー表示
９９ 得点表示

Claims (13)

1. コンピュータに、
   記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有し、かつ、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出される、連続する複数のフレームを、投球シーンとして判定し、
   前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、判定対象の前記連続する複数のフレームの次に検出される前記所定の特徴を有する連続する複数のフレームの先頭フレームから所定数分のフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、判定対象の前記連続する複数のフレームを投球シーンとして判定する、
   ことを実行させることを特徴とする判定プログラム。
2. 前記コンピュータに、
   前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれかの変化が検出されると、連続する前記複数のフレームの先頭フレームを、投球の始まりを示すフレームとして抽出する、
   ことを実行させることを特徴とする請求項１記載の判定プログラム。
3. 前記所定の特徴を有する連続する前記複数のフレームは、撮影映像が特定のアングルで撮像されてから前記特定のアングルと異なるアングルに切り替わるまでの連続する複数のフレームである、
   ことを特徴とする請求項１または請求項２記載の判定プログラム。
4. 前記コンピュータに、
   連続する前記複数のフレームの、先頭フレームと最後尾のフレームとにおいて、ボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出されると、連続する前記複数のフレームを投球シーンとして判定する、
   ことを実行させることを特徴とする請求項１〜請求項３のいずれか１項に記載の判定プログラム。
5. 前記コンピュータに、
   連続する前記複数のフレームの一部または全部のフレームそれぞれについて、ボールカウント数、アウトカウント数、ランナー数のいずれかの、前記一部または全部のフレームの他のフレームとの変化が検出されると、連続する前記複数のフレームを投球シーンとして判定する、
   ことを実行させることを特徴とする請求項１〜請求項３のいずれか１項に記載の判定プログラム。
6. コンピュータに、
   記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有し、かつ、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出される、連続する複数のフレームを、投球シーンとして判定し、
   前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、判定対象の前記連続する複数のフレームの次に検出される前記所定の特徴を有する連続する複数のフレームの先頭フレームから所定数分のフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、判定対象の前記連続する複数のフレームを投球シーンとして判定する、
   ことを実行させることを特徴とする判定方法。
7. 記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有し、かつ、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化が検出される、連続する複数のフレームを、投球シーンとして判定し、
   前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、判定対象の前記連続する複数のフレームの次に検出される前記所定の特徴を有する連続する複数のフレームの先頭フレームから所定数分のフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、判定対象の前記連続する複数のフレームを投球シーンとして判定する、
   判定部を含むことを特徴とする判定装置。
8. コンピュータに、
   記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有する連続する複数のフレームを抽出し、
   抽出した前記連続する複数のフレームにおける、ボールカウント数、アウトカウント数、ランナー数のすべてにおける変化の不検出に応じて、前記連続する複数のフレームに投球シーンは含まれないと判定し、
   前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、判定対象の前記連続する複数のフレームの次に検出される前記所定の特徴を有する連続する複数のフレームの先頭フレームから所定数分のフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、判定対象の前記連続する複数のフレームを投球シーンとして判定する、
   ことを実行させることを特徴とする判定プログラム。
9. コンピュータに、
   記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から抽出される、所定の特徴を有する、連続する複数のフレームについて、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化を、前記連続する複数のフレームにおいて投球がなされたか否かの確からしさの判定に利用し、
   前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、判定対象の前記連続する複数のフレームの次に検出される前記所定の特徴を有する連続する複数のフレームの先頭フレームから所定数分のフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、判定対象の前記連続する複数のフレームを投球シーンとして判定する、
   ことを実行させることを特徴とする判定プログラム。
10. コンピュータに、
    記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有する連続する複数のフレームを抽出し、
    抽出した前記連続する複数のフレームにおける、ボールカウント数、アウトカウント数、ランナー数のすべてにおける変化の不検出に応じて、前記連続する複数のフレームに投球シーンは含まれないと判定し、
    前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、判定対象の前記連続する複数のフレームの次に検出される前記所定の特徴を有する連続する複数のフレームの先頭フレームから所定数分のフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、判定対象の前記連続する複数のフレームを投球シーンとして判定する、
    ことを実行させることを特徴とする判定方法。
11. コンピュータに、
    記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から抽出される、所定の特徴を有する、連続する複数のフレームについて、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化を、前記連続する複数のフレームにおいて投球がなされたか否かの確からしさの判定に利用し、
    前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、判定対象の前記連続する複数のフレームの次に検出される前記所定の特徴を有する連続する複数のフレームの先頭フレームから所定数分のフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、判定対象の前記連続する複数のフレームを投球シーンとして判定する、
    ことを実行させることを特徴とする判定方法。
12. 記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から、所定の特徴を有する連続する複数のフレームを抽出する抽出部と、
    抽出した前記連続する複数のフレームにおける、ボールカウント数、アウトカウント数、ランナー数のすべてにおける変化の不検出に応じて、前記連続する複数のフレームに投球シーンは含まれないと判定し、
    前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、判定対象の前記連続する複数のフレームの次に検出される前記所定の特徴を有する連続する複数のフレームの先頭フレームから所定数分のフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、判定対象の前記連続する複数のフレームを投球シーンとして判定する、
    判定部と、
    を含むことを特徴とする判定装置。
13. 記憶手段に記憶された複数のフレームを含む野球の試合の撮影映像から抽出される、所定の特徴を有する、連続する複数のフレームについて、試合状況を示す画像情報から取得したボールカウント数、アウトカウント数、ランナー数のいずれかの変化を、前記連続する複数のフレームにおいて投球がなされたか否かの確からしさの判定に利用し、
    前記ボールカウント数、前記アウトカウント数、前記ランナー数のいずれにも変化がない場合であっても、前記ボールカウント数、前記アウトカウント数、前記ランナー数が、前記撮影映像において、判定対象の前記連続する複数のフレームの次に検出される前記所定の特徴を有する連続する複数のフレームの先頭フレームから所定数分のフレームについて取得したボールカウント数、アウトカウント数、ランナー数のいずれかとの差分が検出される場合に、判定対象の前記連続する複数のフレームを投球シーンとして判定する、
    ことを特徴とする判定方法。

Images