JP2015139015A - 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム - Google Patents

抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム Download PDF

Info

Publication number
JP2015139015A
JP2015139015A JP2014008170A JP2014008170A JP2015139015A JP 2015139015 A JP2015139015 A JP 2015139015A JP 2014008170 A JP2014008170 A JP 2014008170A JP 2014008170 A JP2014008170 A JP 2014008170A JP 2015139015 A JP2015139015 A JP 2015139015A
Authority
JP
Japan
Prior art keywords
frame
indicating
video
pitcher
meta information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014008170A
Other languages
English (en)
Other versions
JP6303525B2 (ja
Inventor
淳 小口
Atsushi Oguchi
淳 小口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014008170A priority Critical patent/JP6303525B2/ja
Priority to TW103144779A priority patent/TWI559760B/zh
Priority to US14/578,576 priority patent/US9538244B2/en
Priority to KR1020140192027A priority patent/KR20150087093A/ko
Publication of JP2015139015A publication Critical patent/JP2015139015A/ja
Application granted granted Critical
Publication of JP6303525B2 publication Critical patent/JP6303525B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

【課題】野球の試合を撮影した映像から、投手による投球の始まりを抽出する。【解決手段】複数のフレームを含む野球の試合の撮影映像に含まれる、フレームの画像の特徴に基づいて、投手の投球シーンに対応するフレームを検出する。そして、投球シーンに対応するフレームとして検出されない他のフレームから、検出した投球シーンに切り替わったフレームを、投手による投球１球ごとの始まりを示すフレームとして抽出する。【選択図】図１

Description

本発明は、抽出プログラム、抽出方法、抽出装置、野球映像メタ情報作成装置、野球映像メタ情報作成方法、及び野球映像メタ情報作成プログラムに関する。
従来、野球の試合を撮影した映像を、ライブ配信したり、ビデオ・オン・デマンド（Video on Demand、ＶｏＤ）コンテンツとして配信したりするサービスが存在する。ＶｏＤコンテンツとして配信する場合、例えば、視聴者が所望のイニングを選択して視聴可能な形式で、視聴者に提供することが行われている。このようなＶｏＤコンテンツを提供するために、人手により映像をイニング毎に切り出している。
なお、野球の試合を撮影した映像からハイライトシーンを抽出する技術が提案されている。
特開２００５−２９５２９６号公報
しかしながら、例えば上述のように、人手により映像をイニング毎に切り出す場合は、１イニングの映像の切り出しに１０分程度かかってしまう。さらに、より詳細なＶｏＤコンテンツとして、例えば、投手による投球１球毎の頭出しが可能なＶｏＤコンテンツを想定すると、１球毎に映像を切り出す必要があり、人手による作業工数は増大する。この結果、映像を切り出した上での映像配信が、実際の試合の進行に追従できない等のおそれがある。
一つの側面として、本発明は、野球の試合を撮影した映像から、投手による投球の始まりを抽出することを目的とする。
一つの態様では、複数のフレームを含む野球の試合の撮影映像に含まれる、フレームの画像の特徴に基づいて、投手の投球シーンに対応するフレームを検出する。そして、前記投球シーンに対応するフレームとして検出されない他のフレームから、検出した前記投球シーンに切り替わったフレームを、前記投手による投球１球ごとの始まりを示すフレームとして抽出する。
一つの側面として、野球の試合を撮影した映像から、投手による投球の始まりを抽出することができる、という効果を有する。
第１〜第４実施形態に係る映像配信システムの概略構成を示す機能ブロック図である。 編集の一例を説明するための図である。 特定カットを説明するための図である。 １球の始まりを示すフレームを説明するための図である。 １球の終わりを示すフレームを説明するための図である。 メタ情報ファイルの一例を示す図である。 野球映像メタ情報作成装置として機能するコンピュータの一例を示す概略ブロック図である。 配信装置として機能するコンピュータの一例を示す概略ブロック図である。 編集処理の一例を示すフローチャートである。 第１実施形態における野球映像メタ情報作成処理の一例を示すフローチャートである。 配信処理の一例を示すフローチャートである。 １球の始まりを示すフレーム及び１球の終わりを示すフレームを説明するための図である。 編集済み映像に付加された判別情報の一例を示す図である。 同一の特定カット中に複数の投球場面が含まれる場合を説明するための図である。 試合状況を示すテロップの一例を示す図である。 第３実施形態における野球映像メタ情報作成処理の一例を示すフローチャートである。 球の軌跡を検出するための所定領域を説明するための図である。 差分画像の一例を示す図である。 球の軌跡の検出を説明するための図である。 球の軌跡の方向を説明するための図である。
以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。本実施形態では、野球映像メタ情報作成装置を、映像配信システムに適用した例について説明する。
＜第１実施形態＞
図１に示すように、第１実施形態に係る映像配信システム１０は、野球映像メタ情報作成装置２０と、配信装置３０とを含む。野球映像メタ情報作成装置２０と、配信装置３０とは、ネットワークを介して接続されている。映像配信システム１０では、野球映像メタ情報作成装置２０により作成されたメタ情報が付加された映像を、配信装置３０により、ネットワークを介して、所定の端末に配信する。野球映像メタ情報作成装置２０は、検出部２２と、作成部２４とを含む。また、配信装置３０は、編集部３２と、配信部３４とを含む。
まず、配信装置３０の各部について詳述する。
編集部３２は、野球の試合を撮影した映像（以下、「撮影映像」という）を取得する。撮影映像は、例えば３０ｆｐｓや６０ｆｐｓ等のフレームレートで撮影された映像であり、複数のフレームを含む。各フレームには、撮影映像の撮影開始からの経過時間で表される時刻情報が対応付けられている。
編集部３２は、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。編集内容としては、例えば図２に示すように、撮影映像の所定の場面に対応する各フレームに対して、選手情報を示すテロップ８０、及び試合状況を示すテロップ８２を付加することを含む。以下では、撮影映像に対して編集部３２による編集が行われた映像を「編集済み映像」という。編集部３２は、編集済み映像を、野球映像メタ情報作成装置２０へ送信する。
配信部３４は、野球映像メタ情報作成装置２０により作成されたメタ情報が付加された映像（以下、「メタ情報付き映像」という。詳細は後述）を取得する。配信部３４は、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信する。
次に、野球映像メタ情報作成装置２０の各部について詳述する。
検出部２２は、配信装置３０から送信された編集済み映像を取得する。検出部２２は、編集済み映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影されたカット（以下、「特定カット」という）を示すフレームを抽出する。なお、カットとは、同一のカメラアングルで撮影されたひと続きの部分である。本実施形態では、図３に示すように、投手の背後から打者方向を撮影したカットを、特定カットとする場合について説明する。
具体的には、検出部２２は、フレーム毎に画像特徴を抽出する。画像特徴とは、フレーム内の各画素の輝度や色等の画素情報により表される特徴である。そして、検出部２２は、予め用意された特定カットを示すフレームから抽出された基準画像特徴と、編集済み映像の各フレームから抽出した抽出画像特徴との類似度を求める。検出部２２は、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、特定カットを示すフレームとして抽出する。
なお、検出部２２は、画像特徴として、画像の構成（構図）を表す特徴、例えば色や輝度の配置や分布を表す特徴、ウェーブレット変換により得られる特徴等を用いることができる。このような画像特徴を抽出する場合は、各フレームの全体から抽出してもよいし、各フレームの一部（例えば、撮影映像に含まれる球場のフェンスや壁面部分）の特徴を抽出してもよい。実際の撮影映像では、同じ特定カットであっても、カメラアングルの若干の相違、選手の立ち位置の相違、背景の看板の変化等、画像の構成に多少の相違が生じている場合がある。フレーム全体から画像特徴を抽出した場合には、このような画像の構成に生じる多少の相違の影響を抑制した画像特徴を抽出することができる。例えば、一方、フレームの一部から画像特徴を抽出する場合には、画像の構成に多少の相違が生じている領域、例えば背景の看板を示す領域を除外した領域から画像特徴を抽出する。このように抽出された画像特徴を用いることで、類否判定の精度を向上させることができる。
また、球場毎に異なる背景や選手が着用するユニホームの色の違い、放送局毎に異なるテロップのフォーマット等を考慮して、複数種類の基準画像特徴を用意しておいてもよい。この場合、検出部２２は、編集済み映像と共に、球場、チーム、放送局等の情報を取得し、取得した情報に応じた基準画像特徴量を選択して用いるようにするとよい。また、カメラアングルの相違について、投手や打者の利き手に応じて、カメラアングルや画像の特徴に相違が発生することが考えられる。そのため、投手や打者の利き手別の基準画像特徴量（例えば、投手：左投げ且つ打者：左打ち、投手：左投げ且つ打者：右打ち、投手：右投げ且つ打者：左打ち、投手：右投げ且つ打者：右打ち、の４パターンなど）を用意することとしてもよい。そして、用意した基準画像特徴量のいずれかに合致する場合に、特定カットを示すフレームとして抽出することとしてもよい。
また、検出部２２は、画像特徴として、投手の投球フォームなど、特定カットにおいて映像内の選手に特徴的に表れる動きを示す特徴を抽出してもよい。例えば、特徴点の動きベクトルを画像特徴として抽出することができる。この場合、球場、チーム、テロップのデザイン等が異なる場合でも、それらの影響を抑制した画像特徴を抽出することができる。
また、検出部２２は、抽出した特定カットを示すフレームに基づいて、特定カットを示すフレーム以外のフレームから特定カットを示すフレームへ切り替わったフレームを、１球の始まりを示すフレームとして検出する。例えば、図４に示すように、フレーム８４が特定カットを示すフレーム以外のフレーム、フレーム８４の次のフレーム８６が特定カットを示すフレームであったとする。この場合、検出部２２は、フレーム８６を１球の始まりを示すフレームとして検出する。
また、検出部２２は、特定カットを示すフレームから特定カットを示すフレーム以外のフレームへ切り替わったフレームを、１球の終わりを示すフレームとして検出する。例えば、図５に示すように、フレーム８８が特定カットを示すフレーム、フレーム８８の次のフレーム９０が特定カットを示すフレーム以外のフレームであったとする。この場合、検出部２２は、フレーム８８を１球の終わりを示すフレームとして検出する。
作成部２４は、検出部２２により検出されたフレームに基づいて、投手による投球１球毎の始まりを示すメタ情報及び１球の終わりを示すメタ情報を作成する。具体的には、作成部２４は、検出部２２により検出された１球の始まりを示すフレームに対応付けられた時刻情報に、１球の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部２４は、検出部２２により検出された１球の終わりを示すフレームに対応付けられた時刻情報に、１球の終わりを示す情報を対応付けたメタ情報を作成する。なお、作成部２４は、メタ情報をフレームに対応付けることとしてもよい。
また、作成部２４は、作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。メタ情報ファイルは、例えばｃｓｖ（Comma-Separated Values）形式のファイルとして作成することができる。図６に、メタ情報ファイルの一例を示す。図６の例では、各行が１つのメタ情報を示し、各メタ情報は、時刻情報９２及び１球の始まりまたは終わりを示す情報（記号９４）を含む。
なお、ここでは、フレームに対応付けられた時刻情報を用いたメタ情報を作成する場合について説明したが、フレーム番号等の各フレームを識別するための他の情報を用いて、メタ情報を作成してもよい。
作成部２４は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信する。
野球映像メタ情報作成装置２０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、入出力インターフェース（Ｉ／Ｆ）４７、及びネットワークＩ／Ｆ４８を備えている。ＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８は、バス４９を介して互いに接続されている。
記憶部４６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部４６には、コンピュータ４０を野球映像メタ情報作成装置２０として機能させるための野球映像メタ情報作成プログラム５０が記憶されている。ＣＰＵ４２は、野球映像メタ情報作成プログラム５０を記憶部４６から読み出してメモリ４４に展開し、野球映像メタ情報作成プログラム５０が有するプロセスを順次実行する。
野球映像メタ情報作成プログラム５０は、検出プロセス５２と、作成プロセス５４とを有する。ＣＰＵ４２は、検出プロセス５２を実行することで、図１に示す検出部２２として動作する。また、ＣＰＵ４２は、作成プロセス５４を実行することで、図１に示す作成部２４として動作する。これにより、野球映像メタ情報作成プログラム５０を実行したコンピュータ４０が、野球映像メタ情報作成装置２０として機能することになる。
また、配信装置３０は、例えば図８に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ６２、メモリ６４、不揮発性の記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８を備えている。ＣＰＵ６２、メモリ６４、記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８は、バス６９を介して互いに接続されている。また、コンピュータ６０には、入出力Ｉ／Ｆ６７を介して、図示しない表示装置及び入力装置が接続されている。
また、配信装置３０と野球映像メタ情報作成装置２０とは、配信装置３０のネットワークＩ／Ｆ６８、ネットワーク、及び野球映像メタ情報作成装置２０のネットワークＩ／Ｆ４８を介して接続されている。
記憶部６６はＨＤＤやフラッシュメモリ等によって実現できる。記憶媒体としての記憶部６６には、コンピュータ６０を配信装置３０として機能させるための配信プログラム７０が記憶されている。ＣＰＵ６２は、配信プログラム７０を記憶部６６から読み出してメモリ６４に展開し、配信プログラム７０が有するプロセスを順次実行する。
配信プログラム７０は、編集プロセス７２と、配信プロセス７４とを有する。ＣＰＵ６２は、編集プロセス７２を実行することで、図１に示す編集部３２として動作する。また、ＣＰＵ６２は、配信プロセス７４を実行することで、図１に示す配信部３４として動作する。これにより、配信プログラム７０を実行したコンピュータ６０が、配信装置３０として機能することになる。
なお、野球映像メタ情報作成装置２０及び配信装置３０の各々は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
次に、第１実施形態に係る映像配信システム１０の作用について説明する。撮影映像が配信装置３０に入力されると、配信装置３０が、図９に示す編集処理を実行し、編集済み映像を出力する。次に、編集済み映像が野球映像メタ情報作成装置２０に入力されると、野球映像メタ情報作成装置２０が、図１０に示す野球映像メタ情報作成処理を実行して、メタ情報付き映像を出力する。そして、メタ情報付き映像が配信装置３０に入力されると、配信装置３０が、図１１に示す配信処理を実行し、配信用映像を出力する。以下、各処理いついて詳述する。
まず、図９に示す編集処理のステップＳ１０で、編集部３２が、撮影映像を取得する。次に、ステップＳ１２で、編集部３２が、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に適用する。次に、ステップＳ１４で、編集部３２が、編集済み映像を、野球映像メタ情報作成装置２０へ送信して、編集処理は終了する。
次に、図１０に示す野球映像メタ情報作成処理のステップＳ２０で、検出部２２が、配信装置３０から送信された編集済み映像を取得する。
次に、ステップＳ２２で、検出部２２が、編集済み映像に含まれる複数のフレームの各々から、特定カットを示すフレームを抽出する。具体的には、検出部２２が、編集済み映像に含まれる複数のフレームの各々から抽出画像特徴を抽出する。そして、検出部２２は、予め用意された基準画像特徴と抽出画像特徴との類似度を求め、基準画像特徴との類似度が所定値以上となる抽出画像特徴を有するフレームを、特定カットを示すフレームとして抽出する。
次に、ステップＳ２４で、検出部２２が、抽出した特定カットを示すフレームに基づいて、特定カットを示すフレーム以外のフレームから特定カットを示すフレームへ切り替わったフレームを、１球の始まりを示すフレームとして検出する。同様に、検出部２２は、特定カットを示すフレームから特定カットを示すフレーム以外のフレームへ切り替ったフレームを、１球の終わりを示すフレームとして検出する。
図１２に、１球の始まりを示すフレーム及び１球の終わりを示すフレームが検出された一例を概略的に示す。図１２の例では、フレーム８６が１球の始まりを示すフレームとして検出され、フレーム８８が１球の終わりを示すフレームとして検出されている。すなわち、図１２の例では、フレーム８６からフレーム８８までが、１球分の映像となる。図１２の例では、さらに、フレーム９２が次の１球の始まりを示すフレームとして検出されている。フレーム９０からフレーム９２の前のフレームまでは、特定カット以外のカットであり、例えば、打者やベンチ等、投手の投球場面ではない場面が撮影された映像となる。
次に、ステップＳ２６で、作成部２４が、検出部２２により検出された１球の始まりを示すフレームに対応付けられた時刻情報に、１球の始まりを示す情報を対応付けたメタ情報を作成する。同様に、作成部２６は、検出部２２により検出された１球の終わりを示すフレームに対応付けられた時刻情報に、１球の終わりを示す情報を対応付けたメタ情報を作成する。
次に、ステップＳ２８で、作成部２４が、上記ステップＳ２６で作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。そして、作成部２４は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信し、野球映像メタ情報作成処理は終了する。
次に、図１１に示す配信処理のステップＳ４０で、配信部３４が、野球映像メタ情報作成装置２０から送信されたメタ情報付き映像を取得する。次に、ステップＳ４２で、配信部３４が、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信し、配信処理は終了する。
以上説明したように、第１実施形態に係る野球映像メタ情報作成装置２０によれば、野球の試合を撮影した映像から、投手の背後から打者方向を撮影した特定カットを示すフレームを検出する。そして、特定カットを示すフレーム以外のフレームから特定カットを示すフレームへ切り替わったフレームを抽出する。そして、抽出したフレームの時刻情報に、１球の始まりを示すことを示す情報を対応付けたメタ情報を作成する。従って、野球の試合を撮影した映像から、投手による投球１球毎の映像の頭出しが可能なメタ情報を自動的に作成することができる。
また、本発明によるメタ情報が付加された映像では、野球の試合映像（撮影映像、または編集済み映像）から、メタ情報に基づく１球単位の頭出しが可能であり、例えば、投手の投球時の映像や、リプレイなどを、容易に特定し、視聴することができる。
＜第２実施形態＞
次に、第２実施形態について説明する。なお、第１実施形態に係る映像配信システム１０と同様の部分については、同一符号を付して、詳細な説明を省略する。
図１に示すように、第２実施形態に係る映像配信システム２１０は、野球映像メタ情報作成装置２２０と、配信装置３０とを含む。野球映像メタ情報作成装置２２０は、検出部２２２と、作成部２４とを含む。
検出部２２２は、配信装置３０から送信された編集済み映像を取得する。ここでの編集済み映像には、第１実施形態とは異なり、特定カットを示すフレームに、特定カットを判別するための判別情報が予め付加されている。判別情報は、例えば図１３に示すようなマーク９４として、編集済み映像に付加されている。
なお、判別情報は、撮影映像を撮影する際に付加されてもよいし、撮影映像を編集する際に付加されてもよい。例えば、投手の背後から打者方向を撮影するカメラにスイッチを設けておき、スイッチを押下している間は、そのカメラで撮影される撮影映像に判別情報が付加されるようにすることができる。また、投手の背後から打者方向を撮影するカメラで撮影される撮影映像には、常に判別情報が付加されるようにしてもよい。また、撮影映像にテロップ等を付加する編集の際に、判別情報となるマーク９４を付加してもよい。
検出部２２２は、編集済み映像のフレーム毎に、判別情報が付加されているか否かを判別する。例えば、検出部２２２は、各フレームの予め定めた領域に対して、判別情報を示すパターンを用いたパターンマッチングを行って、判別情報が付加されているか否かを判別することができる。検出部２２２は、判別情報が付加されていると判別したフレームを、特定カットを示すフレームとして抽出する。
第２実施形態に係る映像配信システム２１０の作用は、図１０に示す第１実施形態における野球映像メタ情報作成処理のステップＳ２２で特定カットを示すフレームを抽出する方法が異なるだけであるため、説明を省略する。
以上説明したように、第２実施形態に係る野球映像メタ情報作成装置２２０によれば、特定カットを示すフレームに判別情報が付加された映像を取得することができる場合には、簡易な処理により、第１実施形態と同様の効果が得られる。
なお、上述のように、撮影や編集の際に判別情報を付加する場合には、特定カットを示すフレーム以外のフレームと特定カットを示すフレームとの厳密な切り替わり箇所に判別情報を付加することができない場合がある。そこで、検出部２２２は、判別情報に基づいて抽出した特定カットを示すフレームの数フレーム分前または後のフレームを、１球の始まりまたは終わりを示すフレームとして検出してもよい。また、第１実施形態においても、抽出した特定カットを示すフレームの数フレーム分前または後のフレームを、１球の始まりまたは終わりを示すフレームとして検出してもよい。
また、判別情報を付加するフレームを、特定カットの始まり部分の１フレーム〜数フレーム分としてもよい。この場合、判別情報に基づいて１球の終わりを示すフレームを検出することができないため、次の１球の始まりを示すフレームの所定フレーム分前のフレームを、１球の終わりを示すフレームとして検出すればよい。
＜第３実施形態＞
次に、第３実施形態について説明する。なお、第１実施形態に係る映像配信システム１０と同様の部分については、同一符号を付して、詳細な説明を省略する。
図１に示すように、第３実施形態に係る映像配信システム３１０は、野球映像メタ情報作成装置３２０と、配信装置３０とを含む。野球映像メタ情報作成装置３２０は、検出部３２２と、作成部３２４とを含む。
検出部３２２は、第１実施形態の検出部２２と同様に、特定カットを示すフレームを抽出する。そして、検出部３２２は、特定カットを示すフレームと特定カットを示すフレーム以外のフレームとの切り替わり箇所に基づいて、１球の始まりを示すフレーム及び１球の終わりを示すフレームを検出する。
ここで、撮影映像には、１つの特定カットの中に複数の投球場面が含まれていることが考えられる。例えば図１４に示すように、１球目の映像はフレーム９６で終わり、次のフレーム９８からは２球目の映像であるとする。フレーム９６及びフレーム９８はいずれも特定カットを示すフレームであるため、両フレーム間で１球の始まり及び終わりの間に特定カットと異なるカットの映像が含まれない。図１４のような態様は、例えば、撮影映像において、投手の複数回分（例えば２球分）の投球動作が、特定カットを撮影するカメラ以外のカメラで撮影された映像を含まずに撮影されている場合に生じうる。
そこで、検出部３２２は、さらに、特定カットを示すフレームの各々に含まれる試合状況を示すテロップ８２から、ボールカウントを示すボールカウント表示を抽出する。なお、ボールカウントとは、投手の投球に対するボールかストライクかの判定結果である。具体的には、検出部３２２は、例えば図１５に示すように、特定カットを示すフレームに付加された試合状況を示すテロップ８２から、ボールカウント表示１００を抽出する。ボールカウント表示１００の抽出は、例えばフレーム内で試合状況を示すテロップ８２が表示される領域として予め定めた領域を抽出したり、パターンマッチングにより抽出したりすることができる。また、文字認識処理によりボールカウント表示を抽出してもよい。図１４の例では、ボールカウント表示として、フレーム９６からは「Ｂ●○○ Ｓ○○」（ボールが１球、ストライクが０球）が抽出され、フレーム９８からは「Ｂ●○○ Ｓ●○」（ボールが１球、ストライクが１球）が抽出される。
また、検出部３２２は、特定カットを示すフレームが連続している間で、ボールカウント表示が変化したフレームを、１球の始まりに対応するフレームとして検出する。ボールカウント表示が変化したということは、投手により１球が投じられ、その投球に対してボールかストライクかの判定がなされたことを示している。すなわち、ボールカウント表示が変化したフレームの所定フレーム分前のタイミングで、１球が投じられたと判定することができる。すなわち、ボールカウント表示が変化したフレームの所定フレーム分前のタイミングで、１球が投じられたと判定することができる。図１４の例では、フレーム９６とフレーム９８とでボールカウント表示が変化している。従って、検出部３２２は、フレーム９８を１球の始まりに対応するフレームとして検出する。
作成部３２４は、第１実施形態の作成部２４と同様に、検出部３２２により検出された１球の始まりを示すフレーム及び１球の終わりを示すフレームに基づいて、１球の始まりを示すメタ情報及び１球の終わりを示すメタ情報を作成する。
作成部３２４は、さらに、検出部３２２によりボールカウント表示の変化に基づいて検出された１球の始まりに対応するフレームの所定フレーム分前または後のフレームを、１球の始まりを示すフレームとすることとしてもよい。所定フレーム分前または後は、過去の試合映像などに基づいて、１球の始まりからボールカウント表示が変化するまでの時間、またはボールカウント表示が変化してから次の投球を投手が開始するまでの時間に対応したフレーム数を予め定めておけばよい。
次に、第３実施形態に係る映像配信システム３１０の作用について説明する。なお、第１実施形態に係る映像配信システム１０とは、野球映像メタ情報作成処理が異なるだけである。以下、図１６を参照して、第３実施形態における野球映像メタ情報作成処理について説明する。なお、第１実施形態に係る野球映像メタ情報作成処理と同様の処理については、同一符号を付して、詳細な説明を省略する。
ステップＳ２０〜Ｓ２６で、検出部３２２及び作成部３２４が、特定カットを示すフレームと特定カットを示すフレーム以外のフレームとの切り替わり箇所に基づいて、１球の始まりを示すフレーム及び１球の終わりを示すフレームを検出する。そして、検出したフレームに基づくメタ情報を作成する。
次に、ステップＳ４０で、特定カットを示すフレームの各々に含まれる試合状況を示すテロップ８２から、ボールカウントを示すボールカウント表示を抽出する。そして、検出部３２２が、特定カットを示すフレームが連続している間で、ボールカウント表示が変化したフレームを、１球の始まりに対応するフレームとして検出する。
次に、ステップＳ４２で、作成部３２４が、検出部３２２によりボールカウント表示の変化に基づいて検出された１球の始まりに対応するフレームの所定フレーム分前のフレームを、１球の始まりを示すフレームとするメタ情報を作成する。
次に、ステップＳ２８で、作成部３２４が、上記ステップＳ４２で作成したメタ情報も含めたメタ情報ファイルを作成する。
以上説明したように、第３実施形態に係る野球映像メタ情報作成装置３２０によれば、ボールカウント表示が変化したフレームに対応するフレームも、１球の始まりを示すフレームとして判定する。従って、同一の特定カットの中に複数の投球場面が含まれている場合でも、それぞれの１球の始まりを示すメタ情報を作成することができる。
なお、第３実施形態では、第１実施形態の処理に加えて、ボールカウント表示の変化に基づく１球の始まりを示すメタ情報を作成する処理を実行する場合について説明したが、第２実施形態の処理に加えて、第３実施形態の処理を実行してもよい。
＜第４実施形態＞
次に、第４実施形態について説明する。なお、第１実施形態に係る映像配信システム１０と同様の部分については、同一符号を付して、詳細な説明を省略する。
図１に示すように、第４実施形態に係る映像配信システム４１０は、野球映像メタ情報作成装置４２０と、配信装置３０とを含む。野球映像メタ情報作成装置４２０は、検出部４２２と、作成部４２４とを含む。第４実施形態では、第３実施形態とは異なる方法で、同一の特定カットの中に含まれる複数の投球場面各々の１球の始まりを示すメタ情報を作成する場合について説明する。
検出部４２２は、第１実施形態の検出部２２と同様に、特定カットを示すフレームを抽出する。そして、特定カットを示すフレームと特定カットを示すフレーム以外のフレームとの切り替わり箇所に基づいて、１球の始まりを示すフレーム及び１球の終わりを示すフレームを検出する。
検出部４２２は、さらに、特定カットを示すフレームが連続している間で、連続する複数の特定カットを示すフレームの所定領域から、投手による所定方向への投球を示す球の軌跡が現れたフレームを、１球の始まりに対応するフレームとして検出する。例えば図１７に示すように、投手と打者との間に所定領域１０２を設定することができる。検出部４２２は、具体的には、連続する特定カットを示すフレーム間の対応する画素同士の差分で表される差分画像を生成する。図１８に、差分画像の一例を示す。図１８では、手前の差分画像ほど、元になったフレームの時刻情報が新しいことを表している。また、図１８では、フレーム全体の差分画像を示しているが、所定領域１０２のみの差分画像を生成してもよい。
また、検出部４２２は、例えば、連続する数枚の差分画像を重ね合わせることにより、球の軌跡が現れた場合には、その軌跡の方向が所定方向か否かを判定する。図１９に、差分画像を５枚重ね合わせた例を示す。図１９中の白丸の各々は、各差分画像に現れた球に対応する差分領域であり、差分画像の重ね合わせにより、破線の矢印で示す球の軌跡が現れた例を示している。
所定方向は、例えば、投手が投球をした際に投げた球が向かっていく編集済み映像（撮影映像でも良い）上の方向である。所定方向は、予め定めておくこととしてもよいし、打者や捕手、球審等の人物の撮影画像中の位置を特定し、特定した人物の位置によって定めることとしてもよい。また、所定方向は、球の軌跡が示す方向が、打者への投球か牽制球かを区別可能な方向を予め定めておくこととしてもよい。例えば、図２０に示すように、特定カットを示すフレームにおいて、矢印１０４は打者への投球方向を示し、矢印１０６及び矢印１０８は牽制球の方向を示す。従って、図２０の例では、矢印９６の方向を所定方向として定めておけばよい。なお、球の軌跡を検出する領域を牽制球も検出可能な領域として設定しておき、検出された球の軌跡が打者への投球を示す軌跡か、牽制球を示す軌跡（図２０の矢印１０６または矢印１０８の方向の軌跡）かも合わせて判定するようにしてもよい。これにより、編集済み映像（撮影映像でもよい）において、打者への投球か牽制球かを区別可能となる。
作成部４２４は、第１実施形態の作成部２４と同様に、検出部３２２により検出された１球の始まりを示すフレーム及び１球の終わりを示すフレームに基づいて、１球の始まりを示すメタ情報及び１球の終わりを示すメタ情報を作成する。
作成部４２４は、さらに、検出部４２２により球の軌跡に基づいて検出された１球の始まりに対応するフレームの所定フレーム分前のフレームを、１球の始まりを示すフレームとするメタ情報を作成する。所定フレーム分前は、過去の試合映像などに基づいて、１球の始まりから実際の投球が行われるまでの時間に対応したフレーム数を予め定めておけばよい。
第４実施形態に係る映像配信システム４１０の作用は、図１６に示す第３実施形態における野球映像メタ情報作成処理のステップＳ４０で、１球の始まりに対応するフレームの検出方法が異なるだけであるため、説明を省略する。
以上説明したように、第４実施形態に係る野球映像メタ情報作成装置４２０によれば、投手による所定方向への投球を示す球の軌跡が現れたフレームに対応するフレームも、１球の始まりを示すフレームとして判定する。従って、同一の特定カットの中に複数の投球場面が含まれている場合でも、それぞれの１球の始まりを抽出し、１球の始まりを示すメタ情報を作成することができる。
なお、第４実施形態では、第１実施形態の処理に加えて、球の軌跡に基づく１球の始まりを示すメタ情報を作成する処理を実行する場合について説明したが、第２実施形態の処理に加えて実行してもよい。
さらに、第３実施形態で説明したボールカウント表示の変化に基づく１球の始まりを示すメタ情報の作成に加えて、第４実施形態の処理を実行するようにしてもよい。例えば、ツーストライク後に打者がファールを打った場合のように、ボールカウント表示は変化していないが、１球が投じられている場合がある。第３実施形態では、このような場合に１球の始まりを検出できない場合が考えられるが、第４実施形態によれば検出することができる。
また、上記各実施形態では、投手の背後から打者方向を撮影したカットを、特定カットとする場合について説明したが、特定カットはこれに限定されない。例えば、球審の頭部に備え付けられたカメラから撮影されたカット（球審から投手方向を撮影したカット）など、投手の投球場面に使用される特徴的なカメラアングルで撮影されたカットであればよい。
また、上記各実施形態では、特定カットに基づいて、１球の始まりを示すフレーム及び１球の終わりを示すフレームの各々を検出する場合について説明したが、これに限定されない。例えば、１球の終わりを示すフレームの検出を省略してもよい。この場合、１球の終わりを示すメタ情報は作成されないが、１球の始まりを示すメタ情報に基づいて、１球毎の映像の頭出しは可能である。また、１球の終わりを示すフレームを、次の１球の始まりを示すフレームの所定フレーム分前のフレームとして検出してもよい。
また、上記各実施形態では、試合終了後に撮影映像全体を野球映像メタ情報作成装置に入力し、撮影映像全体に対するメタ情報ファイルを作成する場合を想定して説明したが、これに限定されない。例えば、野球映像メタ情報作成装置に入力する映像を、数秒（例えば、１秒、３秒、５秒等）単位で区切った映像ファイルとしてもよい。そして、野球映像メタ情報作成装置は、数秒単位の映像ファイル毎に上記野球映像メタ情報作成処理を実行し、映像ファイル毎のメタ情報ファイルを作成すればよい。
また、野球の試合において、１球の始まりを示す箇所は短い時間間隔で頻繁に出現するため、人手によりリアルタイムで１球毎の映像を切り出すことは困難である。一方、本発明では、略リアルタイムで１球の始まりを示すメタ情報を作成することできる。従って、上記のような数秒単位の映像ファイルを入力とすることで、本発明をライブ配信に適用した場合にも、映像の切り出し作業による配信の遅延等を抑止することができる。
また、野球映像メタ情報作成装置に入力される映像に、リプレイやダイジェストが含まれている場合には、これらを除外した部分から１球の始まりを示すフレームを検出するようにするとよい。例えば、リプレイとは、イニング中の比較的短い時間で、直前のプレイや前打席の映像等を再生するものであり、ダイジェスト映像は、イニング間などの比較的長い時間で、そこまでの試合状況を振り返るような映像を再生するものである。リプレイやダイジェストの映像部分は、例えば、リプレイやダイジェストであることを示すテロップ等を認識することにより除外することができる。
また、リプレイの映像の場合、異なるカメラアングルで撮影された映像や、一部をズームした映像を再生する場合がある。このような場合には、リプレイの映像が特定カットとして抽出されないため、１球の始まりを示すフレームの検出に影響しない。また、リプレイの映像としてスローモーション映像が使用される場合もある。このような場合を考慮して、特定カットを示すフレームとして抽出されたフレームから、スローモーション映像のフレームを除外するようにしてもよい。スローモーション映像は、例えば同一フレームが所定数連続するか否かを判定するなどのスローモーション判定を行うことにより除外することができる。
また、上記各実施形態では、配信装置と野球映像メタ情報作成装置とを含む映像配信システムを例に説明したが、これに限定されない。配信装置の各機能部と野球映像メタ情報作成装置の各機能部とを、１つのコンピュータで実現するようにしてもよい。
また、野球映像メタ情報作成装置からの出力を、映像配信システム以外の用途で利用してもよい。
また、上記では、野球映像メタ情報作成プログラム５０が記憶部４６に、配信プログラム７０が記憶部６６に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。
以上の上記各実施形態に関し、更に以下の付記を開示する。
（付記１）
野球の試合を撮影した映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレーム以外のフレームから前記特定カットを示すフレームへ切り替わったフレームを検出する検出部と、
前記検出部により検出されたフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する作成部と、
を含む野球映像メタ情報作成装置。
（付記２）
前記検出部は、前記特定カットを示すフレームとして、フレームから抽出される画像特徴が、特定カットを示すフレームの特徴として予め定められた特徴と類似するフレームを検出する付記１記載の野球映像メタ情報作成装置。
（付記３）
前記検出部は、前記特定カットを示すフレームとして、特定カットを判別するための判別情報が予め付加されたフレームを検出する付記１記載の野球映像メタ情報作成装置。
（付記４）
前記検出部は、さらに、前記特定カットを示すフレームが連続している間で、前記特定カットを示すフレームに含まれるボールカウント表示が変化したフレームを検出し、
前記作成部は、前記検出部によりさらに検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
付記１〜付記３のいずれか１項記載の野球映像メタ情報作成装置。
（付記５）
前記検出部は、さらに、前記特定カットを示すフレームが連続している間で、連続する複数の前記特定カットを示すフレームの所定領域に、投手による所定方向への投球を示す球の軌跡が現れたフレームを検出し、
前記作成部は、前記検出部によりさらに検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
付記１〜付記４のいずれか１項記載の野球映像メタ情報作成装置。
（付記６）
野球の試合を撮影した映像に含まれる複数のフレームの各々から、連続する複数のフレームの所定領域に、投手による所定方向への投球を示す球の軌跡が現れたフレームを検出する検出部と、
前記検出部により検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する作成部と、
を含む野球映像メタ情報作成装置。
（付記７）
コンピュータに、
野球の試合を撮影した映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレーム以外のフレームから前記特定カットを示すフレームへ切り替わったフレームを検出し、
検出されたフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
ことを含む処理を実行させる野球映像メタ情報作成方法。
（付記８）
前記特定カットを示すフレームとして、フレームから抽出される画像特徴が、特定カットを示すフレームの特徴として予め定められた特徴と類似するフレームを検出する付記７記載の野球映像メタ情報作成方法。
（付記９）
前記特定カットを示すフレームとして、特定カットを判別するための判別情報が予め付加されたフレームを検出する付記７記載の野球映像メタ情報作成方法。
（付記１０）
前記特定カットを示すフレームが連続している間で、前記特定カットを示すフレームに含まれるボールカウント表示が変化したフレームをさらに検出し、
さらに検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
付記７〜付記９のいずれか１項記載の野球映像メタ情報作成方法。
（付記１１）
前記特定カットを示すフレームが連続している間で、連続する複数の前記特定カットを示すフレームの所定領域に、投手による所定方向への投球を示す球の軌跡が現れたフレームをさらに検出し、
さらに検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
付記７〜付記１０のいずれか１項記載の野球映像メタ情報作成方法。
（付記１２）
コンピュータに、
野球の試合を撮影した映像に含まれる複数のフレームの各々から、連続する複数のフレームの所定領域に、投手による所定方向への投球を示す球の軌跡が現れたフレームを検出し、
検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
ことを含む処理を実行させる野球映像メタ情報作成方法。
（付記１３）
コンピュータに、
野球の試合を撮影した映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレーム以外のフレームから前記特定カットを示すフレームへ切り替わったフレームを検出し、
検出されたフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
ことを含む処理を実行させるための野球映像メタ情報作成プログラム。
（付記１４）
前記特定カットを示すフレームとして、フレームから抽出される画像特徴が、特定カットを示すフレームの特徴として予め定められた特徴と類似するフレームを検出する付記１３記載の野球映像メタ情報作成プログラム。
（付記１５）
前記特定カットを示すフレームとして、特定カットを判別するための判別情報が予め付加されたフレームを検出する付記１３記載の野球映像メタ情報作成プログラム。
（付記１６）
前記特定カットを示すフレームが連続している間で、前記特定カットを示すフレームに含まれるボールカウント表示が変化したフレームをさらに検出し、
さらに検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
付記１３〜付記１５のいずれか１項記載の野球映像メタ情報作成プログラム。
（付記１７）
前記特定カットを示すフレームが連続している間で、連続する複数の前記特定カットを示すフレームの所定領域に、投手による所定方向への投球を示す球の軌跡が現れたフレームをさらに検出し、
さらに検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
付記１３〜付記１６のいずれか１項記載の野球映像メタ情報作成プログラム。
（付記１８）
コンピュータに、
野球の試合を撮影した映像に含まれる複数のフレームの各々から、連続する複数のフレームの所定領域に、投手による所定方向への投球を示す球の軌跡が現れたフレームを検出し、
検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
ことを含む処理を実行させるための野球映像メタ情報作成プログラム。
（付記１９）
コンピュータに、
複数のフレームを含む野球の試合の撮影映像に含まれる、フレームの画像の特徴に基づいて、投手の投球シーンに対応するフレームを検出し、
前記投球シーンに対応するフレームとして検出されない他のフレームから、検出した前記投球シーンに切り替わったフレームを、前記投手による投球１球ごとの始まりを示すフレームとして抽出する、
ことを実行させることを特徴とする抽出プログラム。
（付記２０）
コンピュータが、
複数のフレームを含む野球の試合の撮影映像に含まれる、フレームの画像の特徴に基づいて、投手の投球シーンに対応するフレームを検出し、
前記投球シーンに対応するフレームとして検出されない他のフレームから、検出した前記投球シーンに切り替わったフレームを、前記投手による投球１球ごとの始まりを示すフレームとして抽出する、
ことを実行することを特徴とする抽出方法。
（付記２１）
複数のフレームを含む野球の試合の撮影映像に含まれる、フレームの画像の特徴に基づいて、投手の投球シーンに対応するフレームを検出する検出部と、
前記投球シーンに対応するフレームとして検出されない他のフレームから、検出した前記投球シーンに切り替わったフレームを、前記投手による投球１球ごとの始まりを示すフレームとして抽出する抽出部と、
を含むことを特徴とする抽出装置。
１０、２１０、３１０、４１０ 映像配信システム
２０、２２０、３２０、４２０ 野球映像メタ情報作成装置
２２、２２２、３２２、４２２ 検出部
２４、３２４、４２４ 作成部
３０ 配信装置
３２ 編集部
３４ 配信部
４０、６０ コンピュータ
４２、６２ ＣＰＵ
４４、６４ メモリ
４６、６６ 記憶部
５０ 野球映像メタ情報作成プログラム
７０ 配信プログラム

Claims (10)

  1. コンピュータに、
    複数のフレームを含む野球の試合の撮影映像に含まれる、フレームの画像の特徴に基づいて、投手の投球シーンに対応するフレームを検出し、
    前記投球シーンに対応するフレームとして検出されない他のフレームから、検出した前記投球シーンに切り替わったフレームを、前記投手による投球１球ごとの始まりを示すフレームとして抽出する、
    ことを実行させることを特徴とする抽出プログラム。
  2. コンピュータが、
    複数のフレームを含む野球の試合の撮影映像に含まれる、フレームの画像の特徴に基づいて、投手の投球シーンに対応するフレームを検出し、
    前記投球シーンに対応するフレームとして検出されない他のフレームから、検出した前記投球シーンに切り替わったフレームを、前記投手による投球１球ごとの始まりを示すフレームとして抽出する、
    ことを実行することを特徴とする抽出方法。
  3. 複数のフレームを含む野球の試合の撮影映像に含まれる、フレームの画像の特徴に基づいて、投手の投球シーンに対応するフレームを検出する検出部と、
    前記投球シーンに対応するフレームとして検出されない他のフレームから、検出した前記投球シーンに切り替わったフレームを、前記投手による投球１球ごとの始まりを示すフレームとして抽出する抽出部と、
    を含むことを特徴とする抽出装置。
  4. 野球の試合を撮影した映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレーム以外のフレームから前記特定カットを示すフレームへ切り替わったフレームを検出する検出部と、
    前記検出部により検出されたフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する作成部と、
    を含む野球映像メタ情報作成装置。
  5. 前記検出部は、前記特定カットを示すフレームとして、フレームから抽出される画像特徴が、特定カットを示すフレームの特徴として予め定められた特徴と類似するフレームを検出する請求項４記載の野球映像メタ情報作成装置。
  6. 前記検出部は、前記特定カットを示すフレームとして、特定カットを判別するための判別情報が予め付加されたフレームを検出する請求項４記載の野球映像メタ情報作成装置。
  7. 前記検出部は、さらに、前記特定カットを示すフレームが連続している間で、前記特定カットを示すフレームに含まれるボールカウント表示が変化したフレームを検出し、
    前記作成部は、前記検出部によりさらに検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
    請求項４〜請求項６のいずれか１項記載の野球映像メタ情報作成装置。
  8. 前記検出部は、さらに、前記特定カットを示すフレームが連続している間で、連続する複数の前記特定カットを示すフレームの所定領域に、投手による所定方向への投球を示す球の軌跡が現れたフレームを検出し、
    前記作成部は、前記検出部によりさらに検出されたフレームに対応するフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
    請求項４〜請求項７のいずれか１項記載の野球映像メタ情報作成装置。
  9. コンピュータに、
    野球の試合を撮影した映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレーム以外のフレームから前記特定カットを示すフレームへ切り替わったフレームを検出し、
    検出されたフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
    ことを含む処理を実行させる野球映像メタ情報作成方法。
  10. コンピュータに、
    野球の試合を撮影した映像に含まれる複数のフレームの各々から、投手の投球場面に使用されるカメラアングルで撮影された特定カットを示すフレーム以外のフレームから前記特定カットを示すフレームへ切り替わったフレームを検出し、
    検出されたフレームを、投手による投球１球毎の始まりを示すフレームとするメタ情報を作成する
    ことを含む処理を実行させるための野球映像メタ情報作成プログラム。
JP2014008170A 2014-01-20 2014-01-20 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム Expired - Fee Related JP6303525B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014008170A JP6303525B2 (ja) 2014-01-20 2014-01-20 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
TW103144779A TWI559760B (zh) 2014-01-20 2014-12-22 擷取方法及裝置（二）
US14/578,576 US9538244B2 (en) 2014-01-20 2014-12-22 Extraction method for extracting a pitching scene and device for the same
KR1020140192027A KR20150087093A (ko) 2014-01-20 2014-12-29 추출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014008170A JP6303525B2 (ja) 2014-01-20 2014-01-20 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015139015A true JP2015139015A (ja) 2015-07-30
JP6303525B2 JP6303525B2 (ja) 2018-04-04

Family

ID=53545953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014008170A Expired - Fee Related JP6303525B2 (ja) 2014-01-20 2014-01-20 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US9538244B2 (ja)
JP (1) JP6303525B2 (ja)
KR (1) KR20150087093A (ja)
TW (1) TWI559760B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10369445B2 (en) * 2016-08-10 2019-08-06 Stephen Joseph Stemle Video analytics for human performance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264771A (ja) * 2002-03-06 2003-09-19 Sony Corp 信号記録再生装置、信号記録再生方法、並びに信号記録再生プログラムを記録している媒体
JP2006129122A (ja) * 2004-10-29 2006-05-18 Sharp Corp 放送受信装置、放送受信方法、放送受信プログラム及びプログラム記録媒体
JP2006238393A (ja) * 2005-02-21 2006-09-07 Shinzo Ito スポーツテレビ放送の送受信と表現出力する方法およびシステム、および、スポーツテレビ放送の受信表現出力方法および装置、および、スポーツテレビ放送の受信記録送信方法および装置、および、スポーツテレビ放送の受信記録再生方法および装置、および、スポーツのプレイの開始および終了の検出方法
JP2006260237A (ja) * 2005-03-17 2006-09-28 Tama Tlo Kk マハラノビスの距離を用いた包括判定方式による特定シーン抽出方法および装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4545576A (en) * 1982-01-15 1985-10-08 Harris Thomas M Baseball-strike indicator and trajectory analyzer and method of using same
US5557717A (en) * 1994-03-28 1996-09-17 Wayner; Peter C. Method and device for graphical display of a sporting contest
US8214741B2 (en) * 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
JP4401220B2 (ja) 2004-04-01 2010-01-20 富士通株式会社 ハイライトシーン抽出装置およびハイライトシーン配信システム
JP2007124368A (ja) 2005-10-28 2007-05-17 Matsushita Electric Ind Co Ltd セグメントメタデータ作成装置およびセグメントメタデータ作成方法
JP2007274400A (ja) 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd スポーツ映像のイベント区間補正装置およびイベント区間補正方法
KR100785076B1 (ko) * 2006-06-15 2007-12-12 삼성전자주식회사 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치
JP2008048279A (ja) * 2006-08-18 2008-02-28 Toshiba Corp 映像再生装置、方法およびプログラム
US7956893B2 (en) * 2006-12-11 2011-06-07 Mavs Lab. Inc. Method of indexing last pitching shots in a video of a baseball game
JP5010292B2 (ja) * 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
US20080269924A1 (en) 2007-04-30 2008-10-30 Huang Chen-Hsiu Method of summarizing sports video and apparatus thereof
JP4906615B2 (ja) 2007-07-10 2012-03-28 日本放送協会 ピッチショット検出システム、参照ピッチショット画像選定装置及び参照ピッチショット画像選定プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264771A (ja) * 2002-03-06 2003-09-19 Sony Corp 信号記録再生装置、信号記録再生方法、並びに信号記録再生プログラムを記録している媒体
JP2006129122A (ja) * 2004-10-29 2006-05-18 Sharp Corp 放送受信装置、放送受信方法、放送受信プログラム及びプログラム記録媒体
JP2006238393A (ja) * 2005-02-21 2006-09-07 Shinzo Ito スポーツテレビ放送の送受信と表現出力する方法およびシステム、および、スポーツテレビ放送の受信表現出力方法および装置、および、スポーツテレビ放送の受信記録送信方法および装置、および、スポーツテレビ放送の受信記録再生方法および装置、および、スポーツのプレイの開始および終了の検出方法
JP2006260237A (ja) * 2005-03-17 2006-09-28 Tama Tlo Kk マハラノビスの距離を用いた包括判定方式による特定シーン抽出方法および装置

Also Published As

Publication number Publication date
US20150208122A1 (en) 2015-07-23
TWI559760B (zh) 2016-11-21
TW201540059A (zh) 2015-10-16
JP6303525B2 (ja) 2018-04-04
US9538244B2 (en) 2017-01-03
KR20150087093A (ko) 2015-07-29

Similar Documents

Publication Publication Date Title
JP6307892B2 (ja) 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
JP6260292B2 (ja) 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
JP4905474B2 (ja) 映像処理装置、映像処理方法及びプログラム
JP6354229B2 (ja) 抽出プログラム、方法、及び装置
JP6720587B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
KR101891382B1 (ko) 추출 프로그램, 방법 및 장치
JP4839226B2 (ja) シーン区間分割装置
US9508012B2 (en) Extraction method and device
JP6394184B2 (ja) 判定プログラム、方法、及び装置
JP6303525B2 (ja) 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム
KR101792909B1 (ko) 정보 처리 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R150 Certificate of patent or registration of utility model

Ref document number: 6303525

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees