JP2015177471A - 抽出プログラム、方法、及び装置 - Google Patents

抽出プログラム、方法、及び装置 Download PDF

Info

Publication number
JP2015177471A
JP2015177471A JP2014054208A JP2014054208A JP2015177471A JP 2015177471 A JP2015177471 A JP 2015177471A JP 2014054208 A JP2014054208 A JP 2014054208A JP 2014054208 A JP2014054208 A JP 2014054208A JP 2015177471 A JP2015177471 A JP 2015177471A
Authority
JP
Japan
Prior art keywords
captured image
frame
extraction
switching
play
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014054208A
Other languages
English (en)
Inventor
淳 小口
Atsushi Oguchi
淳 小口
遠藤　進
Susumu Endo
進 遠藤
馬場　孝之
Takayuki Baba
孝之 馬場
壮吉 藤田
Sokichi Fujita
壮吉 藤田
辰真 村松
Tatsumasa Muramatsu
辰真 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014054208A priority Critical patent/JP2015177471A/ja
Priority to EP15156929.0A priority patent/EP2922060B1/en
Priority to US14/633,604 priority patent/US20150262619A1/en
Publication of JP2015177471A publication Critical patent/JP2015177471A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/06—Cutting and rejoining; Notching, or perforating record carriers otherwise than by recording styli
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

【課題】サッカーの試合を撮影した映像から、プレーの切れ目を抽出する。
【解決手段】検出部２２が、スポーツの試合を撮像して得られた撮像画像から、近景撮像画像と遠景撮像画像との間の切り替わりを検出する。抽出部２４が、検出された切り替わりに基づいて、スポーツの試合のプレーの切れ目に対応するタイミングまたは切れ目に対応する撮像画像を抽出する。
【選択図】図１

Description

本発明は、抽出プログラム、抽出方法、及び抽出装置に関する。
従来、サッカーの試合を撮影した映像を、ライブ配信したり、ビデオ・オン・デマンド（Video on Demand、ＶｏＤ）コンテンツとして配信したりするサービスが存在する。このようなサービスにおいて、映像から、特定のシーンを抽出したい場合がある。
例えば、映像に対応する音声データにおいて、音圧の急激な上昇が検知された場合に、盛り上がりシーンであると認識することが行われている。
また、フレームシーケンスを含むビデオにおけるハイライトセグメントを識別する方法が提案されている。
特表２００８−５１１１８６号公報
上述のようなシーンの抽出において、例えば、プレーの切れ目を抽出したい場合がある。
しかしながら、従来技術では、プレーの切れ目の抽出に対応することが困難である。
一つの側面として、本発明は、サッカーの試合を撮影した映像から、プレーの切れ目を抽出することを目的とする。
一つの態様では、スポーツの試合を撮像して得られた撮像画像から、近景撮像画像と遠景撮像画像との間の切り替わりを検出する。そして、検出された前記切り替わりに基づいて、前記スポーツの試合のプレーの切れ目に対応するタイミングまたは切れ目に対応する撮像画像を抽出する。
一つの側面として、サッカーの試合を撮影した映像から、プレーの切れ目を抽出することができる、という効果を有する。
本実施形態に係る映像配信システムの概略構成を示す機能ブロック図である。 編集の一例を説明するための図である。 フレーム間の差分を説明するための図である。 遠景フレームの一例を示す図である。 近景フレームの一例を示す図である。 ワンプレーの開始及び終了を示すフレームの抽出を説明するための図である。 メタ情報ファイルの一例を示す図である。 抽出装置として機能するコンピュータの一例を示す概略ブロック図である。 配信装置として機能するコンピュータの一例を示す概略ブロック図である。 編集処理の一例を示すフローチャートである。 抽出処理の一例を示すフローチャートである。 配信処理の一例を示すフローチャートである。
以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。以下の各実施形態では、サッカーの試合を撮影した映像を配信する映像配信システムに、本発明の抽出装置を適用した例について説明する。
図１に示すように、本実施形態に係る映像配信システム１０は、抽出装置２０と、配信装置３０とを含む。抽出装置２０と、配信装置３０とは、ネットワークを介して接続されている。映像配信システム１０では、抽出装置２０により抽出された盛り上がりシーンを示すメタ情報が付加された映像を、配信装置３０により、ネットワークを介して、所定の端末に配信する。抽出装置２０は、検出部２２と、抽出部２４と、作成部２６とを含む。また、配信装置３０は、編集部３２と、配信部３４とを含む。
まず、配信装置３０の各部について詳述する。
編集部３２は、サッカーの試合を撮影した映像（以下、「撮影映像」という）を取得する。なお、本実施形態において、映像は、動画データ及び音声データを含むメディアである。撮影映像に含まれる動画データは、例えば３０ｆｐｓや６０ｆｐｓ等のフレームレートで撮影されており、複数のフレームを含む。各フレームには、撮影映像の撮影開始からの経過時間で表される時刻情報が対応付けられている。また、撮影映像には、試合会場における歓声等の音声や、解説者や実況等の音声を含む音声データも含まれる。音声データは、サンプリング点毎の音圧のレベルを示す時系列データであり、各サンプリング点には、音声データと動画データとが同期するように、動画データの各フレームに対応付けられた時刻情報と同期する時刻情報が対応付けられている。
編集部３２は、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に含まれる動画データの各フレームに適用する。編集内容としては、例えば図２に示すように、試合状況を示すテロップ８０を付加することを含む。以下では、撮影映像に含まれる動画データに対して編集部３２による編集が行われた映像を「編集済み映像」という。編集部３２は、編集済み映像を、抽出装置２０へ送信する。
配信部３４は、抽出装置２０により作成されたメタ情報が付加された映像（以下、「メタ情報付き映像」という。詳細は後述）を取得する。配信部３４は、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信する。
次に、抽出装置２０の各部について詳述する。
検出部２２は、配信装置３０から送信された編集済み映像を取得する。検出部２２は、編集済み映像に含まれる動画データに基づいて、まず、カットの切り替わりを検出する。カットとは、動画データにおいて、同一のアングルで撮影された一連の部分である。具体的には、検出部２２は、フレーム毎に、前フレームとの差分を算出する。フレーム間の差分は、例えば、フレーム間で対応する画素同士の画素情報の差の和により算出する。検出部２２は、図３に示すように、フレーム毎に算出した前フレームとの差分を監視し、前フレームとの差分が所定の閾値を超えたフレームを、カットの切り替わりを示すフレームとして検出する。
図３の例では、連続するフレーム８２、８４、８６、８８において、フレーム８４とその前フレーム８２との差分、フレーム８６とその前フレーム８４との差分は、比較的小さな値である。一方、フレーム８８とその前フレーム８６との差分は大きな値となる。また、フレーム８６とフレーム８８との間では、カットが切り替わっている。従って、図３の例では、フレーム８８とその前フレーム８６との差分に基づき、フレーム８６とフレーム８８との間がカットの切り替わり、すなわち、フレーム８６を前のカットの最終フレーム、フレーム８８を次のカットの先頭フレームとして検出することができる。
また、検出部２２は、検出したカットの先頭フレームから最終フレームまでに含まれるフレーム群を、１つのカットを示すフレーム群とする。そして、検出部２２は、１つのカットを示すフレーム群に含まれる少なくとも１つのフレームが、遠景撮影されたフレーム（以下、「遠景フレーム」という）か、近景撮影されたフレーム（以下、「近景フレーム」という）かを判定する。なお、遠景フレーム及び近景フレームは、本発明の遠景撮像画像及び近景撮像画像の一例である。この判定は、例えば、遠景フレームか近景フレームかを識別するための識別モデルを用いて行うことができる。識別モデルは、例えば図４に示すような複数の遠景フレーム、及び図５に示すような複数の近景フレームを学習することにより、生成することができる。この判定結果により、検出部２２は、遠景フレームと近景フレームとの切り替わりを検出する。
抽出部２４は、検出部２２により検出された遠景フレームと近景フレームとの切り替わりに基づいて、プレーの切れ目を抽出する。サッカーの試合映像では、通常、プレー中は遠景で撮影されており、ワンプレーの切れ目毎に、選手のアップやベンチの様子などの近景で撮影されたカットに切り替わる。従って、遠景フレームと近景フレームとの切り替わり箇所が、ワンプレーの開始または終わりとなる。なお、ワンプレーとは、ファウルやラインアウト等により一旦ボール止まっていたボールが、フリーキックやスローイン等により動き出してから再び止まるまでの一連の流れをいう。なお、ボールが動き出す、及び止まるとは、厳密なボールの動きではなく、プレーの再開時または中断時のボールの動きを意味するものである。
具体的には、抽出部２４は、図６に示すように、近景フレームから遠景フレームへの切り替わりにおける遠景フレーム（例えば、図６中のフレーム９４）を、ワンプレーの開始を示すフレームとして抽出する。また、遠景フレームから近景フレームへの切り替わりにおける遠景フレーム（例えば、図６中のフレーム９０）を、ワンプレーの終了を示すフレームとして抽出する。すなわち、ワンプレーの開始を示すフレームから、ワンプレーの終了を示すフレームまでのフレーム群を、ワンプレーを示すフレーム群として抽出することができる。
作成部２６は、抽出部２４により抽出されたフレーム群に基づいて、ワンプレーの切れ目を示すメタ情報を作成する。具体的には、作成部２６は、ワンプレーの開始を示すフレームに対応付けられた時刻情報に、ワンプレーの開始であることを示す情報を対応付けたメタ情報を作成する。また、作成部２６は、ワンプレーの終了を示すフレームに対応付けられた時刻情報に、ワンプレーの終了であることを示す情報を対応付けたメタ情報を作成する。
また、作成部２６は、作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。メタ情報ファイルは、例えばｃｓｖ（Comma-Separated Values）形式のファイルとして作成することができる。図７に、メタ情報ファイルの一例を示す。図７の例では、各行が１つのメタ情報を示し、各メタ情報は、時刻情報９６、及びワンプレーの開始または終了を示す情報（記号９８）を含む。
なお、ここでは、フレームに対応付けられた時刻情報を用いたメタ情報を作成する場合について説明したが、フレーム番号等の各フレームを識別するための他の情報を用いて、メタ情報を作成してもよい。
作成部２６は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信する。
抽出装置２０は、例えば図８に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、入出力インターフェース（Ｉ／Ｆ）４７、及びネットワークＩ／Ｆ４８を備えている。ＣＰＵ４２、メモリ４４、記憶部４６、入出力Ｉ／Ｆ４７、及びネットワークＩ／Ｆ４８は、バス４９を介して互いに接続されている。
記憶部４６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部４６には、コンピュータ４０を抽出装置２０として機能させるための抽出プログラム５０が記憶されている。ＣＰＵ４２は、抽出プログラム５０を記憶部４６から読み出してメモリ４４に展開し、抽出プログラム５０が有するプロセスを順次実行する。
抽出プログラム５０は、検出プロセス５２と、抽出プロセス５４と、作成プロセス５６とを有する。ＣＰＵ４２は、検出プロセス５２を実行することで、図１に示す検出部２２として動作する。また、ＣＰＵ４２は、抽出プロセス５４を実行することで、図１に示す抽出部２４として動作する。また、ＣＰＵ４２は、作成プロセス５６を実行することで、図１に示す作成部２６として動作する。これにより、抽出プログラム５０を実行したコンピュータ４０が、抽出装置２０として機能することになる。
また、配信装置３０は、例えば図９に示すコンピュータ６０で実現することができる。コンピュータ６０はＣＰＵ６２、メモリ６４、不揮発性の記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８を備えている。ＣＰＵ６２、メモリ６４、記憶部６６、入出力Ｉ／Ｆ６７、及びネットワークＩ／Ｆ６８は、バス６９を介して互いに接続されている。また、コンピュータ６０には、入出力Ｉ／Ｆ６７を介して、図示しない表示装置及び入力装置が接続されている。
また、配信装置３０と抽出装置２０とは、配信装置３０のネットワークＩ／Ｆ６８、ネットワーク、及び抽出装置２０のネットワークＩ／Ｆ４８を介して接続されている。
記憶部６６はＨＤＤやフラッシュメモリ等によって実現できる。記憶媒体としての記憶部６６には、コンピュータ６０を配信装置３０として機能させるための配信プログラム７０が記憶されている。ＣＰＵ６２は、配信プログラム７０を記憶部６６から読み出してメモリ６４に展開し、配信プログラム７０が有するプロセスを順次実行する。
配信プログラム７０は、編集プロセス７２と、配信プロセス７４とを有する。ＣＰＵ６２は、編集プロセス７２を実行することで、図１に示す編集部３２として動作する。また、ＣＰＵ６２は、配信プロセス７４を実行することで、図１に示す配信部３４として動作する。これにより、配信プログラム７０を実行したコンピュータ６０が、配信装置３０として機能することになる。
なお、抽出装置２０及び配信装置３０の各々は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
次に、本実施形態に係る映像配信システム１０の作用について説明する。撮影映像が配信装置３０に入力されると、配信装置３０が、図１０に示す編集処理を実行し、編集済み映像を出力する。次に、編集済み映像が抽出装置２０に入力されると、抽出装置２０が、図１１に示す抽出処理を実行して、メタ情報付き映像を出力する。そして、メタ情報付き映像が配信装置３０に入力されると、配信装置３０が、図１２に示す配信処理を実行し、配信用映像を出力する。以下、各処理について詳述する。
まず、図１０に示す編集処理のステップＳ１０で、編集部３２が、撮影映像を取得する。次に、ステップＳ１２で、編集部３２が、図示しない表示装置及び入力装置を用いてオペレータの操作により指示された編集内容を、画像処理により撮影映像に含まれる動画データの各フレームに適用する。次に、ステップＳ１４で、編集部３２が、編集済み映像を、抽出装置２０へ送信して、編集処理は終了する。
次に、図１１に示す抽出処理のステップＳ２０で、検出部２２が、配信装置３０から送信された編集済み映像を取得する。
次に、ステップＳ２２で、検出部２２が、フレーム毎に、前フレームとの差分を算出し、前フレームとの差分が所定の閾値を超えたフレームに基づいて、カットの先頭フレーム及び最終フレームを検出する。
次に、ステップＳ２４で、検出部２２が、検出したカットの先頭フレームから最終フレームまでに含まれるフレーム群を、１つのカットを示すフレーム群とする。そして、検出部２２は、１つのカットを示すフレーム群に含まれる少なくとも１つのフレームが、遠景フレームか、近景フレームかを判定する。この判定結果により、検出部２２は、遠景フレームと近景フレームとの切り替わりを検出する。
次に、ステップＳ２６で、抽出部２４が、近景フレームから遠景フレームへの切り替わりにおける遠景フレームを、ワンプレーの開始を示すフレームとして抽出する。また、抽出部２４が、遠景フレームから近景フレームへの切り替わりにおける遠景フレームを、ワンプレーの終了を示すフレームとして抽出する。すなわち、抽出部２４は、ワンプレーの開始を示すフレームから、ワンプレーの終了を示すフレームまでのフレーム群を、ワンプレーを示すフレーム群として抽出する。
次に、ステップＳ２８で、作成部２６が、ワンプレーの開始を示すフレームに対応付けられた時刻情報に、ワンプレーの開始であることを示す情報を対応付けたメタ情報を作成する。また、作成部２６は、ワンプレーの終了を示すフレームに対応付けられた時刻情報に、ワンプレーの終了であることを示す情報を対応付けたメタ情報を作成する。
次に、ステップＳ３０で、作成部２６が、上記ステップＳ２８で作成した複数のメタ情報を、メタ情報に含まれる時刻情報順に記録したメタ情報ファイルを作成する。そして、作成部２６は、作成したメタ情報ファイルを編集済み映像に付加して、メタ情報付き映像として配信装置３０へ送信し、抽出処理は終了する。
次に、図１２に示す配信処理のステップＳ４０で、配信部３４が、抽出装置２０から送信されたメタ情報付き映像を取得する。次に、ステップＳ４２で、配信部３４が、メタ情報付き映像を所定の規格に従った配信用映像に変換して、配信先の端末（図示省略）に配信し、配信処理は終了する。
以上説明したように、本実施形態に係る抽出装置２０によれば、サッカーの試合を撮影した映像に含まれる動画データのフレームから、遠景フレームと近景フレームとの切り替わりを検出し、この切り替わりをプレーの切れ目として抽出する。このように、サッカーの試合を撮影した映像から、プレーの切れ目を抽出することができる。
上記各実施形態において抽出されたワンプレーの開始及び終了を示すメタ情報が付加されたメタ情報付き映像を用いれば、スポーツの試合映像（撮影映像、または編集済み映像）から、メタ情報に基づいて、ワンプレー毎のシーンを容易に探索することができる。また、例えば、映像配信の際に、プレーの切れ目に連動して、ユーザにメールを送信するなどの付帯サービスを、メタ情報に基づいて自動的に行うことができる。
また、上記各実施形態では、配信装置と抽出装置とを含む映像配信システムを例に説明したが、これに限定されない。配信装置の各機能部と抽出装置の各機能部とを、１つのコンピュータで実現するようにしてもよい。
また、上記各実施形態では、抽出装置で作成されワンプレーの開始及び終了を示すメタ情報が付加された映像を、配信装置により配信する場合について説明したが、これに限定されない。例えば、メタ情報付き映像を大量にアーカイブとして保存しておき、メタ情報に基づいて、ワンプレー毎にシーンを抽出して出力するようにしてもよい。
また、抽出装置からの出力を、映像配信システム以外の用途で利用してもよい。
また、上記では、抽出プログラム５０が記憶部４６に、配信プログラム７０が記憶部６６に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。
以上の上記各実施形態に関し、更に以下の付記を開示する。
（付記１）
コンピュータに、
スポーツの試合を撮像して得られた撮像画像から、近景撮像画像と遠景撮像画像との間の切り替わりを検出し、
検出された前記切り替わりに基づいて、前記スポーツの試合のプレーの切れ目に対応するタイミングまたは切れ目に対応する撮像画像を抽出する、
ことを含む処理を実行させる抽出プログラム。
（付記２）
前記コンピュータに、
前記近景撮像画像から、前記遠景撮像画像への切り替わりを検出し、
切り替わりが検出された前記遠景撮像画像を、前記スポーツの試合におけるプレーの始まりを示すフレームとして抽出する
ことを含む処理を実行させる付記１記載の抽出プログラム。
（付記３）
前記コンピュータに、
前記撮像画像に含まれる複数のフレームにおける連続するフレーム間の画素情報の差分の変化量が、予め定めた閾値以上となるフレームを、カットの切り替わりとして検出し、カットの切り替わりの前または後のフレームが近景撮像画像か、または遠景撮像画像かを識別することにより、近景撮像画像と遠景撮像画像との切り替わりを検出する
ことを含む処理を実行させる付記１または付記２記載の抽出プログラム。
（付記４）
前記コンピュータに、
抽出された撮像画像に対応したフレームに、プレーの切れ目を示す情報を対応付けたメタ情報を作成する
ことを含む処理を実行させる付記１〜付記３のいずれか１項記載の抽出プログラム。
（付記５）
コンピュータに、
スポーツの試合を撮像して得られた撮像画像から、近景撮像画像と遠景撮像画像との間の切り替わりを検出し、
検出された前記切り替わりに基づいて、前記スポーツの試合のプレーの切れ目に対応するタイミングまたは切れ目に対応する撮像画像を抽出する、
ことを含む処理を実行させる抽出方法。
（付記６）
前記コンピュータに、
前記近景撮像画像から、前記遠景撮像画像への切り替わりを検出し、
切り替わりが検出された前記遠景撮像画像を、前記スポーツの試合におけるプレーの始まりを示すフレームとして抽出する
ことを含む処理を実行させる付記５記載の抽出方法。
（付記７）
前記コンピュータに、
前記撮像画像に含まれる複数のフレームにおける連続するフレーム間の画素情報の差分の変化量が、予め定めた閾値以上となるフレームを、カットの切り替わりとして検出し、カットの切り替わりの前または後のフレームが近景撮像画像か、または遠景撮像画像かを識別することにより、近景撮像画像と遠景撮像画像との切り替わりを検出する
ことを含む処理を実行させる付記６または付記７記載の抽出方法。
（付記８）
スポーツの試合を撮像して得られた撮像画像から、近景撮像画像と遠景撮像画像との間の切り替わりを検出する検出部と、
検出された前記切り替わりに基づいて、前記スポーツの試合のプレーの切れ目に対応するタイミングまたは切れ目に対応する撮像画像を抽出する抽出部と、
を含む抽出装置。
（付記９）
前記検出部は、前記近景撮像画像から、前記遠景撮像画像への切り替わりを検出し、
前記抽出部は、切り替わりが検出された前記遠景撮像画像を、前記スポーツの試合におけるプレーの始まりを示すフレームとして抽出する
付記８記載の抽出装置。
（付記１０）
前記検出部は、前記撮像画像に含まれる複数のフレームにおける連続するフレーム間の画素情報の差分の変化量が、予め定めた閾値以上となるフレームを、カットの切り替わりとして検出し、カットの切り替わりの前または後のフレームが近景撮像画像か、または遠景撮像画像かを識別することにより、近景撮像画像と遠景撮像画像との切り替わりを検出する付記８または付記９記載の抽出装置。
１０ 映像配信システム
２０ 抽出装置
２２ 検出部
２４ 抽出部
２６ 作成部
３０ 配信装置
３２ 編集部
３４ 配信部
４０、６０ コンピュータ
４２、６２ ＣＰＵ
４４、６４ メモリ
４６、６６ 記憶部
５０ 抽出プログラム
７０ 配信プログラム

Claims (5)

  1. コンピュータに、
    スポーツの試合を撮像して得られた撮像画像から、近景撮像画像と遠景撮像画像との間の切り替わりを検出し、
    検出された前記切り替わりに基づいて、前記スポーツの試合のプレーの切れ目に対応するタイミングまたは切れ目に対応する撮像画像を抽出する、
    ことを含む処理を実行させる抽出プログラム。
  2. 前記コンピュータに、
    前記近景撮像画像から、前記遠景撮像画像への切り替わりを検出し、
    切り替わりが検出された前記遠景撮像画像を、前記スポーツの試合におけるプレーの始まりを示すフレームとして抽出する
    ことを含む処理を実行させる請求項１記載の抽出プログラム。
  3. 前記コンピュータに、
    前記撮像画像に含まれる複数のフレームにおける連続するフレーム間の画素情報の差分の変化量が、予め定めた閾値以上となるフレームを、カットの切り替わりとして検出し、カットの切り替わりの前または後のフレームが近景撮像画像か、または遠景撮像画像かを識別することにより、近景撮像画像と遠景撮像画像との切り替わりを検出する
    ことを含む処理を実行させる請求項１または請求項２記載の抽出プログラム。
  4. コンピュータに、
    スポーツの試合を撮像して得られた撮像画像から、近景撮像画像と遠景撮像画像との間の切り替わりを検出し、
    検出された前記切り替わりに基づいて、前記スポーツの試合のプレーの切れ目に対応するタイミングまたは切れ目に対応する撮像画像を抽出する、
    ことを含む処理を実行させる抽出方法。
  5. スポーツの試合を撮像して得られた撮像画像から、近景撮像画像と遠景撮像画像との間の切り替わりを検出する検出部と、
    検出された前記切り替わりに基づいて、前記スポーツの試合のプレーの切れ目に対応するタイミングまたは切れ目に対応する撮像画像を抽出する抽出部と、
    を含む抽出装置。
JP2014054208A 2014-03-17 2014-03-17 抽出プログラム、方法、及び装置 Pending JP2015177471A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014054208A JP2015177471A (ja) 2014-03-17 2014-03-17 抽出プログラム、方法、及び装置
EP15156929.0A EP2922060B1 (en) 2014-03-17 2015-02-27 Extraction method and device
US14/633,604 US20150262619A1 (en) 2014-03-17 2015-02-27 Extraction method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014054208A JP2015177471A (ja) 2014-03-17 2014-03-17 抽出プログラム、方法、及び装置

Publications (1)

Publication Number Publication Date
JP2015177471A true JP2015177471A (ja) 2015-10-05

Family

ID=52682608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014054208A Pending JP2015177471A (ja) 2014-03-17 2014-03-17 抽出プログラム、方法、及び装置

Country Status (3)

Country Link
US (1) US20150262619A1 (ja)
EP (1) EP2922060B1 (ja)
JP (1) JP2015177471A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6354229B2 (ja) * 2014-03-17 2018-07-11 富士通株式会社 抽出プログラム、方法、及び装置
US10074015B1 (en) 2015-04-13 2018-09-11 Google Llc Methods, systems, and media for generating a summarized video with video thumbnails

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000228755A (ja) * 1999-02-08 2000-08-15 Media Link System:Kk 映像ソフト表示装置及びその為のプログラムを記録した記憶媒体
JP2000511743A (ja) * 1997-03-22 2000-09-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映像信号の解析と記憶
JP2001320693A (ja) * 2000-05-12 2001-11-16 Sony Corp サービス提供装置および方法、受信端末装置および方法、サービス提供システム
JP2003101937A (ja) * 2001-09-26 2003-04-04 Ricoh Co Ltd 映像記録再生装置および映像配信システム
JP2003153192A (ja) * 2001-04-20 2003-05-23 Mitsubishi Electric Research Laboratories Inc 複数のフレームを含む圧縮されているビデオを分析する方法およびシステム
JP2005252860A (ja) * 2004-03-05 2005-09-15 Kddi R & D Laboratories Inc スポーツ映像の分類装置および方法
JP2008511186A (ja) * 2004-08-27 2008-04-10 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド フレームシーケンスを含むビデオにおけるハイライトセグメントを識別する方法
JP2009141586A (ja) * 2007-12-05 2009-06-25 Canon Inc マルチメディアデータ再生方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003265318A1 (en) * 2002-08-02 2004-02-23 University Of Rochester Automatic soccer video analysis and summarization
US20080193016A1 (en) * 2004-02-06 2008-08-14 Agency For Science, Technology And Research Automatic Video Event Detection and Indexing
JP4839226B2 (ja) * 2005-01-24 2011-12-21 パナソニック株式会社 シーン区間分割装置
WO2006092765A2 (en) * 2005-03-04 2006-09-08 Koninklijke Philips Electronics N.V. Method of video indexing
TWI316690B (en) * 2006-09-05 2009-11-01 Univ Nat Cheng Kung Video annotation method by integrating visual features and frequent patterns
BR112014008734B1 (pt) * 2011-10-11 2021-11-30 Telefonaktiebolaget Lm Ericsson (Publ) Método para detectar uma mudança de cena em um vídeo transmitido em fluxo contínuo, meio legível por computador não transitório e aparelho relacionados
US9691054B2 (en) * 2013-02-26 2017-06-27 W.W. Grainger, Inc. Method for nonintrusive identification and ordering of component parts

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000511743A (ja) * 1997-03-22 2000-09-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映像信号の解析と記憶
JP2000228755A (ja) * 1999-02-08 2000-08-15 Media Link System:Kk 映像ソフト表示装置及びその為のプログラムを記録した記憶媒体
JP2001320693A (ja) * 2000-05-12 2001-11-16 Sony Corp サービス提供装置および方法、受信端末装置および方法、サービス提供システム
JP2003153192A (ja) * 2001-04-20 2003-05-23 Mitsubishi Electric Research Laboratories Inc 複数のフレームを含む圧縮されているビデオを分析する方法およびシステム
JP2003101937A (ja) * 2001-09-26 2003-04-04 Ricoh Co Ltd 映像記録再生装置および映像配信システム
JP2005252860A (ja) * 2004-03-05 2005-09-15 Kddi R & D Laboratories Inc スポーツ映像の分類装置および方法
JP2008511186A (ja) * 2004-08-27 2008-04-10 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド フレームシーケンスを含むビデオにおけるハイライトセグメントを識別する方法
JP2009141586A (ja) * 2007-12-05 2009-06-25 Canon Inc マルチメディアデータ再生方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALFIAN ABDUL HALIN(外2名): "Shot View Classification for Playfield-based Sports Video", SIGNAL AND IMAGE PROCESSING APPLICATIONS (ICSIPA), 2009 IEEE INTERNATIONAL CONFERENCE ON, JPN6017040920, 18 November 2009 (2009-11-18), US, pages 410 - 414, XP031685394, ISSN: 0003940544 *
堤公希(外2名): "サッカー映像におけるロングショット検出に関する一考察", 電子情報通信学会技術研究報告, vol. 第103巻, 第643号, JPN6017040922, 27 January 2004 (2004-01-27), JP, pages 125 - 130, ISSN: 0003940545 *

Also Published As

Publication number Publication date
EP2922060A1 (en) 2015-09-23
EP2922060B1 (en) 2019-09-25
US20150262619A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
JP6354229B2 (ja) 抽出プログラム、方法、及び装置
US10734029B2 (en) Signal processing apparatus, signal processing method, and non-transitory computer-readable storage medium
US9508012B2 (en) Extraction method and device
US9681200B2 (en) Data processing method and device
US9530061B2 (en) Extraction method for extracting a pitching scene and device for the same
US10708536B2 (en) Signal processing apparatus and method of generating audio signal
JP2015177471A (ja) 抽出プログラム、方法、及び装置
CN113347489A (zh) 视频片段检测方法、装置、设备及存储介质
JP6394184B2 (ja) 判定プログラム、方法、及び装置
US9741393B2 (en) Method and method for shortening video with event preservation
JP2012221322A (ja) オーサリング支援装置、オーサリング支援方法およびプログラム
JP2009010548A5 (ja)
US9538244B2 (en) Extraction method for extracting a pitching scene and device for the same
JP2021089684A (ja) ビデオ信号処理システムおよびビデオ信号処理方法
KR101716109B1 (ko) 복수의 영상의 시간 동기화 방법 및 이러한 방법을 사용하는 멀티 영상 재생 시스템
JP5538762B2 (ja) 情報処理装置及び情報処理方法
JP6451521B2 (ja) ダイジェスト作成装置、ダイジェスト作成システム、ダイジェスト作成方法及びプログラム
US20230206635A1 (en) Information processing device, control method, and recording medium
EP4332871A1 (en) Information processing device, information processing method, and program
JP2015082691A (ja) 映像編集装置、映像編集方法、および、映像編集プログラム
EP3032435A1 (en) Method and apparatus for generating an audiovisual summary
WO2020132255A2 (en) Systems and methods for displaying subjects of a portion of content
JP2019125939A (ja) コマーシャル境界判定装置、コマーシャル境界判定方法、及びプログラム
JP2008047250A (ja) デマルチプレクサ
KR20170059877A (ko) 주변 음향이 부가된 사진 파일을 생성하는 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181010

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20181214