JP2021141434A - シーン抽出方法、装置およびプログラム - Google Patents

Abstract

【課題】注目シーンの根拠となる特定姿勢シーンが検知されると、このシーンに関連した関連姿勢シーンまで遡って注目シーンを自動的に抽出できるシーン抽出方法および装置を提供する。【解決手段】カメラ映像取得部１０１は、競技フィールドを撮影する複数のカメラCamからカメラ映像を取得する。カメラ映像は映像DB１０３に録画されると共に、フレーム画像取得部１０２によりカメラ映像からフレーム画像で取得される。姿勢推定部１０４は、カメラごとに各フレーム画像から抽出した人物の姿勢を推定する。シーン検知部１０５は、姿勢推定の結果に基づいて特定姿勢のシーンQsおよび関連姿勢のシーンRsを検知する。注目シーン決定部１０６は、特定姿勢シーンQsの再生時刻および関連姿勢シーンRsの再生時刻に基づいて注目シーンを決定する。注目シーン再生部１０７は注目シーンを再生する。【選択図】図１

Description

本発明は、動画映像から注目シーンを抽出する方法、装置およびプログラムに係り、特に、人物の姿勢を推定し、注目シーンの抽出根拠となる特定姿勢シーンが検知されると、この特定姿勢シーンの布石あるいは契機となった関連姿勢シーンまで遡って注目シーンを自動的に抽出できるシーン抽出方法、装置およびプログラムに関する。

動画映像から興味のある注目シーンを抽出する技術が特許文献１−３に開示されている。

特許文献１には、スポーツ映像から審判員を識別してその姿勢を推定し、姿勢の推定結果から審判員の動作を推定し、動作の推定結果に基づいてプレー区間を精度良く抽出する技術が開示されている。

特許文献２には、スポーツ映像に含まれる特定のテロップを抽出し、当該テロップが変化した前後の時間的な区間をイベント区間として抽出する技術が開示されている。特許文献２では、イベント区間内に特定のテロップの表示が最後に消えた時間を抽出し、その時間から一定時間遡った時間を当該イベント区間の開始点とする補正を行う技術も開示されている。

特許文献３には、従画面に表示されているコンテンツの特徴量が所定の閾値を超えたとき、従画面を主画面に切り替える技術が開示されている。サッカー中継番組であれば、得点シーンでは観客の声援等の音声の出力が大きくなり、音量や所定の周波数の音声信号が大きくなるので、それらを特徴量として得点シーンを検出し、盛り上がりシーンから主画面に表示することができる。

特願2016-556198号 特願2006-98340号 特願2005-208839号

Z. Cao, T. Simon, S. Wei and Y. Sheikh, "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310.

特許文献１では、審判員の動きから特定の重要プレー区間を抽出できる。特許文献２，３では、テロップや音声信号の大きさと連動して、その前後を含む区間を重要プレー区間として抽出できる。しかしながら、スポーツ中継では重要なプレー区間の前に、その布石となる関連シーンが存在することがあり、重要プレー区間はその布石となる関連シーンまで遡って連続的に視聴できるようにすることが望まれる。

例えば、サッカー中継ではシュートシーンやゴールシーンが重要シーンとなり得るが、これらの重要シーンの前には、その布石となるパスやセンタリングなどのアシストに関するシーンが存在し、これを契機に重要シーンが生まれることが多い。

しかしながら、上記の従来技術は特定の重要シーンに注目するのみで、その布石となった関連シーンまで遡って注目シーンを抽出することが行われていなかった。

本発明の目的は、上記の技術課題を解決し、プレーヤの姿勢推定の結果に基づいて注目シーンの抽出根拠となるシーンが検知されると、このシーンに関連したシーンまで遡って注目シーンを自動的に抽出できるシーン抽出方法、装置およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、動画映像から注目シーンを抽出する方法、装置およびプログラムにおいて、以下の構成を具備した点に特徴がある。

(1) 動画映像から抽出した人物の姿勢を推定し、姿勢推定の結果が関連姿勢である関連姿勢シーンおよび特定姿勢である特定姿勢シーンを検知し、特定姿勢シーンが検知されると検知済みの関連姿勢シーンまで遡って当該特定姿勢シーンまでの映像区間を注目シーンとして抽出するようにした。ここで、関連姿勢とは特定姿勢の布石となる姿勢である。

(2) 動画映像のオブジェクトを追跡し、人物の姿勢推定の結果およびオブジェクト追跡の結果に基づいて特定姿勢シーンおよび関連姿勢シーンを検知するようにした。

(3) 特定姿勢シーンまでの経過時間が所定時間内の関連姿勢シーンから当該特定姿勢シーンまでを注目シーンとして抽出するようにした。

(4) 特定姿勢シーンまでの経過時間が所定時間内の関連姿勢シーンが複数検知されていると、各関連姿勢シーンから特定姿勢シーンまでの複数の注目シーン候補を一覧表示し、オペレータに一の注目シーンを選択させるようにした。

本発明によれば、以下のような効果が達成される。

(1) 人物の姿勢に基づいて特定姿勢シーンが検知されると、その布石となった関連姿勢シーンまで遡り、関連姿勢シーンから特定姿勢シーンまでの映像区間が注目シーンとして抽出されるので、重要シーンをその契機となったシーンから連続して客観的に抽出できるようになる。

(2) 動画映像のオブジェクトを追跡し、人物の姿勢推定の結果およびオブジェクト追跡の結果に基づいて特定姿勢シーンおよび関連姿勢シーンを検知するので、姿勢推定の結果のみからは検知できない多種多様な特定姿勢シーンおよび関連姿勢シーンを正確に検知できるようになる。

(3) 特定姿勢シーンまでの経過時間が所定時間内の関連姿勢シーンから当該特定姿勢シーンまでの区間を注目シーンとして抽出できるので、相互に無関係な特定姿勢シーンおよび関連姿勢シーンに基づいて注目シーンが抽出されてしまうことを防止できる。

(4) 特定姿勢シーンの前に複数の関連姿勢シーンが検知されていると、各関連姿勢シーンから特定姿勢シーンまでの複数の注目シーン候補を一覧表示してオペレータに選択させることができるので、人の判断を介在させた主観的なシーン抽出が可能になる。

本発明の第１実施形態に係るシーン抽出装置の機能ブロック図である。 姿勢推定において抽出対象となる骨格の一例を示した図である。 第１実施形態の動作を示したフローチャートである。 注目シーンの決定方法を模式的に示した図である。 本発明の第２実施形態に係るシーン抽出装置の機能ブロック図である。 オブジェクトの追跡結果を考慮したシーン検知方法を示した図である。 注目シーンの他の抽出方法を示した図である。 注目シーンの他の再生例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係るシーン抽出装置１の主要部の構成を示した機能ブロック図であり、ここでは、サッカー競技を撮影したカメラ映像からゴールシーンを含む注目シーンを抽出する場合を例にして説明する。

このようなシーン抽出装置１は、CPU、メモリ、インタフェースおよびこれらを接続するバス等を備えた少なくとも１台の汎用コンピュータやモバイル端末に、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。

カメラ映像取得部１０１は、競技フィールドを撮影する複数のカメラCamからカメラ映像を取得する。カメラ映像は映像データベース（DB）１０３に録画されると共に、フレーム画像取得部１０２によりカメラ映像からフレーム画像が取得される。このとき、カメラ映像を一旦映像データベース（DB）１０３に録画した後、フレーム画像取得部１０２が改めて映像データベース１０３からカメラ映像を読み出し、当該読み出したカメラ映像からフレーム画像が取得されるようにしてもよい。姿勢推定部１０４は、人物領域抽出部１０４ａおよび骨格情報抽出部１０４ｂを備え、カメラごとに各フレーム画像から抽出した人物の姿勢を推定する。

前記人物領域抽出部１０４ａは、カメラ映像の各フレーム画像から人物領域を抽出する。人物領域の抽出には、例えばSSD (Single Shot Multibox Detector) を用いることができる。

骨格情報抽出部１０４ｂは、フレーム画像の人物領域から、予め抽出対象として登録されている骨格を抽出し、その位置情報や他の骨格との連結状態を骨格情報として登録する。骨格情報の抽出には、既存の骨格抽出技術 (Cascaded Pyramid Network) を用いることができる。

図２は、前記骨格情報抽出部１０４ｂが抽出対象とする骨格を示した図であり、左右の肘関節P3，P6、左右の手首関節P4，P7、左右の膝関節P9，P12および左右の足首関節P10，P13ならびにこれらの関節を連結する骨などが抽出される。

なお、骨格の抽出手法は、上記のように予め抽出した人物領域を対象とする方法に限定されない。例えば、非特許文献１に開示されるように、フレーム画像から抽出した特徴マップに対して、身体パーツの位置をエンコードするConfidence Mapおよび身体パーツ間の連結性をエンコードするPart Affinity Fields（PAFs）を用いた二つの逐次予測プロセスを順次に適用し、フレーム画像から抽出した人物オブジェクト（ユーザ）の身体パーツの位置および連結性をボトムアップ的アプローチにより一回の推論で推定することでスケルトンモデルを構築してもよい。

このとき、異なる部分領域から抽出した身体パーツの連結性を推定対象外とする処理を実装することで、身体パーツの位置および連結性を部分領域ごとに、すなわちユーザごとにオブジェクトのスケルトンモデルを推定できるようになる。

シーン検知部１０５は、特定姿勢シーン検知部１０５ａ，関連姿勢シーン検知部１０５ｂ，学習モデル１０５ｃおよびシーン登録部１０５ｄを含み、姿勢推定の結果に基づいて、人物が特定姿勢にある特定姿勢シーンQsおよび人物が関連姿勢にある関連姿勢シーンRsを検知する。

特定姿勢とは、注目シーンの抽出根拠となるプレーヤの代表的な姿勢であり、例えばゴールシーンやシュートシーンでのプレーヤの姿勢が該当する。関連姿勢とは特定姿勢に関連するプレーヤの代表的な姿勢であり、例えばパス、センタリング、フリーキック、コーナーキックあるいはヘッディング等するプレーヤの姿勢が該当する。したがって、関連姿勢シーンRsは特定姿勢シーンQsの前に検知され、当該特定姿勢シーンQsの布石となる映像シーンと言える。前記学習モデル１０５ｃには、姿勢推定部１０４が推定したプレーヤの姿勢が特定姿勢や関連姿勢に該当するか否かを推定するために予め学習された予測モデルMが格納されている。

特定姿勢シーン検知部１０５ａは、姿勢推定の結果を前記予測モデルMに適用することでプレーヤが特定姿勢にある特定姿勢シーンQsを検知する。関連姿勢シーン検知部１０５ｂは、姿勢推定の結果を前記予測モデルMに適用することでプレーヤが関連姿勢にある関連姿勢シーンRsを検知する。シーン登録部１０５ｄには、特定姿勢シーンQsの再生時刻および関連姿勢シーンRsの再生時刻が登録される。

注目シーン決定部１０６は、注目シーン候補提示部１０６ａおよび注目シーン選択部１０６ｂを含み、特定姿勢シーンQsの再生時刻および関連姿勢シーンRsの再生時刻に基づいて注目シーンを決定する。注目シーン再生部１０７は、前記決定された注目シーンを再生する。

なお、関連姿勢シーンRsがプレーヤの例えばヘッディング姿勢を根拠に検知されている場合、注目シーンにはヘッディング姿勢が検知された時刻よりも少し前のシーン、具体的にはプレーヤがヘッディング行為に至るためにボールの到達位置まで走り込み、さらにジャンプして空中で相手プレーヤと競い合うような、関連姿勢に至るまでの一例のシーンも含めることが望ましい。そこで、本実施形態では関連姿勢シーンRsの再生時刻よりも所定時間Δtだけ前の時刻を注目シーンの開始時刻としても良い。同様の趣旨で、注目シーンの終了時刻も特定姿勢シーンQsの再生時刻よりも所定時間Δtだけ後の時刻としても良い。前記所定時間Δtは固定値でも良いし、関連姿勢や特定姿勢の種別ごとに予め設定しておいても良い。

図３は、本実施形態の動作を示したフローチャートであり、図４は、前記注目シーン決定部１０６による注目シーンの決定方法を模式的に示した図である。

図３において、ステップＳ１では、カメラ映像がリアルタイムで取得されて映像DB１０３に録画される。ステップＳ２では、前記フレーム画像取得部１０２により、取得または録画したカメラ映像からフレーム画像が取り込まれる。ステップＳ３では、前記人物領域抽出部１０４ａによりフレーム画像から人物領域が抽出される。ステップＳ４では、前記骨格情報抽出部１０４ｂにより各プレーヤの骨格情報が抽出され、当該プレーヤの姿勢が推定される。

ステップＳ５では、前記関連姿勢シーン検知部１０５ｂにより、推定されたプレーヤの姿勢が予め定義された関連姿勢に該当するか否かが判断される。本実施形態では多数の関連姿勢が定義されており、推定された姿勢が関連姿勢のいずれかに該当すればステップＳ６へ進む。ステップＳ６では、関連姿勢の再生時刻t1（t2，t3）が、前記シーン登録部１０５ｄにより関連姿勢シーンRsのタイミングとして登録される。その後、当該処理はステップＳ２へ戻り、関連姿勢シーンRsの登録が繰り返される。

一方、前記ステップＳ５において、プレーヤの姿勢が関連姿勢ではないと判断されるとステップＳ７へ進み、前記特定姿勢シーン検知部１０５ａにより、前記ステップＳ４で推定されたプレーヤの姿勢が予め定義された特定姿勢に該当するか否かが判断される。本実施形態では複数の特定姿勢が定義されており、推定された姿勢がいずれの特定姿勢にも該当しなければステップＳ２へ戻り、次のフレーム画像に対して同様の処理が繰り返される。

これに対して、推定されたプレーヤの姿勢がいずれかの特定姿勢に該当すればステップＳ８へ進み、その再生時刻t4が前記シーン登録部１０５ｄにより特定姿勢シーンQsのタイミングとして登録される。ステップＳ９では、当該特定姿勢が推定された時刻t4に至るまでに登録された関連姿勢シーンRsのうち、時刻t4までの経過時間ΔT（=t4-t1, t4-t2 ,t4-t3）が所定時間ΔTref内である全ての関連姿勢シーンRsが抽出される。

ステップＳ１０では、抽出された各関連姿勢シーンRsから当該特定姿勢シーンQsに至る各映像区間が、前記注目シーン候補提示部１０６ａにより注目シーン候補として一覧表示される。

図４は、特定姿勢シーンQsに関して３つの関連姿勢シーンRs1，Rs2，R_S3が当該順序で抽出された場合の注目シーン候補の提示例を示した図であり、最上部には、特定姿勢シーンQsおよび３つの関連姿勢シーンRs1，Rs2，Rs3のサムネイルがその再生時刻t1，t2，t3，t4の各位置に表示され、その下方に３つの注目シーン候補がその再生時間と共に一覧表示されている。

本実施形態では、第１関連姿勢シーンRs1から特定姿勢シーンQsまでの第１注目シーン、第２関連姿勢シーンRs2から特定姿勢シーンQsまでの第２注目シーン、および第３関連姿勢シーンRs3から特定姿勢シーンQsまでの第３注目シーンが一覧表示される。各注目シーンの開始位置には関連姿勢シーンRs1，Rs2，Rs3のサムネイルが表示され、終了位置には特定姿勢シーンQsのサムネイルが表示されている。

オペレータがいずれかの注目シーン候補を注目シーンに選択し、これがステップＳ１１において前記注目シーン選択部１０６ｂにより検知されるとステップＳ１２へ進む。ステップＳ１２では、選択された注目シーンがその関連姿勢シーンRsから特定姿勢シーンQsまで再生される。例えば、第２注目シーンが選択されると、時刻t2またはその所定時間Δtだけ前の時刻t2-Δtから、時刻t4またはその所定時間Δtだけ後の時刻t4+Δtまでの映像期間が再生される。

なお、上記の実施形態では、特定姿勢シーンQsが検知されると所定時間ΔTref内の全ての関連姿勢シーンRsが抽出されるものとして説明したが、本発明はこれのみに限定されるものではなく、特定姿勢Qsの種別（ゴールシーンやシュートシーン）ごとに関連する関連姿勢シーンRsを対応付け、特定姿勢シーンQsが検知されると当該特定姿勢シーンQsの種別に対応する所定時間ΔTref内の関連姿勢シーンRsのみが抽出されるようにしても良い。

図５は、本発明の第２実施形態に係るシーン抽出装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。

本実施形態は、フレーム画像間でオブジェクトを追跡するオブジェクト追跡部１０８を設け、シーン検知部１０５が各オブジェクトの追跡結果および各プレーヤの姿勢推定の結果に基づいて特定姿勢シーンQsおよび関連姿勢シーンRsを検知するようにした点に特徴がある。

前記オブジェクト追跡部１０８において、オブジェクト検知部１０８ａは各フレーム画像からオブジェクトを検知する。本実施形態では、プレーヤおよびサッカーボールが検知対象のオブジェクトとされる。ID割当部１０８ｂは、フレーム画像間で各オブジェクトをその形状、サイズおよび／またはテクスチャ（例えば、ユニフォームのデザイン）等の類似度や移動ベクトルに基づく位置推定に基づいて追跡し、同一と推定されたオブジェクトに同一のID（オブジェクト識別子）を割り当てることでフレーム間でのオブジェクト追跡を実現する。

上記の第１実施形態では、各シーンをプレーヤの姿勢推定の結果に基づいて検知したため、各プレーヤの所属チームや各プレーヤのポジション（例えば、ゴールキーパであるか否か）といった属性を識別できず、またボールの行方をシーン検知に反映できなかった。これに対して、本実施形態では各プレーヤやボールを識別し、追跡できるので、各シーンをより精細かつ正確に検知できるようになる。

図６は、本実施形態における関連姿勢シーンRsおよび特定姿勢シーンQsの検知方法を模式的に示した図であり、一方のチーム（チームA）のプレーヤa1がボール３０を支配している状態から、同じチームAの他のプレーヤa2にボール３０がパスされ、さらに当該プレーヤa2から同じチームAのプレーヤa3にボール３０がパスされ、当該プレーヤa3が他方のチーム（チームB）のゴールキーパbgをかわしてボール３０をシュートし、ゴールが成立するまでの一例の流れを示している。

このようなケースでは、ボール３０がプレーヤ間を移動したときに、同一チームのプレーヤ間であればパス、異なるチームのプレーヤ間であればインターセプトまたはカットと判別できるのでシーン検知を正確に行えるようになる。

本実施形態では、プレーヤa3がシュートしたボール３０とその直後にゴールしたボール３０とが同一である（即ち、ボール３０を追跡できている。以下同様）ことから当該シーンを特定姿勢（シュート）シーンとして検知でき、かつプレーヤa3を得点者と認識できる。

更に、プレーヤa3とプレーヤa2とが同一チームであり、プレーヤa2がキックしたボール３０とその直後にプレーヤa3がレシーブしたボール３０とが同一であることから当該行為がプレーヤa2からプレーヤa3へのパスであることが判ると同時にプレーヤa2がアシストであることが判る。したがって、当該シーンを関連姿勢（アシスト）シーンとして検知できる。

さらに、プレーヤa2とプレーヤa1とが同一チームであり、プレーヤa1がキックしたボール３０とその直後にプレーヤa2がレシーブしたボール３０とが同一であることから当該行為がプレーヤa1からプレーヤa2へのパスであることが判り、プレーヤa1もアシストである可能性があることもわかる。したがって、当該シーンも関連姿勢（アシスト）シーンとして検知できる。

このように、本実施形態によれば各プレーヤを識別して追跡することができ、またボールを追跡できるので、プレーヤ間でのボール移動をパスおよびインターセプト（カット）のいずれかに識別できるのみならず、シュートという特定姿勢シーンQsに至るまでのプレーヤやボールの追跡結果を参照することでアシストやパスといった関連姿勢シーンRsも正確に検知できる。

換言すれば、プレーヤの姿勢のみでは識別できなかった類似のシーンを識別できるようになり、またプレーヤの姿勢のみでは正確に検知することが難しかった多種多様なシーンを正確に検知できるようになる。

なお、上記の実施形態では、将来的に検知される可能性のある特定姿勢の布石となる関連姿勢シーンを予め検知して登録しておき、その後、特定姿勢が検知されると既登録の対応する関連姿勢シーンまで遡って注目シーンを決定するものとして説明した。しかしながら、本発明はこれのみに限定されるものではなく、関連姿勢シーンを予め検知せず、特定姿勢が検知されるとカメラ映像を遡って当該特定姿勢に対応した関連姿勢シーンを検知し、注目シーンを決定するようにしても良い。

さらに、上記の実施形態では関連姿勢シーンが検知されたカメラ画像を撮影したカメラcamと特定姿勢シーンが検知されたカメラ画像を撮影したカメラcamとの同異に言及していないが、本実施形態のように複数台のカメラで競技フィールドを撮影した場合、各オブジェクトをフレーム間のみならずカメラ間で追跡する技術は確立されている。したがって、一のカメラcamで撮影したカメラ画像上で特定姿勢シーンが検知されたとき、これと同じカメラで撮影したカメラ画像のみならず異なるカメラで撮影したカメラ画像で検知された関連姿勢シーンから前記特定姿勢シーンまでの映像区間を注目シーン（候補）としても良い。

図７に示した例では、時刻t1において、カメラcam1で撮影したカメラ映像から関連姿勢シーンRs1が検知され、時刻t2において、カメラcam2で撮影したカメラ映像から関連姿勢シーンRs2が検知され、時刻t3において、カメラcam3で撮影したカメラ映像から関連姿勢シーンRs3が検知されている。その後、時刻t4において、カメラcam4で撮影したカメラ映像から特定姿勢シーンRsが検知されると、カメラcam2で撮影した時刻t1からt2の映像区間、カメラcam3で撮影した時刻t2からt3の映像区間およびカメラcam4で撮影した時刻t3からt4の映像区間を連結することで注目シーンが抽出される。

なお、当該注目シーンに、上記と同様に前記関連姿勢シーンRs1に至るまでの所定時間Δtの映像区間を含ませるのであれば、図８に示したように、カメラcam1で撮影した時刻t1-Δtからt1の映像区間を前記注目シーンの前に連結しても良い。

１…シーン抽出装置，３０…ボール，１０１…カメラ映像取得部，１０２…フレーム画像取得部，１０３…映像DB，１０４…姿勢推定部，１０５…シーン検知部，１０６…注目シーン決定部，１０７…注目シーン再生部，１０８…オブジェクト追跡部

Claims (11)

1. 動画映像から注目シーンを抽出するシーン抽出装置において、
   動画映像から抽出した人物の姿勢を推定する姿勢推定手段と、
   姿勢推定の結果が関連姿勢である関連姿勢シーンを検知する手段と、
   姿勢推定の結果が特定姿勢である特定姿勢シーンを検知する手段と、
   前記特定姿勢シーンが検知されると、検知済みの関連姿勢シーンまで遡って当該特定姿勢シーンまでを注目シーンとして抽出する手段とを具備したことを特徴とするシーン抽出装置。
2. 動画映像のオブジェクトを追跡する手段を更に具備し、
   前記特定姿勢シーンを検知する手段および前記関連姿勢シーンを検知する手段は、姿勢推定の結果およびオブジェクト追跡の結果に基づいて各シーンを検知することを特徴とする請求項１に記載のシーン抽出装置。
3. 前記抽出する手段は、特定姿勢シーンまでの経過時間が所定時間内の関連姿勢シーンから当該特定姿勢シーンまでを注目シーンとして抽出することを特徴とする請求項１または２に記載のシーン抽出装置。
4. 前記特定姿勢シーンまでの経過時間が所定時間内の関連姿勢シーンが複数検知されていると、各関連姿勢シーンから特定姿勢シーンまでの複数の注目シーン候補を一覧表示する手段を更に具備し、
   前記抽出する手段は、別途に指定された一の注目シーン候補を注目シーンとすることを特徴とする請求項３に記載のシーン抽出装置。
5. 前記関連姿勢が、前記特定姿勢の布石となる姿勢であることを特徴とする請求項１ないし４のいずれかに記載のシーン抽出装置。
6. 前記特定姿勢の種別ごとに関連姿勢を対応付ける手段を具備し、
   前記抽出する手段は、特定姿勢シーンが検知されると当該特定姿勢シーンの種別に対応する関連姿勢シーンまで遡って当該特定姿勢シーンまでを注目シーンとして抽出することを特徴とする請求項１ないし５のいずれかに記載のシーン抽出装置。
7. 前記注目シーンが、視点の異なる複数の動画映像のそれぞれから抽出した映像区間を連結して構成されることを特徴とする請求項１ないし６のいずれかに記載のシーン抽出装置。
8. コンピュータが動画映像から注目シーンを抽出するシーン抽出方法において、
   動画映像から抽出した人物の姿勢を推定し、
   姿勢推定の結果が関連姿勢である関連姿勢シーンを検知し、
   姿勢推定の結果が特定姿勢である特定姿勢シーンを検知し、
   前記特定姿勢シーンが検知されると、検知済みの関連姿勢シーンまで遡って当該特定姿勢シーンまでを注目シーンとして抽出することを特徴とするシーン抽出方法。
9. 動画映像のオブジェクトを追跡し、前記姿勢推定の結果およびオブジェクト追跡の結果に基づいて前記特定姿勢シーンおよび関連姿勢シーンを検知することを特徴とする請求項８に記載のシーン抽出方法。
10. 動画映像から注目シーンを抽出するシーン抽出プログラムにおいて、
    動画映像から抽出した人物の姿勢を推定する手順と、
    姿勢推定の結果が関連姿勢である関連姿勢シーンを検知する手順と、
    姿勢推定の結果が特定姿勢である特定姿勢シーンを検知する手順と、
    前記特定姿勢シーンが検知されると、検知済みの関連姿勢シーンまで遡って当該特定姿勢シーンまでを注目シーンとして抽出する手順と、
    をコンピュータに実行させるシーン抽出プログラム。
11. 動画映像のオブジェクトを追跡する手順を更に含み、
    前記姿勢推定の結果およびオブジェクト追跡の結果に基づいて前記特定姿勢シーンおよび関連姿勢シーンを検知することを特徴とする請求項１０に記載のシーン抽出プログラム。

Images