JP2020135177A - 動画を解析するためのプログラム、装置、及び方法 - Google Patents

Abstract

【課題】 所定の動作を行う人物が撮影されている動画における当該動作の特定の段階の位置の判定を支援する。【解決手段】本発明の一実施形態に係る動画解析装置１０は、ストレージ１５等に記憶されているプログラムに含まれる命令をコンピュータプロセッサ１１が実行することによって、動き情報生成部１１１、フレーム解析部１１２、及び動画再生制御部１１３として機能するように構成されている。当該装置１０は、所定の動作を行う人物が撮影されている動画を構成するフレームの動き情報を生成し、生成した動き情報に基づいて、所定の動作の静止段階に対応するフレームを判定することができる。【選択図】 図１

Description

本発明は、動画を解析するためのプログラム、装置、及び方法に関するものである。

従来、所定の動作を行う人物が撮影されている動画を解析するための技術が提案されている。例えば、下記特許文献１は、運動動作を行う運動者の動作又は姿勢を検証するためのシステムを開示している。このシステムは、運動者を包囲するように配置された複数の撮影手段によって撮影された複数の動画を、単一の画面上に時間的に同期させて再生できるように構成されており、例えば、ゴルフスイング等の運動動作の検証に用いられる。例えば、ゴルフスイングのアドレスの姿勢を検証しようとするユーザは、スイング動作におけるアドレスの段階となるように、動画の再生位置を合わせることになる。

特開２０１６−５４９７２号公報

しかしながら、従来のシステムでは、運動動作の特定の段階（例えば、上述したようなゴルフスイングのアドレスの段階等）に動画の再生位置を手動で合わせる必要がある。例えば、多量の動画を再生してそれぞれの運動動作を検証しようとするユーザにとって、こうした再生位置の調整作業は負担となる。したがって、所定の動作が撮影されている動画における当該動作の特定の段階の位置を自動的に判定するような仕組みの実現が望まれる。

本発明の実施形態は、所定の動作を行う人物が撮影されている動画における当該動作の特定の段階の位置の判定を支援することを目的の一つとする。本発明の実施形態の他の目的は、本明細書全体を参照することにより明らかとなる。

本発明の一実施形態に係るプログラムは、動画を解析するためのプログラムであって、コンピュータ上での実行に応じて、前記コンピュータに、人物が静止する静止段階を少なくとも有する所定の動作を行う人物が撮影されている対象の動画を構成する複数のフレームの各々について、隣接するフレームとの間の動きに関する動き情報を生成する処理と、生成した前記複数のフレームの各々の動き情報に少なくとも基づいて、前記複数のフレームに含まれる前記所定の動作の前記静止段階に対応するフレームを判定する処理と、を実行させる。

本発明の一実施形態に係る装置は、動画を解析するための装置であって、人物が静止する静止段階を少なくとも有する所定の動作を行う人物が撮影されている対象の動画を構成する複数のフレームの各々について、隣接するフレームとの間の動きに関する動き情報を生成するように構成された動き情報生成部と、生成した前記複数のフレームの各々の動き情報に少なくとも基づいて、前記複数のフレームに含まれる前記所定の動作の前記静止段階に対応するフレームを判定するように構成されたフレーム解析部と、を備える。

本発明の一実施形態に係る方法は、動画を解析するための方法であって、人物が静止する静止段階を少なくとも有する所定の動作を行う人物が撮影されている対象の動画を構成する複数のフレームの各々について、隣接するフレームとの間の動きに関する動き情報を生成する工程と、生成した前記複数のフレームの各々の動き情報に少なくとも基づいて、前記複数のフレームに含まれる前記所定の動作の前記静止段階に対応するフレームを判定する工程と、を備える。

本発明の様々な実施形態は、所定の動作を行う人物が撮影されている動画における当該動作の特定の段階の位置の判定を支援する。

本発明の一実施形態に係る動画解析装置１０の構成を概略的に示す構成図。 個別の動画を解析する際に動画解析装置１０が実行する処理を例示するフロー図。 注目フレームと補助フレームとの関係を説明するための図。 動画を構成する複数のフレームのフレーム番号とセットポジションスコアとの対応関係を示すグラフを例示する図。 図４に例示したグラフにおける折れ線Ｌの形状に基づいてセットポジションの期間が特定される様子を説明するための図。 動画再生画面５０を例示する図。 セットポジションの期間のフレームにおいて投手が打者のバットに隠れていない場合を例示する図。 セットポジションの期間のフレームにおいて投手が打者のバットに隠れている場合を例示する図。

以下、図面を参照しながら、本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る動画解析装置１０の構成を概略的に示す構成図である。装置１０は、一般的なコンピュータとして構成されており、図１に示すように、コンピュータプロセッサ１１と、メインメモリ１２と、入出力Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、ストレージ（記憶装置）１５とを備え、これらの各構成要素が図示しないバス等を介して電気的に接続されている。

コンピュータプロセッサ１１は、ＣＰＵ又はＧＰＵ等として構成され、ストレージ１５等に記憶されている様々なプログラムをメインメモリ１２に読み込んで、当該プログラムに含まれる各種の命令を実行する。メインメモリ１２は、例えば、ＤＲＡＭ等によって構成される。

入出力Ｉ／Ｆ１３は、ユーザ等との間で情報をやり取りするための各種の入出力装置を含む。入出力Ｉ／Ｆ１３は、例えば、キーボード、ポインティングデバイス（例えば、マウス、タッチパネル等）等の情報入力装置、マイクロフォン等の音声入力装置、カメラ等の画像入力装置を含む。また、入出力Ｉ／Ｆ１３は、ディスプレイ等の画像出力装置（表示装置）、スピーカー等の音声出力装置を含む。

通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、及びこれらの組み合わせとして実装され、有線又は無線の通信を実現できるように構成されている。

ストレージ１５は、例えば、磁気ディスク、及びフラッシュメモリ等によって構成される。ストレージ１５は、オペレーティングシステムを含む様々なプログラム、及び各種データ等を記憶する。本実施形態において、ストレージ１５は、図１に示すように、一般的なコンピュータとしての装置１０を動画解析装置として機能させるための動画解析用プログラム１５１を記憶する。

このようなハードウェア構成を有する動画解析装置１０は、ストレージ１５等に記憶されているプログラムに含まれる命令をコンピュータプロセッサ１１が実行することによって、図１に示すように、動き情報生成部１１１、フレーム解析部１１２、及び動画再生制御部１１３として機能するように構成されている。

動き情報生成部１１１は、解析の対象の動画を構成する複数のフレームの各々の動き情報の生成に関する様々な処理を実行する。動き情報は、隣接するフレームとの間の動きに関する情報であり、例えば、これらに限定されないが、オプティカルフロー、及び、動きベクトル等が含まれる。例えば、オプティカルフローは、フレーム（静止画像）中の画素の移動量をベクトルで表したものである。例えば、動き情報生成部１１１は、Ｎ番目のフレームとＮ＋１番目のフレームとの間の画像（画素）情報の比較（差分データ）に少なくとも基づいて、Ｎ番目（又は、Ｎ＋１番目）のフレームの動き情報を生成するように構成される。

本実施形態において、解析の対象となる動画は、人物が静止する静止段階を有する所定の動作を行う人物が撮影されている動画である。こうした所定の動作は、典型的には、静止段階の前後において人物が運動する運動段階を有しており、例えば、様々なスポーツにおける動作が含まれる。所定の動作は、例えば、野球における投手の投球動作及び打者の打球動作、ゴルフにおけるスイング動作、並びに、テニス及び卓球等におけるサーブ動作等が含まれる。

フレーム解析部１１２は、動画を構成するフレームの解析に関する様々な処理を実行する。本実施形態において、フレーム解析部１１２は、動き情報生成部１１１によって生成された複数のフレームの各々の動き情報に少なくとも基づいて、複数のフレームに含まれる所定の動作の静止段階に対応するフレームを判定するように構成されている。

動画再生制御部１１３は、対象の動画の再生の制御に関する様々な処理を実行する。例えば、動画再生制御部１１３は、ユーザによる指示に応答して、動画の再生、停止、一時停止、及び再生位置の変更（調整）等を行うように構成される。

このように、本実施形態における動画解析装置１０は、所定の動作を行う人物が撮影されている動画を構成するフレームの動き情報を生成し、生成した動き情報に基づいて、所定の動作の静止段階に対応するフレームを判定することができる。つまり、動画解析装置１０は、所定の動作を行う人物が撮影されている動画における当該動作の特定の段階の位置の自動的な判定を支援する。

本実施形態において、フレーム解析部１１２は、複数のフレームの各々の動き情報に少なくとも基づいて、これらの複数のフレームの各々について、静止段階に対応するフレームである可能性に関する所定のスコア（例えば、確率）を算出し、算出した所定のスコアに少なくとも基づいて、静止段階に対応するフレームを判定するように構成され得る。こうした構成は、上記所定のスコアを用いた静止段階に対応するフレームの判定を可能とする。

また、フレーム解析部１１２は、複数のフレームに含まれる注目フレーム及び１又は複数の補助フレームの各々の動き情報に少なくとも基づいて、当該注目フレームの上記所定のスコアを算出するように構成され得る。補助フレームは、動画を構成する複数のフレームにおける注目フレームの位置に少なくとも基づいて特定され、例えば、注目フレームの位置から時間的に前方向及び／又は後方向に所定の間隔を空けた（所定数のフレームを飛ばした）位置のフレームとして特定される。こうした構成は、注目フレームの動き情報のみに基づいて当該注目フレームの所定のスコアを算出する場合と比較して、当該スコアの算出精度を向上させつつ処理負荷の抑制を図ることができる。

また、フレーム解析部１１２は、注目フレーム及び補助フレームの各々の動き情報の入力に応じて当該注目フレームの所定のスコアを出力するように構成された所定の学習済みモデルを用いて、当該注目フレームの所定のスコアを算出するように構成され得る。所定の学習済みモデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）として構成され、多量の訓練データを用いた機械学習を介して生成されてストレージ１５等に格納される。こうした構成は、学習済みモデルを用いた所定のスコアの算出（取得）を可能とする。

また、フレーム解析部１１２は、静止段階に対応するフレームの判定結果に少なくとも基づくフレームにおいて所定のオブジェクトが他のオブジェクトに隠れていることを検出するように構成され得る。例えば、フレーム解析部１１２は、静止段階に対応する複数のフレーム（又は、静止段階の後の運動段階に対応する複数のフレーム）の一部又は全部において、第１のオブジェクト（例えば、検証対象である人物）及び第２のオブジェクト（例えば、検証対象でない人物）を検出し、第１のオブジェクトの検出領域と第２のオブジェクトの検出領域とが重なる場合に、第１のオブジェクトが第２のオブジェクトに隠れていると判定するように構成される。こうした構成は、例えば、所定の動作の静止段階の期間（又は、その後の運動段階の期間）等において所定のオブジェクトが隠れてしまっており、動作の検証に適していない動画等の選別を可能とする。

また、フレーム解析部１１２は、静止段階に対応するフレームの判定結果に少なくとも基づいて基準フレームを設定するように構成され、動画再生制御部１１３は、対象の動画の再生位置を（ユーザによる指示に応じて、又は、ユーザによる指示なしで自動的に）基準フレームの位置に合わせるように構成され得る。例えば、フレーム解析部１１２は、静止段階に対応する複数のフレームの先頭付近のフレーム（静止段階の期間の始点に対応するフレーム）、或いは、静止段階に対応する複数のフレームの最後付近のフレーム（静止段階の期間の終点（その後の運動段階の期間の始点）に対応するフレーム）を基準フレームとして設定するように構成される。こうした構成は、静止段階に対応するフレームの判定結果に基づく基準フレームの位置に動画の再生位置を自動的に合わせることを可能とする。

また、動画再生制御部１１３は、２つの対象の動画を同時に再生し、所定の指示に応じて、これらの２つの動画の各々の再生位置を、各動画の基準フレームの位置に合わせるように構成され得る。例えば、動画再生制御部１１３は、第１の対象の動画を再生するための第１の再生領域と第２の対象の動画を再生するための第２の再生領域とを有する所定の画面を介して第１及び第２の対象の動画を同時に再生し、これらの第１及び第２の対象の動画の各々の再生位置を、第１及び第２の対象の動画の各々の基準フレームの位置に合わせるように構成される。こうした構成は、２つの動画の再生位置を、それぞれの動画の基準フレームの位置に同時に合わせることを可能とする。

次に、このような機能を有する本実施形態の動画解析装置１０の具体例について説明する。この具体例における装置１０は、野球の投球動作を行う人物（投手）が撮影されている動画を解析の対象とするように構成されている。こうした動画は、例えば、動画解析装置１０のストレージ１５、又は、クラウドストレージ等の他のシステム／サービスにおいて格納される。

図２は、個別の動画を解析する際に動画解析装置１０が実行する処理を例示するフロー図である。これらの処理は、例えば、多量の動画を対象に繰り返し実行される（バッチ処理）。装置１０は、まず、図示するように、解析の対象の動画を構成する複数のフレームの抽出（フレームの切り出し）を行う（ステップＳ１００）。

続いて、装置１０は、抽出した各フレームのオプティカルフローを取得する（ステップＳ１１０）。オプティカルフローは、例えば、ブロックマッチング法又は勾配法等の手法を用いて算出（抽出）される。この例において、オプティカルフローは、オープンソースのコンピュータビジョン向けライブラリである「ＯｐｅｎＣＶ」によって提供される関数を用いて取得される。

こうして各フレームのオプティカルフローが取得されると、次に、装置１０は、取得したオプティカルフローに基づいて各フレームのセットポジションスコアを取得する（ステップＳ１２０）。セットポジションスコアは、各フレームが、投手の投球動作におけるセットポジションに対応するフレームである確率を示すスコアである。セットポジションは、ランナーがいる場合に投げる直前に投手がとらなければいけない姿勢であり、当該セットポジションの期間において、投手は、両手を体の前で合わせて、約１秒間、首から下の動作を完全に静止させる。つまり、セットポジションは、投手の投球動作における静止段階であると言える。

セットポジションスコアは、具体的には、当該スコアを出力するように構成された畳み込みニューラルネットワークを用いて取得される。当該畳み込みニューラルネットワークは、注目フレーム及び補助フレームの各々のオプティカルフローが入力されると、当該注目フレームのセットポジションスコアを出力するように構成されている。図３は、注目フレームと補助フレームとの関係を説明するための図である。この例では、図示するように、注目フレーム（Ｎ番目のフレーム）から時間的に後方向に１フレームずつの間隔を空けた５つのフレーム（Ｎ＋２、Ｎ＋４、Ｎ＋６、Ｎ＋８、Ｎ＋１０番目のフレーム）が補助フレームとなる。ステップＳ１２０では、こうした畳み込みニューラルネットワークを用いて、対象の動画を構成する複数のフレームの各々のセットポジションスコアが取得される。

図２のフロー図に戻り、こうして各フレームのセットポジションスコアが取得されると、続いて、装置１０は、各フレームの当該スコアに基づいてセットポジションの期間を判定する（ステップＳ１３０）。具体的には、フレームの位置（フレーム番号）に応じた当該スコアの変化に基づいてセットポジションの期間の始点及び終点が判定される。

図４は、動画を構成する複数のフレームのフレーム番号とセットポジションスコアとの対応関係を示すグラフを例示する。当該グラフにおいて、横軸はフレーム番号に対応し、縦軸はセットポジションスコアに対応している。図示するように、当該グラフにおける折れ線Ｌは、上方向に突出する台形を形成し、具体的には、フレーム番号が０から約９０までの範囲においてセットポジションスコアは０となっており、フレーム番号が約９０から約１９０までの範囲において当該スコアは１．０となっており、フレーム番号が約１９０以降の範囲において当該スコアは０となっている。

図５は、図４に例示したグラフにおける折れ線Ｌの形状（つまり、セットポジションスコアの変化）に基づいてセットポジションの期間が判定される様子を説明するための図である。この例では、図５に示すように、セットポジションスコアが０から１．０へと立ち上がる前の第１のエッジＥＤ１から、同じくセットポジションスコアが１．０から０へと立ち下がった後の第２のエッジＥＤ２までの期間が、セットポジションの期間（ｂ）として判定される。なお、セットポジションの期間（ｂ）よりも前の期間（ａ）は、投手がセットポジションに至るまでの準備動作の期間に対応しており、セットポジションの期間（ｂ）よりも後の期間（ｃ）は、セットポジションの後の投球動作の期間に対応している。

続いて、装置１０は、判定されたセットポジションの期間の始点及び終点をそれぞれ基準フレームとして設定する（ステップＳ１４０）。例えば、図５における第１のエッジＥＤ１に対応するフレームが第１の基準フレームとして設定され、同じく第２のエッジＥＤ２に対応するフレームが第２の基準フレームとして設定される。設定された基準フレームに関する情報は、例えば、ストレージ１５等において、対象の動画と関連付けて記憶される。

図６は、この例において、解析後の動画を再生するための動画再生画面５０を例示する。当該画面５０は、動画解析装置１０において表示され、図示するように、左右方向に並べて配置された第１及び第２の再生領域５２Ａ、５２Ｂと、第１の再生領域５２Ａの下側に位置する第１の操作領域５４Ａと、第２の再生領域５２Ｂの下側に位置する第２の操作領域５４Ｂと、画面下端部に配置された第３の操作領域５４Ｃとを有する。第１及び第２の再生領域５２Ａ、５２Ｂは、それぞれ別々の動画を同時に再生できるように構成されている。

第１〜第３の操作領域５４Ａ、５４Ｂ、５４Ｃの各々は、ストップウォッチの図柄が表示された位置合わせオブジェクト５４１と、動画の再生及び停止を指示するための再生／停止オブジェクト５４２と、再生中の動画の一時停止を指示するための一時停止オブジェクト５４３とを有する。第１の操作領域５４Ａは、第１の再生領域５２Ａにおいて再生される動画に対する操作を行うための領域であり、第２の操作領域５４Ｂは、第２の再生領域５２Ｂにおいて再生される動画に対する操作を行うための領域である。また、第３の操作領域５４Ｃは、第１及び第２の再生領域５２Ａ、５２Ｂの各々において再生される動画に対する操作を同時に行うための領域である。

ユーザが、位置合わせオブジェクト５４１を選択すると、対応する再生領域５２（第１の再生領域５２Ａ及び／又は第２の再生領域５２Ｂ）における動画の再生位置が、基準フレームの位置に合わせられる。具体的には、この例では、当該オブジェクト５４１が１回選択されると、動画の再生位置が、第１の基準フレームの位置（セットポジションの期間の始点の位置）に合わせられ、この状態で、当該オブジェクト５４１が再度選択されると、動画の再生位置が、第２の基準フレームの位置（セットポジションの期間の終点（つまり、投球動作の始点）の位置）に合わせられる。ユーザは、位置合わせオブジェクト５４１を選択する操作によって、セットポジションの開始時点又は投球動作の開始時点に動画の再生位置を容易に合わせることができる。また、ユーザは、第３の操作領域５４Ｃの位置合わせオブジェクト５４１を選択することにより、第１及び第２の再生領域５２Ａ、５２Ｂの各々において再生される動画の再生位置の調整を同時に行うこともでき、これらの動画の比較が容易になる。なお、本実施形態の他の例では、セットポジションの期間の終点（上述した例における第２の基準フレーム）のみが基準フレームとして設定され、位置合わせオブジェクト５４１が選択されると、対応する再生領域５２における動画の再生位置が、当該基準フレームの位置であるセットポジション期間の終点（投球動作の始点）に合わせられる。

上述した例において、セットポジションの期間と判定された複数のフレームの一部又は全部を対象に、投手（所定のオブジェクト）が打者のバット（他のオブジェクト）に隠れている（重複している）ことを検出するようにしても良い。こうした重複の検出は、対象のフレームにおいて、投手及びバットの各々の領域を検出することによって実現される。

例えば、図７の上側に例示するように、審判ＵＭの奥に位置する打者ＢＰが持っているバットＢＴが、投手ＰＰと重なっていないフレームにおいて、バットＢＴ及び投手ＰＰの領域をそれぞれ検出すると、図７の下側に例示するように、投手ＰＰを囲う矩形の検出領域Ａ１、及び、バットＢＴを囲う矩形の検出領域Ａ２は重ならない。このように、検出領域Ａ１、Ａ２が重ならない場合、投手が打者のバットに隠れていないと判定される。

一方、図８の上側に例示するように、打者ＢＰが持っているバットＢＴが、投手ＰＰと重なっているフレームにおいて、バットＢＴ及び投手ＰＰの領域をそれぞれ検出すると、図８の下側に例示するように、投手ＰＰを囲う検出領域Ａ１、及び、バットＢＴを囲う検出領域Ａ２は重なる（検出領域Ａ１、Ａ２が１つの領域として認識され、２つの別々の領域として認識されない。）。このように、検出領域Ａ１、Ａ２が重なる場合、投手が打者のバットに隠れていると判定される。なお、本実施形態の他の例では、画像中のピクセル毎にクラス（バット又は投手）を検出するセグメンテーションの手法を用いて、投手が打者のバットに隠れていることを判定するように構成され、具体的には、バットのセグメントと投手のセグメントとが重なる場合に、投手が打者のバットに隠れていると判定される。こうしたセグメンテーションは、例えば、「Ｍａｓｋ Ｒ−ＣＮＮ」と呼ばれる手法を用いて実現される。投手が打者のバットに隠れていると判定された動画は、例えば、投手の投球動作の検証に適してない検証不適切動画として管理され、検証（例えば、動画再生画面５０を介した再生、及び、セットポジションを代表するフレーム（静止画像）の抽出処理等）から除外される。

以上説明した本実施形態の動画解析装置１０は、所定の動作（例えば、投手の投球動作）を行う人物が撮影されている動画を構成するフレームの動き情報（例えば、オプティカルフロー）を生成し、生成した動き情報に基づいて、所定の動作の静止段階（例えば、セットポジション）に対応するフレームを判定することができる。つまり、動画解析装置１０は、所定の動作を行う人物が撮影されている動画における当該動作の特定の段階の位置の自動的な判定を支援する。

本発明の他の実施形態において、動画再生制御部１１３の機能の一部又は全部は、動画解析装置１０以外の装置において実装され得る。例えば、当該他の実施形態において、動画解析装置１０による動画の解析（例えば、基準フレームの設定、及び、検証不適合動画の判定等）が行われた動画の再生は、当該装置１０とインターネット等の通信ネットワークを介して通信可能に接続されたユーザ端末等において行われ得る。

本明細書で説明された処理及び手順は、明示的に説明されたもの以外にも、ソフトウェア、ハードウェアまたはこれらの任意の組み合わせによって実現される。例えば、本明細書で説明される処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク等の媒体に、当該処理及び手順に相当するロジックを実装することによって実現される。また、本明細書で説明された処理及び手順は、当該処理・手順に相当するコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。

本明細書中で説明された処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書において説明されたソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。

本明細書において、発明の構成要素が単数もしくは複数のいずれか一方として説明された場合、又は、単数もしくは複数のいずれとも限定せずに説明された場合であっても、文脈上別に解すべき場合を除き、当該構成要素は単数又は複数のいずれであってもよい。

１０ 動画解析装置
１１ コンピュータプロセッサ
１１１ 動き情報生成部
１１２ フレーム解析部
１１３ 動画再生制御部
１５ ストレージ（記憶装置）
１５１ 動画解析用プログラム
５０ 動画再生画面（所定の画面）
５２Ａ 第１の再生領域
５２Ｂ 第２の再生領域
ＰＰ 投手（所定のオブジェクト）
ＢＴ バット（他のオブジェクト）

Claims (11)

1. 動画を解析するためのプログラムであって、
   コンピュータ上での実行に応じて、前記コンピュータに、
   人物が静止する静止段階を少なくとも有する所定の動作を行う人物が撮影されている対象の動画を構成する複数のフレームの各々について、隣接するフレームとの間の動きに関する動き情報を生成する処理と、
   生成した前記複数のフレームの各々の動き情報に少なくとも基づいて、前記複数のフレームに含まれる前記所定の動作の前記静止段階に対応するフレームを判定する処理と、を実行させる、
   プログラム。
2. 前記動き情報を生成する処理は、前記複数のフレームの各々のオプティカルフローを動き情報として算出することを含む、
   請求項１のプログラム。
3. 前記静止段階に対応するフレームを判定する処理は、前記複数のフレームの各々の動き情報に少なくとも基づいて、前記複数のフレームの各々について、前記静止段階に対応するフレームである可能性に関する所定のスコアを算出し、算出した前記複数のフレームの各々の前記所定のスコアに少なくとも基づいて、前記静止段階に対応するフレームを判定することを含む、
   請求項１又は２のプログラム。
4. 前記静止段階に対応するフレームを判定する処理は、前記複数のフレームに含まれる注目フレームの動き情報、及び、前記複数のフレームにおける前記注目フレームの位置に少なくとも基づいて特定される１又は複数の補助フレームの動き情報に少なくとも基づいて、前記注目フレームの前記所定のスコアを算出することを含む、
   請求項３のプログラム。
5. 前記静止段階に対応するフレームを判定する処理は、前記複数のフレームにおける前記注目フレームの位置から前方向及び／又は後方向に所定の間隔を空けた位置のフレームを前記１又は複数の補助フレームとして特定することを含む、
   請求項４のプログラム。
6. 前記静止段階に対応するフレームを判定する処理は、前記注目フレーム及び前記１又は複数の補助フレームの各々の動き情報の入力に応じて前記注目フレームの前記所定のスコアを出力するように構成された所定の学習済みモデルを用いて前記注目フレームの前記所定のスコアを算出することを含む、
   請求項４又は５のプログラム。
7. 前記コンピュータに、さらに、前記静止段階に対応するフレームの判定結果に少なくとも基づくフレームにおいて所定のオブジェクトが他のオブジェクトに隠れていることを検出する処理を実行させる、
   請求項１ないし６何れかのプログラム。
8. 前記コンピュータに、さらに、前記静止段階に対応するフレームの判定結果に少なくとも基づいて基準フレームを設定する処理と、前記対象の動画を再生する処理と、を実行させ、
   前記対象の動画を再生する処理は、前記対象の動画の再生位置を前記基準フレームの位置に合わせることを含む、
   請求項１ないし７何れかのプログラム。
9. 前記対象の動画を再生する処理は、
   第１の対象の動画を再生するための第１の再生領域と第２の対象の動画を再生するための第２の再生領域とを有する所定の画面を介して前記第１及び第２の対象の動画を同時に再生すること、及び、
   所定の指示に応じて、前記第１及び第２の対象の動画の各々の再生位置を、前記第１及び第２の対象の動画の各々の前記基準フレームの位置に合わせることを含む、
   請求項８のプログラム。
10. 動画を解析するための装置であって、
    人物が静止する静止段階を少なくとも有する所定の動作を行う人物が撮影されている対象の動画を構成する複数のフレームの各々について、隣接するフレームとの間の動きに関する動き情報を生成するように構成された動き情報生成部と、
    生成した前記複数のフレームの各々の動き情報に少なくとも基づいて、前記複数のフレームに含まれる前記所定の動作の前記静止段階に対応するフレームを判定するように構成されたフレーム解析部と、を備える、
    装置。
11. 動画を解析するための方法であって、
    人物が静止する静止段階を少なくとも有する所定の動作を行う人物が撮影されている対象の動画を構成する複数のフレームの各々について、隣接するフレームとの間の動きに関する動き情報を生成する工程と、
    生成した前記複数のフレームの各々の動き情報に少なくとも基づいて、前記複数のフレームに含まれる前記所定の動作の前記静止段階に対応するフレームを判定する工程と、を備える、
    方法。

Images