JP2020042646A - 動作抽出装置、動作抽出方法、及びプログラム - Google Patents

Abstract

【課題】分析者にかかる負担を抑制しつつ、映像から特定の動作を自動的に抽出し得る、動作抽出装置、動作抽出方法、及びプログラムを提供する。【解決手段】動作抽出装置１０は、処理対象となる映像データを取得する、データ取得部１１と、取得された映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する、軌跡特定部１２と、フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成する、ヒストグラム生成部１３と、フレーム毎に、特定された軌跡と複数の領域それぞれにおけるヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、動作抽出部１４とを備えている。【選択図】図１

Description

本発明は、映像データから、特定の動作の映像を抽出するための、動作抽出装置、及び動作抽出方法に関し、更には、これらを実現するためのプログラムに関する。

従来から、スポーツの分野では、選手の動作を映像から分析することが行われている。このような映像による動作分析は、技術の向上、ケガの防止等の観点から非常に重要である。また、近年においては、スマートフォンの普及により、このような動作分析は、より手軽に行われるようになっている。

ところで、通常、撮影された映像には、分析の必要がない動作が映っていることが多く、映像による動作分析を行う場合は、まず、映像から分析対象となる動作が映っている部分を抽出する必要がある。但し、通常、このような抽出作業は、フレームをコマ送りしながら人手によって行われているため、分析対象となる映像の数が増えるほど、分析者の負担が大きくなってしまう。

このため、特許文献１は、映像から特定の動作を自動的に抽出する装置を開示している。具体的には、特許文献１に開示された装置は、まず、フレーム間の差分画像を生成し、その差分画像から人物の動作の特徴を示す特徴量を算出し、そして、特徴量を時系列に沿って並べて次元圧縮し、それによってリファレンス時系列データを生成する。続いて、特許文献１に開示された装置は、生成したリファレンス時系列データと、予め記憶装置に記憶されているリファレンス時系列データとの相関係数を算出し、前者において、相関係数が所定の閾値以上となる区間を、特定の動作の区間として抽出する。

このように、特許文献１に開示された装置によれば、映像から特定の動作を自動的に抽出することができる。また、特許文献１に開示された装置は、コンピュータによって実現されるため、この装置を実現するプログラムをスマートフォン上で実行すれば、スマートフォンによっても、自動的に、映像から特定の動作を抽出することができるようになると考えられる。

特開２００８−２８７５９４号公報

しかしながら、特許文献１に開示された装置によって精度良く動作を抽出するためには、基準となるリファレンス時系列データを、動作を行う人毎に予め作成しておく必要がある。また、基準となるリファレンス時系列データの作成においては、人手による編集が必要となる。つまり、特許文献１に開示された装置では、分析者の負担の軽減は困難である。

本発明の目的の一例は、上記問題を解消し、分析者にかかる負担を抑制しつつ、映像から特定の動作を自動的に抽出し得る、動作抽出装置、動作抽出方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における動作抽出装置は、
処理対象となる映像データを取得する、データ取得部と、
取得された前記映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する、軌跡特定部と、
前記フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した前記複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成する、ヒストグラム生成部と、
前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、前記特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、動作抽出部と、
を備えている、ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における動作抽出方法は、
（ａ）処理対象となる映像データを取得する、ステップと、
（ｂ）取得された前記映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する、ステップと、
（ｃ）前記フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した前記複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成するステップと、
（ｄ）前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、前記特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、ステップと、
を有する、ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）処理対象となる映像データを取得する、ステップと、
（ｂ）取得された前記映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する、ステップと、
（ｃ）前記フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した前記複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成するステップと、
（ｄ）前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、前記特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、ステップと、
を実行させることを特徴とする。

以上のように、本発明によれば、分析者にかかる負担を抑制しつつ、映像から特定の動作を自動的に抽出することができる。

図１は、本発明の実施の形態における動作抽出装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における動作抽出装置の構成を具体的に示すブロック図である。 図３は、本発明の実施の形態においてスキップ処理部によって行われる処理を説明する図である。 図４は、本発明の実施の形態における軌跡特定部の機能を説明する図である。 図５は、本発明の実施の形態におけるヒストグラム生成部の機能を説明する図である。 図６は、本発明の実施の形態において用いられる状態遷移表の一例を示す図である。 図７は、本発明の実施の形態においてリリースポイント特定部によって作成される軌跡の強度の時系列変化の一例を示す図である。 図８は、本発明の実施の形態における動作抽出装置の動作を示すフロー図である。 図９は、本発明の実施の形態における動作抽出装置１０を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における、動作抽出装置、動作抽出方法、及びプログラムについて、図１〜図９を参照しながら説明する。

［装置構成］
最初に、本実施の形態における動作抽出装置の概略構成について説明する。図１は、本発明の実施の形態における動作抽出装置の概略構成を示すブロック図である。

図１に示す、本実施の形態における動作抽出装置１０は、映像データから特定の動作を行っている人の映像を抽出する装置である。図１に示すように、動作抽出装置１０は、データ取得部１１と、軌跡特定部１２と、ヒストグラム生成部１３と、動作抽出部１４とを備えている。

このうち、データ取得部１１は、処理対象となる映像データを取得する。軌跡特定部１２は、取得された映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する。ヒストグラム生成部１３は、フレーム毎に、そのフレームの複数の領域それぞれを取り出し、取り出した各領域について、画素の動きの方向を表すヒストグラムを生成する。

動作抽出部１４は、まず、フレーム毎に、特定の特徴点の軌跡と、複数の領域それぞれにおけるヒストグラムとに基づいて、そのフレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定する。次いで、動作抽出部１４は、特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する。

このように、動作抽出装置１０は、フレーム毎に、特徴点の軌跡、及び各領域のヒストグラムを用いることができるので、分析者に何ら負担をかけることなく、そのフレームに、特定の動作を行う人が映っているかどうかを精度良く判定することができる。動作抽出装置１０によれば、分析者にかかる負担を抑制しつつ、映像から特定の動作を自動的に抽出することができる。

続いて、図２〜図６を用いて、本実施の形態における動作抽出装置１０の構成及び機能についてより具体的に説明する。図２は、本発明の実施の形態における動作抽出装置の構成を具体的に示すブロック図である。

図２に示すように、本実施の形態では、動作抽出装置１０は、端末装置２０のオペレーティングシステム２１上で動作するプログラムによって構築されている。端末装置２０は、カメラ２２と、液晶ディスプレイ等の表示装置２３とを備えている。また、このカメラ
２２で撮影された映像の映像データが、動作抽出装置１０に出力される。端末装置２０の具体例としては、スマートフォン、タブレット型端末、ノートＰＣ（Personal Computer）等が挙げられる。

また、図２に示すように、本実施の形態では、動作抽出装置１０は、上述した、データ取得部１１、軌跡特定部１２、ヒストグラム生成部１３、及び動作抽出部１４に加えて、スキップ処理部１５と、リリースポイント特定部１６とを備えている。

データ取得部１１は、本実施の形態では、上述したカメラ２２から出力された映像データを取得する。また、本実施の形態では、抽出対象となる特定の動作は、特に限定されないが、以下では、特定の動作が、物体を投げる動作（より詳細には、ボールを投げる投球動作）である場合を例にとって説明する。この場合、データ取得部１１は、物体を投げる動作を行っている人の映像データを取得することになる。

スキップ処理部１５は、まず、フレーム毎に、各フレームと予め用意された背景画像との差分を求める。具体的には、背景画像としては、例えば、処理対象となっている現フレームの１つ前のフレームが挙げられる。よって、現在時刻（現フレーム）をｔ、求める差分をＧ（ｔ）、現フレームと１フレーム前のフレームとの差分をＢ（ｔ）とすると、スキップ処理部１５は、例えば、下記の数１を用いて、差分Ｇ（ｔ）を算出することができる。なお、下記の数１において、Ｗ１、Ｗ２、Ｗ３、・・・は、重みであり、Ｗ１＞Ｗ２＞Ｗ３・・・の関係にある。

［数１］
Ｇ（ｔ）＝Ｗ１＊Ｂ（ｔ）＋Ｗ２＊Ｇ（ｔ−１）＋Ｗ３＊Ｇ（ｔ−２）＋・・・

続いて、スキップ処理部１５は、求めた差分から得られる画像の垂直方向（ｙ軸方向）におけるエッジを特定し、特定したエッジの水平方向（ｘ軸方向）の座標を求める。更に、スキップ処理部１５は、各フレームにおける水平方向の座標の時系列変化に基づいて、特定の動作が行われていないフレームを特定し、そして、映像データから、特定したフレームを削除する。

ここで、図３を用いて、スキップ処理部１５による不要なフレームの削除について説明する。図３は、本発明の実施の形態においてスキップ処理部によって行われる処理を説明する図である。図３において、横軸はフレーム（時刻）を示し、左の縦軸はｘ軸方向の座標を示している。右の縦軸はフレーム削除（スキップ）の有無を示す２値のフラグを示している。Ｌは、各フレームで最大エッジ量となるｘ軸方向の座標を示している。

図３の例では、映像データは、人が投球動作を行う際の映像を含んでいる。この場合、投球が行われている間は、人は映像において左から右へと移動するため、エッジのｘ軸方向の座標の値は増加していく。しかし、エッジのｘ軸方向の座標の値は、投球の開始前は変化せず、投球の終了後は座標の値は減少する。

従って、投球の開始前のフレームと、動作の終了後のフレームとは、不必要なフレームであるため、スキップ処理部１５は、エッジのｘ軸方向の座標の値が増加している区間のフレームのみを残す。一方、スキップ処理部１５は、残りのフレームについては、動作が行われていないフレームとして、削除する。このようにして、スキップ処理部１５は、映像データを構成するフレームの中から、動作が映っていない不要なフレームを削除する。

スキップ処理部１５によってフレームが削除されると、軌跡特定部１２、ヒストグラム生成部１３、及び動作抽出部１４は、スキップ処理部１５によってフレームが削除された
映像データを対象にして、即ち、削除されなかったフレーム（以下「対象フレーム」と表記する。）を対象にして、処理を行う。

軌跡特定部１２は、本実施の形態では、まず、対象フレーム毎に、例えば、Ｈａｒｒｉｓのコーナー検出を利用して、特定の特徴点を抽出し、更に、抽出した特徴点について、フレーム間（時刻ｔと時刻ｔ＋１）のオプティカルフロー（Optical Flow）を算出する。

次いで、軌跡特定部１２は、図４に示すように、算出したオプティカルフローを時系列方向に連結して、特徴点の軌跡（trajectory）を特定する。図４は、本発明の実施の形態における軌跡特定部の機能を説明する図である。図４の例では、投球の開始から終了までの主なフレームが示されている。また、特定された特徴点の軌跡は、各フレームにおいて横線によって表現されている。

ヒストグラム生成部１３は、本実施の形態では、図５に示すように、対象フレーム毎に、そのフレームの複数の領域それぞれを、その水平方向において連続して取り出し、取り出した領域毎に、画素の動きの方向を示すヒストグラムを生成する。図５は、本発明の実施の形態におけるヒストグラム生成部の機能を説明する図である。

具体的には、図５の上段及び中段に示すように、ヒストグラム生成部１３は、まず、対象フレーム毎に、水平方向においてオーバーラップするように複数の領域を設定し、設定した各領域を順に取り出す。図５において、上段は、１つの対象フレームを示している。中段は、複数の領域が設定された状態を示している。図５の例では、１つの対象フレームに対して９つの領域が設定されている。また、説明のため、各領域の位置は垂直方向においてずらされている。

続いて、図５の下段に示すように、ヒストグラム生成部１３は、領域毎に、画素の動きの方向を表すヒストグラムを生成する。具体的には、ヒストグラム生成部１３は、領域毎に、ヒストグラムで構成されるＨＯＦ（Histogram of Optical Flow）特徴量を求め、更に、ヒストグラムの各ブロックを正規化する。図５の下段は、この正規化された各ブロック（正規化ブロック）を示している。また、矢印で示すように、各正規化ブロックは、画素の動き（軌跡：trajectory）の各方向（上、右上、右、右下、下、左下、左、左上）に対応している。なお、図５の例では、画素の方向は矢印で示されている。また、図５の下段に示すヒストグラムは、５番目の領域について生成されたヒストグラムである。

動作抽出部１４は、本実施の形態では、対象フレーム毎に、軌跡特定部１２によって特定された軌跡と、ヒストグラム生成部１３によって生成されたヒストグラムとを、例えば、図６に示す状態遷移表に照合する。そして、動作抽出部１４は、照合の結果に基づいて、各フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、含んでいる場合は、このフレームを抽出する。

図６は、本発明の実施の形態において用いられる状態遷移表の一例を示す図である。図６の例では、状態遷移表は、各状態（初期状態、投球中、投球終了）と各イベントとの組合せ毎に、対応する状態遷移を規定している。また、図６の例では、右投げの人が投球動作を行う場合に利用される状態遷移表が示されている。各「イベント」は、軌跡及びヒストグラムのいずれか又は両方の条件で規定されている。

例えば、時刻ｔのフレームにおいて「一定以上の軌跡がない」が、時刻ｔ＋１のフレームで「一定以上の長さの右方向の軌跡がある」とする。この場合は、図６の「初期状態」の欄から分かるように、初期状態から投球中へと状態が遷移する。従って、このとき、動作抽出部１４は、時刻ｔ＋１のフレームについて、投球動作を行っている人の映像を含ん
でいると判定し、このフレームを抽出する。図６の例では、動作抽出部１４は、状態が「投球中」と判断できるフレームを抽出する。

リリースポイント特定部１６は、まず、動作抽出部１４によって抽出された各フレームについて、各領域の中から、特定の方向に動く画素のヒストグラムの値に基づいて、投球動作を行っている人が存在しているとみなす領域を選出する。

より詳細には、リリースポイント特定部１６は、動作が投球動作であるので、抽出されたフレームそれぞれにおいて、右上、下、及び右下それぞれに対応する正規化ブロック（図５の下段参照）の値が一定以上となっている領域を特定する。図５の例であれば、リリースポイント特定部１６は、４番目と５番目の領域を特定する。

続いて、リリースポイント特定部１６は、抽出されたフレーム毎に、選出した領域における軌跡の強度を求め、求めた軌跡の強度の時系列変化に基づいて、人が物体（ボール）をリリースした瞬間のフレームを特定する。

より、詳細には、リリースポイント特定部１６は、抽出されたフレーム毎に、軌跡特定部１２によって特定された軌跡から、４番目の領域と５番目の領域とのそれぞれにおける、右方向の軌跡の強度を求める。そして、図７に示すように、リリースポイント特定部１６は、フレーム毎に求めた右方向の軌跡の強度をつなぎ合わせて、軌跡の強度の時系列変化を求める。図７は、本発明の実施の形態においてリリースポイント特定部によって作成される軌跡の強度の時系列変化の一例を示す図である。

続いて、リリースポイント特定部１６は、図７に示すように、中間部分のフレーム、例えば、抽出されたフレームのうちの前半（１／３）から後半（２／３）までのフレームのみを取り出す。その後、リリースポイント特定部１６は、取り出したフレームの中から、軌跡の強度がもっと高くなるフレームを特定し、特定したフレームを、人がボールをリリースした瞬間のフレームとして特定する。

［装置動作］
次に、本発明の実施の形態における動作抽出装置１０の動作について図８を用いて説明する。図８は、本発明の実施の形態における動作抽出装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図７を参酌する。また、本実施の形態では、動作抽出装置を動作させることによって、動作抽出方法が実施される。よって、本実施の形態における動作抽出方法の説明は、以下の動作抽出装置１０の動作説明に代える。

図８に示すように、最初に、データ取得部１１は、端末装置２０のカメラ２２から出力された映像データを取得する（ステップＡ１）。

次に、スキップ処理部１５は、ステップＡ１で取得した映像データの中から、投球動作が行われていないフレームを特定し、これを削除する（ステップＡ２）。

具体的には、ステップＡ２では、スキップ処理部１５は、フレーム毎に、各フレームと予め用意された背景画像との差分を求め、求めた差分から得られる画像の垂直方向（ｙ軸方向）におけるエッジを特定し、特定したエッジの水平方向（ｘ軸方向）の座標を求める。更に、スキップ処理部１５は、各フレームにおける水平方向の座標の時系列変化に基づいて、特定の動作が行われていないフレームを特定し、そして、映像データから、特定したフレームを削除する。

次に、軌跡特定部１２は、ステップＡ２で削除されなかったフレーム（対象フレーム）
毎に、特定の特徴点を抽出し、抽出した特徴点の軌跡を特定する（ステップＡ３）。

具体的には、ステップＡ３では、軌跡特定部１２は、対象フレーム毎に、例えば、Ｈａｒｒｉｓのコーナー検出を利用して、特定の特徴点を抽出し、抽出した特徴点について、フレーム間のオプティカルフロー（Optical Flow）を算出する。そして、軌跡特定部１２は、図４に示すように、算出したオプティカルフローを時系列方向に連結して、特徴点の軌跡を特定する。

次に、ヒストグラム生成部１３は、対象フレーム毎に、そのフレームの複数の領域それぞれを、その水平方向において連続して取り出し、取り出した領域毎に、画素の動きの方向を示すヒストグラムを生成する（ステップＡ４）。

具体的には、ステップＡ４では、ヒストグラム生成部１３は、図５上段及び中段に示すように、まず、対象フレーム毎に、水平方向においてオーバーラップするように複数の領域を設定し、設定した各領域を順に取り出す。続いて、図５の下段に示すように、ヒストグラム生成部１３は、領域毎に、画素の動きの方向を表すヒストグラムを生成する。

次に、動作抽出部１４は、対象フレーム毎に、ステップＡ３で特定された軌跡と、ステップＡ４で生成されたヒストグラムとを、図６に示す状態遷移表に照合し、各フレームが、投球動作を含むかどうかを判定し、投球動作を含むフレームを抽出する（ステップＡ５）。

次に、リリースポイント特定部１６は、ステップＡ５で抽出されたフレームの中から、人が物体（ボール）をリリースした瞬間のフレームを特定する（ステップＡ６）。

具体的には、ステップＡ５では、リリースポイント特定部１６は、抽出された各フレームにおいて、特定の方向に動く画素のヒストグラムの値に基づいて、投球動作を行っている人が存在しているとみなす領域を選出する。

続いて、リリースポイント特定部１６は、抽出されたフレーム毎に、選出した領域における軌跡の強度を求め、求めた軌跡の強度の時系列変化に基づいて、人が物体（ボール）をリリースした瞬間のフレームを特定する。その後、リリースポイント特定部１６は、特定したフレームを、端末装置２０で動作するアプリケーションプログラム等に出力する。

［実施の形態における効果］
このように、本実施の形態では、動作抽出装置１０は、自動的に、投球動作が行われているフレームを特定し、更に、特定したフレームの中から、ボールがリリースされたフレームを更に特定する。本実施の形態によれば、分析者は、何ら負担となる行為を行うことなく、人の動作、特に物体を投げる動作を詳細に分析することができる。

また、本実施の形態では、特定の選手が行った投球動作を複数回撮影すれば、投球動作毎に、リリースポイントを比較することができる。また、各投球動作においてリリースポイントのフレームを特定できるので、このフレームを基準にして、各投球動作の映像データを切り出せば、投球動作間での比較が容易となり、結果、選手の好調及び不調の要因の分析が可能となる。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図８に示すステップＡ１〜Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における動作抽出装置１０と動作抽出方法とを実
現することができる。この場合、コンピュータのプロセッサは、データ取得部１１、軌跡特定部１２、ヒストグラム生成部１３、動作抽出部１４、スキップ処理部１５、及びリリースポイント特定部１６として機能し、処理を行なう。また、コンピュータとしては、具体的には、上述した端末装置２０、例えば、スマートフォン、タブレット型端末、ノートＰＣ等が挙げられる。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１、軌跡特定部１２、ヒストグラム生成部１３、動作抽出部１４、スキップ処理部１５、及びリリースポイント特定部１６のいずれかとして機能しても良い。

ここで、本実施の形態におけるプログラムを実行することによって、動作抽出装置１０を実現するコンピュータの一例について図９を用いて説明する。図９は、本発明の実施の形態における動作抽出装置１０を実現するコンピュータの一例を示すブロック図である。

図９に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における動作抽出装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、動作抽出装置１０は、一部がプログラムで実現され、残りの部分がハードウェ
アで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１２）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
処理対象となる映像データを取得する、データ取得部と、
取得された前記映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する、軌跡特定部と、
前記フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した前記複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成する、ヒストグラム生成部と、
前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、前記特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、動作抽出部と、
を備えている、ことを特徴とする動作抽出装置。

（付記２）
付記１に記載の動作抽出装置であって、
前記ヒストグラム生成部が、前記フレーム毎に、前記複数の領域それぞれを、当該フレームの水平方向において連続して取り出し、
前記動作抽出部が、前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、前記特定の動作を行っている人の映像を含んでいるかどうかを判定する、
ことを特徴とする動作抽出装置。

（付記３）
付記２に記載の動作抽出装置であって、
前記特定の動作が、物体を投げる動作であり、
前記動作抽出部が、前記フレーム毎に、当該フレームが、物体を投げる動作を行っている人の映像を含んでいるかどうかを判定し、
当該動作抽出装置が、
抽出されたフレームそれぞれにおける前記複数の領域の中から、特定の方向に動く画素の前記ヒストグラムの値に基づいて、前記物体を投げる動作を行っている人が存在しているとみなす領域を選出し、
前記フレーム毎に、選出した領域における前記軌跡の強度を求め、
求めた前記軌跡の強度の時系列変化に基づいて、前記人が前記物体をリリースした瞬間のフレームを特定する、リリースポイント特定部を更に備えている、
ことを特徴とする動作抽出装置。

（付記４）
付記１〜３のいずれかに記載の動作抽出装置であって、
前記フレーム毎に、予め用意された背景画像との差分を求め、求めた差分から得られる画像の垂直方向におけるエッジを特定し、特定したエッジの水平方向の座標を求め、更に、各フレームにおける前記水平方向の座標の時系列変化に基づいて、前記特定の動作が行われていないフレームを特定し、そして、前記映像データから、特定したフレームを削除する、スキップ処理部を更に備え、
前記軌跡特定部は、前記スキップ処理部によってフレームが削除された前記映像データを対象にして、前記特定の特徴点の軌跡を特定し、
前記ヒストグラム生成部は、前記スキップ処理部によってフレームが削除された前記映像データを対象にして、前記ヒストグラムを生成し、
前記動作抽出部は、前記スキップ処理部によってフレームが削除された前記映像データを対象にして、特定の動作を行っている人の映像を含んでいるかどうかを判定する、
ことを特徴とする動作抽出装置。

（付記５）
（ａ）処理対象となる映像データを取得する、ステップと、
（ｂ）取得された前記映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する、ステップと、
（ｃ）前記フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した前記複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成するステップと、
（ｄ）前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、前記特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、ステップと、
を有する、ことを特徴とする動作抽出方法。

（付記６）
付記５に記載の動作抽出方法であって、
前記（ｃ）のステップにおいて、前記フレーム毎に、前記複数の領域それぞれを、当該フレームの水平方向において連続して取り出し、
前記（ｄ）のステップにおいて、前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、前記特定の動作を行っている人の映像を含んでいるかどうかを判定する、
ことを特徴とする動作抽出方法。

（付記７）
付記６に記載の動作抽出方法であって、
前記特定の動作が、物体を投げる動作であり、
前記（ｄ）のステップにおいて、前記フレーム毎に、当該フレームが、物体を投げる動作を行っている人の映像を含んでいるかどうかを判定し、
当該動作抽出方法が、
（ｅ）前記（ｄ）のステップで抽出されたフレームそれぞれにおける前記複数の領域の中から、特定の方向に動く画素の前記ヒストグラムの値に基づいて、前記物体を投げる動作を行っている人が存在しているとみなす領域を選出し、
前記フレーム毎に、選出した領域における前記軌跡の強度を求め、
求めた前記軌跡の強度の時系列変化に基づいて、前記人が前記物体をリリースした瞬間のフレームを特定する、ステップを更に有する、
ことを特徴とする動作抽出方法。

（付記８）
付記５〜７のいずれかに記載の動作抽出方法であって、
（ｆ）前記フレーム毎に、予め用意された背景画像との差分を求め、求めた差分から得られる画像の垂直方向におけるエッジを特定し、特定したエッジの水平方向の座標を求め、更に、各フレームにおける前記水平方向の座標の時系列変化に基づいて、前記特定の動作が行われていないフレームを特定し、そして、前記映像データから、特定したフレームを削除する、ステップを更に有し、
前記（ｂ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映
像データを対象にして、前記特定の特徴点の軌跡を特定し、
前記（ｃ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、前記ヒストグラムを生成し、
前記（ｄ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、特定の動作を行っている人の映像を含んでいるかどうかを判定する、
ことを特徴とする動作抽出方法。

（付記９）
コンピュータに、
（ａ）処理対象となる映像データを取得する、ステップと、
（ｂ）取得された前記映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する、ステップと、
（ｃ）前記フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した前記複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成するステップと、
（ｄ）前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、前記特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、ステップと、
を実行させる、プログラム。

（付記１０）
付記９に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記フレーム毎に、前記複数の領域それぞれを、当該フレームの水平方向において連続して取り出し、
前記（ｄ）のステップにおいて、前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、前記特定の動作を行っている人の映像を含んでいるかどうかを判定する、
ことを特徴とするプログラム。

（付記１１）
付記１０に記載のプログラムであって、
前記特定の動作が、物体を投げる動作であり、
前記（ｄ）のステップにおいて、前記フレーム毎に、当該フレームが、物体を投げる動作を行っている人の映像を含んでいるかどうかを判定し、
前記コンピュータに、
（ｅ）前記（ｄ）のステップで抽出されたフレームそれぞれにおける前記複数の領域の中から、特定の方向に動く画素の前記ヒストグラムの値に基づいて、前記物体を投げる動作を行っている人が存在しているとみなす領域を選出し、
前記フレーム毎に、選出した領域における前記軌跡の強度を求め、
求めた前記軌跡の強度の時系列変化に基づいて、前記人が前記物体をリリースした瞬間のフレームを特定する、ステップを更に実行させる、
ことを特徴とするプログラム。

（付記１２）
付記９〜１１のいずれかに記載のプログラムであって、
前記コンピュータに、
（ｆ）前記フレーム毎に、予め用意された背景画像との差分を求め、求めた差分から得られる画像の垂直方向におけるエッジを特定し、特定したエッジの水平方向の座標を求め、
更に、各フレームにおける前記水平方向の座標の時系列変化に基づいて、前記特定の動作が行われていないフレームを特定し、そして、前記映像データから、特定したフレームを削除する、ステップを更に実行させ、
前記（ｂ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、前記特定の特徴点の軌跡を特定し、
前記（ｃ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、前記ヒストグラムを生成し、
前記（ｄ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、特定の動作を行っている人の映像を含んでいるかどうかを判定する、
ことを特徴とするプログラム。

以上のように、本発明によれば、分析者にかかる負担を抑制しつつ、映像から特定の動作を自動的に抽出することができる。本発明は、人の動作の分析が求められる各種分野、例えば、スポーツの分野等に有用である。

１０ 動作抽出装置
１１ データ取得部
１２ 軌跡特定部
１３ ヒストグラム生成部
１４ 動作抽出部
１５ スキップ処理部
１６ リリースポイント特定部
２０ 端末装置
２１ オペレーティングシステム２１
２２ カメラ
２３ 表示装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (12)

1. 処理対象となる映像データを取得する、データ取得部と、
   取得された前記映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する、軌跡特定部と、
   前記フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した前記複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成する、ヒストグラム生成部と、
   前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、前記特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、動作抽出部と、
   を備えている、ことを特徴とする動作抽出装置。
2. 請求項１に記載の動作抽出装置であって、
   前記ヒストグラム生成部が、前記フレーム毎に、前記複数の領域それぞれを、当該フレームの水平方向において連続して取り出し、
   前記動作抽出部が、前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、前記特定の動作を行っている人の映像を含んでいるかどうかを判定する、
   ことを特徴とする動作抽出装置。
3. 請求項２に記載の動作抽出装置であって、
   前記特定の動作が、物体を投げる動作であり、
   前記動作抽出部が、前記フレーム毎に、当該フレームが、物体を投げる動作を行っている人の映像を含んでいるかどうかを判定し、
   当該動作抽出装置が、
   抽出されたフレームそれぞれにおける前記複数の領域の中から、特定の方向に動く画素の前記ヒストグラムの値に基づいて、前記物体を投げる動作を行っている人が存在しているとみなす領域を選出し、
   前記フレーム毎に、選出した領域における前記軌跡の強度を求め、
   求めた前記軌跡の強度の時系列変化に基づいて、前記人が前記物体をリリースした瞬間のフレームを特定する、リリースポイント特定部を更に備えている、
   ことを特徴とする動作抽出装置。
4. 請求項１〜３のいずれかに記載の動作抽出装置であって、
   前記フレーム毎に、予め用意された背景画像との差分を求め、求めた差分から得られる画像の垂直方向におけるエッジを特定し、特定したエッジの水平方向の座標を求め、更に、各フレームにおける前記水平方向の座標の時系列変化に基づいて、前記特定の動作が行われていないフレームを特定し、そして、前記映像データから、特定したフレームを削除する、スキップ処理部を更に備え、
   前記軌跡特定部は、前記スキップ処理部によってフレームが削除された前記映像データを対象にして、前記特定の特徴点の軌跡を特定し、
   前記ヒストグラム生成部は、前記スキップ処理部によってフレームが削除された前記映像データを対象にして、前記ヒストグラムを生成し、
   前記動作抽出部は、前記スキップ処理部によってフレームが削除された前記映像データを対象にして、特定の動作を行っている人の映像を含んでいるかどうかを判定する、
   ことを特徴とする動作抽出装置。
5. （ａ）処理対象となる映像データを取得する、ステップと、
   （ｂ）取得された前記映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定する、ステップと、
   （ｃ）前記フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した前記複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成するステップと、
   （ｄ）前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、前記特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、ステップと、
   を有する、ことを特徴とする動作抽出方法。
6. 請求項５に記載の動作抽出方法であって、
   前記（ｃ）のステップにおいて、前記フレーム毎に、前記複数の領域それぞれを、当該フレームの水平方向において連続して取り出し、
   前記（ｄ）のステップにおいて、前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、前記特定の動作を行っている人の映像を含んでいるかどうかを判定する、
   ことを特徴とする動作抽出方法。
7. 請求項６に記載の動作抽出方法であって、
   前記特定の動作が、物体を投げる動作であり、
   前記（ｄ）のステップにおいて、前記フレーム毎に、当該フレームが、物体を投げる動作を行っている人の映像を含んでいるかどうかを判定し、
   当該動作抽出方法が、
   （ｅ）前記（ｄ）のステップで抽出されたフレームそれぞれにおける前記複数の領域の中から、特定の方向に動く画素の前記ヒストグラムの値に基づいて、前記物体を投げる動作を行っている人が存在しているとみなす領域を選出し、
   前記フレーム毎に、選出した領域における前記軌跡の強度を求め、
   求めた前記軌跡の強度の時系列変化に基づいて、前記人が前記物体をリリースした瞬間のフレームを特定する、ステップを更に有する、
   ことを特徴とする動作抽出方法。
8. 請求項５〜７のいずれかに記載の動作抽出方法であって、
   （ｆ）前記フレーム毎に、予め用意された背景画像との差分を求め、求めた差分から得られる画像の垂直方向におけるエッジを特定し、特定したエッジの水平方向の座標を求め、更に、各フレームにおける前記水平方向の座標の時系列変化に基づいて、前記特定の動作が行われていないフレームを特定し、そして、前記映像データから、特定したフレームを削除する、ステップを更に有し、
   前記（ｂ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、前記特定の特徴点の軌跡を特定し、
   前記（ｃ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、前記ヒストグラムを生成し、
   前記（ｄ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、特定の動作を行っている人の映像を含んでいるかどうかを判定する、
   ことを特徴とする動作抽出方法。
9. コンピュータに、
   （ａ）処理対象となる映像データを取得する、ステップと、
   （ｂ）取得された前記映像データを構成するフレーム毎に、特定の特徴点の軌跡を特定す
   る、ステップと、
   （ｃ）前記フレーム毎に、当該フレームの複数の領域それぞれを取り出し、取り出した前記複数の領域それぞれについて、画素の動きの方向を表すヒストグラムを生成するステップと、
   （ｄ）前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、特定の動作を行っている人の映像を含んでいるかどうかを判定し、前記特定の動作を行っている人の映像を含んでいると判定したフレームを抽出する、ステップと、
   を実行させる、プログラム。
10. 請求項９に記載のプログラムであって、
    前記（ｃ）のステップにおいて、前記フレーム毎に、前記複数の領域それぞれを、当該フレームの水平方向において連続して取り出し、
    前記（ｄ）のステップにおいて、前記フレーム毎に、特定された前記軌跡と前記複数の領域それぞれにおける前記ヒストグラムとに基づいて、当該フレームが、前記特定の動作を行っている人の映像を含んでいるかどうかを判定する、
    ことを特徴とするプログラム。
11. 請求項１０に記載のプログラムであって、
    前記特定の動作が、物体を投げる動作であり、
    前記（ｄ）のステップにおいて、前記フレーム毎に、当該フレームが、物体を投げる動作を行っている人の映像を含んでいるかどうかを判定し、
    前記コンピュータに、
    （ｅ）前記（ｄ）のステップで抽出されたフレームそれぞれにおける前記複数の領域の中から、特定の方向に動く画素の前記ヒストグラムの値に基づいて、前記物体を投げる動作を行っている人が存在しているとみなす領域を選出し、
    前記フレーム毎に、選出した領域における前記軌跡の強度を求め、
    求めた前記軌跡の強度の時系列変化に基づいて、前記人が前記物体をリリースした瞬間のフレームを特定する、ステップを更に実行させる、
    ことを特徴とするプログラム。
12. 請求項９〜１１のいずれかに記載のプログラムであって、
    前記コンピュータに、
    （ｆ）前記フレーム毎に、予め用意された背景画像との差分を求め、求めた差分から得られる画像の垂直方向におけるエッジを特定し、特定したエッジの水平方向の座標を求め、更に、各フレームにおける前記水平方向の座標の時系列変化に基づいて、前記特定の動作が行われていないフレームを特定し、そして、前記映像データから、特定したフレームを削除する、ステップを更に実行させ、
    前記（ｂ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、前記特定の特徴点の軌跡を特定し、
    前記（ｃ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、前記ヒストグラムを生成し、
    前記（ｄ）のステップにおいて、前記（ｆ）のステップでフレームが削除された前記映像データを対象にして、特定の動作を行っている人の映像を含んでいるかどうかを判定する、
    ことを特徴とするプログラム。

Images