JP2015052904A - 動画選択装置、動画選択方法とプログラム - Google Patents

Abstract

【課題】人物の同じ特定動作が撮影された複数の動画像を対象とした特定動作の確認を容易に行う。【解決手段】人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から、前記特定動作における所定チェックタイミングでの画像内における人物のチェック部位の位置を含む特徴情報を取得する（ＳＡ３〜ＳＡ４）。複数の動画像の各々から取得された特徴情報を比較し、比較結果に基づいて前記複数の動画像の中から一部の動画像を選択して出力する（ＳＡ６）。【選択図】図２

Description

本発明は、複数の動画像から、その一部を選択する動画選択装置、動画選択方法とプログラムに関するものである。

従来、スポーツ等のトレーニング中に練習者を動画撮影し、撮影した動画像から練習者の種々の動作フォームを確認することによって、トレーニングの成果を確認したり、その後のトレーニングの課題を把握したりすることが行われている。

また、スポーツ等の動作フォームの確認作業を支援する技術として、例えば下記特許文献１には、トレーニング中の人物を撮影した動画データから、動画像内に繰り返し表れるゴルフスイング等の特定動作に該当する部分を自動的に抽出し、抽出した部分のみからなる新たな動画データを生成する技術が記載されている。係る技術によれば、撮影した動画像から特定動作以外の無駄な部分を省くことができ、ゴルフスイング等における個々の動作フォームの確認作業を効率的に行うことができる。

特開２００４−１７３２０２号公報

しかしながら、上記の技術を用いて生成される動画像はゴルフスイング等の特定動作のみの動画像であるものの、個々の動画像における特定動作の動作フォーム、つまり具体的な動作内容には自ずとバラツキがある。したがって、例えば個々の動画像からトレーニングの成果や今後のトレーニングの課題を判断する場合の確認作業には、手間が掛かるという問題があった。なお、これについては、動作フォームの確認対象となる動画像が、当初から個別に撮影されたものである場合につても同様である。

本発明は、かかる従来の課題に鑑みてなされたものであり、人物の同じ特定動作が撮影された複数の動画像を対象とした特定動作の確認を容易に行うことができる動画選択装置、動画選択方法とプログラムを提供することを目的とする。

前記課題を解決するため、本発明にあっては、人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から、前記特定動作の特徴を示す特徴情報であって、前記特定動作における所定タイミングでの人物の状態を含む特徴情報を取得する取得手段と、前記取得手段によって前記複数の動画像の各々から取得された特徴情報に基づいて前記複数の動画像の中から一部の動画像を選択する選択手段と、前記選択手段による選択結果に応じて前記複数の動画像に対する所定処理を実行する処理手段とを備えたことを特徴とする。

本発明によれば、人物の同じ特定動作が撮影された複数の動画像を対象とした特定動作の確認を容易に行うことが可能となる。

本発明に係る動画再生装置を示すブロック図である。 第１の実施形態における動画抽出処理を示すフローチャートである。 人物の重心の座標位置を取得する手順を示した図である。 チェックタイミング管理テーブルを示す概念図である。 チェック部位管理テーブルを示す概念図である。 第２の実施形態における動画抽出処理を示すフローチャートである。 複数種類の特徴データの例を便宜的に示した図である。

（実施形態１）
以下、本発明の実施形態について説明する。図１は、本発明の動画選択装置としての機能を備えた動画再生装置１の電気的構成の要部を示すブロック図である。なお、この動画再生装置１は、具体的には、例えばデジタルカメラや、携帯電話機であるスマートフォン（Smart Phone）、パーソナルコンピュータによって実現される。

動画再生装置１は、装置全体を制御するＣＰＵ（Central Processing Unit）１１と、プログラムメモリ１２、メインメモリ１３、メディアコントローラ１４、表示部１５、キー入力部１６を備えている。

プログラムメモリ１２は、例えば内蔵フラッシュメモリから構成される不揮発性の記録媒体である。プログラムメモリ１２には、ＣＰＵ１１が動画再生装置１の制御に要する各種プログラム、及び各種データが記憶されている。各種プログラムには、ＣＰＵ１１に、記録メディア５０に記録された動画データを対象として後述する動画抽出処理を行わせるためのプログラムが含まれる。

上記プログラムには、後述する動画抽出処理において使用される種別特定データが含まれている。種別特定データは、人物の動作が撮影されている動画データから、画像認識処理技術によって人物の動作種別を特定する際に使用されるデータや、動画像において主たる被写体である人物の１又は複数の特定部位を認識するためのデータ、及びその特定部位の動画像における位置の一般的な変化特性を示すデータ等である。

また、前記各種データには、後述する動画抽出処理において使用されるデータであって、画像データから公知の顔認識技術を用いて特定の人物の顔部分を検出する際に使用される各人物の顔部分の画像データ（以下、顔画像データという。）が記憶されている。なお、係る顔画像データは、動画再生装置１に予め設けられている人物登録機能を用いることにより、既存の動画データ等から抽出され適宜プログラムメモリ１２に記憶されるデータである。

メインメモリ１３は、例えばＤＲＡＭ（dynamic random-access memory）から構成されるランダムアクセス可能な揮発性の記録媒体であり、ＣＰＵ１１がプログラムを実行する際のワークメモリとして使用される。すなわちメインメモリ１３には、ＣＰＵ１１がプログラムメモリ１２から読み出したプログラムや、動画像の表示用データ等の各種データが適宜記憶される。

メディアコントローラ１４は、動画再生装置１の図示しない本体に設けられているメモリカードスロットに着脱自在に装着された記録メディア５０と、ＣＰＵ１１との間におけるデータの入出力を制御する入出力インターフェースである。

記録メディア５０は、例えばフラッシュメモリからなる不揮発性のカード型の記憶媒体であり、記録メディア５０には、例えばデジタルカメラにおいて撮影され記録された動画データ、例えばＭＰＥＧ（Motion Picture Experts Group）方式で圧縮された動画データが記録されている。

表示部１５は、例えばバックライト付きのカラー液晶表示パネル、及びその駆動回路により構成され、画像情報や文字情報等の各種情報を表示する。

キー入力部１６は、電源キーや、その他の操作ボタン等によって構成され、ユーザによる操作ボタン等の操作情報をＣＰＵ１１に供給する。

そして、動画再生装置１においては、ユーザーによる所定の操作に応じてＣＰＵ１１が、前記プログラムメモリ１２に格納されているプログラムに従い記録メディア５０に記録された動画データを対象として後述する動画抽出処理を実行する。

なお、以下の説明においては、記録メディア５０に、人物の一連の動きからなる特定動作、例えばゴルフスイングやランニングが撮影された複数の動画データが記憶されているものとする。また、各動画データは、上記一連の動きが１回分記憶されているものとする。ここで一連の動きは、例えばゴルフスイングであれば、スイング開始（アドレス）から終了（フィニッシュ）までの一連の動きであり、ランニングであれば、右足（左足）が接地した状態から上昇した後、再び接地するまでの一連の動きである。

以下、ＣＰＵ１１がユーザーによる所定の操作に応じて実行する動画抽出処理の内容を図２のフローチャートに従い説明する。

ＣＰＵ１１は、動画抽出処理を開始すると、まず、予め決められている複数の動作種別の中から、検索対象とする動作種別をユーザーに選択させる（ステップＳＡ１）。選択可能な動作種別は、前述した種別特定データに基づき特定可能な動作種別であり、例えばゴルフスイングやランニングである。

さらに、ＣＰＵ１１は、検索対象とする人物をユーザーに指定させる（ステップＳＡ２）。ここで、検索対象として指定可能な人物は、プログラムメモリ１２に顔画像データが記憶されているユーザー本人を含む複数の人物である。

次に、ＣＰＵ１１は、記録メディア５０に記録されている複数の動画データから、ユーザーによって指定された特定の人物における特定の動作を撮影した動画データを抽出する（ステップＳＡ３）。

係る処理に際してＣＰＵ１１は、まずユーザーによって指定された人物の顔画像データを用い、複数の動画データから公知の顔認識技術によってユーザーに指定された人物が撮影された動画データを抽出する。

次に、ＣＰＵ１１は、抽出した複数の動画データから、ユーザーによって指定された種別の動作が撮影された動画データのみを抽出する。その際、ＣＰＵ１１は、前述した種別特定データに基づく所定の画像認識処理により、各動画データについて、ユーザーによって指定された種別の動作の判定に際して注目すべき人物の特定部位を認識し、係る特定部位をフレーム間で追跡し、動画像における位置の変化特性を取得する。しかる後、ＣＰＵ１１は、取得した変化特性が、ユーザーによって指定された種別の動作における一般的な変化特性と近似すると判断できる動画データを抽出する。

なお、係るステップＳＡ３の処理は、例えば記録メディア５０に、被写体となっている人物を示す人物名等の人物情報と人物の動作の種類を示す動作種別情報との一方又は双方が、各々の動画データに一体的に記憶されるか、又は別データとして付随して記憶される構成であれば、各々の動画データについて上記人物情報や動作種別情報を確認することによって迅速かつより正確に行うことができる。

次に、ＣＰＵ１１は、抽出した各動画データから、動作種別に応じたチェック部位の位置データを抽出する（ステップＳＡ４）。動作種別に応じたチェック部位は、予め決められている画像内における被写体の特定部位であり、例えば動作種別がゴルフスイングであれば、ゴルフスイングを行っている人物の重心に相当する部位や、人物の頭、手、足、肩である。なお、動作種別に応じたチェック部位は、前述した動作種別の判定に際して注目すべき人物の特定部位と同一の場合もある。

また、抽出する具体的な位置データは、予め決められている動作中における特定タイミングでの上記チェック部位の画像内における座標位置であり、上記人物の重心や、人物の頭、手、足の中心等の該当する座標位置である。

例えば動作種別がゴルフスイングであり、特定タイミングがインパクト、チェック部位が人物の重心である場合には、図３に示したように、抽出した動画データから、所定の画像解析処理によってボールにクラブヘッドが密着した状態のフレームの画像であるインパクト画像Ｆを特定する。次に、インパクト画像Ｆから輪郭抽出等によって人物部分の輪郭Ａを抽出する。しかる後、係る輪郭Ａで囲まれた人物領域を示す２値化画像に基づいて人物領域の重心モーメントを算出することにより、人物領域の重心Ｃの座標位置を取得する。

次に、ＣＰＵ１１は、抽出したチェック部位の位置の分散状態を解析して代表点を決定し、その位置である代表位置を取得する（ステップＳＡ５）。係る処理は、動画データ間でバラツキが存在する複数の位置の平均的な位置を取得する処理である。また、代表位置は、例えばチェック部位の平均的な位置、すなわちｘ座標の平均値とｙ座標の平均値や、チェック部位の位置を座標内にプロットしたとき各ポイントが点在する領域の重心座標の位置である。

次に、ＣＰＵ１１は、ステップＳＡ３の処理で抽出した各動画データから、チェック部位の位置が代表位置から所定距離内である動画データをさらに抽出するとともに、抽出した動画データの画像を表示部１５に一覧表示する（ステップＳＡ６）。

つまりＣＰＵ１１は、ユーザーによって指定された特定の人物の特定種別の動作が撮影された複数の動画データのうちで、チェック部位の位置が代表位置から所定距離内である動画データであって、具体的な動作内容が平均的な特徴を有すると判断できる動画データだけを一覧表示する。

なお、一覧表示する動画データの画像は、例えば各動画データの先頭のフレームの縮小画像である。

そして、ＣＰＵ１１は、動画データを一覧表示している間に、ユーザーによっていずれかの動画データが選択された場合には（ステップＳＡ７：ＹＥＳ）、選択された動画データを記録メディア５０から読み出し表示部１５において再生する（ステップＳＡ８）。以後、ＣＰＵ１１は、新たな動画データが選択される毎に（ステップＳＡ７：ＹＥＳ）、選択された動画データを再生する（ステップＳＡ８）。

一方、ＣＰＵ１１は、動画データを一覧表示している間に、動画データが選択されることなく（ステップＳＡ７：ＮＯ）、ユーザーによって画像の整理指示があった場合には（ステップＳＡ９：ＹＥＳ）、記録メディア５０に記憶されている動画データの中で、チェック部位の位置が代表位置から所定距離を超える動画データを全て削除して（ステップＳＡ１０）、処理を終了する。

また、ＣＰＵ１１は、画像の整理指示がなく（ステップＳＡ９：ＮＯ）、ユーザーから終了指示があったときには（ステップＳＡ９：ＹＥＳ）、その時点で直ちに処理を終了する。

以上のように本実施形態の動画再生装置１においては、ユーザーに指定された人物のゴルフスイング等の特定動作が撮影された複数の動画データの中から、具体的な動作内容が平均的な特徴を有する特定動作が撮影されている１又は複数の動画データだけを自動的に抽出し、それを表示させることができる。つまりトレーニングの成果等の判断に適した動作フォームが撮影された１又は複数の動画データだけを自動的に抽出し、それを表示させることができる。

したがって、ユーザーにおいては、トレーニング中の人物を撮影した動画像からゴルフスイング等における動作フォームを確認する際には、それらを撮影した複数の動画データに、ゴルフスイング等の具体的な動作内容にバラツキが存在している場合であっても、トレーニングの成果等の判断に適した動作フォームだけを容易、かつ効率的に確認することができる。

また、ユーザーにおいては、複数の動画データの中で前述した平均的な特徴を有する特定動作が撮影されている動画データ以外の動画データ、つまり不要な動画データを簡単に削除することができる。

（実施形態２）
次に、本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態とは異なり、平均的な特徴を有する動作フォームとしてトレーニングの成果等の判断に最適な１つの動作フォームを抽出可能とする動画再生装置に関するものである。

本実施形態の動画再生装置は、第１の実施形態と同様の基本構成（図１参照）を備えるものであって、プログラムメモリ１２には、ＣＰＵ１１に第１の実施形態とは異なる後述する動画抽出処理を実行させるためのプログラムが記憶されている。

また、本実施形態のプログラムには、図４に例示したチェックタイミング管理テーブルＴ１、及び図５に例示したチェック部位管理テーブルＴ２を構成するデータが含まれている。

チェックタイミング管理テーブルＴ１は、動作種別毎に予め決められている複数のチェックタイミング、及びチェックタイミング別の重要度を示すテーブルである。動作種別は、第１の実施形態と同様にゴルフスイングやランニング等である。

ここで、各々のチェックタイミングは各種別の動作中における特定タイミングであって、複数回撮影された同一人物の特定動作を客観的に比較する際に一連の動作の中で重要視すべきタイミングである。具体的なタイミングは、図４に「説明」として便宜的に示したように、例えば動作種別がゴルフスイングに対応するチェックタイミングのうち、「バックスイング開始」は、（ゴルフクラブ）のヘッドがボールの横で静止した状態から動き出すタイミングである。

また、重要度は、上記比較に際して各々のチェックタイミングを、他のチェックタイミングと比較してどの程度重要視すべきか、その度合を相対的に示した数値である。

一方、チェック部位管理テーブルＴ２は、動作種別毎に予め決められている複数のチェック部位と、チェック部位別の重要度を示すテーブルである。動作種別は、チェックタイミング管理テーブルＴ１と同一である。

ここで、各々のチェック部位は人物の特定部位であって、複数回撮影された同一人物の特定動作を客観的に比較する際に重要視すべき部位であり、例えば頭、手、右肩、右足、左足である。但し、チェック部位には（人物の）重心の位置も含まれる。

なお、後述する処理において各々のチェック部位は画像内における位置として扱われるものである。具体的な位置は、図５に「説明」として便宜的に示したように、例えば「頭」については、頭の特徴情報と一致する部分の位置（中心位置等）であり、「重心」であれば、（人物の）輪郭を抽出して求めた重心である。

また、重要度は、上記比較に際して各々のチェック部位を、他のチェック部位と比較してどの程度重要視すべきか、その度合を相対的に示した数値である。

さらに、本実施形態においては、チェック部位管理テーブルＴ２に示されている複数のチェック部位を認識するために必要なデータが前述した種別特定データに含まれている。

そして、本実施形態の動画再生装置においては、ユーザーによる所定の操作に応じ、ＣＰＵ１１がプログラムメモリ１２に記憶されたプログラムに従い第１の実施形態とは異なる内容の動画抽出処理を実行する。

以下、本実施形態においてＣＰＵ１１が実行する動画抽出処理の内容を図６のフローチャートに従い説明する。

本実施形態においてもＣＰＵ１１は、動画抽出処理を開始すると、まず、予め決められている複数の動作種別の中から、検索対象とする動作種別をユーザーに選択させる（ステップＳＢ１）。さらに、ＣＰＵ１１は、検索対象とする人物をユーザーに指定させる（ステップＳＢ２）。そして、ＣＰＵ１１は、記録メディア５０に記録されている複数の動画データから、ユーザーによって指定された特定の人物における特定の動作を撮影した動画データを抽出する（ステップＳＢ３）。

なお、本実施形態においても選択可能な動作種別は、前述した種別特定データに基づき特定可能な動作種別であり、例えばゴルフスイングやランニングである。また、ステップＳＢ３の具体的な処理内容は第１の実施形態におけるステップＳＡ３の処理と同様である。

その後、ＣＰＵ１１は、第１の実施形態と異なり、抽出した全ての動画データ（以下、処理対象の全動画データという。）の各々を所定の順で処理対象に設定しながら（ステップＳＢ４）、各動画データについて以下の処理を行う。

まず、ＣＰＵ１１は、動作種別に応じた複数のチェックタイミングを所定の順で各々設定し（ステップＳＢ５）、設定したチェックタイミングが該当する動画像内での時間位置（フレーム位置）を検出する（ステップＳＢ６）。

次に、ＣＰＵ１１は、動作種別に応じた複数のチェック部位について、検出したチェックタイミングにおけるフレームの画像内での位置（ｘ座標、ｙ座標）をそれぞれ検出する（ステップＳＢ７）。

そして、複数のチェック部位についての検出結果を、チェックタイミングの画像内での時間位置と共にメインメモリ１３に記憶する（ステップＳＢ８）。

以後、ＣＰＵ１１は、未設定のチェックタイミングがある間は（ステップＳＢ９：ＹＥＳ）、チェックタイミングとして新たなチェックタイミングを設定し（ステップＳＢ５）、ステップＳＢ６〜ＳＢ８の処理を繰り返す。これにより処理対象として設定した動画データについて、各チェックタイミングの動画像内での時間位置と、各チェックタイミングにおける各チェック部位の位置とが取得される。

引き続き、ＣＰＵ１１は、全てのチェックタイミングを対象としてステップＳＢ８の処理を実行した後（ステップＳＢ９：ＮＯ）、各チェックタイミングについて、基準となる所定のチェックタイミングの時間との時差を取得し、メインメモリ１３に記憶する（ステップＳＢ１０）。

これにより、処理対象として設定した動画データについて、各チェックタイミングにおける各チェック部位の位置と、各チェックタイミングにおける基準となる所定のチェックタイミングに対する相対的な時間位置とからなる複数種類の特徴データが取得される。

図７は、上記複数種類の特徴データの例を便宜的に示した図であり、ユーザーに選択された動作種別がゴルフスイングであり、基準となる所定のチェックタイミングがインパクトである場合の例である。また、この例では、各チェック部位が、重心、頭、手首、右肩、・・・であり、Ａ１〜Ａ４・・・、Ｂ１〜Ｂ４・・・、Ｃ１〜Ｃ４・・・、Ｄ１〜Ｄ４・・・、・・・・が各チェック部位の位置である。

さらに、ＣＰＵ１１は、処理対象として未設定の動画データがある間は（ステップＳＢ１１：ＹＥＳ）、新な動画データを処理対象として設定し（ステップＳＢ４）、ステップＳＢ５〜ＳＢ１０の処理を繰り返す。これにより、処理対象の全動画データの各々について、前述した複数種類の特徴データが取得される。

そして、ＣＰＵ１１は、最後の動画データを対象としてステップＳＢ５〜ＳＢ１０の処理を実行した後（ステップＳＢ１１：ＮＯ）、処理対象の全動画データの各々について取得した複数種類の特徴データを対象として以下の処理を行う。

すなわち、ＣＰＵ１１は、動作種別に応じた複数のチェックタイミングの各々を所定の順で設定し（ステップＳＢ１２）、さらに動作種別に応じた複数のチェック部位の各々を所定の順で設定する（ステップＳＢ１３）。

そして、ＣＰＵ１１は、ステップＳＢ３の処理で抽出した全動画データ（以下、処理対象の全動画データという。）の各々について、設定中のチェックタイミングにおける今回設定したチェック部位に関する位置データをメインメモリ１３から読み出し、チェック部位の位置の分散状態を解析して代表点を決定し、その位置である代表位置を取得する（ステップＳＢ１４）。

ここで取得する代表位置も、第１の実施形態で説明したものと同様、例えばチェック部位の平均的な位置、すなわちｘ座標の平均値とｙ座標の平均値や、チェック部位の位置を座標内にプロットしたとき各ポイントが点在する領域の重心座標の位置である。

次に、ＣＰＵ１１は、処理対象の全動画データの各々について、設定中のチェックタイミングにおける今回設定したチェック部位に関し、位置データにより示される位置の上記代表位置からのずれ率（以下、第１のずれ率という。）Ａを動画データ毎に取得し、メインメモリ１３に記憶する（ステップＳＢ１５）。

以後、ＣＰＵ１１は、未設定のチェック部位がある間は（ステップＳＢ１６：ＹＥＳ）、処理対象として新たなチェック部位を設定し（ステップＳＢ１３）、ステップＳＢ１４，ＳＢ１４の処理を繰り返す。つまりＣＰＵ１１は、処理対象の全動画データの各々について、設定中のチェックタイミングでの全てのチェック部位について第１のずれ率Ａを取得する。

また、ＣＰＵ１１は、全てのチェック部位について上記第１のずれ率Ａを取得した後（ステップＳＢ１６：ＮＯ）、今回設定したチェックタイミングに関し、メインメモリ１３からステップＳＢ１０の処理で記憶した処理対象の全動画データの時差（図７参照）を読み出し、時差を平均した平均時差を取得する（ステップＳＢ１７）。

次に、ＣＰＵ１１は、処理対象の全動画データの各々について、今回設定したチェックタイミングに関する時差の上記平均時差からのずれ率（以下、第２のずれ率という。）を取得し、メインメモリ１３に記憶する（ステップＳＢ１８）。

以後、処理対象として未設定のチェックタイミングがある間は（ステップＳＢ１９：ＹＥＳ）、処理対象として新たなチェックタイミングを設定し（ステップＳＢ１２）、ステップＳＢ１３〜ＳＢ１８の処理を繰り返す。

これにより、処理対象の全動画データの各々について、チェック部位毎の異なるチェックタイミングでの複数の第１のずれ率Ａ、及び複数の第２のずれ率Ｂが取得される。つまり図７に便宜的に示した複数種類の特徴データと同数のデータがメインメモリ１３に記憶される。

そして、処理対象として最後のチェックタイミングを設定した状態でステップＳＢ１３〜ＳＢ１８の処理を実行した後（ステップＳＢ１９：ＮＯ）、ＣＰＵ１１は以下の処理を行う。

すなわちＣＰＵ１１は、処理対象の全動画データの各々について、前述した複数の第１のずれ率Ａと複数の第２のずれ率Ｂとの全データの加重平均値を取得する（ステップＳＢ２０）。この加重平均値の取得に際して適用される重みは、以下の通りである。

すなわち各チェックタイミングでの各チェック部位の位置のずれ率（複数の第１のずれ率Ａ１〜Ａｎ）には、チェックタイミング管理テーブルＴ１（図３参照）に示されるチェックタイミング別の重要度に対応する重みと、チェック部位管理テーブルＴ２（図４参照）に示されるチェック部位別の重要度とに対応する重みが適用される。また、チェックタイミングのずれ率（複数の第２のずれ率Ｂ１〜Ｂｎ）には規定の重みが適用される。

しかる後、ＣＰＵ１１は、取得した加重平均値が最小の動画データを再生する（ステップＳＢ１７）。つまりＣＰＵ１１は、ユーザーによって指定された特定の人物の特定種別の動作が撮影された複数の動画データのうちで、具体的な動作内容の特徴が全体として最も平均的と判断できる動画データだけを自動的に選択して再生する。

そして、ＣＰＵ１１は、ユーザーから終了指示があるまでは（ステップＳＢ２０：ＮＯ）、上記動画データを繰り返し再生するとともに、ユーザーから終了指示があった時点で（ステップＳＢ２０：ＹＥＳ）、全ての処理を終了する。

以上のように本実施形態の動画再生装置１においては、ユーザーに指定された人物のゴルフスイング等の特定動作が撮影された複数の動画データの中から、具体的な動作内容の特徴が全体として最も平均的であると判断できる動画データだけを自動的に選択して再生することができる。つまりトレーニングの成果等の判断に最も適した動作フォームが撮影された動画データだけを自動的に抽出し、それを表示させることができる。

したがって、ユーザーにおいては、トレーニング中の人物を撮影した動画像からゴルフスイング等における動作フォームを確認する際には、それらを撮影した複数の動画データに、ゴルフスイング等の具体的な動作内容にバラツキが存在している場合であっても、トレーニングの成果等の判断に適した動作フォームだけを容易、かつ効率的に確認することができる。

なお、本実施形態では、各動画データについて取得する複数種類の特徴データに、各チェックタイミングの基準となる所定のチェックタイミングの時間との時差を含めるものについて説明したが、係る時差を複数種類の特徴データから除外してもよい。

また、例えば時差を除外する場合を含め、前述した加重平均値に代えて単なる平均値を取得し、その平均値が最小の動画像を選択して表示させてもよい。

また、前述した加重平均値の取得に際しては、各チェックタイミングでの各チェック部位の位置のずれ率には、チェックタイミング管理テーブルＴ１（図３参照）に示されるチェックタイミング別の重要度、又はチェック部位管理テーブルＴ２（図４参照）に示されるチェック部位別の重要度のいずれか一方のみに対応する重みを適用するようにしてもよい。
（他の実施形態）

ここで、以上説明した第１の実施形態においては、人物の同じ特定動作が撮影された複数の動画データの各々から、具体的な動作内容の特徴が平均的であると判断できる複数の動画データを自動的に選択して表示するものについて説明した。また、第２の実施形態においては、人物の同じ特定動作が撮影された複数の動画データの各々から、具体的な動作内容の特徴が最も平均的であると判断できる複数の動画データを自動的に選択して表示するものについて説明した。

しかし、本発明において自動的に選択して出力する動画データは、上記の様な動画データに限らず、具体的な動作内容に所定の特徴を有するものであればよく、選択して表示する動画データの用途に応じた特徴を有するものであればよい。

その場合であっても、人物の特定動作が撮影された複数の動画データの各々から、動作種別に応じたチェック部位（注目点）の位置等、特定タイミングでの人物の状態を含む特徴情報を抽出し、抽出した特徴情報に基づいて複数の動画データの中から一部の動画データを選択して表示させることにより、用途に応じた（要求される）特徴を有する動画データのみを表示させることができる。

例えば最終的に表示させる所定の特徴を有する動画データは、ユーザーに指定された動画データ等の１つ動画データに記録されている特定動作と、具体的な動作内容がある関係にある特定動作が撮影された動画データであってもよい。

その場合には、１つ動画データから抽出した特徴得情報（１又は複数のチェック部位の位置等）を基準として、それと他の複数の動画データから抽出した特徴情報（１又は複数のチェック部位の位置等）とを比較し、比較結果に基づいて他の複数の動画データから一部の動画データを選択して表示させればよい。

なお、上記の具体的な動作内容がある関係にある特定動作が撮影された動画データとしては、例えばユーザーに指定された動画データ等の１つ動画データに記録されている特定動作と最も類似する特徴を有する特定動作が撮影された１つの動画データや、所定の基準以上類似する特徴を有する特定動作が撮影された１又は複数の動画データがある。その場合、処理対象となる複数の動画データは、同一人物の特定動作がそれぞれ撮影されたものであってもよいし、異なる複数の人物の特定動作がそれぞれ撮影されたものであってもよい。

また、自動的に選択した動画データの具体的な出力形態については任意であり、表示（再生）に限らず、例えば所定の転送先への転送（コピー等）であっても構わない。

また、処理対象となる動画データは、通常撮影で得られたものに限らず高速撮影されたものであってもよく、撮影時に記録されたものに限らず撮影後に編集されたものであっても構わない。

以上、本発明のいくつかの実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から、前記特定動作の特徴を示す特徴情報であって、前記特定動作における所定タイミングでの人物の状態を含む特徴情報を取得する取得手段と、
前記取得手段によって前記複数の動画像の各々から取得された特徴情報に基づいて前記複数の動画像の中から一部の動画像を選択する選択手段と、
前記選択手段による選択結果に応じて前記複数の動画像に対する所定処理を実行する処理手段と
を備えたことを特徴とする動画選択装置。
［請求項２］
前記取得手段は、複数の動画像の各々について、前記特定動作における所定タイミングが該当するフレームを特定し、この特定されたフレームの画像内における人物の注目点の位置を含む特徴情報を取得することを特徴とする請求項１記載の動画選択装置。
［請求項３］
前記選択手段は、前記取得手段によって前記複数の動画像の各々から取得された特徴情報を比較し、比較結果に基づいて前記複数の動画像の中から一部の動画像を選択することを特徴とする請求項１又は２記載の動画選択装置。
［請求項４］
前記選択手段は、前記取得手段によって前記複数の動画像の各々から取得された特徴情報における前記注目点の位置の分散状態を確認し、前記注目点の位置が当該分散状態に応じて決まる所定の位置に該当する動画像を選択することを特徴とする請求項２記載の動画選択装置。
［請求項５］
前記選択手段は、前記注目点の位置が平均的な位置に該当する動画像を選択することを特徴とする請求項３又は４記載の動画選択装置。
［請求項６］
前記取得手段は、前記複数の動画像の各々から、前記特定動作における所定タイミングでの画像内における人物の異なる複数の注目点の位置を含む特徴情報を取得し、
前記選択手段は、前記複数の注目点の各々について位置の分散状態を個別に確認し、当該分散状態に応じて決まる代表点を決定し、前記複数の動画像の各々について前記複数の注目点毎に前記代表点との離間距離を取得し、取得した各注目点の離間距離を平均した値が最小の動画像を選択する
ことを特徴とする請求項４又は５に記載の動画選択装置。
［請求項７］
予め決められている複数の動作種別の中から前記特徴情報の取得対象となる動作種別を選択する動作種別選択手段を更に備え、
前記取得手段は、前記動作種別選択手段により選択された動作種別の動作を前記特定動作として前記特徴情報を取得することを特徴とする請求項１乃至６のいずれか１項に記載の動画選択装置。
［請求項８］
前記取得手段は、前記動作種別選択手段により選択された動作種別に応じて、前記特定動作における所定タイミングと前記人物の注目点とを変更することを特徴とする請求項７に記載の動画選択装置。
［請求項９］
前記取得手段は、前記特定動作における複数のチェックタイミングを前記所定タイミングとし、各チェックタイミングの時間位置および各チェックタイミングにおける前記人物の注目点の位置を含む特徴情報を取得することを特徴とする請求項２乃至８のいずれか１項に記載の動画選択装置。
［請求項１０］
前記選択手段は、複数のチェックタイミングの時間位置および複数のチェックタイミングにおける前記人物の注目点の位置の両方を比較し、比較結果に基づいて前記複数の動画像の中から一部の動画像を選択することを特徴とする請求項９に記載の動画選択装置。
［請求項１１］
前記人物の特定動作はゴルフスイングであり、
前記取得手段は、前記特徴情報として、インパクトのタイミングでの人物の重心の位置を含む特徴情報を取得することを特徴とする請求項６乃至１０のいずれか１項に記載の動画選択装置。
［請求項１２］
前記人物の特定動作はゴルフスイングであり、
前記取得手段は、前記特徴情報として、インパクトのタイミングでの人物の身体の特定部位の位置を含む特徴情報を取得することを特徴とする請求項６乃至１０のいずれか１項に記載の動画選択装置。
［請求項１３］
前記取得手段は、前記特徴情報として、前記特定動作中における予め決められている第１の動作タイミングと第２の動作タイミングとの間の時間を含む特徴情報を取得することを特徴とする請求項１乃至１２のいずれか１項に記載の動画選択装置。
［請求項１４］
前記人物の特定動作はゴルフスイングであるとともに、前記第１の動作タイミングはインパクトのタイミングであり、かつ前記第２の動作タイミングはゴルフスイングの開始から終了までの間における前記第１の動作タイミングとは異なる特定のタイミングであることを特徴とする請求項１３記載の動画選択装置。
［請求項１５］
前記取得手段は、予め指定された特定の人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から前記特徴情報を取得し、
前記選択手段は、前記特定の人物の注目点の位置が平均的な位置に該当する動画像を選択することを特徴とする請求項１乃至１２のいずれか１項に記載の動画選択装置。
［請求項１６］
前記選択手段は、前記取得手段によって複数の動画像から取得された前記特徴情報のうちの１つの動画像の特徴情報を基準とし、当該動画像以外の他の複数の動画像の各々から取得された特徴情報を前記基準の特徴情報と比較し、比較結果に基づいて前記他の複数の動画像の中から一部の動画像を選択する
ことを特徴とする請求項１記載の動画選択装置。
［請求項１７］
人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から、前記特定動作における所定タイミングでの画像内における人物の注目点の位置を含む特徴情報を取得する取得工程と、
前記取得工程で前記複数の動画像の各々から取得された特徴情報を比較し、比較結果に基づいて前記複数の動画像の中から一部の動画像を選択する選択工程と、
前記選択工程で選択された動画像を出力する出力工程と
を含むことを特徴とする動画選択方法。
［請求項１８］
コンピュータを、
人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から、前記特定動作における所定タイミングでの画像内における人物の注目点の位置を含む特徴情報を取得する取得手段と、
前記取得手段によって前記複数の動画像の各々から取得された特徴情報を比較し、比較結果に基づいて前記複数の動画像の中から一部の動画像を選択する選択手段と、
前記選択手段により選択された動画像を出力する出力手段と
として機能させることを特徴とするプログラム。

１ 動画再生装置
７ ＳＢ
１１ ＣＰＵ
１２ プログラムメモリ
１３ メインメモリ
１４ メディアコントローラ
１５ 表示部
１６ キー入力部
５０ 記録メディア
Ｔ１ チェックタイミング管理テーブル
Ｔ２ チェック部位管理テーブル

Claims (18)

1. 人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から、前記特定動作の特徴を示す特徴情報であって、前記特定動作における所定タイミングでの人物の状態を含む特徴情報を取得する取得手段と、
   前記取得手段によって前記複数の動画像の各々から取得された特徴情報に基づいて前記複数の動画像の中から一部の動画像を選択する選択手段と、
   前記選択手段による選択結果に応じて前記複数の動画像に対する所定処理を実行する処理手段と
   を備えたことを特徴とする動画選択装置。
2. 前記取得手段は、複数の動画像の各々について、前記特定動作における所定タイミングが該当するフレームを特定し、この特定されたフレームの画像内における人物の注目点の位置を含む特徴情報を取得することを特徴とする請求項１記載の動画選択装置。
3. 前記選択手段は、前記取得手段によって前記複数の動画像の各々から取得された特徴情報を比較し、比較結果に基づいて前記複数の動画像の中から一部の動画像を選択することを特徴とする請求項１又は２記載の動画選択装置。
4. 前記選択手段は、前記取得手段によって前記複数の動画像の各々から取得された特徴情報における前記注目点の位置の分散状態を確認し、前記注目点の位置が当該分散状態に応じて決まる所定の位置に該当する動画像を選択することを特徴とする請求項２記載の動画選択装置。
5. 前記選択手段は、前記注目点の位置が平均的な位置に該当する動画像を選択することを特徴とする請求項３又は４記載の動画選択装置。
6. 前記取得手段は、前記複数の動画像の各々から、前記特定動作における所定タイミングでの画像内における人物の異なる複数の注目点の位置を含む特徴情報を取得し、
   前記選択手段は、前記複数の注目点の各々について位置の分散状態を個別に確認し、当該分散状態に応じて決まる代表点を決定し、前記複数の動画像の各々について前記複数の注目点毎に前記代表点との離間距離を取得し、取得した各注目点の離間距離を平均した値が最小の動画像を選択する
   ことを特徴とする請求項４又は５記載の動画選択装置。
7. 予め決められている複数の動作種別の中から前記特徴情報の取得対象となる動作種別を選択する動作種別選択手段を更に備え、
   前記取得手段は、前記動作種別選択手段により選択された動作種別の動作を前記特定動作として前記特徴情報を取得することを特徴とする請求項１乃至６のいずれか１項に記載の動画選択装置。
8. 前記取得手段は、前記動作種別選択手段により選択された動作種別に応じて、前記特定動作における所定タイミングと前記人物の注目点とを変更することを特徴とする請求項７に記載の動画選択装置。
9. 前記取得手段は、前記特定動作における複数のチェックタイミングを前記所定タイミングとし、各チェックタイミングの時間位置および各チェックタイミングにおける前記人物の注目点の位置を含む特徴情報を取得することを特徴とする請求項２乃至８のいずれか１項に記載の動画選択装置。
10. 前記選択手段は、複数のチェックタイミングの時間位置および複数のチェックタイミングにおける前記人物の注目点の位置の両方を比較し、比較結果に基づいて前記複数の動画像の中から一部の動画像を選択することを特徴とする請求項９記載の動画選択装置。
11. 前記人物の特定動作はゴルフスイングであり、
    前記取得手段は、前記特徴情報として、インパクトのタイミングでの人物の重心の位置を含む特徴情報を取得することを特徴とする請求項６乃至１０のいずれか１項に記載の動画選択装置。
12. 前記人物の特定動作はゴルフスイングであり、
    前記取得手段は、前記特徴情報として、インパクトのタイミングでの人物の身体の特定部位の位置を含む特徴情報を取得することを特徴とする請求項６乃至１０のいずれか１項に記載の動画選択装置。
13. 前記取得手段は、前記特徴情報として、前記特定動作中における予め決められている第１の動作タイミングと第２の動作タイミングとの間の時間を含む特徴情報を取得することを特徴とする請求項１乃至１２のいずれか１項に記載の動画選択装置。
14. 前記人物の特定動作はゴルフスイングであるとともに、前記第１の動作タイミングはインパクトのタイミングであり、かつ前記第２の動作タイミングはゴルフスイングの開始から終了までの間における前記第１の動作タイミングとは異なる特定のタイミングであることを特徴とする請求項１３記載の動画選択装置。
15. 前記取得手段は、予め指定された特定の人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から前記特徴情報を取得し、
    前記選択手段は、前記特定の人物の注目点の位置が平均的な位置に該当する動画像を選択することを特徴とする請求項１乃至１２のいずれか１項に記載の動画選択装置。
16. 前記選択手段は、前記取得手段によって複数の動画像から取得された前記特徴情報のうちの１つの動画像の特徴情報を基準とし、当該動画像以外の他の複数の動画像の各々から取得された特徴情報を前記基準の特徴情報と比較し、比較結果に基づいて前記他の複数の動画像の中から一部の動画像を選択する
    ことを特徴とする請求項１記載の動画選択装置。
17. 人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から、前記特定動作における所定タイミングでの画像内における人物の注目点の位置を含む特徴情報を取得する取得工程と、
    前記取得工程で前記複数の動画像の各々から取得された特徴情報を比較し、比較結果に基づいて前記複数の動画像の中から一部の動画像を選択する選択工程と、
    前記選択工程で選択された動画像を出力する出力工程と
    を含むことを特徴とする動画選択方法。
18. コンピュータを、
    人物の一連の動きからなる特定動作が撮影された複数の動画像の各々から、前記特定動作における所定タイミングでの画像内における人物の注目点の位置を含む特徴情報を取得する取得手段と、
    前記取得手段によって前記複数の動画像の各々から取得された特徴情報を比較し、比較結果に基づいて前記複数の動画像の中から一部の動画像を選択する選択手段と、
    前記選択手段により選択された動画像を出力する出力手段と
    として機能させることを特徴とするプログラム。

Images