JP2014064110A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】動きのある被写体を撮影した複数の動画の中から、比較などの所定処理の対象となる動画を容易に選択可能にすること。
【解決手段】ソート対象動画特定部５１は、手本動画を手本動画記憶部６１から特定すると共に、比較観点設定部５２により設定された比較観点における被写体の動きの当該手本動画との類似性に基づいて、再生動画記憶部６３に記憶された再生対象動画の複数の候補の中から、ソートの対象となるソート対象動画を特定する。ソート部５３は、複数のソート対象動画を、比較観点設定部５２により設定された比較観点での手本動画との類似度の高低の順番に従ってソートする。ソート結果画像生成部５４は、このようなソート部５３の結果を示すソート結果画像のデータを生成する。表示制御部５５は、当該ソート結果画像を出力部１８のディスプレイに表示させる。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来より、複数の動画を同一画面に分割表示して同時再生する技術が知られている（特許文献１，２参照）。
この場合、ユーザが複数の動画の中から再生対象を選択するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が用いられている。このような従来のＧＵＩでは、複数の動画を特定可能な情報（サムネイル画像やファイル名）が、日付やファイル名の順番でソートされて表示される。

特開２００３−１１７０４５号公報 特開２００８−２４２９６５号公報

しかしながら、ゴルフのスイングの動作等の所定の動作を比較するために、ユーザ等が映る比較対象の動画と、お手本となる者等が映る比較相手の動画とを同時再生する場合等においては、ユーザやお手本となる者等を動きのある被写体として撮影した複数の動画の中から、比較相手の動画や比較対象となる動画を選択するのが難しいという問題がある。

本発明は、このような状況に鑑みてなされたものであり、動きのある被写体を撮影した複数の動画の中から、比較などの所定処理の対象となる動画を容易に選択可能にすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する特定手段を備えることを特徴とする。

本発明によれば、動きのある被写体を撮影した複数の動画の中から、比較などの所定処理の対象となる動画を容易に選択可能にすることを目的とする。

本発明の第１実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置の機能的構成のうち、動画再生処理を実行するための機能的構成を示す機能ブロック図である。 図２の画像処理装置が用いる比較観点として、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態を採用する場合の例を説明するための模式図である。 図２の画像処理装置が用いる比較観点として、ゴルフのスイングの静止状態における方向、具体的には体の傾き具合を採用する場合の例を説明するための模式図である。 図２の画像処理装置が用いる比較観点として、ゴルフのスイングの動作の位置を採用する場合の例を説明するための模式図である。 図２の画像処理装置により表示されるソート結果画像の一例を示す図である。 図２の機能的構成の画像処理装置１が実行する動画再生処理について説明する。 図７の動画再生処理のうち、第１実施形態に係る再生対象動画ソート表示処理の詳細について説明するフローチャートである。 図７の動画再生処理のうち、第２実施形態に係る再生対象動画ソート表示処理の詳細について説明するフローチャートである。 図７の動画再生処理のうち、第３実施形態に係る再生対象動画ソート表示処理の詳細について説明するフローチャートである。 図２の画像処理装置により表示されるソート結果画像の一例であって、図６とは異なる例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラして構成される。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ４１等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような画像処理装置１の機能的構成のうち、動画再生処理を実行するための機能的構成を示す機能ブロック図である。

ここで、動画再生処理とは、次のような一連の処理をいう。
即ち、本実施形態では、所定の者（ここでは説明の簡略上画像処理装置１のユーザ）がゴルフのスイングの動作をしている様子が映る動画像が、再生対象となる。以下、このような動画像を「再生対象動画」と呼ぶ。
本実施形態では、再生対象動画のみならず、さらに、それとの比較対照用の動画像として、プロゴルファー等の手本となる者がゴルフのスイングの動作をしている様子が映る動画像（以下、「手本動画」と呼ぶ）も表示対象になる。即ち、本実施形態では、再生対象動画と手本動画とが、出力部１８のディスプレイに２画面同時再生される。
ユーザは、一般的には、複数回のゴルフのスイングの動作を繰り返すことで、ゴルフのスイングが上達していく。ここで、複数回のゴルフのスイングの動作の繰り返しとしては、時間的に連続した中での繰り返し（例えば１回の練習内での繰り返し等）や、時間的に離間した中での繰り返し（例えば毎週１回ずつ行われる練習の各回単位の繰り返し等）が存在する。このため、再生対象動画の候補が複数存在する場合がある。このような場合、ユーザは、一般的には、手本に最も近い候補、即ち一番上手にゴルフのスイングの動作ができたときの様子が映る候補を、再生対象動画として所望することが多い。
従って、ユーザが複数の候補の中から再生対象動画を選択操作する際に、何れの候補が手本動画に近いのかを事前に（実際に再生しないで）視認できれば、当該ユーザの選択操作にとって便宜である。
そこで、本実施形態では、画像処理装置１は、ゴルフのスイングの動作の手本動画との類似性の観点から、再生対象動画の複数の候補をソートして、ソート結果を示す画像（以下、「ソート結果画像」と呼ぶ）を出力部１８から表示出力する。以下、このような処理を「再生対象動画ソート表示処理」と呼ぶ。
画像処理装置１が、このような手本動画ソート表示処理を実行することで、ソート結果画像を表示させ、当該ソート結果画像を視認したユーザによって再生対象動画が選択され、当該再生対象動画及び手本動画を２画面同時再生するまでの一連の処理が、ここでいう「動画再生処理」である。

動画再生処理が実行される場合には、図２に示すように、ＣＰＵ１１において、ソート対象動画特定部５１と、比較観点設定部５２と、ソート部５３と、ソート結果画像生成部５４と、表示制御部５５と、再生対象取得部５６と、が機能する。

記憶部１９の一領域には、手本動画記憶部６１と、再生動画記憶部６２と、が設けられる。
手本動画記憶部６１には、手本動画の複数の候補のデータが予め記憶されると共に、各候補のデータ毎に、手本となる者（プロゴルファー等）のスイングの動作が予め解析されており、その解析結果も予め記憶されているものとする。解析手法については、特に限定されないが、後述するソート対象動画特定部５１により再生対象動画の候補のデータに対してなされる解析と同手法が適用されているものとする。
再生動画記憶部６２には、再生対象動画の複数の候補のデータが記憶される。なお、再生対象動画の候補のデータは、画像処理装置１以外の装置も含めて所定の撮像装置により過去に撮像された撮像画像のデータを採用してもよいし、画像処理装置１により直前に撮像された撮像画像のデータを採用してもよい。また、再生対象動画の候補のデータは、時間的に連続して撮像された複数の撮像画像のデータを採用してもよいし、時間的に離間して撮像された複数の撮像画像のデータを採用してもよい。

ソート対象動画特定部５１は、ユーザによる入力部１７の操作に基づいて、手本動画記憶部６１にデータとして記憶された手本動画の複数の候補の中から、基準となる手本動画を特定する。
次に、ソート対象動画特定部５１は、被写体の動き（ここでは、ゴルフのスイングの動作）の当該手本動画との類似性に基づいて、再生動画記憶部６２にデータとして記憶された再生対象動画の複数の候補の中から、所定処理の対象となる動画を特定する。ここで本実施形態では、所定処理としては、後述するようにソートの処理が採用されているので、ソートの対象となる動画（以下、「ソート対象動画」と呼ぶ）が特定される。

ここで、ソート対象動画特定部５１は、再生対象動画の複数の候補の各々と手本動画との類似性を夫々判断するために、手本動画のデータになされた解析と同様の手法に従って、当該複数の候補のデータの夫々を解析する。
この解析の手法は、特に限定されないが、例えば次のような手法を採用することができる。
即ち、動画は、フレームやフィールドといった、いわゆる映画の１コマに相当する画像が複数枚配置されて構成されている。このようなフレームやフィールドといった画像は、画像処理の単位として用いられることが多いため、以下、「単位画像」と呼ぶ。
この場合、ソート対象動画特定部５１は、複数の候補毎に、所定の単位画像から被写体を検出し、当該被写体の動き（ここではゴルフのスイングの動作）を解析する、といった手法を採用することができる。
また、ソート対象動画特定部５１は、複数の動画に映る被写体が行う共通の特定動作（ここではゴルフのスイングの動作）を対象として、この特定動作における一連の流れを解析する、といった手法を採用することができる。

比較観点設定部５２は、被写体の動きの手本動画との類似性の判断に用いられる、所定の比較観点を設定し、その設定結果をソート対象動画特定部５１に通知する。

即ち、ソート対象動画特定部５１は、手本動画に映る被写体の動き（ここでは、手本となる者のゴルフのスイング）と、再生対象動画の複数の候補の各々に映る被写体の動き（ここでは、ユーザの各回のゴルフのスイング）とについて、所定の比較観点での類似性を判断する。そして、ソート対象動画特定部５１は、再生対象動画の複数の候補の中から、当該所定の比較観点の類似度に基づく所定処理（ここではソート）の対象となる動画を、ソート対象動画として１以上特定する。

ここで、図３乃至図５を参照して、所定の比較観点の具体例を説明する。
図３は、比較観点として、ゴルフのスイングの一連の動作の中で解析される各種情報であり、複数の動作タイミングにおける位置、角度、方向、距離、速度などの変化状態を採用する場合の例を説明するための模式図である。図３の具体例は、バックスイングからフォロースイングまでのクラブヘッドの速度の変化を示している。なお、インパクトにおけるクラブヘッドの速度と言った場合、インパクト前後の複数の動作タイミングにおける位置の変化状態としても考えることができる。
図４は、比較観点として、ゴルフのスイングの静止状態において解析される各種情報であり、静止状態における位置、角度、方向、距離などの状態を採用する場合の例を説明するための模式図である。図４の具体例は、アドレスにおける体の傾き具合を示している。
図５は、比較観点として、ゴルフのスイングの一連の動作の中で解析される各種情報であり、特定の動作タイミングにおける位置、角度、方向、距離などの状態を採用する場合の例を説明するための模式図である。図５の具体例は、フォロースイングにおけるクラブヘッドの高さと歩幅を示している。

図３の例では、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態という比較観点で、再生対象動画の候補が手本動画と比較される。即ち、ゴルフのスイングの動作の速度がお手本と近い順という観点で、複数のソート対象動画が特定されて、当該複数のソート対象動画が後述するようにソートされる。
この場合、ゴルフのスイングにおける、バックスイングからフォロースイングまでの一連の動作全体の平均速度での比較も可能である。
さらに本実施形態では、バックスイングからフォロースイングまでの一連の動作が、トップ、インパクト、フォローを含む複数のチェックポイント（期間）に区分される。より具体的には、図３の例では丸数字で示す７つのチェックポイントに区分される。これにより、チェックポイント単位で速度の比較が可能になる。具体的には、ユーザにより指定されたチェックポイントにおいて再生対象動画と手本動画とが同期再生されることによって、当該ユーザは、当該チェックポイントにおけるスイングの動作速度について、自分自身とお手本となる者の差異点を視認しながら比較することができる。
そこで、これらの複数のチェックポイントを単位として、ゴルフのスイングの動作の速度がお手本と近い順という観点で、複数のソート対象動画が特定されて、当該複数のソート対象動画が後述するようにソートされることも可能になっている。
なお、図３は一例であり、ゴルフのスイングの一連の動作の中で解析される各種情報であり、複数の動作タイミングにおける位置、角度、方向、距離、速度などの変化状態をお手本と比較するようにしてもよい。
ただし、以下の説明では、説明の簡略上、図３の例の比較観点を用いて説明する場合には、「ゴルフのスイングの動作の速度」に着目する。換言すると、「ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態」と表現している処理等については、ゴルフのスイングの一連の動作の中で解析される各種情報であって、複数の動作タイミングにおける位置、角度、方向、距離、速度などの変化状態を採用した場合にも全く同様に当てはまる。

図４の例では、ゴルフのスイングの静止状態における方向、具体的には体の傾き具合という比較観点で、再生対象動画の候補が手本動画と比較される。即ち、体の傾き具合がお手本と近い順という観点で、複数のソート対象動画が特定されて、当該複数のソート対象動画が後述するようにソートされる。
例えば本実施形態では、体の傾き具合として、クラブのヘッドを中心として、クラブと略平行な直線に対する、クラブのヘッドから被写体の肩上を通る直線がなす角度（以下、「体傾き角度」と呼ぶ）が採用されている。即ち、本実施形態では、再生対象動画から検出される体傾き角度と、手本動画から検出される体傾き角度との比較により、ゴルフのスイングの静止状態における方向として体の傾き具合の比較が実現される。
そこで、体傾き角度がお手本と近い順という観点で、複数のソート対象動画が特定されて、当該複数のソート対象動画が後述するようにソートされることも可能になっている。
なお、図４は一例であり、ゴルフのスイングの静止状態において解析される各種情報であり、静止状態における位置、角度、方向、距離などの状態をお手本と比較するようにしてもよい。
ただし、以下の説明では、説明の簡略上、図４の例の比較観点を用いて説明する場合には、「ゴルフのスイングの静止状態における方向」に着目する。換言すると、「ゴルフのスイングの静止状態における方向」と表現している処理等については、ゴルフのスイングの静止状態において解析される各種情報であり、静止状態における位置、角度、方向、距離などの状態を採用した場合にも全く同様に当てはまる。

図５の例では、ゴルフのスイングの動作の位置、具体的には歩幅とスイング位置（クラブヘッドまでの高さ）のうち少なくとも一方の比較観点で、再生対象動画の候補が手本動画と比較される。即ち、歩幅とスイング位置（クラブヘッドまでの高さ）のうち少なくとも一方がお手本と近い順という観点で、複数のソート対象動画が特定されて、当該複数のソート対象動画が後述するようにソートされる。
なお、図５は一例であり、ゴルフのスイングの一連の動作の中で解析される各種情報であり、特定の動作タイミングにおける位置、角度、方向、距離などの状態をお手本と比較するようにしてもよい。
ただし、以下の説明では、説明の簡略上、図５の例の比較観点を用いて説明する場合には、「ゴルフのスイングの動作の位置」に着目する。換言すると、「ゴルフのスイングの動作の位置」と表現している処理等については、ゴルフのスイングの一連の動作の中で解析される各種情報であり、特定の動作タイミングにおける位置、角度、方向、距離などの状態を採用した場合にも全く同様に当てはまる。

図２に戻り、ソート部５３は、比較観点設定部５２により設定された比較観点での手本動画との類似度に従って、ソート対象動画特定部５１により特定された複数のソート対象動画をソートする。
ここで、複数のソート対象動画のソートは、所定の比較観点での手本動画との類似度に基づいて行われる。従って、所定の比較観点は、複数のソート対象動画についてのソート条件であると把握することもできる。
例えば、図３の例のゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態というソート条件（比較観点）が設定されている場合には、複数のソート対象動画は、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態が手本動画と近い順にソートされる。
例えば、図４の例のゴルフのスイングの静止状態における方向、具体的には体の傾き具合というソート条件（比較観点）が設定されている場合には、複数のソート対象動画は、体の傾き具合（図４の体傾き角度）が手本動画と近い順にソートされる。
例えば、図５の例では、ゴルフのスイングの動作の位置、具体的には歩幅やスイング位置（クラブヘッドまでの高さ）というソート条件（比較観点）が設定されている場合には、複数のソート対象動画は、歩幅やスイング位置（クラブヘッドまでの高さ）が手本動画と近い順にソートされる。

ソート結果画像生成部５４は、このようなソート部５３の結果を示すソート結果画像のデータを生成する。
表示制御部５５は、当該ソート結果画像を出力部１８のディスプレイに表示させるように制御する。

図６は、ソート結果画像の一例を示す図である。
図６の例では、ソート結果画像には、手本動画表示領域７１、再生対象動画候補表示領域７２、及びソート条件表示領域７３が設けられている。

手本動画表示領域７１には、手本動画を特定可能情報（ここでは、ファイル名とサムネイル画像）が表示される。

再生対象動画候補表示領域７２には、複数のソート対象動画、即ち再生対象動画の複数の候補を特定可能な情報（ここでは、ファイル名とサムネイル画像）が、ソート部５３によるソート結果の順番で上から順に表示される。
さらに、ユーザは、入力部１７（図１）を操作して、再生対象動画候補表示領域７２に表示された再生対象動画の複数の候補（それを特定可能な情報）の中から、所望の１つを、再生対象動画として選択することができる。
この場合、再生対象動画の複数の候補（それを特定可能な情報）は、所定のソート条件（後述のソート条件表示領域７３に表示）に従ってソートされた順番で、上方から順に表示されている。即ち、当該ソート条件（比較観点）において手本動画（それを特定可能な情報が手本動画表示領域７１に表示）との類似度が高い順に、再生対象動画の複数の候補（それを特定可能な情報）が表示されている。
従って、ユーザは、上方に表示されている候補から順に選択するといった簡便な操作をするだけで、手本動画と類似している再生対象動画の候補（それを特定可能な情報）を、再生対象動画として適切に選択することができる。

ソート条件表示領域７３には、現在選択されているソート条件が表示されると共に、図６に示すように、プルダウンメニューとして選択可能な複数のソート条件も表示される。
そこで、ユーザは、入力部１７（図１）を操作して、当該プルダウンメニューの中から所望のソート条件を選択することができる。この選択結果は、ソート部５３にフィードバックされ、当該ソート条件により、複数のソート対象動画（再生対象動画の複数の候補）が再ソートされる。そして、ソート結果画像生成部５４により、再ソート結果を示すソート画像のデータが生成（更新）され、表示制御部５５の制御により、更新後のソート結果画像が出力部１８のディスプレイに表示される。即ち、再生対象動画候補表示領域７２における、再生対象動画の複数の候補（それを特定可能な情報）の表示順番が、再ソート結果に従って更新される。

図２に戻り、再生対象取得部５６は、このようなソート結果画像からユーザにより再生対象動画として選択された動画のデータを再生動画記憶部６２から取得すると共に、手本動画のデータを手本動画記憶部６１から取得する。
表示制御部５５は、当該再生対象動画及び当該手本動画を出力部１８のディスプレイに２画面同時表示させるように制御する。

次に、図７を参照して、図２の機能的構成の画像処理装置１が実行する動画再生処理について説明する。
図７は、動画再生処理の流れを説明するフローチャートである。
動画再生処理は、本実施形態では、画像処理装置１の再生モードとして、２画面再生モードが選択されると、それを契機として開始される。

ステップＳ１において、ソート部５３等は、再生対象動画ソート表示処理を実行することで、ゴルフのスイングの動作の手本動画との類似性の観点から、再生対象動画の複数の候補をソートして、そのソート結果を示すソート結果画像（図６参照）を出力部１８から表示出力させる。
再生対象動画ソート表示処理の詳細については、図８を参照して後述する。

ステップＳ２において、再生対象取得部５６は、再生対象動画は選択されたか否かを判定する。
再生対象動画が未だ選択されていない場合、ステップＳ２においてＮＯであると判定されて、処理はステップＳ２に戻される。即ち、再生対象動画が選択されるまでの間、ステップＳ２の判定処理が繰り返し実行されて、動画再生処理は待機状態になる。
その後、再生対象動画が選択されると、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。

ステップＳ３において、再生対象取得部５６は、ステップＳ２の処理でユーザにより選択された再生対象動画のデータを再生動画記憶部６２から取得すると共に、手本動画のデータを手本動画記憶部６１から取得する。
ステップＳ４において、表示制御部５５は、当該再生対象動画と当該手本動画とを出力部１８から２画面同時再生させる。
これにより、動画再生処理は終了する。

次に、このような動画再生処理のうち、第１実施形態におけるステップＳ１の再生対象動画ソート表示処理の詳細について説明する。
図８は、図７の動画再生処理のうち、ステップＳ１の再生対象動画ソート表示処理の詳細について説明するフローチャートである。
図８の例では、ソート条件として、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態（図３参照）、ゴルフのスイングの静止状態における方向（体の傾き具合：図４参照）、又はゴルフのスイングの動作の位置（歩幅及びスイング位置（クラブヘッドまでの高さ）：図５参照）が予め設定されているものとする。

ステップＳ２１において、ソート対象動画特定部５１は、ユーザによる入力部１７の操作に基づいて、手本動画記憶部６１に記憶された手本動画の複数の候補の中から、基準となる手本動画を特定（選択）する。

ステップＳ２２おいて、ソート対象動画特定部５１は、ソート条件はゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態か否かを判定する。
ソート条件がゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態でない場合、即ち、ゴルフのスイングの静止状態における方向（体の傾き具合：図４参照）、又はゴルフのスイングの動作の位置（歩幅及びスイング位置（クラブヘッドまでの高さ）：図５参照）がソート条件である場合、ステップＳ２２においてＮＯであると判定されて、処理はステップＳ２３に進む。

ステップＳ２３において、ソート対象動画特定部５１は、手本動画記憶部６１に記憶された再生対象動画の複数の候補の中からソート対象動画を特定（選択）すべく、ソート条件における、再生対象動画の複数の候補の各々の手本動画との差分を算出する。
即ち、ソート条件における、再生対象動画の複数の候補の各々の手本動画との差分とは、所定の比較観点（ソート条件）における被写体の動き（ここではゴルフのスイングの動作）の当該手本動画との類似度（或いはその指標値）を示している。つまり、差分が小さければ類似度が高いと判断される一方、差分が大きければ類似度が低いと判断されることになる。
例えば、図４の例のゴルフのスイングの静止状態における方向、具体的には体の傾き具合というソート条件（比較観点）が設定されている場合には、体の傾き具合（図４の体傾き角度）について差分が算出される。
また例えば、図５の例のゴルフのスイングの動作の位置、具体的には歩幅やスイング位置（クラブヘッドまでの高さ）というソート条件（比較観点）が設定されている場合には、歩幅やスイング位置（クラブヘッドまでの高さ）について差分が算出される。

ステップＳ２４において、ソート対象動画特定部５１は、ステップＳ２３の処理で算出された差分に基づいて、手本動画との類似度を示すスコアを採点する。このスコアは、手本動画と近いほど（類似しているほど）高値になるものとする。
そして、ソート対象動画特定部５１は、スコアに基づいて、再生対象動画の複数の候補の中から、ソート対象動画を特定する。
なお、ソート結果画像においてサムネイル等を表示可能であるならば、ソート対象動画特定部５１は、再生対象動画の複数の候補の全てを、ソート対象動画として特定してもよい。

ステップＳ２５において、ソート部５３は、ソート対象動画を、手本動画と近い順に、即ちステップＳ２４の処理で採点されたスコアが高い順にソートする。

ステップＳ２６において、ソート結果画像生成部５４は、ステップＳ２５の結果を示すソート結果画像のデータを生成する。
ステップＳ２７において、表示制御部５５は、当該ソート結果画像を出力部１８のディスプレイに表示させる。
これにより、再生対象動画ソート表示処理は終了し、即ち図７のステップＳ１の処理は終了し、処理はステップＳ２に進む。

以上、ソート条件がゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態でない場合、即ち、ゴルフのスイングの静止状態における方向（体の傾き具合：図４参照）、又はゴルフのスイングの動作の位置（歩幅及びスイング位置（クラブヘッドまでの高さ）：図５参照）がソート条件である場合における、再生対象動画ソート表示処理について説明した。

次に、ソート条件がゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態である場合、における、再生対象動画ソート表示処理について説明する。この場合、ステップＳ２２においてＹＥＳであると判定されて、処理はステップＳ２８に進む。

ステップＳ２８おいて、ソート対象動画特定部５１は、ソート条件の速度として、平均速度が設定されているか否かを判定する。

ソート条件の速度として平均速度が設定されている場合には、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２９に進む。
ステップＳ２９において、ソート対象動画特定部５１は、再生対象動画の複数の候補の各々について、７ポイント（図３の丸印で示す７つのチェックポイント）の平均速度を算出する。
これにより、処理はステップＳ２３に進む。この場合、７ポイントの平均速度の差分がステップＳ２３の処理で算出され、上述したそれ以降の一連の処理が実行される。

これに対して、ソート条件の速度として平均速度が設定されていない場合、即ち各チェックポイントでの速度が設定されている場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ３０に進む。
ステップＳ３０において、ソート対象動画特定部５１は、７ポイント（図３の丸印で示す７つのチェックポイント）の中から、手本動画と比較する対象のポイントを選択する。この選択手法は、特に限定されず、ユーザによる入力部１７の操作に基づく選択であってもよいし、所定のアルゴリズムに基づく自動的な選択であってもよい。
ステップＳ３１において、ソート対象動画特定部５１は、ステップＳ３０の処理で選択された各ポイントの重み付けをする。重み付けの設定手法は、特に限定されず、ユーザによる入力部１７の操作に基づいて設定する手法を採用してもよいし、予め設定された所定のアルゴリズムに基づいて自動的に設定する手法を採用してもよい。
ステップＳ３２において、ソート対象動画特定部５１は、ステップＳ３０の処理で選択された各ポイントの速度を算出する。
これにより、処理はステップＳ２３に進む。この場合、各ポイントの速度の差分がステップＳ２３の処理で算出され、例えば次のようなステップＳ２４の処理が実行される。
ステップＳ２４において、ソート対象動画特定部５１は、ステップＳ２３の処理で各ポイント毎に夫々算出された差分と、ステップＳ３１の処理で各ポイント毎に夫々設定された重みとに基づいて、手本動画との類似度を示すスコアを、再生対象動画の複数の候補毎に採点する。
具体的には例えば、１つの再生対象動画について、重みと差分との積が各ポイント毎に求められ、各ポイント毎に求められた各積の累積加算値や平均値等が、当該再生対象動画のスコアとして採点される。
また、いずれか１つのポイントだけでも手本動画から大きくかけ離れている場合には全体としての類似度が低いと見なす場合には、各ポイントの差分を二乗した値に対して重みの乗算、累積加算、あるいは平均値の計算を行うようにしてもよい。
その後、上述したステップＳ２５以降の一連の処理が実行される。

以上、第１実施形態について説明した。次に、第２実施形態について説明する。

［第２実施形態］
第２実施形態に係る画像処理装置１は、第１実施形態に係るものと基本的に同様のハードウェア構成を取ることができる。従って、図１は、第２実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図でもある。
また、第２実施形態に係る画像処理装置１は、第１実施形態に係るものと基本的に同様の機能的構成を取ることができる。従って、図２は、第２実施形態に係る画像処理装置１の機能的構成を示す機能ブロック図でもある。

また、第２実施形態に係る画像処理装置１が実行する動画再生処理の大筋の流れは、第１実施形態に係るものと基本的に同様である。従って、図７は、第２実施形態に係る画像処理装置１が実行する動画再生処理の流れを説明するフローチャートでもある。

ただし、動画再生処理のステップＳ１の再生対象動画再生処理において、上述の第１実施形態では、手本動画との類似度を求める際の所定の比較観点（ソート条件）としては、ユーザにより選択された１種類のみが考慮された。このため、第１実施形態では、ステップＳ１の再生対象動画再生処理は、図８のフローチャートに示すような流れであった。
これに対して、第２実施形態では、手本動画との類似度を求める際の所定の比較観点（ソート条件）として、複数種類の組み合わせが考慮される。
これにより、ユーザの多種多様な要望、具体的には第１の観点でも比較したいけど第２の観点でも比較したいといった要望や、第１の観点と第２の観点との総合的な比較をしたいといった要望に充分に応えることが可能になる。

図９は、図７の動画再生処理のうち、このような第２実施形態におけるステップＳ１の再生対象動画ソート表示処理の詳細について説明するフローチャートである。
図９の例では、ソート条件として、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態（図３参照）、ゴルフのスイングの静止状態における方向（体の傾き具合：図４参照）、ゴルフのスイングの動作の位置（歩幅及びスイング位置（クラブヘッドまでの高さ）：図５参照）等の複数の種類の中から、２種類以上の組み合わせが予め設定されているものとする。

ステップＳ４１において、ソート対象動画特定部５１は、ユーザによる入力部１７の操作に基づいて、手本動画記憶部６１に記憶された手本動画の複数の候補の中から、基準となる手本動画を特定する。

ステップＳ４２おいて、ソート対象動画特定部５１は、各比較観点（各ソート条件）の重み付けを設定する。
重み付けの設定手法は、特に限定されず、ユーザによる入力部１７の操作に基づいて設定する手法を採用してもよいし、予め設定された所定のアルゴリズムに基づいて自動的に設定する手法を採用してもよい。
ここで、複数の種類の比較観点（ソート条件）のうち、未設定のものについては、重みとして「０」が設定されるものとする。

ステップＳ４３において、ソート対象動画特定部５１は、手本動画記憶部６１に記憶された再生対象動画の複数の候補の中からソート対象動画を特定すべく、複数種類のソート条件の夫々における、再生対象動画の複数の候補の各々の手本動画との差分を夫々算出する。

ステップＳ４４において、ソート対象動画特定部５１は、ステップＳ４３の処理でソート条件の種類毎に夫々算出された差分と、ステップＳ４２の処理でソート条件の種類毎に夫々設定された重みとに基づいて、手本動画との類似度を示すスコアを、再生対象動画の複数の候補毎に採点する。
具体的には例えば、１つの再生対象動画について、重みと差分との積がソート条件の種類毎に求められ、ソート条件の種類毎に求められた各積の累積加算値が、当該再生対象動画のスコアとして採点される。
そして、ソート対象動画特定部５１は、スコアに基づいて、再生対象動画の複数の候補の中から、ソート対象動画を特定する。
なお、ソート結果画像において、サムネイル等を表示可能であるならば、ソート対象動画特定部５１は、再生対象動画の複数の候補の全てを、ソート対象動画として特定してもよい。

ステップＳ４５において、ソート部５３は、ソート対象動画を、手本動画と近い順に、即ちステップＳ４４の処理で採点されたスコアが高い順にソートする。

ステップＳ４６において、ソート結果画像生成部５４は、ステップＳ４５の結果を示すソート結果画像のデータを生成する。
ステップＳ４７において、表示制御部５５は、当該ソート結果画像を出力部１８のディスプレイに表示させる。
これにより、再生対象動画ソート表示処理は終了し、即ち図７のステップＳ１の処理は終了し、処理はステップＳ２に進む。

以上、第２実施形態について説明した。次に、第３実施形態について説明する。

［第３実施形態］
第３実施形態に係る画像処理装置１は、第１実施形態や第２実施形態に係るものと基本的に同様のハードウェア構成を取ることができる。従って、図１は、第３実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図でもある。
また、第３実施形態に係る画像処理装置１は、第１実施形態や第２実施形態に係るものと基本的に同様の機能的構成を取ることができる。従って、図２は、第３実施形態に係る画像処理装置１の機能的構成を示す機能ブロック図でもある。

また、第３実施形態に係る画像処理装置１が実行する動画再生処理の大筋の流れは、第１実施形態や第２実施形態に係るものと基本的に同様である。従って、図７は、第３実施形態に係る画像処理装置１が実行する動画再生処理の流れを説明するフローチャートでもある。

ただし、動画再生処理のステップＳ１の再生対象動画再生処理において、上述の第２実施形態では、手本動画との類似度を求める際の所定の比較観点（ソート条件）として、複数種類の組み合わせが考慮されたが、総合的な類似度として１つにまとめられて（スコアとして）ソート等された。
これに対して、第３実施形態では、手本動画との類似度を求める際の所定の比較観点（ソート条件）として、複数種類の組み合わせが考慮される点までは第２実施形態と同様であるが、比較観点の各種類を軸とする空間が構築され、再生対象動画の複数の候補が当該空間上の点として分布された際の、当該点の座標により類似度が示される。
これにより、ユーザは、各比較観点を相互に比較考量しながらの再生対象動画の選択、例えば第１の観点よりも第２の観点を重視した選択や、第１の観点と第２の観点とをバランスよく考慮した選択、といった柔軟な選択をすることが容易に可能となる。

図１０は、図７の動画再生処理のうち、このような第３実施形態におけるステップＳ１の再生対象動画ソート表示処理の詳細について説明するフローチャートである。
図１０の例では、ソート条件として、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態（図３参照）、ゴルフのスイングの静止状態における方向（体の傾き具合：図４参照）、ゴルフのスイングの動作の位置（歩幅及びスイング位置（クラブヘッドまでの高さ）：図５参照）等の複数の種類の中から、複数の種類の組み合わせが予め設定されているものとする。

ステップＳ５１において、ソート対象動画特定部５１は、ユーザによる入力部１７の操作に基づいて、手本動画記憶部６１に記憶された手本動画の複数の候補の中から、基準となる手本動画を特定する。

ステップＳ５２おいて、ソート対象動画特定部５１は、各比較観点（各ソート条件）から２種類を選択する。
２種類の比較観点の設定手法は、特に限定されず、ユーザによる入力部１７の操作に基づいて設定する手法を採用してもよいし、予め設定された所定のアルゴリズムに基づいて自動的に設定する手法を採用してもよい。

ステップＳ５３おいて、ソート対象動画特定部５１は、ステップＳ５２の処理で選択された２種類の比較観点（ソート条件）の重み付けを設定する。
重み付けの設定手法は、特に限定されず、ユーザによる入力部１７の操作に基づいて設定する手法を採用してもよいし、予め設定された所定のアルゴリズムに基づいて自動的に設定する手法を採用してもよい。

ステップＳ５４において、ソート対象動画特定部５１は、手本動画記憶部６１に記憶された再生対象動画の複数の候補の中からソート対象動画を特定すべく、ステップＳ５２の処理で選択された２種類のソート条件の夫々における、再生対象動画の複数の候補の各々の手本動画との差分を夫々算出する。
ここで、ソート対象動画特定部５１は、単純な差分を算出してもよいが、本実施形態では、ステップＳ５３の処理で設定された重みを用いた差分、例えば単純な差分と重みとの積等を算出する。
そして、ソート対象動画特定部５１は、差分に基づいて、再生対象動画の複数の候補の中から、ソート対象動画を特定する。
なお、ソート結果画像において、サムネイル等を表示可能であるならば、再生対象動画の複数の候補の全てを、ソート対象動画として特定してもよい。

ステップＳ５５において、ソート部５３は、ソート対象動画を、手本動画と近い順に２軸にそれぞれソートし（即ち２軸の各座標を求め）、ソート結果画像生成部５４は、ソート対象動画を、手本動画と近い順に２軸表示させるソート結果画像のデータを生成する。
ここで、２軸により構築される２次元空間（平面）において、原点からの距離に応じて、手本動画との類似度が示されるものとする。即ち、原点からの距離が近い程、手本動画と近い（類似している）ものとする。
ステップＳ５６において、表示制御部５５は、当該ソート結果画像を出力部１８のディスプレイに表示させる。
これにより、再生対象動画ソート表示処理は終了し、即ち図７のステップＳ１の処理は終了し、処理はステップＳ２に進む。

図１１は、２軸表示のソート結果画像の一例を示す図である。
図１１の例では、ソート結果画像には、手本動画表示領域８１、及び再生対象動画候補２軸表示領域８２が設けられている。

手本動画表示領域８１には、手本動画を特定可能情報（ここではサムネイル画像）が表示される。

再生対象動画候補２軸表示領域８２には、複数のソート対象動画、即ち再生対象動画の複数の候補を特定可能な情報（ここではサムネイル画像）が、２種類のソート条件（比較観点）を軸とする平面上に分布されて表示される。
具体的には、図１１の例では、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態（図３参照）が縦軸（スイング速度の軸）に設定され、ゴルフのスイングの静止状態における方向（体の傾き具合：図４参照）が横軸（姿勢の軸）に設定されている。

ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態と、ゴルフのスイングの静止状態における方向（体の傾き具合）との観点で、原点が、手本動画（それを特定可能な情報が手本動画表示領域８１に表示）と一致する点である。原点から横方向（左右方向）に近い距離にある程、ゴルフのスイングの静止状態における方向（体の傾き具合）の観点で、手本動画に近い（類似している）ことを示している。一方、原点から縦方向（上下方向）に近い距離にある程、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態の観点で、手本動画に近い（類似している）ことを示している。

例えば、再生対象動画の複数の候補を示すサムネイル画像（以下、「候補画像」と呼ぶ）ｇ１乃至ｇ６のうち、候補画像ｇ２（に対応する動画）が、原点に一番近いので、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態とゴルフのスイングの静止状態における方向（体の傾き具合）との観点で手本動画に最も近い（最も類似している）ことがわかる。より具体的には、候補画像ｇ２（に対応する動画）は、縦軸方向の座標が略０であるので、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態の観点では手本動画と一致していることがわかる。
これに対して、候補画像ｇ３やｇ６（に対応する動画）は、原点から遠距離なので、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態とゴルフのスイングの静止状態における方向（体の傾き具合）との観点で手本動画から離れている（類似していない）ことがわかる。

ユーザは、このようなソート結果画像のうち、再生対象動画候補２軸表示領域８２に表示された複数の候補画像ｇ１乃至ｇ６の中から、所望の１つを、再生対象動画として選択することができる。
この場合、ユーザは、原点からの距離に基づいて選択するといった簡便な操作をするだけで、手本動画と類似している再生対象動画の候補（それを特定可能な情報）を再生対象動画として適切に選択することができる。さらに、ユーザは、ゴルフのスイングの動作の速度（位置の変化状態）、または速度の変化状態と、ゴルフのスイングの静止状態における方向（体の傾き具合）との観点のうち、前者を優先させたければ原点からの縦軸の距離に着目し、後者を優先させたければ原点からの横軸の距離に着目して選択する、といった視覚的かつ直観的な選択操作をすることができる。

以上、本発明の実施形態として、第１乃至第３実施形態について、その順番で個別に説明した。
なお、本発明は、上述の第１乃至第３の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、以下の機能を有する画像処理装置は、本発明に含まれるものである。

画像処理装置は、複数の動画の各々に映る被写体の動きの類似性に基づいて、複数の動画の中から所定処理の対象となる動画を特定する特定機能を備えることができる。
ここで、所定処理としては、任意の処理を採用することが可能であり、例えば、基準動画との類似度に従った順番で、複数の動画をソートする処理を採用することができる。
即ち、この場合、画像処理装置における特定機能は、基準となる基準動画（例えば手本動画）を特定し、当該基準動画に映る被写体の動きと、複数の動画の各々に映る被写体の動きとの類似性に基づいて、複数の動画の中から、類似度に基づく所定処理、より具体的にはソートの処理の対象となる動画を特定する機能を含むことになる。
これにより、比較対象の動画と比較相手の動画とを同時再生する場合、比較対象の動画の複数の候補が、それらに映る被写体の動きの類似性に基づいて特定されてソートされるので、ユーザは、比較相手の動画（手本動画等の基準動画）と類似するものを容易に選択することができる。
即ち、動きのある被写体を撮影した複数の動画の中から、比較などの所定処理の対象となる動画を容易に選択可能にすることが可能になる。

画像処理装置において、所定の比較観点には、被写体についての、動作速度、動作方向、動作タイミング、動作位置、及び動作状態のうち複数の観点が含まれるようにすることができる。
所定の比較観点には、被写体の一連の動作の中で解析される各種情報であり、複数の動作タイミングにおける位置、角度、方向、距離、速度のうちのいずれかの変化状態の観点が含まれるようにしてもよい。
所定の比較観点には、被写体の一連の動作の中で解析される各種情報であり、特定の動作タイミングにおける被写体の状態の観点が含まれるようにしてもよい。ここで、被写体の状態は、前記被写体についての、位置、角度、方向、又は距離を含むようにすることができる。
これにより、被写体の動作についての様々な観点から、複数の動画の各々に映る被写体の動きの類似性を求めることが可能になる。

画像処理装置において、所定の比較観点として複数の種類が存在し、特定機能は、複数の種類の中から１以上の種類を、所定の比較観点として選択することができる。
ここで、選択可能な前記複数の種類の比較観点には、被写体の一連の動作の中で解析される各種情報であり、複数の動作タイミングにおける位置、角度、方向、距離、速度のうちのいずれかの変化状態の観点、被写体の一連の動作の中で解析される各種情報であり、特定の動作タイミングにおける被写体の状態の観点、又は、被写体の静止状態において解析される各種情報であり、静止状態における状態の観点のうちの複数の観点を含むようにすることができる。なお、特定の動作タイミングにおける被写体の状態及び被写体の静止状態における状態は、被写体についての、位置、角度、方向、又は距離を含むようにしてもよい。
これにより、被写体の動作についての様々な観点から、複数の動画の各々に映る被写体の動きの類似性を求めることが可能になる。特に、その選択をユーザによる操作で可能にすることにより、ユーザの所望の観点から、複数の動画の各々に映る被写体の動きの類似性を求めることが可能になる。その結果、ユーザは、所望の観点で、比較相手の動画（手本動画等の基準動画）と類似するものを容易に選択することができる。

画像処理装置における特定機能は、複数の動画毎に、所定の単位画像から被写体を検出し、当該被写体の動きをさらに解析し、複数の動画毎に解析された被写体の動きの類似性に基づいて、複数の動画の中から所定処理の対象となる動画を特定する機能を含むことができる。
これにより、適切な解析結果に基づいて、複数の動画毎に解析された被写体の動きの類似性を求めることが可能になる。その結果、ユーザは、比較相手の動画（手本動画等の基準動画）と類似するものとして、適切なものを選択することができる。

画像処理装置における特定機能は、さらに、複数の動画に映る被写体が行う共通の特定動作を対象として、この特定動作における一連の動作の流れをさらに解析し、その解析結果に基づいて、複数の動画の各々に映る被写体の動きの類似性を算出する機能を含むことができる。
これにより、一連の動作についての適切な解析結果に基づいて、複数の動画毎に解析された被写体の動きの類似性を求めることが可能になる。その結果、ユーザは、比較相手の動画（手本動画等の基準動画）と類似するものとして、適切なものを選択することができる。

画像処理装置における特定機能は、一連の動作の流れにおける複数のチェックポイントについて、所定の比較観点における比較をすることで、複数の動画の各々に映る被写体の動きの類似性を算出する機能を含むことができる。
これにより、被写体の一連の動作の中で重要なポイント等について、複数の動画の各々に映る被写体の動きの類似性を細かに求めることが可能になる。その結果、ユーザは、重要なポイントで、比較相手の動画（手本動画等の基準動画）と類似するものを容易に選択する、という効果を奏する。
ここで、例えば、特定動作はゴルフスイングであり、バックスイングからフォロースイングまでの一連の動作の流れにおけるトップ、インパクト、フォローを含む複数のチェックポイントについて、所定の比較観点における比較をすることで、上述の効果はより顕著なものになる。
また、複数のチェックポイントの夫々について、所定の比較観点における比較の結果を数値化し、それぞれの数値に所定の重みを加味することで、複数の動画の各々に映る被写体の動きの類似性を算出するようにしてもよい。
これにより、複数のポイントの各重要度に応じて、複数の動画の各々に映る被写体の動きの全体の類似性を適切に求めることが可能になる。その結果、ユーザは、一連の動作について、比較相手の動画（手本動画等の基準動画）と類似するものを容易かつ適切に選択することができる。

画像処理装置は、所定処理を実行する実行機能と、実行手段の実行結果を示す画像を表示させる制御を実行する表示制御機能と、をさらに備えるようにすることができる。
これにより、ユーザは、実行手段の実行結果を、画像を通じて容易に視認することができる。ここで例えば、所定処理が上述のソートの処理であるならば、ソートの結果を示すソート結果画像が表示される。ユーザは、このソート結果画像を視認することで、比較相手の動画（手本動画等の基準動画）と類似するものをさらに容易に選択することができる。

画像処理装置における実行機能は、複数の観点の各々に対応する複数の軸からなる空間を構築し、複数の動画の各々に映る被写体の動きの類似性に基づいて、複数の動画を空間上に分布させることで、複数の動画をソートする機能を含み、表示制御機能は、空間に分布された複数の動画の様子を示す画像を表示せる制御を実行する機能を含むことができる。
これにより、ユーザは、比較相手の動画（手本動画等の基準動画）と類似するものについて、複数の比較観点の夫々の面（この観点では類似しているが別の観点では非類似なものを選択する等）と、全体的な面（全体的に類似しているものを選択する等）といった多面的な選択を容易かつ直観的にすることができる。
この場合、実行機能は、さらに、複数の軸に割り振る観点を選択することができる。この選択をユーザ操作により受け付けることで、ユーザにとって所望の比較観点が所望の軸に割り振られるので、ユーザは、比較相手の動画（手本動画等の基準動画）と類似するものをより一段と容易かつ適切に選択することができる。
また、実行機能は、基準動画に対応する位置が原点となるように空間を構築し、複数の動画の各々に映る被写体の動きの基準動画に対する類似性に基づいて、複数の動画の各々の配置位置を決定し、夫々の配置位置に複数の動画を分布させることで、複数の動画をソートする機能を含むことができる。
これにより、ユーザは、動画の配置位置までの原点からの距離から、当該動画についての比較相手の動画（手本動画等の基準動画）との類似度が直観的かつ直ちに視認することができる。従って、ユーザは、比較相手の動画（手本動画等の基準動画）と類似するものをより一段と容易かつ適切に選択することができる。

画像処理装置は、同期再生させるための複数の動画のデータを取得する取得機能をさらに備え、
表示制御機能は、複数の動画を同期再生させて、これらの複数の動画を画面上に並べて表示させる機能を有するようにしてもよい。
これにより、ユーザは、比較対象の動画（再生対象の動画）と比較相手の動画（手本動画等の基準動画）とを同時に見比べながら視認することができる。

また、上述の実施形態では、本発明が適用される画像処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、表示制御機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する特定手段
を備える画像処理装置。
［付記２］
前記特定手段は、基準となる基準動画を特定し、当該基準動画に映る被写体の動きと、前記複数の動画の各々に映る被写体の動きとの類似性に基づいて、前記複数の動画の中から、所定処理の対象となる動画を特定する、
付記１に記載の画像処理装置。
［付記３］
前記所定処理は、基準動画との類似度に従った順番で、前記複数の動画をソートする処理である、
付記２に記載の画像処理装置。
［付記４］
前記特定手段は、所定の比較観点における、前記複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する、
付記１乃至３のうちの何れか１つに記載の画像処理装置。
［付記５］
前記所定の比較観点には、被写体についての、動作速度、動作方向、動作タイミング、動作位置、及び動作状態のうち複数の観点が含まれる、
付記４に記載の画像処理装置。
［付記６］
前記所定の比較観点には、被写体の一連の動作の中で解析される各種情報であり、複数の動作タイミングにおける位置、角度、方向、距離、速度のうちのいずれかの変化状態の観点が含まれる、
付記５に記載の画像処理装置。
［付記７］
前記所定の比較観点には、被写体の一連の動作の中で解析される各種情報であり、特定の動作タイミングにおける被写体の状態の観点が含まれる、
付記５に記載の画像処理装置。
［付記８］
前記被写体の状態は、前記被写体についての、位置、角度、方向、又は距離を含む、
付記７に記載の画像処理装置。
［付記９］
前記所定の比較観点として複数の種類が存在し、
前記特定手段は、前記複数の種類の中から１以上の種類を、前記所定の比較観点として選択する、
付記５に記載の画像処理装置。
［付記１０］
選択可能な前記複数の種類の比較観点には、
被写体の一連の動作の中で解析される各種情報であり、複数の動作タイミングにおける位置、角度、方向、距離、速度のうちのいずれかの変化状態の観点、
被写体の一連の動作の中で解析される各種情報であり、特定の動作タイミングにおける被写体の状態の観点、又は、
被写体の静止状態において解析される各種情報であり、静止状態における状態の観点のうちの複数の観点を含む、
付記７に記載の画像処理装置。
［付記１１］
前記特定の動作タイミングにおける前記被写体の状態及び前記被写体の静止状態における状態は、前記被写体についての、位置、角度、方向、又は距離を含む、
付記１０に記載の画像処理装置。
［付記１２］
前記特定手段は、前記複数の動画毎に、所定の単位画像から被写体を検出し、当該被写体の動きをさらに解析し、前記複数の動画毎に解析された前記被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する、
付記１乃至１１のうちの何れか１つに記載の画像処理装置。
［付記１３］
前記特定手段は、さらに、前記複数の動画に映る被写体が行う共通の特定動作を対象として、この特定動作における一連の動作の流れをさらに解析し、その解析結果に基づいて、前記複数の動画の各々に映る被写体の動きの類似性を算出する、
付記４に記載の画像処理装置。
［付記１４］
前記特定手段は、前記一連の動作の流れにおける複数のチェックポイントについて、前記所定の比較観点における比較をすることで、前記複数の動画の各々に映る被写体の動きの類似性を算出する、
付記１３に記載の画像処理装置。
［付記１５］
前記特定動作はゴルフスイングであり、
バックスイングからフォロースイングまでの一連の動作の流れにおけるトップ、インパクト、フォローを含む前記複数のチェックポイントについて、前記所定の比較観点における比較をする、
付記１４に記載の画像処理装置。
［付記１６］
前記複数のチェックポイントの夫々について、前記所定の比較観点における比較の結果を数値化し、それぞれの数値に所定の重みを加味することで、前記複数の動画の各々に映る被写体の動きの類似性を算出する、
付記１４又は１５に記載の画像処理装置。
［付記１７］
前記所定処理を実行する実行手段と、
前記実行手段の実行結果を示す画像を表示させる制御を実行する表示制御手段と、
をさらに備える付記１乃至１６のうちの何れか１つに記載の画像処理装置。
［付記１８］
前記実行手段は、前記複数の観点の各々に対応する複数の軸からなる空間を構築し、前記複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画を前記空間上に分布させることで、前記複数の動画をソートし、
前記表示制御手段は、前記空間に分布された前記複数の動画の様子を示す画像を表示せる制御を実行する、
付記１７に記載の画像処理装置。
［付記１９］
前記実行手段は、さらに、前記複数の軸に割り振る観点を選択する、
付記１７に記載の画像処理装置。
［付記２０］
前記実行手段は、前記基準動画に対応する位置が原点となるように前記空間を構築し、複数の動画の各々に映る被写体の動きの前記基準動画に対する類似性に基づいて、前記複数の動画の各々の配置位置を決定し、夫々の配置位置に前記複数の動画を分布させることで、前記複数の動画をソートする、
付記１７に記載の画像処理装置。
［付記２１］
同期再生させるための複数の動画のデータを取得する取得手段をさらに備え、
前記表示制御手段は、前記複数の動画を同期再生させて、前記複数の動画を画面上に並べて表示させる、
付記１乃至１９のうちの何れか１つに記載の画像処理装置。
［付記２２]
画像処理装置が、
複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する、
画像処理方法。
［付記２３］
コンピュータを
複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する特定手段
として機能させるプログラム。

１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２１・・・ドライブ、５１・・・ソート対象動画特定部、５２・・・比較観点設定部、５３・・・ソート部、５４・・・ソート結果画像生成部、５５・・・表示制御部、５６・・・再生対象取得部、６１・・・手本動画記憶部、６２・・・再生動画記憶部、

Claims (23)

1. 複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する特定手段
   を備える画像処理装置。
2. 前記特定手段は、基準となる基準動画を特定し、当該基準動画に映る被写体の動きと、前記複数の動画の各々に映る被写体の動きとの類似性に基づいて、前記複数の動画の中から、所定処理の対象となる動画を特定する、
   請求項１に記載の画像処理装置。
3. 前記所定処理は、基準動画との類似度に従った順番で、前記複数の動画をソートする処理である、
   請求項２に記載の画像処理装置。
4. 前記特定手段は、所定の比較観点における、前記複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する、
   請求項１乃至３のうちの何れか１項に記載の画像処理装置。
5. 前記所定の比較観点には、被写体についての、動作速度、動作方向、動作タイミング、動作位置、及び動作状態のうち複数の観点が含まれる、
   請求項４に記載の画像処理装置。
6. 前記所定の比較観点には、被写体の一連の動作の中で解析される各種情報であり、複数の動作タイミングにおける位置、角度、方向、距離、速度のうちのいずれかの変化状態の観点が含まれる、
   請求項５に記載の画像処理装置。
7. 前記所定の比較観点には、被写体の一連の動作の中で解析される各種情報であり、特定の動作タイミングにおける被写体の状態の観点が含まれる、
   請求項５に記載の画像処理装置。
8. 前記被写体の状態は、前記被写体についての、位置、角度、方向、又は距離を含む、
   請求項７に記載の画像処理装置。
9. 前記所定の比較観点として複数の種類が存在し、
   前記特定手段は、前記複数の種類の中から１以上の種類を、前記所定の比較観点として選択する、
   請求項５に記載の画像処理装置。
10. 選択可能な前記複数の種類の比較観点には、
    被写体の一連の動作の中で解析される各種情報であり、複数の動作タイミングにおける位置、角度、方向、距離、速度のうちのいずれかの変化状態の観点、
    被写体の一連の動作の中で解析される各種情報であり、特定の動作タイミングにおける被写体の状態の観点、又は、
    被写体の静止状態において解析される各種情報であり、静止状態における状態の観点のうちの複数の観点を含む、
    請求項７に記載の画像処理装置。
11. 前記特定の動作タイミングにおける前記被写体の状態及び前記被写体の静止状態における状態は、前記被写体についての、位置、角度、方向、又は距離を含む、
    請求項１０に記載の画像処理装置。
12. 前記特定手段は、前記複数の動画毎に、所定の単位画像から被写体を検出し、当該被写体の動きをさらに解析し、前記複数の動画毎に解析された前記被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する、
    請求項１乃至１１のうちの何れか１項に記載の画像処理装置。
13. 前記特定手段は、さらに、前記複数の動画に映る被写体が行う共通の特定動作を対象として、この特定動作における一連の動作の流れをさらに解析し、その解析結果に基づいて、前記複数の動画の各々に映る被写体の動きの類似性を算出する、
    請求項４に記載の画像処理装置。
14. 前記特定手段は、前記一連の動作の流れにおける複数のチェックポイントについて、前記所定の比較観点における比較をすることで、前記複数の動画の各々に映る被写体の動きの類似性を算出する、
    請求項１３に記載の画像処理装置。
15. 前記特定動作はゴルフスイングであり、
    バックスイングからフォロースイングまでの一連の動作の流れにおけるトップ、インパクト、フォローを含む前記複数のチェックポイントについて、前記所定の比較観点における比較をする、
    請求項１４に記載の画像処理装置。
16. 前記複数のチェックポイントの夫々について、前記所定の比較観点における比較の結果を数値化し、それぞれの数値に所定の重みを加味することで、前記複数の動画の各々に映る被写体の動きの類似性を算出する、
    請求項１４又は１５に記載の画像処理装置。
17. 前記所定処理を実行する実行手段と、
    前記実行手段の実行結果を示す画像を表示させる制御を実行する表示制御手段と、
    をさらに備える請求項１乃至１６のうちの何れか１項に記載の画像処理装置。
18. 前記実行手段は、前記複数の観点の各々に対応する複数の軸からなる空間を構築し、前記複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画を前記空間上に分布させることで、前記複数の動画をソートし、
    前記表示制御手段は、前記空間に分布された前記複数の動画の様子を示す画像を表示せる制御を実行する、
    請求項１７に記載の画像処理装置。
19. 前記実行手段は、さらに、前記複数の軸に割り振る観点を選択する、
    請求項１７に記載の画像処理装置。
20. 前記実行手段は、前記基準動画に対応する位置が原点となるように前記空間を構築し、複数の動画の各々に映る被写体の動きの前記基準動画に対する類似性に基づいて、前記複数の動画の各々の配置位置を決定し、夫々の配置位置に前記複数の動画を分布させることで、前記複数の動画をソートする、
    請求項１７に記載の画像処理装置。
21. 
    同期再生させるための複数の動画のデータを取得する取得手段をさらに備え、
    前記表示制御手段は、前記複数の動画を同期再生させて、前記複数の動画を画面上に並べて表示させる、
    請求項１乃至２０のうちの何れか１項に記載の画像処理装置。
22. 画像処理装置が、
    複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する、
    画像処理方法。
23. コンピュータを
    複数の動画の各々に映る被写体の動きの類似性に基づいて、前記複数の動画の中から所定処理の対象となる動画を特定する特定手段
    として機能させるプログラム。

Images