JP2015061237A - 画像合成装置、画像合成方法及びプログラム - Google Patents

Abstract

【課題】所定の瞬間における複数の画像中の被写体の動きの差異をより分かり易くすること。
【解決手段】画像合成装置１は、画像取得部５１と、動き量判定部５４と、重畳表示制御部５６とを備える。画像取得部５１は、被写体が各々撮像された重畳動画のフレームと基準動画のフレームとを取得する。動き量判定部５４は、重畳動画の各フレームにおける被写体の動き量を判定する。重畳表示制御部５６は、動き量判定部５４によって判定された被写体の動き量に基づいて、重畳動画のフレームにおいて、当該動き量が所定量未満の領域と、当該動き量が所定量以上の領域との透過率が異なるように、基準動画のフレームに重畳動画のフレームを重畳して合成する。
【選択図】図４

Description

本発明は、複数の画像を合成する画像合成装置、画像合成方法及びプログラムに関する。

従来、スポーツのスイングを比較する目的等のために、複数の画像を合成する技術が利用されている。
このような技術として、例えば特許文献１には、一連のスイング動作を行う被写体の各時点の画像を重畳するように合成することが記載されている。

特開２００９−２０８９７号公報

しかしながら、所定の瞬間における複数の画像中の被写体の動きを比較したい場合、各画像をそのまま重畳するように合成するのでは、各画像における被写体の動きの差異が依然として分かりづらい虞がある。

本発明は、このような状況に鑑みてなされたものであり、所定の瞬間における複数の画像中の被写体の動きの差異をより分かり易くすることを目的とする。

上記目的を達成するため、本発明の一態様の画像合成装置は、
被写体が各々撮像された第１の画像と第２の画像とを取得する取得手段と、前記取得手段によって取得された第１の画像中における被写体の動き量を判定する動き量判定手段と、前記動き量判定手段によって判定された被写体の動き量に基づいて、前記第１の画像において、当該動き量が所定量未満の領域と、当該動き量が所定量以上の領域との透過率が異なるように、前記第１の画像と前記第２の画像とを重畳して合成する合成手段と、を備えることを特徴とする。

本発明によれば、所定の瞬間における複数の画像中の被写体の動きの差異をより分かり易くすることができる。

本発明の一実施形態に係る画像合成装置のハードウェアの構成を示すブロック図である。 画像合成装置の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。 図２の機能的構成を有する図１の画像合成装置が実行する画像合成処理の流れを説明するフローチャートである。 画像合成処理の概念を示す模式図である。 第２実施形態の画像合成装置の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。 図５の機能的構成を有する図１の画像合成装置が実行する画像合成処理の流れを説明するフローチャートである。 画像合成処理のサブフローとして実行される動画解析処理の流れを説明するフローチャートである。 第２実施形態の画像合成処理の概念を示す模式図である。 基準動画のフレームに、重畳動画のフレーム及び動きの差異を示すベクトルが重畳表示された状態を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

［第１実施形態］
図１は、本発明の一実施形態に係る画像合成装置１のハードウェアの構成を示すブロック図である。
画像合成装置１は、例えばデジタルカメラとして構成される。

画像合成装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。例えば、ＣＰＵ１１は、後述する画像合成処理プログラムに従って、画像合成処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号が示すデータを、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような画像合成装置１の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。
画像合成処理とは、比較される２つの動画の一方（重畳動画）において、動きの大きい領域を検出し、他方の動画（基準動画）に対して、重畳動画における動きの大きい領域の透過率を他の領域の透過率よりも低くして重畳表示する一連の処理をいう。なお、以下、基準動画は、スイングの検証を行うゴルフプレーヤーのスイングの動画であり、重畳動画は、ゴルフプレーヤーと比較するプロゴルファーのスイングの動画であるものとする。ただし、ゴルフプレーヤーの過去のスイングの動画を重畳動画とすること等も可能である。

画像合成処理が行われる場合、図２に示すように、ＣＰＵ１１において、画像取得部５１と、領域分割部５２と、動き量算出部５３と、動き量判定部５４と、透過率決定部５５と、重畳表示制御部５６とが機能する。
また、記憶部１９の一領域には、動画記憶部７１が設定される。
動画記憶部７１には、重畳動画あるいは基準動画等、画像合成処理に用いられる動画のデータが記憶される。

画像取得部５１は、画像合成処理に用いられる重畳動画及び基準動画を取得する。具体的には、画像取得部５１は、動画記憶部７１に記憶された重畳動画あるいは基準動画を取得したり、撮像部１６によって撮像された撮像画像を基準動画として取得したりする。ここで、重畳動画及び基準動画は、被写体を同一方向から撮影した動画であり、被写体の画角における大きさ及び位置が互いにほぼ一致されている。また、重畳動画と基準動画との被写体の画角における大きさ及び位置が互いに一致していない場合、一方の被写体（例えば重畳動画の被写体）をトリミングして拡大・縮小したり、位置を調整したりすることにより、被写体の画角における大きさ及び位置が互いに一致するよう補正される。
領域分割部５２は、画像取得部５１によって取得された重畳動画の各フレームを被写体の動きを判定するための小領域に分割する。具体的には、領域分割部５２は、重畳動画の各フレームを８行×８列の小領域に分割する。これらの小領域には、行及び列を示すアドレスが設定される。

動き量算出部５３は、重畳動画の一連のフレームにおいて、領域分割部５２によって分割された各小領域の画像内の被写体が変化した量（動き量）を算出する。具体的には、動き量算出部５３は、各小領域における同一位置の画素の画素値が一連のフレームにおいて変化した量を積分する。なお、各小領域における同一位置の画素の画素値が一連のフレームにおいて変化した量を積分することに代えて、直前のフレームから変化した量を動き量として算出することとしてもよい。
動き量判定部５４は、動き量算出部５３によって算出された各小領域の動き量に基づいて、重畳動画の一連のフレームにおいて、各小領域の被写体の動きが大きいか否かの判定を行う。具体的には、動き量判定部５４は、各小領域内の画素全体について、積分された画素値の変化量（動き量）の合計値が設定された閾値以上となった場合に、その小領域における被写体の動きが大きいものと判定する。

透過率決定部５５は、動き量判定部５４の判定結果に基づいて、重畳動画のフレームを基準動画のフレームに重畳して表示する際の各小領域の透過率を決定する。具体的には、透過率決定部５５は、動き量判定部５４によって被写体の動きが大きいと判定された重畳動画の小領域の透過率をより小さく（即ち、重畳動画が一定の明確性で表示されるように）設定し、被写体の動きが大きくないと判定された重畳動画の小領域の透過率をより大きく（即ち、重畳動画が明確には表示されないように）設定する。本実施形態では、被写体の動きが大きくないと判定された重畳動画の小領域については、透過率を１００％（表示されない状態）に設定している。

重畳表示制御部５６は、透過率決定部５５によって決定された透過率に基づいて、基準動画の各フレームに対して、重畳動画の各フレームを重畳表示させる制御を行う。具体的には、重畳表示制御部５６は、基準動画の各フレームに、重畳動画の各フレームを小領域毎に設定された透過率で透過させた状態で重畳表示する。本実施形態においては、重畳動画において被写体の動きが大きくない小領域については、透過率を１００％として実質的に表示しない設定としているため、基準動画に対して、重畳動画における動きの大きい小領域のみが設定された透過率で重畳表示される。
これにより、基準動画に重畳動画を重畳して表示し、被写体の動きを比較する場合に、不要な部分が重畳表示されて、被写体の動きの差異が分かりづらくなることを抑制できる。
したがって、所定の瞬間における複数の画像中の被写体の動きの差異をより分かり易く表示できる。

図３は、図２の機能的構成を有する図１の画像合成装置１が実行する画像合成処理の流れを説明するフローチャートである。また、図４は、画像合成処理の概念を示す模式図である。以下、図４を適宜参照しながら、図３の画像合成処理について説明する。
画像合成処理は、ユーザによって入力部１７に画像合成処理を開始させる操作が入力されることにより開始される。

画像合成処理が開始されると、ステップＳ１において、画像取得部５１は、動画記憶部７１に記憶されている重畳動画を取得する（図４（ｂ）参照）。
ステップＳ２において、画像取得部５１は、スイングの検証対象となる基準動画を取得する（図４（ａ）参照）。ここでは、基準動画は動画記憶部７１に記憶されており、画像取得部５１は、動画記憶部７１から基準動画を読み出すものとする。

ステップＳ３において、領域分割部５２は、画像取得部５１によって取得された重畳動画の各フレームを被写体の動きを判定するための小領域に分割する（図４（ｃ）参照）。
ステップＳ４において、動き量算出部５３は、重畳動画の一連のフレームにおいて、領域分割部５２によって分割された各小領域の画像内の被写体が変化した量（動き量）を算出する。
ステップＳ５において、動き量判定部５４は、動き量算出部５３によって算出された各小領域の動き量に基づいて、重畳動画の一連のフレームにおいて、各小領域の被写体の動きが大きいか否かの判定を行う（図４（ｄ）参照）。
ステップＳ６において、透過率決定部５５は、動き量判定部５４の判定結果に基づいて、重畳動画のフレームを基準動画のフレームに重畳して表示する際の各小領域の透過率を決定する。
ステップＳ７において、重畳表示制御部５６は、透過率決定部５５によって決定された透過率に基づいて、基準動画の各フレームに対して、重畳動画の各フレームを重畳表示させる制御を行う（図４（ｅ）参照）。
ステップＳ７の後、画像合成処理は終了となる。

以上のように構成される画像合成装置１は、画像取得部５１と、動き量判定部５４と、重畳表示制御部５６とを備える。
画像取得部５１は、被写体が各々撮像された重畳動画のフレームと基準動画のフレームとを取得する。
動き量判定部５４は、重畳動画の各フレームにおける被写体の動き量を判定する。
重畳表示制御部５６は、動き量判定部５４によって判定された被写体の動き量に基づいて、重畳動画のフレームにおいて、当該動き量が所定量未満の領域と、当該動き量が所定量以上の領域との透過率が異なるように、基準動画のフレームに重畳動画のフレームを重畳して合成する。
これにより、画像合成装置１においては、基準動画に重畳動画を重畳して表示し、被写体の動きを比較する場合に、不要な部分が重畳表示されて、被写体の動きの差異が分かりづらくなることを抑制できる。
したがって、所定の瞬間における複数の画像中の被写体の動きの差異をより分かり易く表示できる。

また、画像合成装置１は、透過率決定部５５をさらに備える。
動き量判定部５４は、重畳動画の所定の複数の領域における領域毎に、動き量を判定する。
透過率決定部５５は、動き量判定部５４による判定結果に基づいて、領域毎に透過率を決定する。
重畳表示制御部５６は、透過率決定部５５により領域毎に決定された透過率で、前記第２の画像と前記第１の画像とを重畳して合成する。
したがって、重畳動画の各小領域毎に適切な透過率を設定することができ、所定の瞬間における複数の画像中の被写体の動きの差異をより分かり易く表示できる。

また、重畳表示制御部５６は、動き量が所定量未満の領域に対応する重畳動画のフレームまたは基準動画のフレームの一方の領域の透過率を、動き量が所定量未満の領域に対応する重畳動画及び基準動画の領域の透過率よりも高くするように重畳動画と基準動画とを重畳して合成する。
したがって、被写体の動きが大きい領域の透過率よりも被写体の動きが小さい領域の透過率を高くすることができるため、重畳動画のフレーム及び基準動画のフレームにおいて、被写体の動きが大きい領域のみを重畳して表示させることができる。

また、重畳表示制御部５６は、合成された重畳動画と基準動画とをディスプレイに表示させる。
したがって、被写体の動きの差異を分かり易く表示することができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
第２実施形態に係る画像合成装置１は、図１に示す第１実施形態の画像合成装置１と同様のハードウェア構成を備えている。一方、第２実施形態に係る画像合成装置１は、図２に示す第１実施形態の画像合成装置１の機能的構成と一部が異なっている。
したがって、以下、第１実施形態と異なる部分である画像合成装置１の機能的構成及び画像合成処理を主として説明する。

図５は、第２実施形態の画像合成装置１の機能的構成のうち、画像合成処理を実行するための機能的構成を示す機能ブロック図である。
第２実施形態の画像合成処理とは、重畳動画において、動きの大きい領域を検出し、基準動画に対して、重畳動画における動きの大きい領域の透過率を他の領域の透過率よりも低くして重畳表示すると共に、基準動画と重畳動画の被写体の動き（スイング動作）が対応するタイミングのフレームを重畳表示する一連の処理をいう。

画像合成処理が行われる場合、図５に示すように、ＣＰＵ１１において、画像取得部５１と、領域分割部５２と、動き量算出部５３と、動き量判定部５４と、透過率決定部５５と、重畳表示制御部５６と、スイング判定部５７とが機能する。
また、記憶部１９の一領域には、動画記憶部７１と、比較結果記憶部７２とが設定される。
これらのうち、比較結果記憶部７２、スイング判定部５７及び重畳表示制御部５６以外の機能ブロックは、図２と同様であるため、第１実施形態の説明を参照するものとする。

比較結果記憶部７２は、スイング判定部５７によって判定された基準動画と重畳動画のスイングポイントの対応関係を示すデータ（以下、「スイングポイント比較結果データ」と呼ぶ。）が記憶される。具体的には、比較結果記憶部７２には、基準動画の被写体及び重畳動画の被写体が、アドレス、トップ、インパクト、フォロー等のスイングの基準となる特定の姿勢（スイングポイント）となっているフレームの番号がスイングポイント比較結果データとして記憶される。

スイング判定部５７は、基準動画の被写体の動き（スイング動作）、及び、重畳動画の被写体の動きからスイングポイントを判定し、基準動画及び重畳動画において、スイングポイントが対応するフレームを検出する。即ち、スイング判定部５７は、基準動画及び重畳動画に写された被写体の一連の動作において、被写体が基準となる特定の姿勢となっているフレームをスイングポイントが対応するフレームとして検出する。そして、スイング判定部５７は、基準動画及び重畳動画において、検出したスイングポイントが対応するフレームの番号を、スイングポイント比較結果データとして比較結果記憶部７２に記憶する。

なお、基準動画及び重畳動画において、被写体が基準となる特定の姿勢となっているフレームを検出する場合、被写体の動きを検出することの他、フレームにスイングポイントを識別するタグを付しておき、このタグを読み出すことも可能である。
重畳表示制御部５６は、透過率決定部５５によって決定された透過率に基づいて、基準動画の各フレームに対して、重畳動画の各フレームを重畳表示させる制御を行う。
このとき、重畳表示制御部５６は、基準動画に対して、スイングポイントが対応する重畳動画のフレームを重畳表示させる。例えば、重畳表示制御部５６は、スイングポイントが対応するフレームの前後の所定枚数（例えば前後５フレームずつ等）を重畳表示したり、スイングポイントが対応するフレーム以後の所定枚数（例えば以後１０フレーム等）を重畳表示したりすることができる。

これにより、基準動画に重畳動画を重畳して表示し、被写体の動きを比較する場合に、不要な部分が重畳表示されて、被写体の動きの差異が分かりづらくなることを抑制できる。
したがって、所定の瞬間における複数の画像中の被写体の動きの差異をより分かり易く表示できる。
また、基準動画に対して、重畳動画におけるスイングポイントが対応するフレームが同期して重畳表示されるため、被写体の動きの差異をより適切に比較して表示できる。

図６は、図５の機能的構成を有する図１の画像合成装置１が実行する画像合成処理の流れを説明するフローチャートである。また、図７は、画像合成処理のサブフローとして実行される動画解析処理の流れを説明するフローチャートである。図８は、第２実施形態の画像合成処理の概念を示す模式図である。以下、図８を適宜参照しながら、図６の画像合成処理について説明する。
画像合成処理は、ユーザによって入力部１７に画像合成処理を開始させる操作が入力されることにより開始される。

画像合成処理が開始されると、ステップＳ１１において、画像取得部５１は、動画記憶部７１に記憶されている重畳動画を解析する動画解析処理を実行する。
ステップＳ１２において、重畳表示制御部５６は、画像取得部５１によって取得された基準動画のフレームを出力部１８のディスプレイに表示する（図８（ａ）参照）。なお、本実施形態においては、画像取得部５１は撮像部１６から出力される撮像画像を基準動画として取得するものとする。
ステップＳ１３において、スイング判定部５７は、基準動画の被写体の動きを検出し、スイングポイントを判定する。ここでの判定結果は、比較結果記憶部７２に記憶される。

ステップＳ１４において、重畳表示制御部５６は、基準画像のスイングポイントと対応する重畳動画のフレームを重畳表示させる（図８（ｉ）参照）。
ステップＳ１５において、重畳表示制御部５６は、画像合成処理の終了が指示入力されたか否かの判定を行う。
画像合成処理の終了が指示入力されていない場合、ステップＳ１５においてＮＯと判定されて、処理はステップＳ１２に移行する。
一方、画像合成処理の終了が指示入力された場合、ステップＳ１５においてＹＥＳと判定されて、処理は終了となる。

次に、図７を参照して、画像合成処理のステップＳ１１においてサブフローとして実行される動画解析処理について説明する。
動画解析処理が開始されると、ステップＳ１１１において、画像取得部５１は、動画記憶部７１に記憶されている重畳動画を取得する（図８（ｂ）〜（ｆ）参照）。
ステップＳ１１２において、領域分割部５２は、画像取得部５１によって取得された重畳動画の各フレームを被写体の動きを判定するための小領域に分割する（図８（ｇ）参照）。

ステップＳ１１３において、動き量算出部５３は、重畳動画の一連のフレームにおいて、領域分割部５２によって分割された各小領域の画像内の被写体が変化した量（動き量）を算出する。
ステップＳ１１４において、動き量判定部５４は、動き量算出部５３によって算出された各小領域の動き量に基づいて、重畳動画の一連のフレームにおいて、各小領域の被写体の動きが大きいか否かの判定を行う（図８（ｈ）参照）。
ステップＳ１１５において、スイング判定部５７は、重畳動画の被写体の動きを検出し、スイングポイントを判定する（図８（ｄ）参照）。ここでの判定結果は、比較結果記憶部７２に記憶される。
ステップＳ１１５の後、処理は画像合成処理に戻る。

以上のように構成される画像合成装置１は、以下のような特徴を備える。
重畳動画のフレームは、記憶部１９に記憶された動画像のフレームあるいはリムーバブルメディア３１等に記録された動画像のフレームである。
基準動画のフレームは、逐次撮像される撮像画像中のフレームである。
重畳表示制御部５６は、基準動画と重畳動画とにおける所定の被写体像の動きを同期させながら、基準動画に重畳動画が重畳するように合成する。
これにより、基準動画に対して、重畳動画におけるスイングポイントが対応するフレームが同期して重畳表示されるため、被写体の動きの差異をより適切に比較して表示できる。

［応用例１］
上述の実施形態において、基準動画の被写体の動きと、重畳動画の被写体の動きとを比較し、これらの被写体の動きのずれを判定することにより、ずれが大きい部分を識別して表示することができる。
この場合、例えば、図５に示す機能的構成のうち、スイング判定部５７が被写体の動作の検出及び動作の比較を行う。具体的には、スイング判定部５７は、以下のように被写体の動作の検出及び動作の比較を行う。

即ち、スイング判定部５７は、動画記憶部７１に記憶された基準動画あるいは重畳動画の各フレームにおいて、被写体の動作を検出する。具体的には、スイング判定部５７は、動画を構成する各フレームにおいて、エッジ検出フィルタを適用することによって輪郭抽出を行い、抽出した輪郭線におけるノイズ（不要な輪郭線）の除去処理を行う。即ち、スイング判定部５７は、被写体の輪郭線を抽出する輪郭線抽出機能を有している。

また、スイング判定部５７は、ノイズの除去処理が施された画像において、身体を表す閉領域を特定する。ここでは、身体の輪郭及び関節位置を定義したモデル（以下、「身体モデル」と呼ぶ。）を予め記憶しておき、この身体モデルの輪郭を参照することで、身体を表す閉領域を検出する。さらに、スイング判定部５７は、身体を表す閉領域の長尺方向の端点及び屈曲点の抽出を行う。そして、スイング判定部５７は、抽出した端点及び屈曲点を基に、身体モデルの関節位置を参照して、動作時における身体の軸となる各動作基準軸の設定を行う。即ち、スイング判定部５７は、動作基準軸を設定する軸設定機能を有している。スイング判定部５７は、この動作基準軸を複数フレーム間で追跡することにより、被写体の動作を検出する。

輪郭線における端点及び屈曲点は、比較的容易に検出できることから、これらを用いることで、動作基準軸の設定を容易に行うことができる。
なお、アドレス時における打球方向後方からの動画像を対象として、ゴルフスイングを行う被写体の動作を検出する場合、上腕（右利きのプレーヤーであれば右上腕）の動きは、スイングの基準とすることができる。そこで、ここでは、上腕を最も注視する動作基準軸として特定する。以下、この上腕に設定される動作基準軸を、適宜「主動作基準軸」と呼び、他の動作基準軸を適宜「補助動作基準軸」と呼ぶ。

スイング判定部５７は、動画の各フレームについて、設定した各動作基準軸を示すデータを、各フレームの画像と対応付ける。
スイング判定部５７は、これら動作基準軸を参照し、基準動画及び重畳動画における被写体の動作を比較する。具体的には、スイング判定部５７は、基準動画の被写体と重畳動画の被写体とにおける一連の動作のうち、各フレームにおける主動作基準軸の角度を比較し、互いの動画像で対応する動作を特定する。そして、スイング判定部５７は、基準動画の被写体と重畳動画の被写体とにおいて、主動作基準軸の動きを照合しながら、一連の動きの中で主動作基準軸の回転角度がほぼ同一となるフレームをスイングポイントが対応するフレームとして検出する。なお、スイングポイントが対応するフレームを検出する方法は、第２実施形態における方法を用いることとしてもよい。

さらに、スイング判定部５７は、基準動画の被写体と重畳動画の被写体とにおいて、対応するスイングポイントのフレームを比較し、そのフレームに設定されている動作基準軸の位置及び回転角度から、被写体の動作の差異を検出する。具体的には、重畳動画の被写体における各フレームの動作基準軸の位置及び回転角度と、基準動画の被写体における動作基準軸の位置及び回転角度との差異を算出し、基準動画のフレームとの対応関係を付して、その差異を示すデータ（以下、適宜「スイング比較結果データ」と呼ぶ。）を比較結果記憶部７２に記憶する。スイング比較結果データとして、例えば、基準動画において、注目する動作基準軸の移動方向及び回転角度が、重畳動画において対応する動作基準軸の移動方向及び回転角度とどの程度差異するかを表すベクトル及び角度が付加される。

重畳表示制御部５６は、透過率決定部５５によって決定された透過率に基づいて、基準動画の各フレームに対して、重畳動画の各フレームを重畳表示させる制御を行う。
このとき、重畳表示制御部５６は、基準動画に対して、スイングポイントが対応する重畳動画のフレームを重畳表示させる。例えば、重畳表示制御部５６は、スイングポイントが対応するフレームの前後の所定枚数（例えば前後５フレームずつ等）を重畳表示したり、スイングポイントが対応するフレーム以後の所定枚数（例えば以後１０フレーム等）を重畳表示したりすることができる。

また、このとき、重畳表示制御部５６は、スイング比較結果データを参照し、基準動画の被写体と重畳動画の被写体との動きの差異を識別する指標（識別指標）を併せて表示する。具体的には、重畳表示制御部５６は、スイングポイントが対応する重畳動画のフレームを基準動画のフレームに重畳表示する際に、基準動画の被写体と重畳動画の被写体との動きの差異を示すベクトルを、識別指標として動作基準軸の位置に重畳表示する。

図９は、基準動画のフレームに、重畳動画のフレーム及び動きの差異を示すベクトルが重畳表示された状態を示す模式図である。図９においては、被写体に設定される動作基準軸のうち、右脚に設定されたもののみを例として示している。
なお、このベクトルを表示することに代えて、あるいは、ベクトルの表示に加えて、動きの差異が生じている動作基準軸が属する小領域を点滅あるいは色を変化させる等、小領域の表示形態を変化させて識別指標とすることもできる。

これにより、基準動画に重畳動画を重畳して表示し、被写体の動きを比較する場合に、不要な部分が重畳表示されて、被写体の動きの差異が分かりづらくなることを抑制できる。
したがって、所定の瞬間における複数の画像中の被写体の動きの差異をより分かり易く表示できる。
また、基準動画に対して、重畳動画におけるスイングポイントが対応するフレームが重畳表示されるため、被写体の動きの差異をより適切に比較して表示できる。
さらに、基準動画の被写体の動きと重畳動画の被写体の動きとの差異が、差異を示すベクトルあるいは小領域の表示形態の変化等の識別指標により識別して表示されるため、被写体の動きの差異をより分かり易く表示することができる。

以上のように構成される画像合成装置１は、以下のような特徴を備える。
重畳表示制御部５６は、基準動画と重畳動画とにおける所定の被写体像の動きの差異を識別する指標（識別指標）を表示する。
これにより、基準動画の被写体の動きと重畳動画の被写体の動きとの差異が、差異を示すベクトルあるいは小領域の表示形態の変化等の識別指標により識別して表示されるため、被写体の動きの差異をより分かり易く表示することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、重畳動画が画像合成装置１に記憶され、基準動画が画像合成装置１に記憶されている場合（第１実施形態）、あるいは、基準動画が逐次撮像される場合（第２実施形態）について説明したが、これに限られない。即ち、重畳動画が逐次撮像されるものとすることもできる。
また、画像合成処理とは、表示処理時に重畳動画と基準動画とが重畳するように合成する一連の処理としたが、これに限られない。
即ち、画像合成処理は、上記表示処理時より前の段階で基準動画に対し重畳動画を合成して予め記憶させる処理でも良い。この場合、予め記憶された重畳動画と基準動画を表示処理時に表示させることになる。
また、上記各実施形態において、透過率は、基準動画に対する重畳動画を基準とした相対値として記載したが、これに限られない。
即ち、透過率は、重畳動画に対する基準動画を基準とした相対値としても良い。

また、上述の実施形態では、識別指標として、動作基準軸についてのベクトルや小領域の表示形態の変更を用いることとしたが、これに限られない。即ち、動作基準軸の色を変更したり、動作基準軸を点滅させる等、識別指標として、動作基準軸の表示形態の変更を用いることもできる。

また、上述の実施形態では、本発明が適用される画像合成装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２及び図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像合成装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２及び図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体が各々撮像された第１の画像と第２の画像とを取得する取得手段と、
前記取得手段によって取得された第１の画像中における被写体の動き量を判定する動き量判定手段と、
前記動き量判定手段によって判定された被写体の動き量に基づいて、前記第１の画像において、当該動き量が所定量未満の領域と、当該動き量が所定量以上の領域との透過率が異なるように、前記第１の画像と前記第２の画像とを重畳して合成する合成手段と、
を備えることを特徴とする画像合成装置。
［付記２］
前記動き量判定手段は、前記第１の画像の所定の複数の領域における領域毎に、前記動き量を判定し、
前記動き量判定手段による判定結果に基づいて、前記領域毎に透過率を決定する決定手段をさらに備え、
前記合成手段は、前記決定手段により領域毎に決定された透過率で、前記第２の画像と前記第１の画像とを重畳して合成することを特徴とする付記１に記載の画像合成装置。
［付記３］
前記合成手段は、前記動き量が所定量未満の領域に対応する前記第１の画像または前記第２の画像の一方の領域の透過率を、前記動き量が所定量以上の領域に対応する前記第１の画像及び前記第２の画像の領域の透過率よりも高くするように前記第１の画像と前記第２の画像とを重畳して合成することを特徴とする付記１または２に記載の画像合成装置。
［付記４］
前記第１の画像は、記録手段に記録された第１の動画像中の画像であり、
前記第２の画像は、逐次撮像される第２の動画像中の画像であり、
前記合成手段は、前記第２の動画像と前記第１の動画像とにおける所定の被写体像の動きを同期させながら、前記第２の動画像と前記第１の動画像とが重畳するように合成することを特徴とする付記１から３のいずれか１つに記載の画像合成装置。
［付記５］
前記合成手段により合成された第１の画像と第２の画像とを表示手段に表示させる表示制御手段をさらに備えたことを特徴とする付記４に記載の画像合成装置。
［付記６］
前記表示制御手段は、前記第２の動画像と前記第１の動画像とにおける所定の被写体像の動きの差異を識別する指標を表示させることを特徴とする付記５に記載の画像合成装置。
［付記７］
被写体が各々撮像された第１の画像と第２の画像とを取得する取得ステップと、
前記取得ステップにおいて取得された第１の画像中における被写体の動き量を判定する動き量判定ステップと、
前記動き量判定ステップにおいて判定された被写体の動き量に基づいて、前記第１の画像において、当該動き量が所定量未満の領域と、当該動き量が所定量以上の領域との透過率が異なるように、前記第１の画像と前記第２の画像とを重畳して合成する合成ステップと、
を含むことを特徴とする画像合成方法。
［付記８］
コンピュータに、
被写体が各々撮像された第１の画像と第２の画像とを取得する取得機能と、
前記取得機能によって取得された第１の画像中における被写体の動き量を判定する動き量判定機能と、
前記動き量判定機能によって判定された被写体の動き量に基づいて、前記第１の画像において、当該動き量が所定量未満の領域と、当該動き量が所定量以上の領域との透過率が異なるように、前記第１の画像と前記第２の画像とを重畳して合成する合成機能と、
を実現させることを特徴とするプログラム。

１・・・画像合成装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・画像取得部，５２・・・領域分割部，５３・・・動き量算出部，５４・・・動き量判定部，５５・・・透過率決定部，５６・・・重畳表示制御部，５７・・・スイング判定部，７１・・・動画記憶部，７２・・・比較結果記憶部

Claims (8)

1. 被写体が各々撮像された第１の画像と第２の画像とを取得する取得手段と、
   前記取得手段によって取得された第１の画像中における被写体の動き量を判定する動き量判定手段と、
   前記動き量判定手段によって判定された被写体の動き量に基づいて、前記第１の画像において、当該動き量が所定量未満の領域と、当該動き量が所定量以上の領域との透過率が異なるように、前記第１の画像と前記第２の画像とを重畳して合成する合成手段と、
   を備えることを特徴とする画像合成装置。
2. 前記動き量判定手段は、前記第１の画像の所定の複数の領域における領域毎に、前記動き量を判定し、
   前記動き量判定手段による判定結果に基づいて、前記領域毎に透過率を決定する決定手段をさらに備え、
   前記合成手段は、前記決定手段により領域毎に決定された透過率で、前記第２の画像と前記第１の画像とを重畳して合成することを特徴とする請求項１に記載の画像合成装置。
3. 前記合成手段は、前記動き量が所定量未満の領域に対応する前記第１の画像または前記第２の画像の一方の領域の透過率を、前記動き量が所定量以上の領域に対応する前記第１の画像及び前記第２の画像の領域の透過率よりも高くするように前記第１の画像と前記第２の画像とを重畳して合成することを特徴とする請求項１または２に記載の画像合成装置。
4. 前記第１の画像は、記録手段に記録された第１の動画像中の画像であり、
   前記第２の画像は、逐次撮像される第２の動画像中の画像であり、
   前記合成手段は、前記第２の動画像と前記第１の動画像とにおける所定の被写体像の動きを同期させながら、前記第２の動画像と前記第１の動画像とが重畳するように合成することを特徴とする請求項１から３のいずれか１項に記載の画像合成装置。
5. 前記合成手段により合成された第１の画像と第２の画像とを表示手段に表示させる表示制御手段をさらに備えたことを特徴とする請求項４に記載の画像合成装置。
6. 前記表示制御手段は、前記第２の動画像と前記第１の動画像とにおける所定の被写体像の動きの差異を識別する指標を表示させることを特徴とする請求項５に記載の画像合成装置。
7. 被写体が各々撮像された第１の画像と第２の画像とを取得する取得ステップと、
   前記取得ステップにおいて取得された第１の画像中における被写体の動き量を判定する動き量判定ステップと、
   前記動き量判定ステップにおいて判定された被写体の動き量に基づいて、前記第１の画像において、当該動き量が所定量未満の領域と、当該動き量が所定量以上の領域との透過率が異なるように、前記第１の画像と前記第２の画像とを重畳して合成する合成ステップと、
   を含むことを特徴とする画像合成方法。
8. コンピュータに、
   被写体が各々撮像された第１の画像と第２の画像とを取得する取得機能と、
   前記取得機能によって取得された第１の画像中における被写体の動き量を判定する動き量判定機能と、
   前記動き量判定機能によって判定された被写体の動き量に基づいて、前記第１の画像において、当該動き量が所定量未満の領域と、当該動き量が所定量以上の領域との透過率が異なるように、前記第１の画像と前記第２の画像とを重畳して合成する合成機能と、
   を実現させることを特徴とするプログラム。

Images