JP2010198559A - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Abstract

【課題】対象物の移動量に依存せずに、見やすい軌跡を生成することができる画像処理装置を提供する。
【解決手段】画像処理装置が、複数の画像に含まれている主要被写体の移動量を検出する移動量検出部と、移動量検出部が検出した移動量に基づいて、複数の画像の中から、主要被写体の軌跡を作成するための画像を選択する合成画像選択部と、合成画像選択部が選択した画像を重ね合わせる画像合成処理部と、を有する。
【選択図】図１

Description

本発明は、軌跡を表示する画像処理装置に関する。

従来、連続画像について、輪郭を重ね合わせることで、撮影された対象物の軌跡を得る画像処理装置が知られている（例えば、特許文献１参照）。

特許第３６０３６２９号公報

しかしながら、特許文献１に示す画像処理装置にあっては、画像の重ね合わせを行う際に、指定した画像を全て重ね合わせてしまう。そのため、たとえば、対象物の移動量が小さい場合には、対象物の軌跡が重なってしまうために、対象物の軌跡が見づらくなるという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、対象物の移動量に依存せずに、見やすい軌跡を生成することができる画像処理装置、画像処理方法、および、画像処理プログラムを提供することにある。

この発明は上述した課題を解決するためになされたもので、複数の画像に含まれている主要被写体の移動量を検出する移動量検出部と、前記移動量検出部が検出した移動量に基づいて、前記複数の画像の中から、前記主要被写体の軌跡を作成するための画像を選択する合成画像選択部と、前記合成画像選択部が選択した画像を重ね合わせる画像合成処理部と、を有することを特徴とする画像処理装置である。

この発明によれば、画像処理装置は、複数の画像の全てを単に重ね合わせるのではなく、複数の画像の中から、移動量に基づいた画像のみを選択して重ね合わせる。よって、対象物の移動量に依存せずに、対象物の軌跡が重なってしまうことがなく、見やすい軌跡を生成することができるという効果を奏する。

この発明の一実施形態による画像処理装置の構成を示すブロック図である。 図１の画像処理装置の動作を示すフローチャートである。 画像記憶部に記憶されている一例としての複数の画像を示す図である。 図３の複数の画像から選択した画像を重ね合わせて生成された一例としての軌跡を示す図である。 図１のステップＳ１の詳細を示すフローチャートである。 図１のステップＳ２の詳細を示すフローチャートである。 図１のステップＳ４からＳ６の詳細を示すフローチャートである。 輪郭を重ね合わせる場合に、輪郭を抽出するための一例としてのフィルタを示す図である。

＜画像処理装置の構成＞
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による画像処理装置の構成を示す概略ブロック図である。ここでは、複数の静止画から、主要被写体の軌跡を示す１枚の静止画を生成する場合を例にして説明する。

画像処理装置は、図１に示すように、画像記憶部１と、グルーピング部２と、主要被写体検出部３と、移動量検出部４と、合成画像選択部５と、画像合成処理部６と、操作部７と、表示部８と、を有する。

操作部７は、ユーザが操作する入力を受け付ける。操作部７は、たとえば、方向キー、ダイヤルキー、ボタン、または、タッチパネルである。表示部８は、画像などを表示する液晶表示装置等などの表示装置である。

画像記憶部１には、複数の画像が予め記憶されており、たとえば、複数の画像と当該画像の撮影された時刻とが関連付けて予め記憶されている。なお、この画像記憶部１は、画像処理装置に内蔵されている記憶装置であってもよいし、画像処理装置に対して脱着可能な記憶装置であってもよい。

グルーピング部２は、画像記憶部１に記憶されている複数の画像の中から、撮影順序が連続する複数の画像をグループとして選択して、当該グループとして選択した複数の画像を画像記憶部１から読み出して取得する。以降においては、グループとして選択することを、グルーピングと称して説明する。

このグルーピング部２は、たとえば、画像記憶部１の中から選択された画像の撮影された時刻に対して、撮影された時刻が連続する複数の画像を、画像記憶部１の中からグルーピングしてもよい。

なお、画像の選択は、次のようにして実行される。まず、画像記憶部１に記憶されている画像を表示部８に表示する。たとえば、複数の画像を順に表示部８に表示、または、複数の画像のサムネイルをまとめて表示部８に表示する。次に、この表示部８に表示された複数の画像の中から、ユーザが、操作部７を操作することにより、画像を選択する。これにより、画像が選択される。

また、グルーピング部２は、画像記憶部１の中から選択された画像に対して、構図が似ている画像、色が似ている画像、被写体が似ている画像、または、これらの組み合わせが似ている画像を、画像記憶部１に記憶されている複数の画像の中から、グルーピングしてもよい。

主要被写体検出部３は、グルーピング部２によりグルーピングされた複数の画像から、当該画像から検出された特徴量に基づいて、主要被写体を検出する。たとえば、この主要被写体検出部３は、グルーピングされた複数の画像における物体の大きさを特徴量として検出し、当該検出した物体の大きさに基づいて、主要被写体を検出する。

また、たとえば、主要被写体検出部３は、移動ベクトルを特徴量として検出し、当該検出した移動ベクトルに基づいて、主要被写体を検出する。また、主要被写体検出部３は、複数の画像において検出された移動ベクトルにおいて、当該検出した移動ベクトルに規則性があり、かつ、移動ベクトルが大きい被写体を、主要被写体として検出する。ここで、移動ベクトルに規則性があるとは、複数の画像において、移動ベクトルの向きが一定の範囲の方向であることである。また、移動ベクトルが大きいとは、複数の画像において、移動ベクトルの絶対値が、大きいことである。

また、主要被写体検出部３は、グルーピングされた複数の画像の中から、ユーザの選択操作により選択された被写体を主要被写体として検出してもよい。なお、この主要被写体の選択は、次のようにして実行される。まず、グルーピングされた複数の画像の中のいずれかの画像を表示部８に表示する。次に、この表示部８に表示された画像の中から、ユーザが、操作部７を操作することにより、主要被写体を選択する。これにより、主要被写体が選択される。

移動量検出部４は、グルーピングされた複数の画像に含まれている主要被写体の移動量を検出する。この移動量の検出は、たとえば、動きベクトル検出の技術などを用いて実行される。

合成画像選択部５は、移動量検出部４が検出した移動量に基づいて、グルーピングされた複数の画像の中から、主要被写体の軌跡を作成するための画像を選択する。この合成画像選択部５は、たとえば、グルーピングされた複数の画像の中から、検出した主要被写体の大きさに対して予め定められている割合を有する移動量よりも、移動量検出部４が検出した移動量が大きい画像を順に選択する。

画像合成処理部６は、合成画像選択部５が選択した画像を重ね合わせる。画像合成処理部６は、たとえば、主要被写体の大きさの画像全体に大きさに対する割合を算出し、当該算出した割合が予め定められている割合よりも大きい場合には、主要被写体の輪郭のみを重ねて合成し、逆に、当該算出した割合が予め定められている割合よりも大きくない場合には、主要被写体全体を重ねて合成する。

また、画像合成処理部６は、主要被写体の輪郭のみを重ねる場合には、画像内における主要被写体の移動方向を検出し、当該検出した移動方向に応じたフィルタにより、主要被写体の輪郭を画像毎に抽出する。そして、画像合成処理部６は、画像毎に抽出した輪郭を、重ねて合成する。

そして、画像合成処理部６は、合成した画像を、表示部８または外部の表示装置に出力して表示させる。または、画像合成処理部６は、合成した画像を、画像記憶部１または外部の記憶装置に出力して記憶させる。

＜画像処理装置の動作概要＞
次に、図２と図３とを用いて、図１を用いて説明した画像処理装置の動作概要について説明する。ここでは、図１の画像記憶部１には、たとえば、図３に示すような、複数の画像が記憶されているものとして説明する。たとえば、この図３に示すように、画像記憶部１には、図３（１）から図３（１５）の１５枚の画像が記憶されており、図３（１）から図３（１５）には、撮影された時刻が含まれているものとする。また、この画像は図３（１）から図３（３）の画像は順に撮影されており、図３（４）から図３（１２）の画像は順に撮影されており、図３（１３）から図３（１５）の画像は順に撮影されているものとして説明する。なお、ここでは、図３の画像は、それぞれ、静止画である場合について説明する。

まず、グルーピング部２が、画像記憶部１に記憶されている複数の画像の中から、撮影順序が連続する複数の画像をグルーピングする（ステップＳ１）。たとえば、グルーピング部２は、画像記憶部１に記憶されている複数の画像である図３（１）から図３（１５）の画像の中から、図３（４）から図３（１２）という複数の画像をグルーピングする。

次に、主要被写体検出部３が、グルーピング部２によりグルーピングされた複数の画像から、主要被写体を検出する（ステップＳ２）。ここでは、主要被写体検出部３は、グルーピングされた複数の画像である図３（４）から図３（１２）の中から、図面において「○」として示される図形を、主要被写体として検出したものとして説明する。

次に、移動量検出部４が、グルーピングされた複数の画像に含まれている主要被写体の移動量を検出する（ステップＳ３）。

次に、合成画像選択部５は、移動量検出部４が検出した移動量に基づいて、グルーピングされた複数の画像の中から、主要被写体の軌跡を作成するための画像を選択する（ステップＳ４）。たとえば、グルーピングされた複数の画像である図３（４）から図３（１２）の中において、図３（４）から図３（６）の画像において、および、図３（１０）から図３（１１）の画像においては、移動量の値が小さい。そのため、合成画像選択部５は、移動量の値が小さい複数の画像の中からは、いずれか１つの画像を選択するようにする。そして、移動量の値が大きい画像は、全て選択するようにする。

このようして、合成画像選択部５は、グルーピングされた複数の画像である図３（４）から図３（１２）の中から、移動量検出部４が検出した移動量に基づいて、たとえば、図３（４）、図３（７）、図３（８）、図３（９）、図３（１０）、および、図３（１２）を、選択する。ここでは、合成画像選択部５は、一例として、移動量の値が小さい複数の画像の中から、最初の１枚の画像を選択するものとする。

次に、画像合成処理部６は、合成画像選択部５が選択した画像を重ね合わせる（ステップＳ５）。たとえば、画像合成処理部６は、ステップ合成画像選択部５により選択された図３（４）、図３（７）、図３（８）、図３（９）、図３（１０）、および、図３（１２）を、重ね合わせて、図４に示す画像を生成する。次に、画像合成処理部６は、生成した画像を、出力する（ステップＳ６）。

このように、画像処理装置は、たとえば、図３（１）から図３（１５）または図３（４）から図３（１２）という複数の画像の全てを単に重ね合わせるのではなく、複数の画像の中から、図３（４）、図３（７）、図３（８）、図３（９）、図３（１０）、および、図３（１２）という移動量に基づいた画像のみを選択して重ね合わせる。よって、図４に示すように、対象物の移動量に依存せずに、対象物の軌跡が重なってしまうことがなく、見やすい軌跡を生成することができる。

また、画像処理装置は、図３（４）から図３（６）に示すように、主要被写体が移動していないような画像において、たとえば図３（４）のように、いずれかの画像のみを選択する。これにより、たとえば、図３（４）から図３（６）などの主要被写体が移動する前の画像、すなわち、撮影開始時の画像から、軌跡を作成するのに好適な画像を選択することが容易となる。また、同様に、主要被写体が移動した後の画像、すなわち、撮影終了時の画像からも、軌跡を作成するのに好適な画像を選択することが容易となる。これにより、ユーザによる画像選択の作業を軽減することができる。ここで、撮影開始時の画像とは、撮影を開始してから所定の期間の間に撮影された画像であり、撮影終了時の画像とは、撮影を終了する前の所定の期間の間に撮影された画像である。

なお、図３および図４においは、主要被写体の数が１つの場合について説明したが、主要被写体の数は複数であってもよい。この場合、画像処理装置は、複数の主要被写体のそれぞれについて、同様の処理を実行することにより、それぞれの主要被写体について、軌跡を作成することができる。

＜各構成の詳細な動作＞
次に、図５から図８を用いて、図１に示した各構成の動作、および、図２の各ステップの動作について、詳細に説明する。まず、図５を用いて、図１のグルーピング部２の動作、すなわち、図２のステップＳ１の動作について詳細に説明する。

まず、ユーザが、画像記憶部１に記憶されている複数の画像の中からグループとしての複数の画像を選択することを、すなわち、軌跡を作成する画像を選択することを、ユーザ選択により選択するのか、自動選択により選択するのかを、操作部７を操作して選択して入力する（ステップＳ１０１）。

次に、グルーピング部２は、入力された選択が、ユーザ選択であるのか、自動選択であるのかを、判定する（ステップＳ１０２）。このステップＳ１０２の判定結果が、ユーザ選択である場合には、グルーピング部２は、選択する画像が、複数毎であるか１枚であるかを、ユーザに選択させる。ユーザは、操作部７を操作して、選択する画像が、複数毎であるか１枚であるかを、入力する。

次に、グルーピング部２は、入力された選択が、複数毎の画像を選択する場合であるのか、１枚の画像を選択する場合であるのかを、判定する（ステップＳ１０３）。このステップＳ１０３において、入力された選択が、複数毎の画像を選択する場合には、グルーピング部２は、画像記憶部１に記憶されている複数の画像を表示する。そして、ユーザが、表示された画像に基づいて、操作部７を操作して、複数毎の画像を選択する（ステップＳ１０４）。たとえば、ユーザは、図３（４）から図３（１２）の画像を選択する。

次に、グルーピング部２は、選択された複数毎の画像を、グルーピングする（ステップＳ１０４）。たとえば、グルーピング部２は、ユーザにより選択された図３（４）から図３（１２）の画像を、グルーピングする

一方、ステップＳ１０３において、入力された選択が、１枚の画像を選択する場合には、グルーピング部２は、画像記憶部１に記憶されている複数の画像を表示する。そして、ユーザが、表示された画像の中から、操作部７を操作して、いずれか１毎の画像を選択する（ステップＳ１０４）。たとえば、ユーザは、図３（７）の画像を選択する。

次に、グルーピング部２は、選択された１毎の画像に基づいて、グルーピングする（ステップＳ１０７）。たとえば、グルーピング部２は、選択された図３（７）の画像と、時刻が連続する図３（４）から図３（１２）の画像を抽出し、この抽出した図３（４）から図３（１２）の画像をグルーピングする。

一方、ステップＳ１０２の判定結果が、自動選択である場合には、グルーピング部２は、自動処理選択により、グルーピングを実行する（ステップＳ１０８）。グルーピング部２は、たとえば、時刻が連続する図３（４）から図３（１２）の画像を抽出し、この抽出した図３（４）から図３（１２）の画像をグルーピングする。

上記に図５を用いて説明した処理により、グルーピング部２は、画像記憶部１に記憶されている複数の画像の中から、複数の画像をグルーピングする。

図５を用いて説明したように、たとえば、ユーザは１枚の画像を選択するだけで、グルーピング部２により、複数の画像をグルーピングすることができる（ステップＳ１０６およびＳ１０７参照）。そのため、ユーザは、簡易に、軌跡を作成するための複数の画像を選択することができる。

また、ユーザは手動で画像を選択すること無しに、グルーピング部２により、グルーピングを実行することも可能である（ステップＳ１０８参照）。この場合、ユーザは、更に簡易に、軌跡を作成するための複数の画像を選択することができる。

次に、図６を用いて、図１の主要被写体検出部３の動作、すなわち、図２のステップＳ２の動作について詳細に説明する。まず、ユーザが操作部７を操作して、主要被写体の選択は、ユーザ選択であるのか、自動選択であるのかを、入力する。次に、主要被写体検出部３は、ユーザの選択した入力が、ユーザ選択であるのか、自動選択であるのかを、判定する（ステップＳ２０１）。

このステップＳ２０１の判定結果が、ユーザ選択である場合には、主要被写体検出部３は、ユーザに主要被写体を選択させる（ステップＳ２０２）。たとえば、まず、主要被写体検出部３は、グルーピングされた画像の中から選択されたいずれかの画像を、表示部８に表示する。このグルーピングされた画像の中からの画像の選択は、たとえば、ユーザが、操作部７を操作して選択するようにしてもよい。次に、ユーザが、操作部７を操作して、この表示部８に表示された画像の中から、主要被写体を選択する。なお、ユーザは、複数の主要被写体を選択してもよい。

一方、ステップＳ２０１の判定結果が、自動選択である場合には、主要被写体検出部３は、グルーピングされた画像から検出された特徴量に基づいて、主要被写体を検出する（ステップＳ２０３）。

このステップＳ２０３において、たとえば、次に説明するステップＳ２０４からステップＳ２０６のようにして、主要被写体検出部３は、主要被写体を検出する。まず、主要被写体の選択方法を、大きさによる選択であるか、動きベクトルによる選択であるのか、をユーザに選択させる。次に、主要被写体検出部３は、主要被写体検出部３は、ユーザが選択した選択方法が、大きさによる選択であるか、動きベクトルによる選択であるのかを、判定する（ステップＳ２０４）。

このステップＳ２０４の判定結果が、大きさによる選択である場合には、主要被写体検出部３は、グルーピングされた画像に対して、被写体の大きさを検出し、当該検出した大きさが、最も大きい被写体を、主要被写体として検出する（ステップＳ２０５）。

たとえば、主要被写体検出部３は、このグルーピングされた画像において、このグルーピングされた画像の最初の画像のみに対して被写体の大きさを検出し、当該検出した大きさが、最も大きい被写体を、主要被写体として検出してもよい。また、主要被写体検出部３は、グルーピングされた画像の全てにおいて大きさを検出し、検出した大きさの平均が最大となる被写体を、主要被写体として検出してもよい。なお、主要被写体検出部３は、当該検出した大きさが、予め定められた大きさよりも大きい被写体を主要被写体として選択するようにして、複数の主要被写体を検出するようにしてもよい。

一方、ステップＳ２０４の判定結果が、動きベクトルによる選択である場合には、主要被写体検出部３は、グルーピングされた画像に対して、動きベクトルを検出し、当該検出した動きベクトルに基づいて、主要被写体を検出する（ステップＳ２０６）。たとえば、主要被写体検出部３は、複数の画像において検出された移動ベクトルにおいて、当該検出した移動ベクトルに規則性があり、かつ、移動ベクトルが大きい被写体を、主要被写体として検出する。

図６を用いて説明したように、主要被写体検出部３により、ユーザは、主要被写体を手動により選択することも可能である（ステップＳ２０２参照）。また、ユーザは、主要被写体を手動により選択すること無しに、主要被写体検出部３により、主要被写体を選択することも可能である（ステップＳ２０３参照）。

上記に図６を用いて説明した処理により、主要被写体検出部３は、グルーピング部２によりグルーピングされた複数の画像から、主要被写体を検出することができる。

なお、この主要被写体検出部３は、主要被写体として、１つであってもよいし、複数であってもよい。以下では、主要被写体の数が１つの場合について説明するが、主要被写体の数が複数の場合であっても、複数の主要被写体のそれぞれについて、以降に説明する主要被写体の数が１つの場合と同様の処理を実行することにより、複数の主要被写体のそれぞれについて軌跡を生成することができる。なお、主要被写体検出部３が主要被写体を検出しなかった場合には、たとえば、以降の処理を中断する。

次に、図７を用いて、図１の移動量検出部４と合成画像選択部５との動作、すなわち、図２のステップＳ３からステップＳ５の動作について詳細に説明する。

なお、ここでは、主要被写体検出部３と、移動量検出部４と、合成画像選択部５とが、次のように動作する場合について説明する。まず、主要被写体検出部３が、検出した主要被写体の大きさの画像全体に大きさに対する割合を算出し、当該算出した割合に基づいて、合成する方法を、主要被写体の輪郭のみを重ねて合成する方法、および、主要被写体全体を重ねて合成する方法、の中から選択するようにする。たとえば、主要被写体検出部３が、算出した割合が予め定められている割合よりも大きい場合には、主要被写体の輪郭のみを重ねて合成する方法を選択し、逆に、当該算出した割合が予め定められている割合よりも大きくない場合には、主要被写体全体を重ねて合成する方法を選択するようにする。そして、合成画像選択部５は、主要被写体検出部３が選択した合成方法と、移動量検出部４が検出した移動量とに基づいて、グルーピングされた複数の画像の中から、主要被写体の軌跡を作成するための画像を選択する。そして、合成画像選択部５は、合成画像選択部５が選択した画像を、主要被写体検出部３が選択した合成方法により重ね合わせて合成する。

次に、各動作について、図７を用いて詳細に説明する。まず、主要被写体検出部３は、主要被写体の画面全体に対する大きさの割合を算出する（ステップＳ６０１）。

次に、主要被写体検出部３は、算出した主要被写体の画面全体に対する大きさの割合の値が、１０％以上であるか否かを判定する（ステップＳ６０２）。このステップＳ６０２の判定結果が１０％以上である場合（ステップＳ６０２でＹｅｓの場合）には、主要被写体検出部３は、合成方法として、主要被写体の輪郭のみを重ね合わせて合成することを選択する（ステップＳ６０３）。

次に、主要被写体の輪郭のみを重ね合わせて合成することが主要被写体検出部３により選択されたことに応じて、合成画像選択部５が、移動量検出部４が検出した移動量に基づいて、１枚前の画像と比較して、主要被写体の大きさの１／５以上進んだ画像を順に選択する（ステップＳ６０４）。

次に、画像合成処理部６が、合成画像選択部５の選択した画像について、主要被写体の輪郭のみを重ね合わせて合成することにより、重ね合わせを実行する（ステップＳ６０５）。その後、画像合成処理部６が、重ね合わせた画像を出力する。

一方、ステップＳ６０２の判定結果が１０％以上でない場合（ステップＳ６０２でＮｏの場合）には、主要被写体検出部３は、合成方法として、主要被写体の全体を重ね合わせて合成することを選択する（ステップＳ６０６）。

次に、主要被写体の全体を重ね合わせて合成することが主要被写体検出部３により選択されたことに応じて、合成画像選択部５が、移動量検出部４が検出した移動量に基づいて、１枚前の画像と比較して、主要被写体の大きさの半分以上進んだ画像を順に選択する（ステップＳ６０７）。

次に、画像合成処理部６が、合成画像選択部５の選択した画像について、主要被写体の全体を重ね合わせて合成することにより、重ね合わせを実行する（ステップＳ６０５）。その後、画像合成処理部６が、重ね合わせた画像を出力する。

なお、上述したステップＳ６０５において、画像合成処理部６が、合成画像選択部５の選択した画像について、主要被写体の輪郭のみを重ね合わせて合成することにより、重ね合わせを実行する場合には、画像合成処理部６は、図８に示すようなフィルタを用いて、主要被写体の移動方向に応じて輪郭を抽出し、当該抽出した輪郭を重ね合わせてもよい。

たとえば、画像処理装置が、移動方向と、移動方向に応じたフィルタとが関連付けて予め記憶されているフィルタ記憶部を有するようにする（図８参照）。そして、画像合成処理部６は、主要被写体の輪郭のみを重ねる場合には、画像内における主要被写体の移動方向を検出し、当該検出した移動方向に該当するフィルタをフィルタ記憶部から読み出す。そして、画像合成処理部６は、読み出したフィルタを画像に畳み込み演算して、主要被写体の輪郭を画像毎に抽出する。そして、画像合成処理部６は、画像毎に抽出した輪郭を、重ねて合成する。

以上、図７を用いて説明したように、画像合成処理部６は、グルーピングされた全ての画像を単に重ね合わせて合成するのではなく、グルーピングされた全ての画像の中から、合成画像選択部５が選択した画像を、重ね合わせて合成する。この合成画像選択部５は、移動量検出部４が検出した移動量に基づいて、グルーピングされた全ての画像の中から、画像を選択している。よって、たとえば図４に示すように、対象物の移動量に依存せずに、対象物の軌跡が重なってしまうことがなく、見やすい軌跡を生成することができる。

また、画像合成処理部６は、主要被写体の画面全体に対する大きさの割合に基づいて、主要被写体の輪郭のみを重ね合わせるか、または、主要被写体の全体を重ね合わせるか、という、主要被写体の重ね合わせ方を変更する（ステップＳ６０１からＳ６０７参照）。これにより、主要被写体の画面全体に対する大きさに依存せずに、見やすい軌跡を生成することができる。

また、画像合成処理部６は、主要被写体の輪郭のみを重ね合わせる場合（ステップＳ６０３およびＳ６０４参照）には、図８に示すようなフィルタを用いて、主要被写体の移動方向に応じた輪郭を抽出し、当該抽出した輪郭を重ね合わせる。

これにより、画像合成処理部６は、主要被写体の移動方向に依存せず、主要被写体がいずれの方向へ移動している場合でも、軌跡を作成するのに適した輪郭を抽出することができる。そして、画像合成処理部６は、この抽出した輪郭を重ね合わせることにより、主要被写体の移動方向に依存せず、主要被写体がいずれの方向へ移動している場合でも、見やすい軌跡を生成することができる。

以上、図１から図８を用いて説明した画像処理装置によれば、複数の画像の全てを単に重ね合わせるのではなく、複数の画像の中から、移動量に基づいた画像のみを選択して重ね合わせる。よって、対象物の移動量に依存せずに、対象物の軌跡が重なってしまうことがなく、見やすい軌跡を生成することができる。

なお、画像記憶部１には、複数の撮像された画像と当該画像を撮影した場合における焦点を合致させた被写体を示す情報とが関連付けて予め記憶されるようにしてもよい。たとえば、追尾オートフォーカス機能を有する撮影装置で撮影された画像の場合には、複数の撮像された画像と当該画像を撮影した場合における焦点を合致させた被写体を示す情報とが関連付けることができる。そして、主要被写体検出部３が、複数の画像から主要被写体を検出する場合に、当該画像と関連付けられている被写体を示す情報に基づいて、主要被写体を検出する。このようにして、撮影する段階での主要被写体を、軌跡を作成する対象としての主要被写体とすることも可能である。

なお、図１から図８を用いた画像処理装置の説明においては、複数の画像は、予め画像記憶部１に記憶されているものとし、また、この複数の画像は、静止画であるものとして説明した。しかし、これに限られるものではなく、この画像は動画であってもよい。たとえば、動画の場合には、図示しない制御装置が、動画を所定のフレームレートに対応する連続する複数の静止画として、画像記憶部１に順に記憶させるようにする。これにより、画像処理装置は、動画についても、静止画と同様に軌跡を生成することができる。

なお、画像記憶部１に動画が記憶される場合には、たとえば、合成画像選択部５が、画像記憶部１に記憶されている動画を、静止画に変換しつつ、変換した静止画の中から軌跡を生成するための画像を選択するようにしてもよい。この場合でも、静止画の場合と同様に、画像処理装置は、対象物の移動量に依存せずに、対象物の軌跡が重なってしまうことがなく、見やすい軌跡を生成することができる。

また、画像処理装置が軌跡を作成する対象とする画像は、撮影中の動画、または、撮影しつつ記録している動画であってもよい。この場合も、図示しない制御装置が、撮影中の動画、または、撮影しつつ記録している動画を、所定のフレームレートに対応する複数の連続する静止画として、画像記憶部１に順に記憶させるようにする。これにより、画像処理装置は、動画についても、静止画と同様に軌跡を生成することができる。なお、この場合には、動画を撮影する、または、動画を撮影しつつ記録する撮像装置が、画像処理装置を有するようにしてもよいし、この撮像装置と画像処理装置とを、一体として構成するようにしてもよい。

また、同様に、撮像および撮像された画像の表示を繰り返し行う連続画像表示が可能な撮像装置が、上記に説明した画像処理装置を有するようにしてもよい。これにより、連続画像表示しつつ、当該連続画像表示する画像における対象物の軌跡を表示することが可能である。

また、合成画像選択部５は、グルーピングされた画像の中から画像を選択する場合に、次のようにして、画像を選択するようにしてもよい。

まず、グルーピングされた画像について、軌跡を見やすくするために、主要被写体の速度、大きさ、シャッター速度、画像枚数の関係に基づいて、重ね合わせる画像を選択するようにしてもよい。ここでいうシャッター速度とは、連続して撮影される画像の速度であり、たとえば、６０ＦＰＳ（Frame Per Second）などの値である。なお、この場合には、画像記憶部１には、画像と、当該画像が撮影された場合のシャッター速度とが、関連付けて予め記憶されているものとする。または、画像処理装置には、シャッター速度を示す情報が、撮像装置から入力されているものとする。

例えば、主要被写体の速度が遅く、被写体の画面全体に対する割合の大きさが大きく、シャッター速度が速く、かつ、画像枚数が多い場合には、連続した画像間では主要被写体の移動量が小さいため、合成画像選択部５は、間引きを実行する。これにより、画像合成処理部６は、主要被写体について、見やすい軌跡を合成することができる。なお、合成画像選択部５は、間引きを実行する場合、主要被写体の移動量に応じて、間引く画像の枚数を可変とすることにより、被写体の速度や大きさが変わっても、画像飛びがない起動を生成することができる。

また、合成画像選択部５は、グルーピングされた画像の中から画像を選択する場合に、主要被写体の速度、大きさ、シャッター速度、画像枚数という項目について、これらの各項目について重み付けをした後の関係に基づいて、重ね合わせる画像を選択するようにしてもよい。なお、この重み付けの重みは、画像枚数優先や、見易さ優先などの優先毎に予め定められていてもよい。

なお、画像合成処理部６は、合成画像選択部５が選択した画像を重ね合わせる場合に、いずれかの画像を主要画像として選択し、当該選択した主要画像が、合成画像選択部５が選択した他の画像に対して、見やすくなるように、他の画像の色合い、明るさ、および、あざやかさ、ないし、露出を変更するようにした後、合成してもよい。これにより、主要画像が目立ち、合成した画像が、見やすくなる。
なお、この主要画像は、合成画像選択部５が選択した画像の中から、ユーザが選択するようにしてもよいし、画像合成処理部６が選択するようにしてもよい。この画像合成処理部６が選択する場合は、画像合成処理部６は、合成画像選択部５が選択した画像の中から、予め定められて選択方法により選択する。合成画像選択部５は、たとえば、この予め定められて選択方法として、順序が最初の画像、順序が中央となる画像、または、順序が最後となる画像、として主要画像を選択する。

なお、画像合成処理部６は、合成画像選択部５が選択した画像を重ね合わせる場合に、各画像に対して、背景よりも主要被写体が見やすくなるように画像処理した後、重ね合わせてもよい。たとえば、背景よりも主要被写体が見やすくなるように、画像合成処理部６は、主要被写体の領域の、色合い、明るさ、および、あざやかさ、ないし、露出を変更してもよい。または、画像合成処理部６は、背景のみの領域の、色合い、明るさ、および、あざやかさ、ないし、露出を変更してもよい。これにより、主要被写体が背景よりも見やすくなるとともに、その軌跡が背景よりも見やすくなる。

なお、画像合成処理部６は、合成画像選択部５が選択した画像を重ね合わせる場合に、画面全体を重ね合わせて合成するようにしてもよいし、主要被写体の領域のみを重ね合わせて合成するようにしてもよい。画像合成処理部６は、主要被写体の領域のみを重ね合わせて合成する場合には、主要被写体の周辺領域、すなわち、主要被写体の領域と当該主要被写体の領域と隣接する外側の領域とを、重ね合わせて合成してもよい。なお、この当該主要被写体の領域と隣接する外側の領域とは、たとえば、当該主要被写体の領域に対して、予め定められている比率を有する領域である。

また、撮像装置と画像処理装置とが一体として構成されている場合に、主要被写体に周辺のみの重ね合わせを行う場合には、この撮像装置は、追尾オートフォーカス機能を有していることが望ましい。撮像装置が追尾オートフォーカス機能を有していることにより、主要被写体の検出が容易となるため、主要被写体に周辺のみを重ね合わせることが容易となる。

また、複数の静止画において、主要被写体の周辺のみの重ね合わせを行う場合には、たとえば、グルーピングされた画像の中のいずれか１枚の画像、たとえば、最初の画像、または、最後の画像をユーザが選択するようにする。そして、この選択した画像に対して、主要被写体の周辺のみを重ね合わせるようにしてもよい。これにより、主要被写体以外の背景となる画像は１枚の画像であるため、背景については、見やすくなる。また、主要被写体については、主要被写体の周辺のみが合成されるために、軌跡が見やすくなる。

なお、動画像において、主要被写体の周辺のみの重ね合わせを行う場合には、主要被写体以外の画像、たとえば、背景となる画像は、たとえば、３０ｆｐｓ、もしくは、ユーザが指定したフレームレートで表示するようにする。これにより、ユーザは、主要被写体以外の画像については、通常の動画として見ることができるとなるとともに、主要被写体の軌跡を見ることができる。

なお、画像を重ね合わせる場合に、画面の中で、背景が動いている場合には、重ね合わせた画像において、背景の動きにより、主要被写体について正常に軌跡を生成できない可能性がある。この場合には、たとえば、主要被写体のみを抽出して軌跡を生成してもよい。また、複数の画像において、背景が一致する領域が同じ位置となるように画像全体の位置を変更しつつ、主要被写体を重ね合わせるようにする。これにより、背景が動いている場合であっても、主要被写体の軌跡を正常に生成することができる。

なお、グルーピング部２は、主要被写体検出部３が検出した主要被写体が含まれている画像を、画像記憶部１に記憶されている複数の画像の中から抽出することにより、グルーピングするようにしてもよい。
たとえば、まず、ユーザは、画像記憶部１に記憶されている複数の画像の中から、操作部７を操作して、いずれかの画像を表示部８に表示する。そして、ユーザは、操作部７を操作することにより、主要被写体検出部３を介して、表示部８に表示されている被写体の中から主要被写体を選択して検出する。次に、グルーピング部２は、主要被写体検出部３が検出した主要被写体が含まれている画像を、画像記憶部１に記憶されている複数の画像の中から抽出することにより、グルーピングする。その後、上記に説明したように、移動量検出部４などによる処理が実行される。
これにより、ユーザは、軌跡を表示したい主要被写体を選択するのみで、軌跡を生成するための複数の画像を容易に選択することができる。

なお、画像記憶部１は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＲ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。

なお、グルーピング部２、主要被写体検出部３、移動量検出部４、合成画像選択部５、または、画像合成処理部６は専用のハードウェアにより実現されるものであってもよく、また、このグルーピング部２、主要被写体検出部３、移動量検出部４、合成画像選択部５、または、画像合成処理部６は、メモリおよびＣＰＵ（中央演算装置）により構成され、グルーピング部２、主要被写体検出部３、移動量検出部４、合成画像選択部５、または、画像合成処理部６の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、図１におけるグルーピング部２、主要被写体検出部３、移動量検出部４、合成画像選択部５、または、画像合成処理部６の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各部により実行される処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…画像記憶部、２…グルーピング部、３…主要被写体検出部、４…移動量検出部、５…合成画像選択部、６…画像合成処理部、７…操作部、８…表示部

Claims (11)

1. 複数の画像に含まれている主要被写体の移動量を検出する移動量検出部と、
   前記移動量検出部が検出した移動量に基づいて、前記複数の画像の中から、前記主要被写体の軌跡を作成するための画像を選択する合成画像選択部と、
   前記合成画像選択部が選択した画像を重ね合わせる画像合成処理部と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記合成画像選択部が、
   前記複数の画像の中から、前記主要被写体の大きさに対して予め定められている割合を有する移動量よりも、前記移動量検出部が検出した移動量が大きい画像を順に選択する、
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記複数の画像から、当該画像から検出された特徴量に基づいて、前記主要被写体を検出する主要被写体検出部、
   を有することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記主要被写体検出部が、
   前記複数の画像における物体の大きさを前記特徴量として検出し、当該検出した物体の大きさに基づいて、前記主要被写体を検出する、
   ことを特徴とする画像処理装置。
5. 請求項３または請求項４に記載の画像処理装置において、
   前記主要被写体検出部が、
   移動ベクトルを前記特徴量として検出し、当該検出した移動ベクトルに基づいて、前記主要被写体を検出する、
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記主要被写体検出部が、
   前記複数の画像において検出された移動ベクトルにおいて、当該検出した移動ベクトルに規則性があり、かつ、移動ベクトルが大きい被写体を、前記主要被写体として検出する、
   ことを特徴とする画像処理装置。
7. 請求項１から請求項６のいずれかに記載の画像処理装置において、
   取得した複数の画像の中から、複数の画像をグループとして選択するグルーピング部、
   を有し、
   前記移動量検出部が、
   前記グルーピング部がグループとして選択した画像を前記複数の画像として、当該複数の画像に含まれている主要被写体の移動量を検出し、
   前記合成画像選択部が、
   前記グルーピング部がグループとして選択した画像を前記複数の画像として、当該複数の画像の中から、前記主要被写体の軌跡を作成するための画像を選択する、
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記グルーピング部は、
   前記複数の画像を取得する場合に、当該画像の撮影された時刻を当該画像ととともに取得し、
   前記複数の画像をグループとして選択する場合に、前記取得した複数の画像の中から、当該画像の撮影された時刻が連続する複数の画像を前記グループとして選択する、
   ことを特徴とする画像処理装置。
9. 請求項６または請求項７に記載の画像処理装置において、
   前記グルーピング部は、
   前記複数の画像を取得する場合に、当該画像が撮影された場合に焦点が合致された被写体を示す情報を当該画像とともに取得し、
   前記主要被写体検出部が、
   前記複数の画像から前記主要被写体を検出する場合に、前記被写体を示す情報に基づいて、前記主要被写体を検出する、
   ことを特徴とする画像処理装置。
10. 複数の画像に含まれている主要被写体の移動量を検出する移動量検出手順と、
    前記移動量検出手順で検出した移動量に基づいて、前記複数の画像の中から、前記主要被写体の軌跡を作成するための画像を選択する合成画像選択手順と、
    前記合成画像選択手順で選択した画像を重ね合わせる画像合成処理手順と、
    を有することを特徴とする画像処理方法。
11. 画像処理装置としてのコンピュータに、
    複数の画像に含まれている主要被写体の移動量を検出する移動量検出手順と、
    前記移動量検出手順で検出した移動量に基づいて、前記複数の画像の中から、前記主要被写体の軌跡を作成するための画像を選択する合成画像選択手順と、
    前記合成画像選択手順で選択した画像を重ね合わせる画像合成処理手順と、
    を実行させるための画像処理プログラム。

Images