JP2015106186A - 画像接合装置、画像接合方法および画像接合プログラム - Google Patents

Abstract

【課題】高精度のセンサ等を必要とすることなく、接合画像の位置ずれを目立たなくする。【解決手段】動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合装置１００は、対象の静止画像が接合されるべき部分の少なくとも一部分に、過去画像確認部により過去の静止画像が一部分に存在することが確認された場合、対象の静止画像に対応付けられた動きベクトルと、過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する角度算出部１５０と、角度算出部により算出された角度が所定の角度以上であった場合、対象の静止画像の接合を停止する停止処理部１６０と、過去画像確認部により過去の静止画像が一部分に存在しないことが確認された場合、または、角度算出部により算出された角度が所定の角度未満であった場合に、対象の静止画像の接合を行う接合処理部１７０と、を備える。【選択図】図１

Description

本発明は、画像接合装置、画像接合方法および画像接合プログラムに関するものであり、特に動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合装置、画像接合方法および画像接合プログラムに関するものである。

複数の静止画像もしくは動画像を構成する静止画像を接合してより大きな画像を構成する技術は、フォトモザイキングなどとして知られている。

近年、長大な被写体を撮影するために手動でカメラを動かして動画を撮影し、その動画を構成する静止画像を接合して接合画像を作成する手法が実現され、デジタルカメラ等に付加機能として装備されている。特に、デジタルカメラの普及以降は、接合処理を自動もしくは半自動で行うソフトウェアも普及している。

例えば、特許文献１には、自由なカメラ軌跡で撮影された静止画像の接合する技術が開示されている。この技術は、撮影時におけるカメラ移動方向を判定し、カメラ移動方向に基づいて静止画像の接合を行うことにより接合画像を生成する。

しかしながら、ループ状のカメラ軌跡で撮影された静止画像の接合は、ループ開始点および終了点の静止画像において、同じ場所にあるべきものに位置ずれを生じる問題が存在する。この問題は、カメラ軌跡や、撮影された静止画像から取得される動きベクトルの誤差の蓄積により生じる。

この誤差の蓄積は、高精度の方位センサ、姿勢センサおよび／または加速度センサなどの情報を併用することにより軽減することができる。しかし、十分に高性能で小型のセンサは、小型、軽量および／または安価な機器に導入することは困難である。

また、この誤差の蓄積を、画像の位置修正を伴う繰り返し処理により軽減することも可能であるが、繰り返し処理の計算量は、非常に大きい。そのため、このような繰り返し処理を実現するための回路も、小型、軽量および／または安価な機器に導入することは難しい。

特開２０１３−３０８７５号公報

上記事情に鑑み、本発明は、高精度のセンサ等を必要とすることなく、上記位置ずれに関する問題を解決することを目的とするものである。

本発明の画像接合装置は、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合装置であって、対象の静止画像を取得する画像取得部と、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出部と、対象の静止画像と動きベクトルとを対応付けて記録する動きベクトル記録部と、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認部と、過去画像確認部により過去の静止画像が一部分に存在することが確認された場合、対象の静止画像に対応付けられた動きベクトルと、過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する角度算出部と、角度算出部により算出された角度が所定の角度以上であった場合、対象の静止画像の接合を停止する停止処理部と、過去画像確認部により過去の静止画像が一部分に存在しないことが確認された場合、または、角度算出部により算出された角度が所定の角度未満であった場合に、対象の静止画像の接合を行う接合処理部とを備える。

本発明の画像接合装置は、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合装置であって、複数の静止画像を取得する画像取得部と、画像取得部が取得した複数の静止画像において、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出部と、対象の静止画像の動画像内での時刻を記録する時刻記録部と、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認部と、過去画像確認部により過去の静止画像が一部分に存在することが確認された場合、過去の静止画像の動画像内での時刻と、対象の静止画像の動画像内での時刻との間の時間差を算出する時間算出部と、時間算出部により算出された時間差が所定の時間差以上であった場合、対象の静止画像の接合を停止する停止処理部と、過去画像確認部により過去の静止画像が一部分に存在しないことが確認された場合、または、時間算出部により算出された時間差が所定の時間未満であった場合に、対象の静止画像の接合を行う接合処理部とを備える。

本発明の画像接合方法は、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合方法であって、対象の静止画像を取得する画像取得ステップと、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出ステップと、対象の静止画像と動きベクトルとを対応付けて記録する動きベクトル記録ステップと、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認ステップと、過去画像確認ステップにより過去の静止画像が一部分に存在することが確認された場合、対象の静止画像に対応付けられた動きベクトルと、過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する角度算出ステップと、角度算出ステップにより算出された角度が所定の角度以上であった場合、対象の静止画像の接合を停止する停止処理ステップと、過去画像確認ステップにより過去の静止画像が一部分に存在しないことが確認された場合、または、角度算出ステップにより算出された角度が所定の角度未満であった場合に、対象の静止画像の接合を行う接合処理ステップとを備えることを特徴とする。

本発明の画像接合方法は、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合方法であって、複数の静止画像を取得する画像取得ステップと、画像取得ステップが取得した複数の静止画像において、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出ステップと、対象の静止画像の動画像内での時刻を記録する時間記録ステップと、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認ステップと、過去画像確認ステップにより過去の静止画像が一部分に存在することが確認された場合、過去の静止画像の動画像内での時刻と、対象の静止画の動画像内での時刻との間の時間差を算出する時間算出ステップと、時間算出ステップにより算出された時間差が所定の時間差以上であった場合、対象の静止画像の接合を停止する停止処理ステップと、過去画像確認ステップにより過去の静止画像が一部分に存在しないことが確認された場合、または、時間算出ステップにより算出された時間差が所定の時間未満であった場合に、対象の静止画像の接合を行う接合処理ステップとを備えることを特徴とする。

本発明の画像接合プログラムは、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合プログラムであって、コンピュータに、対象の静止画像を取得する画像取得機能と、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出機能と、対象の静止画像と動きベクトルとを対応付けて記録する動きベクトル記録機能と、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認機能と、過去画像確認機能により過去の静止画像が一部分に存在することが確認された場合、対象の静止画像に対応付けられた動きベクトルと、過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する角度算出機能と、角度算出機能により算出された角度が所定の角度以上であった場合、対象の静止画像の接合を停止する停止処理機能と、過去画像確認機能により過去の静止画像が一部分に存在しないことが確認された場合、または、角度算出機能により算出された角度が所定の角度未満であった場合に、対象の静止画像の接合を行う接合処理機能とを実現させることを特徴とする。

本発明の画像接合プログラムは、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合プログラムであって、コンピュータに、複数の静止画像を取得する画像取得機能と、画像取得機能が取得した複数の静止画像において、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出機能と、対象の静止画像の動画像内での時刻を記録する時間記録機能と、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認機能と、過去画像確認機能により過去の静止画像が一部分に存在することが確認された場合、過去の静止画像の動画像内での時刻と、対象の静止画像の動画像内での時刻との間の時間差を算出する時間算出機能と、時間算出機能により算出された時間差が所定の時間差以上であった場合、対象の静止画像の接合を停止する停止処理機能と、過去画像確認機能により過去の静止画像が一部分に存在しないことが確認された場合、または、時間算出機能により算出された時間差が所定の時間未満であった場合に、対象の静止画像の接合を行う接合処理機能とを実現させることを特徴とする。

本発明によれば、所定の条件の場合に対象の静止画像の接合を停止することにより、高精度のセンサ等を必要とすることなく、接合画像の位置ずれを目立たなくすることができる。

本発明の第１の実施形態に係る画像接合装置を説明するためのブロック図を示す 本発明の第１の実施形態に係る画像接合装置における取得された静止画像の模式図を示す 本発明の第１の実施形態に係る画像接合装置における動きベクトル導出部の処理を説明する為の図を示す 本発明の第１の実施形態に係る画像接合装置における角度算出部の処理を説明する為の図を示す 本発明の第１の実施形態に係る画像接合方法の処理の流れを説明する為のフローチャートを示す 本発明の第２の実施形態に係る画像接合装置を説明するためのブロック図を示す 本発明の第２の実施形態に係る画像接合装置における時間算出部の処理を説明する為の図を示す 本発明の第２の実施形態に係る画像接合方法の処理の流れを説明する為のフローチャートを示す 本発明のその他の実施形態に係る画像接合装置を説明するためのブロック図を示す

［第１の実施形態］
本発明に係る画像接合装置の第１の実施形態を、図１乃至図４を用いて説明する。

本発明の第１の実施形態における画像接合装置は、図１に示すように、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合装置１００であって、画像取得部１１０と、動きベクトル導出部１２０と、動きベクトル記録部１３０と、過去画像確認部１４０と、角度算出部１５０と、停止処理部１６０と、接合処理部１７０とを備える。

上記動画像は、記録媒体に記録されたもの、リアルタイムで撮像装置により撮像されたものおよび／またはリアルタイムで通信装置を介してネットワークより取得されたものとすることができる。記録媒体は、例えば、ハードディスクおよび／または不揮発性のメモリ等とすることができる。撮像装置は、撮像方向を変更して撮影できるもので、例えば、カムコーダ、携帯端末付随のカメラ、内視鏡等とすることができる。画像接合装置１００は、さらに、上記のような撮像装置、記録媒体および／または通信装置を備えることもできる。

上記画像取得部１１０は、対象の静止画像を取得する。図２は、画像取得部１１０で取得された静止画像の模式図を示している。接合の対象となる静止画像は、静止画像ＦＲ１〜ＦＲ１０のように撮像対象Ｏに対して自由軌跡を描いて撮像された動画像を構成するものとすることができる。以下の例において、静止画像ＦＲ１〜ＦＲ１０は、時間軸上で静止画像ＦＲ１から静止画像ＦＲ１０まで順次撮像されたものとする。また、以下の例において、画像接合装置１００は、静止画像ＦＲ１〜ＦＲ１０の全領域を接合する例が示されているが、各静止画像の一部分である関心領域のみを接合することもできる。

上記動きベクトル導出部１２０は、図３に示すように、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する。例えば、対象の静止画像がＦＲ２である場合、動きベクトル導出部１２０は、時間軸上で一つ前の静止画像ＦＲ１から対象の静止画像ＦＲ２への動きベクトルを導出することができる。動きベクトル導出部１２０は、例えば、テンプレートマッチング法により、各画像間の類似部位を検出し、類似部位の移動距離および移動方向から動きベクトルを導出することができる。

上記動きベクトル記録部１３０は、対象の静止画像と動きベクトルとを対応付けて記録する。動きベクトル記録部１３０は、すべての対象の静止画像と動きベクトルの対応を記録してもよく、接合処理が行われた対象の静止画像と動きベクトルの対応のみを記録してもよい。動きベクトル記録部１３０は、例えば、対象の静止画像が静止画像ＦＲ２である場合、時間軸上で一つ前の静止画像ＦＲ１から静止画像ＦＲ２への動きベクトルＶ１を静止画像ＦＲ２に対応付けて記録することができる。また、動きベクトル記録部１３０は、記録媒体、例えば、ハードディスクおよび／または不揮発性のメモリ等とすることができる。

上記過去画像確認部１４０は、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する。接合された過去の静止画像は、接合された部分に対応して存在の有無である０または１の形で記録されることができる。過去画像確認部１４０は、接合されるべき部分のすべての範囲に関して、上記０または１の値を確認することにより、過去の静止画像の存在を確認することができる。具体的には、対象の静止画像を静止画像ＦＲ８とすると、過去画像確認部１４０は、対象の静止画像ＦＲ８が接合されるべき部分の少なくとも一部分に、前の静止画像ＦＲ７よりも時間的に過去の静止画像である静止画像ＦＲ２〜４が存在することを確認することができる。

上記角度算出部１５０は、過去画像確認部１４０により過去の静止画像が一部分に存在することが確認された場合、対象の静止画像に対応付けられた動きベクトルと、過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する。具体的には、対象の静止画像を静止画像ＦＲ８とすると、角度算出部１５０は、図４（ａ）および（ｂ）に示すように、過去の静止画像ＦＲ２〜４に対応付けられた動きベクトルＶ１〜３のそれぞれと、静止画像ＦＲ８に対応付けられた動きベクトルＶ７とのなす角度θ_７１、θ_７２、θ_７３を算出することができる。角度算出部１５０は、ベクトル間のなす角度を、ベクトル間の内積により算出することができる。

上記停止処理部１６０は、角度算出部１５０により算出された角度が所定の角度以上であった場合、対象の静止画像の接合を停止する。所定の角度は、ループ状の撮像軌跡における往復的な動きを表す角度であり、例えば１２０°とすることができる。

上記接合処理部１７０は、過去画像確認部１４０により過去の静止画像が一部分に存在しないことが確認された場合、または、角度算出部１５０により算出された角度が所定の角度未満であった場合に、対象の静止画像の接合を行う。

以上、説明した本発明の画像接合装置１００によれば、所定の条件の場合に対象の静止画像の接合を停止することにより、高精度のセンサ等を必要とすることなく、接合画像の位置ずれを目立たなくすることができる。

上記画像接合装置１００は、停止処理部１６０により対象の静止画像の接合が停止された場合、対象の静止画像に時間軸上で隣接する後ろの静止画像を、新たな対象の静止画像として接合処理を継続することができる。具体的には、図３において、静止画像ＦＲ８の接合が停止された場合、静止画像ＦＲ９を新たな対象の静止画像として接合処理を継続し、接合画像を作成することができる。このような構成とすることにより、動きベクトルの誤差の蓄積を原因とする画像のずれを目立たないようにすることができる。

上記画像接合装置１００は、停止処理部１６０により対象の静止画像の接合が停止された場合、前の静止画像を最終画像として接合画像を作成することができる。具体的には、図３において、静止画像ＦＲ８の接合が停止された場合、静止画像ＦＲ７を最終画像として接合画像を作成することができる。このような構成とすることにより、動きベクトルの誤差の蓄積を原因とする画像のずれが発生する前に処理を中断することができる。

上記画像接合装置１００は、停止処理部１６０により対象の静止画像の接合が停止された場合、前の静止画像を最終画像として第１の接合画像を作成し、対象の静止画像に時間軸上で隣接する後ろの静止画像を、新たな対象の静止画像として接合処理を継続することができる。具体的には、図３において、静止画像ＦＲ８の接合が停止された場合、静止画像ＦＲ７を最終画像として接合画像を一旦作成し、静止画像ＦＲ９を新たな対象の静止画像として接合処理を継続することができる。このような構成とすることにより、動きベクトルの誤差の蓄積を原因とする画像のずれが発生する接合は避けて、整合の取れている部分について複数の接合画像を作成することができる。

続いて、本発明の第１の実施形態に従う画像接合方法の一例について説明する。

第１の実施形態に従う画像接合方法は、図５に示すように、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合方法であって、画像取得ステップ（Ｓ１１０）と、動きベクトル導出ステップ（Ｓ１２０）と、過去画像確認ステップ（Ｓ１３０）と、角度算出ステップ（Ｓ１４０）と、停止処理ステップ（Ｓ１５０）と、接合処理ステップ（Ｓ１６０）と、動きベクトル記録ステップ（Ｓ１７０）とを備える。

上記画像取得ステップ（Ｓ１１０）は、対象の静止画像を取得する。このステップは、上述した画像取得部１１０により処理されることができる。

上記動きベクトル導出ステップ（Ｓ１２０）は、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する。このステップは、上述した動きベクトル導出部１２０により処理されることができる。

上記過去画像確認ステップ（Ｓ１３０）は、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する。このステップは、上述した過去画像確認部１４０により処理されることができる。

上記角度算出ステップ（Ｓ１４０）は、過去画像確認ステップ（Ｓ１３０）により過去の静止画像が一部分に存在することが確認された場合、対象の静止画像に対応付けられた動きベクトルと、過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する。このステップは、上述した角度算出部１５０により処理されることができる。

上記停止処理ステップ（Ｓ１５０）は、角度算出ステップ（Ｓ１４０）により算出された角度が所定の角度以上であった場合、対象の静止画像の接合を停止する。このステップは、上述した停止処理部１６０により処理されることができる。

上記接合処理ステップ（Ｓ１６０）は、過去画像確認ステップ（Ｓ１３０）により過去の静止画像が一部分に存在しないことが確認された場合、または、角度算出ステップ（Ｓ１４０）により算出された角度が所定の角度未満であった場合に、対象の静止画像の接合を行う。このステップは、上述した接合処理部１７０により処理されることができる。

上記動きベクトル記録ステップ（Ｓ１７０）は、対象の静止画像と動きベクトルとを対応付けて記録する。このステップは、上述した動きベクトル記録部１３０により処理されることができる。

続いて、本発明の第１の実施形態に従う画像接合プログラムの一例について説明する。

第１の実施形態に従う画像接合プログラムは、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合プログラムであって、コンピュータに、画像取得機能と、動きベクトル導出機能と、動きベクトル記録機能と、過去画像確認機能と、角度算出機能と、停止処理機能と、接合処理機能とを実現させる。

上記画像取得機能は、対象の静止画像を取得する。この機能は、上述した画像取得部１１０により実現されることができる。

上記動きベクトル導出機能は、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する。この機能は、上述した動きベクトル導出部１２０により実現されることができる。

上記動きベクトル記録機能は、対象の静止画像と動きベクトルとを対応付けて記録する。この機能は、上述した動きベクトル記録部１３０により実現されることができる。

上記過去画像確認機能は、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する。この機能は、上述した過去画像確認部１４０により実現されることができる。

上記角度算出機能は、過去画像確認機能により過去の静止画像が一部分に存在することが確認された場合、対象の静止画像に対応付けられた動きベクトルと、過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する。この機能は、上述した角度算出部１５０により実現されることができる。

上記停止処理機能は、角度算出機能により算出された角度が所定の角度以上であった場合、対象の静止画像の接合を停止する。この機能は、上述した停止処理部１６０により実現されることができる。

上記接合処理機能は、過去画像確認機能により過去の静止画像が一部分に存在しないことが確認された場合、または、角度算出機能により算出された角度が所定の角度未満であった場合に、対象の静止画像の接合を行う。この機能は、上述した接合処理部１７０により実現されることができる。

上記プログラムは、コンピュータが読み取り可能な記録媒体に記録されて提供することができる。記録媒体としては、ＣＤ−ＲＯＭやＤＶＤ等、コンピュータが読み取り可能なものであれば特に限定されるものではない。

［第２の実施形態］
本発明に係る画像接合装置の第２の実施形態を、図６および図７を用いて説明する。

本発明の第２の実施形態における画像接合装置は、図６に示すように、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合装置２００であって、画像取得部２１０と、動きベクトル導出部２２０と、時刻記録部２３０と、過去画像確認部２４０と、時間算出部２５０と、停止処理部２６０と、接合処理部２７０とを備える。

上記画像取得部２１０は、対象の静止画像を取得する。この画像取得部２１０は、上述した画像取得部１１０と同じ構成とすることができる。

上記動きベクトル導出部２２０は、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する。この動きベクトル導出部２２０は、上述した動きベクトル導出部１２０と同じ構成とすることができる。

上記時刻記録部２３０は、対象の静止画像の動画像内での時刻を記録する。図７（ａ）に示すように、時刻記録部２３０は、例えば、対象の静止画像を静止画像ＦＲ３とすると、静止画像ＦＲ３の動画内での時刻ｔ３を記録する。時刻記録部２３０は、全対象の静止画像と動画像内での時刻を記録してもよく、接合処理が行われた対象の静止画像と動画像内での時刻のみを記録してもよい。時刻記録部２３０は、動画像を構成する静止画像の時間間隔を参照することができる場合、動画像開始点からの対象の静止画像までの静止画像数を記録してもよい。動画像を構成する静止画像が、一定の時間間隔により記録されている場合、時刻記録部２３０は、一定の時間間隔および、対象の静止画像までの静止画像数を記録することにより、対象の静止画像の動画内での時刻を記録することができる。また、時刻記録部２３０は、記録媒体、例えば、ハードディスクおよび／または不揮発性のメモリ等とすることができる。

上記過去画像確認部２４０は、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する。この過去画像確認部２４０は、上述した過去画像確認部１４０と同じ構成とすることができる。

上記時間算出部２５０は、過去画像確認部２４０により過去の静止画像が一部分に存在することが確認された場合、過去の静止画像の動画像内での時刻と、対象の静止画像の動画像内での時刻との間の時間差を算出する。図７（ｂ）に示すように、時間算出部２５０は、例えば、対象の静止画像を静止画像ＦＲ８とすると、過去の静止画像ＦＲ４の動画像内での時刻ｔ４と、静止画像ＦＲ８の動画像内での時刻ｔ８の時間差を算出することができる。時間算出部２５は、例えば、１秒当たりの静止画像数であるフレームレートが３０ｆｐｓで、対象の静止画像と過去の静止画像間の静止画像数の差であるフレーム番号の差が１２０であった場合、時間差を４秒と導出することができる。

上記停止処理部２６０は、時間算出部２５０により算出された時間差が所定の時間差以上であった場合、対象の静止画像の接合を停止する。所定の時間は、位置合わせの誤差の蓄積が増加しない範囲とし、例えば１０秒とすることができる。

上記接合処理部２７０は、過去画像確認部２４０により過去の静止画像が一部分に存在しないことが確認された場合、または、時間算出部２５０により算出された時間差が所定の時間未満であった場合に、対象の静止画像の接合を行う。

以上、説明した本発明の画像接合装置２００によれば、所定の条件の場合に対象の静止画像の接合を停止することにより、高精度のセンサ等を必要とすることなく、接合画像の位置ずれを目立たなくすることができる。

続いて、本発明の第２の実施形態に従う画像接合方法の一例について説明する。

第２の実施形態に従う画像接合方法は、図８に示すように、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合方法であって、画像取得ステップ（Ｓ２１０）と、動きベクトル導出ステップ（Ｓ２２０）と、過去画像確認ステップ（Ｓ２３０）と、時間算出ステップ（Ｓ２４０）と、停止処理ステップ（Ｓ２５０）と、接合処理ステップ（Ｓ２６０）と、時間記録ステップ（Ｓ２７０）とを備えることを特徴とする。

上記画像取得ステップ（Ｓ２１０）は、対象の静止画像を取得する。このステップは、上述した画像取得部２１０により処理されることができる。

上記動きベクトル導出ステップ（Ｓ２２０）は、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する。このステップは、上述した動きベクトル導出部２２０により処理されることができる。

上記過去画像確認ステップ（Ｓ２３０）は、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する。このステップは、上述した過去画像確認部２４０により処理されることができる。

上記時間算出ステップ（Ｓ２４０）は、過去画像確認ステップ（Ｓ２３０）により過去の静止画像が一部分に存在することが確認された場合、過去の静止画像の動画像内での時刻と、対象の静止画の動画像内での時刻との間の時間差を算出する。このステップは、上述した時間算出部２５０により処理されることができる。

上記停止処理ステップ（Ｓ２５０）は、時間算出ステップ（Ｓ２４０）により算出された時間差が所定の時間差以上であった場合、対象の静止画像の接合を停止する。このステップは、上述した停止処理部２６０により処理されることができる。

上記接合処理ステップ（Ｓ２６０）は、過去画像確認ステップ（Ｓ２３０）により過去の静止画像が一部分に存在しないことが確認された場合、または、時間算出ステップ（Ｓ２４０）により算出された時間差が所定の時間未満であった場合に、対象の静止画像の接合を行う。このステップは、上述した接合処理部２７０により処理されることができる。

上記時刻記録ステップ（Ｓ２７０）は、対象の静止画像の動画像内での時刻を記録する。このステップは、上述した時刻記録部２３０により処理されることができる。

続いて、本発明の第２の実施形態に従う画像接合プログラムの一例について説明する。

第２の実施形態に従う画像接合プログラムは、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合プログラムであって、コンピュータに、画像取得機能と、動きベクトル導出機能と、時間記録機能と、過去画像確認機能と、時間算出機能と、停止処理機能と、接合処理機能とを実現させることを特徴とする。

上記画像取得機能は、対象の静止画像を取得する。この機能は、上述した画像取得部２１０により実現されることができる。

上記動きベクトル導出機能は、対象の静止画像と、対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する。この機能は、上述した動きベクトル導出部２２０により実現されることができる。

上記時間記録機能は、対象の静止画像の動画像内での時刻を記録する。この機能は、上述した時刻記録部２３０により実現されることができる。

上記過去画像確認機能は、対象の静止画像が接合されるべき部分の少なくとも一部分に、前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する。この機能は、上述した過去画像確認部２４０により実現されることができる。

上記時間算出機能は、過去画像確認機能により過去の静止画像が一部分に存在することが確認された場合、過去の静止画像の動画像内での時刻と、対象の静止画像の動画像内での時刻との間の時間差を算出する。この機能は、上述した角度算出部２５０により実現されることができる。

上記停止処理機能は、時間算出機能により算出された時間差が所定の時間差以上であった場合、対象の静止画像の接合を停止する。この機能は、上述した停止処理部２６０により実現されることができる。

上記接合処理機能は、過去画像確認機能により過去の静止画像が一部分に存在しないことが確認された場合、または、時間算出機能により算出された時間差が所定の時間差未満であった場合に、対象の静止画像の接合を行う。この機能は、上述した接合処理部２７０により実現されることができる。

上記プログラムは、コンピュータが読み取り可能な記録媒体に記録されて提供することができる。記録媒体としては、ＣＤ−ＲＯＭやＤＶＤ等、コンピュータが読み取り可能なものであれば特に限定されるものではない。

本発明の画像接合装置は、上記第１の実施例と第２の実施例を組み合わせたその他の実施例であってもよい。具体的には、図９に示すように、動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合装置３００であって、画像取得部３１０と、動きベクトル導出部３２０と、動きベクトル記録部３３０と、時刻記録部３４０と、過去画像確認部３５０と、角度算出部３６０と、時間算出部３７０と、停止処理部３８０と、接合処理部３９０とを備える。

上記停止処理部３８０は、角度算出部３６０により算出された角度が所定の角度以上であった場合および／または時間算出部３７０により算出された時間差が所定の時間差以上であった場合、対象の静止画像の接合を停止する。

上記接合処理部３９０は、過去画像確認部３５０により過去の静止画像が一部分に存在しないことが確認された場合、または、角度算出部３６０により算出された角度が所定の角度未満であった場合、または、時間算出部３７０により算出された時間差が所定の時間未満であった場合に、対象の静止画像の接合を行う。

その他の構成、機能については上述した第１の実施形態および第２の実施形態と同じものとすることができる。

以上、説明した本発明の画像接合装置３００によれば、所定の条件の場合に対象の静止画像の接合を停止することにより、高精度のセンサ等を必要とすることなく、接合画像の位置ずれを目立たなくすることができる。

本発明の画像接合装置、画像接合方法および画像接合プログラムによれば、所定の条件の場合に対象の静止画像の接合を停止することにより、高精度のセンサ等を必要とすることなく、接合画像の位置ずれを目立たなくすることが可能になる。

以上、本発明の画像接合装置、画像接合方法および画像接合プログラムについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

１００ 画像接合装置
１１０ 画像取得部
１２０ 動きベクトル導出部
１３０ 動きベクトル記録部
１４０ 角度算出部
１５０ 過去画像確認部
１６０ 接合処理部
１７０ 停止処理部
２００ 画像接合装置
２１０ 画像取得部
２２０ 動きベクトル導出部
２３０ 時刻記録部
２４０ 過去画像確認部
２５０ 時間算出部
２６０ 停止処理部
２７０ 接合処理部

Claims (9)

1. 動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合装置であって、
   対象の静止画像を取得する画像取得部と、
   前記対象の静止画像と、該対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出部と、
   前記対象の静止画像と前記動きベクトルとを対応付けて記録する動きベクトル記録部と、
   前記対象の静止画像が接合されるべき部分の少なくとも一部分に、前記前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認部と、
   前記過去画像確認部により前記過去の静止画像が前記一部分に存在することが確認された場合、前記対象の静止画像に対応付けられた動きベクトルと、前記過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する角度算出部と、
   前記角度算出部により算出された角度が所定の角度以上であった場合、前記対象の静止画像の接合を停止する停止処理部と、
   前記過去画像確認部により前記過去の静止画像が前記一部分に存在しないことが確認された場合、または、前記角度算出部により算出された角度が所定の角度未満であった場合に、前記対象の静止画像の接合を行う接合処理部と
   を備える画像接合装置。
2. 動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合装置であって、
   前記複数の静止画像を取得する画像取得部と、
   前記画像取得部が取得した複数の静止画像において、対象の静止画像と、該対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出部と、
   前記対象の静止画像の前記動画像内での時刻を記録する時刻記録部と、
   前記対象の静止画像が接合されるべき部分の少なくとも一部分に、前記前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認部と、
   前記過去画像確認部により前記過去の静止画像が前記一部分に存在することが確認された場合、前記過去の静止画像の前記動画像内での時刻と、前記対象の静止画像の前記動画像内での時刻との間の時間差を算出する時間算出部と、
   前記時間算出部により算出された時間差が所定の時間差以上であった場合、前記対象の静止画像の接合を停止する停止処理部と、
   前記過去画像確認部により前記過去の静止画像が前記一部分に存在しないことが確認された場合、または、前記時間算出部により算出された時間差が所定の時間未満であった場合に、前記対象の静止画像の接合を行う接合処理部と
   を備える画像接合装置。
3. 前記画像接合装置は、
   前記停止処理部により前記対象の静止画像の接合が停止された場合、前記対象の静止画像に時間軸上で隣接する後ろの静止画像を、新たな対象の静止画像として接合処理を継続することを特徴とする請求項１または２に記載の画像接合装置。
4. 前記画像接合装置は、
   前記停止処理部により前記対象の静止画像の接合が停止された場合、前記前の静止画像を最終画像として接合画像を作成することを特徴とする請求項１または２に記載の画像接合装置。
5. 前記画像接合装置は、
   前記停止処理部により前記対象の静止画像の接合が停止された場合、前記前の静止画像を最終画像として第１の接合画像を作成し、前記対象の静止画像に時間軸上で隣接する後ろの静止画像を、新たな対象の静止画像として接合処理を継続することを特徴とする請求項１または２に記載の画像接合装置。
6. 動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合方法であって、
   対象の静止画像を取得する画像取得ステップと、
   前記対象の静止画像と、該対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出ステップと、
   前記対象の静止画像と前記動きベクトルとを対応付けて記録する動きベクトル記録ステップと、
   前記対象の静止画像が接合されるべき部分の少なくとも一部分に、前記前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認ステップと、
   前記過去画像確認ステップにより前記過去の静止画像が前記一部分に存在することが確認された場合、前記対象の静止画像に対応付けられた動きベクトルと、前記過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する角度算出ステップと、
   前記角度算出ステップにより算出された角度が所定の角度以上であった場合、前記対象の静止画像の接合を停止する停止処理ステップと、
   前記過去画像確認ステップにより前記過去の静止画像が前記一部分に存在しないことが確認された場合、または、前記角度算出ステップにより算出された角度が所定の角度未満であった場合に、前記対象の静止画像の接合を行う接合処理ステップと
   を備える画像接合方法。
7. 動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合方法であって、
   前記複数の静止画像を取得する画像取得ステップと、
   前記画像取得ステップが取得した複数の静止画像において、対象の静止画像と、該対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出ステップと、
   前記対象の静止画像の前記動画像内での時刻を記録する時刻記録ステップと、
   前記対象の静止画像が接合されるべき部分の少なくとも一部分に、前記前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認ステップと、
   前記過去画像確認ステップにより前記過去の静止画像が前記一部分に存在することが確認された場合、前記過去の静止画像の前記動画像内での時刻と、前記対象の静止画像の前記動画像内での時刻との間の時間差を算出する時間算出ステップと、
   前記時間算出ステップにより算出された時間差が所定の時間差以上であった場合、前記対象の静止画像の接合を停止する停止処理ステップと、
   前記過去画像確認ステップにより前記過去の静止画像が前記一部分に存在しないことが確認された場合、または、前記時間算出ステップにより算出された時間差が所定の時間未満であった場合に、前記対象の静止画像の接合を行う接合処理ステップと
   を備える画像接合方法。
8. 動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合プログラムであって、コンピュータに、
   対象の静止画像を取得する画像取得機能と、
   前記対象の静止画像と、該対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出機能と、
   前記対象の静止画像と前記動きベクトルとを対応付けて記録する動きベクトル記録機能と、
   前記対象の静止画像が接合されるべき部分の少なくとも一部分に、前記前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認機能と、
   前記過去画像確認機能により前記過去の静止画像が前記一部分に存在することが確認された場合、前記対象の静止画像に対応付けられた動きベクトルと、前記過去の静止画像に対応付けられた動きベクトルとのなす角度を算出する角度算出機能と、
   前記角度算出機能により算出された角度が所定の角度以上であった場合、前記対象の静止画像の接合を停止する停止処理機能と、
   前記過去画像確認機能により前記過去の静止画像が前記一部分に存在しないことが確認された場合、または、前記角度算出機能により算出された角度が所定の角度未満であった場合に、前記対象の静止画像の接合を行う接合処理機能と
   を実現させる画像接合プログラム。
9. 動画像を構成する時間軸上で連続した複数の静止画像を接合することにより接合画像を作成する画像接合プログラムであって、コンピュータに、
   前記複数の静止画像を取得する画像取得機能と、
   前記画像取得機能が取得した複数の静止画像において、対象の静止画像と、該対象の静止画像に時間軸上で隣接する前の静止画像との間の動きベクトルを導出する動きベクトル導出機能と、
   前記対象の静止画像の前記動画像内での時間を記録する時間記録機能と、
   前記対象の静止画像が接合されるべき部分の少なくとも一部分に、前記前の静止画像よりも時間的に過去の静止画像が存在するか否かを確認する過去画像確認機能と、
   前記過去画像確認機能により前記過去の静止画像が前記一部分に存在することが確認された場合、前記過去の静止画像の前記動画像内での時刻と、前記対象の静止画像の前記動画像内での時刻との間の時間差を算出する時間算出機能と、
   前記時間算出機能により算出された時間差が所定の時間差以上であった場合、前記対象の静止画像の接合を停止する停止処理機能と、
   前記過去画像確認機能により前記過去の静止画像が前記一部分に存在しないことが確認された場合、または、前記時間算出機能により算出された時間差が所定の時間未満であった場合に、前記対象の静止画像の接合を行う接合処理機能と
   を実現させる画像接合プログラム。

Images