JP2006135386A

JP2006135386A - 動画像合成装置

Info

Publication number: JP2006135386A
Application number: JP2004319117A
Authority: JP
Inventors: Satoyuki Shimizu; 智行清水; Akio Yoneyama; 暁夫米山; Yasuhiro Takishima; 康弘滝嶋
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2004-11-02
Filing date: 2004-11-02
Publication date: 2006-05-25
Anticipated expiration: 2024-11-02
Also published as: JP4577765B2

Abstract

【課題】複数の移動カメラからの動画像であってもそれらの動画像から１つのパノラマ動画像を高速に生成できる動画像合成装置を提供すること。
【解決手段】先頭フレーム位置ずれ検出器７０は、動画像１、２の先頭フレーム相互の位置ずれを求める。画面動き検出器５０、６０は、動画像１、２のフレーム間の画面の動きを検出する。位置ずれ補正器８０は、画面動き検出器５０、６０で検出された画面全体の動きに基づいて、前フレーム相互の位置ずれを補正して現フレーム相互の位置ずれを求める。パノラマ画像生成器１１０は、先頭フレーム位置ずれ検出器７０または位置ずれ補正器８０からの位置ずれ従って現フレーム相互を位置合わせしてパノラマ合成する。
【選択図】図３

Description

本発明は、動画像合成装置に関し、特に、複数の動画像を合成して１つのパノラマ動画像を生成する動画像合成装置に関する。

従来、画像のパノラマ合成方式として静止画を処理対象とするものと固定カメラによる動画像を処理対象とするものが提案されている。例えば、特許文献１では、複数の静止画から１枚のパノラマ画像を高速に生成する装置が提案されている。また、特許文献２では、複数のカメラによる動画像から１つのパノラマ動画像に生成する装置が提案されている。
特開２０００−３２２５６３号公報特開２０００−２５３３９１号公報

しかしながら、特許文献１で提案されている装置は、静止画を処理対象としており、これをパノラマ動画像の生成に適用するには各フレームに対して同じ処理を実行する必要があり、多くの計算処理が必要になるという課題がある。

特許文献２で提案されている装置は、動画像を処理対象としているが、これでは直線的に取り付けられた非移動（固定）カメラを前提としているため、複数の移動カメラによる動画像から１つのパノラマ動画像を生成するパノラマ合成には適用できないという課題がある。また、移動カメラによる動画像から１つのパノラマ動画像を生成しようとすると、フレーム毎に各カメラによる動画像間の位置合わせをやり直す必要があるため、処理負荷が非常に大きくなるという課題がある。

本発明の目的は、上記課題を解決し、複数の移動カメラからの動画像であってもそれらの動画像から１つのパノラマ動画像を高速に生成できる動画像合成装置を提供することにある。

上記課題を解決するために、本発明は、ｎ個（ｎは２以上の整数）の動画像を合成して１つのパノラマ動画像を生成する動画像合成装置において、ｎ個の動画像の先頭フレーム相互の位置ずれを求める先頭フレーム位置ずれ検出手段と、各動画像においてフレーム間の画面の動きを検出する画面動き検出手段と、前記画面動き検出手段によって検出された画面の動きに基づいて、前フレーム相互の位置ずれを補正して先頭フレームに続く各フレーム相互の位置ずれを求める位置ずれ補正手段と、前記先頭フレーム位置ずれ検出手段あるいは前記位置ずれ補正手段により求められた位置ずれに従って各フレーム相互の位置合わせを行ってパノラマ合成を行うパノラマ画像合成手段を備えた点に第１の特徴がある。

また、本発明は、前記先頭フレーム位置ずれ検出手段は、先頭フレーム相互の位置ずれをベクトルの表現で求める点に第２の特徴がある。

また、本発明は、前記先頭フレーム位置ずれ検出手段が、先頭フレーム相互の位置ずれをフレーム間の写像を表す行列の表現で求める点に第３の特徴がある。

また、本発明は、前記画面動き検出手段が、画面の動きをベクトルの表現で出力する点に第４の特徴がある。

また、本発明は、前記画面動き検出手段が、画面の動きをフレーム間の写像を表す行列の表現で出力する点に第５の特徴がある。

また、本発明は、前記先頭フレーム位置ずれ検出手段は、先頭フレーム相互の位置ずれをベクトルの表現で求め、前記画面動き検出手段は、画面の動きをベクトルの表現で出力し、前記位置ずれ補正手段は、前記画面動き検出手段によって出力されたベクトルと前フレーム相互の位置ずれのベクトルを加減算することによって補正された位置ずれを求める点に第６の特徴がある。

また、本発明は、前記先頭フレーム位置ずれ検出手段は、先頭フレーム相互の位置ずれをフレーム間の写像を表す行列の表現で求め、前記画面動き検出手段は、画面の動きをフレーム間の写像を表す行列の表現で出力し、前記位置ずれ補正手段は、前記画面動き検出手段によって出力された行列と前フレーム相互の位置ずれの行列ないしそれらの逆行列のうちのいずれかとの積行列を計算することによって補正された位置ずれを求める点に第７の特徴がある。

また、本発明は、前記位置ずれ補正手段からの現フレーム相互の位置ずれおよび前記画面動き検出手段からの次フレームの画面の動きに基づいて次フレーム相互の位置ずれを求め、それ以後のフレームでも同様の処理を繰り返すことによって各フレーム相互の位置ずれを継続的に求める点に第８の特徴がある。

また、本発明は、前記画面動き検出手段が画面の動き検出に失敗した場合、現フレームを先頭フレームとしてパノラマ合成をやり直す点に第９の特徴がある。

また、本発明は、前記位置ずれ補正手段からの位置ずれに従った現フレームのパノラマ合成における重ね合わせ誤差を計算する誤差計算手段を備え、該重ね合わせ誤差が一定閾値以上の場合、現フレームを先頭フレームとしてパノラマ合成をやり直す点に第１０の特徴がある。

また、本発明は、前記誤差計算手段が、重ね合わせ領域における画素値の差分に基づいてパノラマ合成における重ね合わせ誤差を計算する点に第１１の特徴がある。

さらに、本発明は、前記誤差計算手段が、重ね合わせ領域境界の隣接画素の画素値差分に基づいてパノラマ合成における重ね合わせ誤差を計算する点に第１２の特徴がある。

本発明によれば、複数の動画像をパノラマ合成するに際し、フレーム毎に位置合わせのやり直しをせず、前フレーム相互での位置ずれを各動画像のフレーム間の画面の動きに基づき補正して現フレーム相互の位置ずれを求め、この補正された位置ずれに従って位置合わせを行うので、画面全体規模で重ね合わせ位置の探索を行う場合に比較して、微小時間内で発生した動きの探索で済み、探索範囲を大幅に縮小できる。また、画面の動きに基づく位置ずれの補正は、高々数回の簡単な行列演算で済むため、処理負荷を軽減でき、動画像のパノラマ合成を高速に行うことができる。

また、パノラマ合成における重ね合わせ誤差を計算する誤差計算手段を備え、重ね合わせ領域の画素が著しく異なる場合に現フレームを先頭フレームとして位置合わせをやり直すことにより、パノラマ合成を良好に行うことができる。

以下、図面を参照して本発明を説明する。まず、本発明の原理を説明する。図１は、静止画像についてのパノラマ合成の説明図である。同図（ａ）の入力画像１、２をパノラマ合成することにより同図（ｂ）の合成画像が生成される。すなわち、入力画像１、２を位置合わせし、両画像が重ね合わさる部分では一方の画像を選択し、重ね合わない部分ではそのまま出力する。

静止画像の場合には画像が動かないため、入力画像１と入力画像２の位置合わせに用いる相互の位置ずれは先頭フレームにおいて一度求めればよい。しかし、動画像の場合にはフレーム間で画像が動き、フレーム毎に複数の画像相互の位置ずれが変わる。このため、動画像のパノラマ合成には各フレームで相互の位置ずれを求め、それに従って位置合わせを行う必要となる。

本発明では、位置合わせをフレーム毎に最初からやり直しせず、前フレーム相互の位置ずれを各動画像のフレーム間での画面の動きに基づき補正して現フレーム相互の位置ずれを求め、この補正された位置ずれに従って位置合わせを行うことにより、処理負荷を軽減し、パノラマ合成を高速に行うことを可能にする。

図２は、本発明による動画像のパノラマ合成の説明図である。動画像は、例えば移動カメラによって得られる。同図（ａ）、（ｂ）は、先頭フレームの入力画像１、２とそれらをパノラマ合成した合成画像を示し、同図（ｃ）、（ｄ）は、先頭フレームに続く次フレームの入力画像１′、２′とそれらをパノラマ合成した合成画像を示す。

同図（ａ）の先頭フレームの入力画像１、２については、探索により両フレームの位置ずれＰを実際に求め、これに基づいて位置合わせを行ってパノラマ合成する。これにより同図（ｂ）の合成画像が生成される。同図（ｃ）の、次フレームの入力画像１′、２′については、入力画像１、２に対する入力画像１′、２′それぞれの画面全体の動きＡ、Ｂ分を求める。動画像ではフレーム間の時間差は微小であり画面の動きも比較的小さいので、画面全体の動きＡ、Ｂは小さい。従って、この場合の探索は狭い範囲に限ることができ、画面の動きを求める計算に要する時間は、フレーム毎の探索で位置合わせを最初からやり直す場合に比べると少ない。MPEGなどによって圧縮された動画像を処理対象とする場合は、動きベクトルを使用して画面全体の動きを高速に求めることができる。

入力画像１′、２′相互の位置合わせは、前フレーム相互の位置ずれを補正するように計算することで実行できる。つまり、入力画像１、２に対する入力画像１′、２′相互の位置ずれは、位置ずれをベクトルの表現で出力する場合には下記(1)式で、また、位置ずれをフレーム間の写像を表す行列の表現で出力する場合には下記(2)式で表すことができる。ここで、Ｂ^−１は、Ｂの逆行列である。

それ以後のフレーム相互の位置ずれも同様に、当該フレームの前フレームに対する動きとその前フレーム相互の位置ずれから求めることができる。パノラマ合成に際しての位置合わせは、上記で求められた位置ずれに従って行えばよい。

Ｒ＝Ｐ＋Ａ−Ｂ (1)
Ｒ＝ＡＰＢ^−１ (2)

以上のように、先頭フレームについてのみ実際の探索による位置合わせを行ってフレーム相互の位置ずれをベクトルあるいは射影行列として出力し、以後のフレームでは各動画像について当該フレームとその前フレーム間の画面の動きを求め、その前フレーム相互の位置ずれを画面の動きで補正するように計算することで当該フレーム相互の位置ずれを求める。そして、これにより求められた位置ずれに従って当該フレーム相互の位置合わせを行う。

パノラマ合成は、画面中の固定物体が重ね合わされるようにして行われるものであるので、画面全体の動きの計算が移動物体の動きに影響される場合には、該移動物体を除き、背景領域のみに基づいて画面全体の動きを検出するのがよい。

また、シーンチェンジや急激な動きがある場合には画面の動きを計算できないことがある。画面の動きの計算に失敗した場合には、当該フレームを先頭フレームとして扱えばよい。すなわち、当該フレームについては実際に位置合わせを行ってフレーム相互の位置ずれを出力する。それ以後のフレームでは前フレーム相互の位置ずれを補正して当該フレーム相互の位置ずれを計算し、計算された位置ずれに従って位置合わせを行う。

図３は、本発明に係る動画像合成装置の第１の実施形態を示すブロック構成図である。動画像１、２についての入力画像信号１、２はそれぞれ現フレーム記憶メモリ１０、３０に入力される。現フレーム記憶メモリ１０、３０は、現フレームの入力画像信号１、２をそれぞれ記憶し、前フレーム記憶メモリ２０、４０は、その前の前フレームの画像信号をそれぞれ記憶する。

画面動き検出器５０は、現フレーム記憶メモリ１０と前フレーム記憶メモリ２０に記憶された画像信号に基づき、動画像１のフレーム間の画面の動きを検出する。画面動き検出器６０は、現フレーム記憶メモリ３０と前フレーム記憶メモリ４０に記憶された画像信号に基づき、動画像２のフレーム間の画面の動きを検出する。画面動き検出は公知であり、ここでも公知の技術を採用できるが、フレーム間の時間差は微小であり画面の動きも比較的小さいので、動き検出に際しては探索範囲を狭い範囲に絞ることができる。

先頭フレーム位置ずれ検出器７０は、動画像１と動画像２の先頭フレーム相互の位置ずれを求める。位置ずれ補正器８０は、画面動き検出器５０、６０によって検出された画面の動きに基づいて、前フレーム相互の位置ずれを補正して現フレーム相互の位置ずれを求める。前フレーム相互の位置ずれは、後述する位置ずれ記憶器１００から送出される。

切替スイッチ９０は、先頭フレーム位置ずれ検出器７０から出力される先頭フレーム相互の位置ずれあるいは位置ずれ補正器８０から出力される位置ずれを選択して位置ずれ記憶器１００およびパノラマ画像生成器１１０に送出する。位置ずれ記憶器１００は、先頭フレーム位置ずれ検出器７０あるいは位置ずれ補正器８０から送出されてきた位置ずれを記憶する。位置ずれ記憶器１００に記憶された位置ずれは、次フレーム相互の位置ずれを求めるために位置ずれ補正器８０に送出される。

パノラマ画像生成器１１０は、現フレーム記憶メモリ１０、３０から読み出された画像を先頭フレーム位置ずれ検出器７０あるいは位置ずれ補正器８０から送出されてきた位置ずれに従って現フレーム相互を位置合わせしてパノラマ合成し、出力画像信号を送出する。

図４は、第１の実施形態における処理を示すフローチャートである。初期状態では切替スイッチ９０は図示のようにＡ側、つまり先頭フレーム位置ずれ検出器７０側に切り替えられている。まず、動画像１、２の先頭フレームの画像信号１、２を現フレーム記憶メモリ１０、３０に記憶し、現フレーム記憶メモリ１０、３０に記憶された先頭フレームの画像信号を先頭フレーム位置ずれ検出器７０およびパノラマ画像生成器１１０に送出する。

先頭フレーム位置ずれ検出器７０は、画像１、２の先頭フレーム相互の位置ずれを検出し、パノラマ画像生成器１１０は、先頭フレーム位置ずれ検出器７０で検出された位置ずれに従って画像１、２を位置合わせしてパノラマ合成された出力画像信号を出力する（Ｓ０１）。なお、パノラマ画像生成器１１０にバッファを備えるなどして、画面の動きが検出されてからパノラマ合成が行われ、連続した出力画像信号が送出されるようにする。また、このとき先頭フレーム位置ずれ検出器７０で検出された位置ずれを位置ずれ記憶器１００に記憶する。

次に、切替スイッチ９０を図示とは反対のＢ側に切り替え、先頭フレームに続く次フレームの画像信号を現フレーム記憶メモリ１０、３０に記憶する（Ｓ０２）。今まで現フレーム記憶メモリ１０、３０に記憶されていた先頭フレームの画像信号は前フレーム記憶メモリ２０、４０に転送されて記憶される。

画面動き検出器５０、６０は、現フレーム記憶メモリ１０、３０と前フレーム記憶メモリ２０、４０に記憶された画像信号に基づき、各画像１、２の前後フレーム間の画面全体の動きをそれぞれ検出する（Ｓ０３）。ここで、画面全体の動きを検出できたか否か、つまり画面動き検出失敗かどうかを判定し（Ｓ０４）、画面動き検出失敗と判定すばＳ０１に戻る。この場合には、切替スイッチ９０を再び図示のようにＡ側に切り替え、次フレームを先頭フレームとした処理を行う。なお、画面動き検出失敗はシーンチェンジや急激な動きがある場合に起こる。

Ｓ０４で、画面動き検出失敗でないと判定すれば、位置ずれ補正器８０は、位置ずれ記憶器１００からの先頭フレーム相互の位置ずれを画面動き検出器５０、６０によって検出された画面の動きに基づいて補正して次フレーム相互の位置ずれを求める（Ｓ０５）。

位置合ずれ補正器８０で求められた位置ずれは切替スイッチ９０で選択されてパノラマ画像生成器１１０に送出される。パノラマ画像生成器１１０は、位置ずれ補正器８０からの位置ずれ従って位置合わせを行って次フレームにおけるパノラマ合成を行い、出力画像信号を出力する（Ｓ０６）。

次に、当該フレームが最終フレームであるか否かを判断する（Ｓ０７）。ここで最終フレームと判断されれば処理は終了となり、最終フレームでないと判断されればＳ０２に戻ってさらに次のフレームについて処理を繰り返する。

図５は、本発明に係る動画像合成装置の第２の実施形態を示すブロック構成図である。図５において図３と同一あるいは同等部分には同じ符号を付してある。第２の実施形態は、重ね合わせ誤差検出器１２０を備え、重ね合わせ誤差が大きい場合には当該フレームを先頭フレームとして処理をやり直す点で第１の実施形態と異なる。

重ね合わせ誤差検出器１２０は、パノラマ合成で重ね合わされる画像信号における重ね合わせ誤差を計算する。重ね合わせ誤差が大きい場合、切替スイッチ９０を図示のようにＡ側に切り替え、当該フレームを先頭フレームとして処理をやり直す。

重ね合わせ誤差検出器１２０における重ね合わせ誤差の計算は、例えば、パノラマ画像生成器１１０で重ね合わせが行われる際の、重ね合わせ領域における両画像の画素値の差分（差分絶対値和、差分二乗和など）を計算することで実現できる。また、重ね合わせ誤差の計算は、重ね合わされる領域境界の隣接画素の画素値差分を計算することによっても実現できる。また、各画像の画素を間引いて縮小した縮小画像を利用して重ね合わせ誤差を計算すれば計算負荷を軽減させることができる。

これらの差分が一定閾値未満の場合には重ね合わせが良好であると推定でき、一定閾値以上の場合には重ね合わせが良好でないと推定できる。従って、上記差分が閾値以上の場合には、切替スイッチ９０を図示のようにＡ側に切り替え、当該フレームを先頭フレームとしてパノラマ合成をやり直しさせる。

図６は、第２の実施形態における処理を示すフローチャートである。図６において図４と同一あるいは同等部分には同じ符号を付してある。第２の実施形態での処理は、位置合わせ誤差計算ステップ（Ｓ０８）と位置合わせ誤差が閾値未満か否かの判断ステップ（Ｓ０９）を有する点で第１の実施形態での処理と異なる。

Ｓ０１からＳ０５は、図４と同じであるので説明を省略する。Ｓ０５で、画面全体の動きに基づいて、先頭フレーム相互の位置ずれを補正して次フレーム相互の位置ずれを求めた後、該位置ずれに従って重ね合わせた場合の次フレームについての位置合わせ誤差を計算する（Ｓ０８）。

次に、位置合わせ誤差がある閾値未満か否かを判断する（Ｓ０９）。ここで位置合わせ誤差が閾値以上と判断されれば、Ｓ０１に戻って、当該フレームを先頭フレームとして位置合わせをやり直す。また、位置合わせ誤差が閾値未満と判断されればＳ０６に移る。Ｓ０６以下の処理は、図４と同じであるので説明を省略する。

以上、実施形態について説明したが、本発明は上記実施形態に限られない。例えば、動画像は２つに限られず、ｎ個（ｎは２以上の整数）の動画像であっても同様に、それらの動画像のフレーム相互の位置ずれを各動画像のフレーム間の画面の動きに基づいて補正して現フレーム相互の位置ずれを求めることによりパノラマ合成できる。

本発明は、カメラ付き携帯電話で撮影したムービーの合成や、ＰＣカメラの複数合成による高解像度化、ハイビジョン対応映像編集など、デジタル動画像を用いたサービスおよびアプリケーション全般に適用可能である。

静止画像についてのパノラマ合成の説明図である。本発明による動画像のパノラマ合成の説明図である。本発明に係る動画像合成装置の第１の実施形態を示すブロック構成図である。第１の実施形態における処理を示すフローチャートである。本発明に係る動画像合成装置の第２の実施形態を示すブロック構成図である。第２の実施形態における処理を示すフローチャートである。

符号の説明

１０，３０・・・現フレーム記憶メモリ、２０，４０・・・前フレーム記憶メモリ、５０，６０・・・画面動き検出器、７０・・・先頭フレーム位置ずれ検出器、８０・・・位置ずれ補正器、９０・・・切替スイッチ、１００・・・位置ずれ記憶器、１１０・・・パノラマ画像生成器、１２０・・・重ね合わせ誤差計算器

Claims

ｎ個（ｎは２以上の整数）の動画像を合成して１つのパノラマ動画像を生成する動画像合成装置において、
ｎ個の動画像の先頭フレーム相互の位置ずれを求める先頭フレーム位置ずれ検出手段と、
各動画像においてフレーム間の画面の動きを検出する画面動き検出手段と、
前記画面動き検出手段によって検出された画面の動きに基づいて、前フレーム相互の位置ずれを補正して先頭フレームに続く各フレーム相互の位置ずれを求める位置ずれ補正手段と、
前記先頭フレーム位置ずれ検出手段あるいは前記位置ずれ補正手段により求められた位置ずれに従って各フレーム相互の位置合わせを行ってパノラマ合成を行うパノラマ画像合成手段を備えたことを特徴とする動画像合成装置。
前記先頭フレーム位置ずれ検出手段は、先頭フレーム相互の位置ずれをベクトルの表現で求めることを特徴とする請求項１に記載の動画像合成装置。
前記先頭フレーム位置ずれ検出手段は、先頭フレーム相互の位置ずれをフレーム間の写像を表す行列の表現で求めることを特徴とする請求項１に記載の動画像合成装置。
前記画面動き検出手段は、画面の動きをベクトルの表現で出力することを特徴とする請求項１に記載の動画像合成装置。
前記画面動き検出手段は、画面の動きをフレーム間の写像を表す行列の表現で出力することを特徴とする請求項１に記載の動画像合成装置。
前記先頭フレーム位置ずれ検出手段は、先頭フレーム相互の位置ずれをベクトルの表現で求め、前記画面動き検出手段は、画面の動きをベクトルの表現で出力し、前記位置ずれ補正手段は、前記画面動き検出手段によって出力されたベクトルと前フレーム相互の位置ずれのベクトルを加減算することによって補正された位置ずれを求めることを特徴とする請求項１に記載の動画像合成装置。
前記先頭フレーム位置ずれ検出手段は、先頭フレーム相互の位置ずれをフレーム間の写像を表す行列の表現で求め、前記画面動き検出手段は、画面の動きをフレーム間の写像を表す行列の表現で出力し、前記位置ずれ補正手段は、前記画面動き検出手段によって出力された行列と前フレーム相互の位置ずれの行列ないしそれらの逆行列のうちのいずれかとの積行列を計算することによって補正された位置ずれを求めることを特徴とする請求項１に記載の動画像合成装置。
前記位置ずれ補正手段からの現フレーム相互の位置ずれおよび前記画面動き検出手段からの次フレームの画面の動きに基づいて次フレーム相互の位置ずれを求め、それ以後のフレームでも同様の処理を繰り返すことによって各フレーム相互の位置ずれを継続的に求めることを特徴とする請求項１に記載の動画像合成装置。
前記画面動き検出手段が画面の動き検出に失敗した場合、現フレームを先頭フレームとしてパノラマ合成をやり直すことを特徴とする請求項１に記載の動画像合成装置。
前記位置ずれ補正手段からの位置ずれに従った現フレームのパノラマ合成における重ね合わせ誤差を計算する誤差計算手段を備え、該重ね合わせ誤差が一定閾値以上の場合、現フレームを先頭フレームとしてパノラマ合成をやり直すことを特徴とする請求項１に記載の動画像合成装置。
前記誤差計算手段は、重ね合わせ領域における画素値の差分に基づいてパノラマ合成における重ね合わせ誤差を計算することを特徴とする請求項１０に記載の動画像合成装置。
前記誤差計算手段は、重ね合わせ領域境界の隣接画素の画素値差分に基づいてパノラマ合成における重ね合わせ誤差を計算することを特徴とする請求項１０に記載の動画像合成装置。