JP2015201153A - 画像処理装置、画像処理方法、プログラム及びカメラ - Google Patents

Abstract

【課題】形状の歪みや境目が生じにくい接合画像を生成することができる画像処理装置、画素処理方法、プログラム、及びカメラを提供する。
【解決手段】本実施の形態にかかる画像処理装置は、複数の画像に基づく複数のテクスチャを接合して接合画像を生成する画像処理装置２０であって、複数の画像における画像間の動きを導出する第２の導出部２２と、画像間の動きに基づいて、接合画像を構成する複数のテクスチャをフレームメモリ２９に書き込むテクスチャ書き込み部２３と、を備え、複数のテクスチャは、輪郭の少なくとも一部が曲線となっている形状のテクスチャを含む、ことを特徴とするものである。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、プログラム及びカメラに関する。

近年、長大な被写体をカバーするように手動でカメラを動かして動画を撮影して、静止画パノラマを作成する手法が実用化されている。この手法では、動画を構成するフレーム画像を接合することで、パノラマ画像を生成している。パノラマ静止画の作成手法は、デジタルカメラの付加機能などの形で一般化している。この手法では、パンニング撮影における動きベクトルを導出して、それに基づいて画像をつなぎ合わせる幅を制御することを基本としている。

さらに、複数の静止画像もしくは動画シーケンスを接続してより大きな画像を構成する技術が存在している（特許文献１）。この技術は、パノラマのほかフォトモザイキングなどと呼ばれて一般的に広く知られている。特にデジタルカメラの普及以降は、このような処理を自動もしくは半自動で行うソフトウェアも普及している。パノラマ静止画は基本的に直線的なカメラ軌跡を前提としているが、原理的に２次元的な自由なカメラ軌跡で撮影された動画の接合が可能である。

特開２００７−２６６６６７号公報

２次元的な自由なカメラ軌跡で撮影された動画の接合においては、通常最新のフレームとその１つ前のフレームの大域的動きベクトルと推定して、その動きに応じて最新のフレームを順次上書きする。すなわち、フレーム画像をテクスチャとして、フレームメモリに上書きしていく。そして、フレームメモリにおけるテクスチャの上書き位置を動きに応じて決定する。

この場合、矩形のテクスチャを上書きすると、カメラ軌跡によっては、一定時間以上離れたテクスチャが隣接することになる。その場合、形状の歪や、輝度や色の違いによる境目が目立つことが多い。これを図１６〜図１８で説明する。

図１６は自由な軌跡で撮像された動画フレームがその動きに応じて矩形のまま上書きされている状況を示す。すなわち、図１６は２次元的に画角を変えた場合の矩形テクスチャ５１を示している。矩形テクスチャ５１の上書きにより過去のフレームが隠蔽されていくことを示している。図１６では、時系列的には左から右に上書きされていることになる。

この場合、図１６の点線で囲まれた部分は、時間的に初期に上書きされた部分と比較的新しく上書きされた部分とが隣接することになり、形状の歪や、輝度や色の違いによる境目などが発生する。

図１７はカメラ軌跡を水平のみ、図１８は垂直のみに限定した例である。画角の移動方向が水平のみ、又は垂直のみの場合、図１６の点線に囲まれた領域の問題は発生しない。図１６に示すように、２次元的に撮像方向を変えた場合、形状の歪や境目が生じてしまい、適切に接合画像を生成することが困難になってしまう。

本発明は上記の点に鑑みなされたもので、形状の歪みや境目が生じにくい接合画像を生成することができる画像処理装置、画像処理方法、プログラム、及びカメラを提供することを目的とする。

本発明の一態様にかかる画像処理装置は、複数の画像に基づく複数のテクスチャを接合して接合画像を生成する画像処理装置であって、前記複数の画像における画像間の動きを導出する導出部と、前記画像間の動きに基づいて、前記接合画像を構成する前記複数のテクスチャをフレームメモリに書き込むテクスチャ書き込み部と、備え、記複数のテクスチャは、輪郭の少なくとも一部が曲線となっている形状のテクスチャを含む、ことを特徴とするものである。

本発明の一態様にかかる画像処理方法は、複数の画像に基づく複数のテクスチャを接合して接合画像を生成する画像処理方法であって、前記複数の画像における画像間の動きを導出する導出ステップと、前記画像間の動きに基づいて、前記接合画像を構成する前記複数のテクスチャをフレームメモリに書き込むテクスチャ書込ステップと、を有し、前記複数のテクスチャは、輪郭の少なくとも一部が曲線となっている形状のテクスチャを含む、ことを特徴とするものである。

本発明の一態様にかかるプログラムは、複数の画像に基づく複数のテクスチャを接合して接合画像を生成する画像処理をコンピュータに対して実行させるプログラムであって、前記複数の画像における画像間の動きを導出する導出ステップと、前記画像間の動きに基づいて、前記接合画像を構成する前記複数のテクスチャをフレームメモリに書き込むテクスチャ書込ステップと、をコンピュータに実行させ、記複数のテクスチャは、輪郭の少なくとも一部が曲線となっている形状のテクスチャを含む、ことを特徴とするプログラム。

本発明によれば、形状の歪みや境目が生じにくい接合画像を生成することができる画像処理装置、画像処理方法、プログラム、及びカメラを提供できる。

円形テクスチャの軌跡を示す図である。 実施形態１にかかるカメラの構成を示すブロック図である。 実施形態１にかかる画像処理方法を示すフローチャートである。 フレーム画像におけるテクスチャを示す図である。 円形テクスチャによって生成された接合画像を示す図である。 実施形態２にかかるカメラの構成を示すブロック図である。 実施形態２にかかる画像処理方法を示すフローチャートである。 実施の形態２にかかる画像処理方法におけるテクスチャの軌跡を示す図である。 実施形態３にかかるカメラの構成を示すブロック図である。 実施形態３にかかる画像処理方法を示すフローチャートである。 フレーム画像におけるテクスチャを示す図である。 実施の形態３にかかる画像処理方法におけるテクスチャの軌跡を示す図である。 変形例１に係るテクスチャの軌跡を示す図である。 変形例２に係るテクスチャの軌跡を示す図である。 変形例３に係るテクスチャの軌跡を示す図である。 画角を２次元的に移動させた場合の矩形テクスチャの軌跡を示す図である。 画角を水平方向にのみ移動させた場合の矩形テクスチャの軌跡を示す図である。 画角を垂直方向にのみ移動させた場合の矩形テクスチャの軌跡を示す図である。

本実施の形態にかかる画像処理装置は、例えば、動画撮影用のカメラに搭載されるものである。そして、カメラのユーザが、パノラマ静止画モードを選択すると、動画に基づいてパノラマ静止画を生成する。

画像処理装置は、撮像方向を変えて撮像された複数の画像を接合して接合画像を生成するものである。例えば、ユーザがパン操作を行ってカメラの撮像方向を水平方向（左右方向）に変えていく。すなわち、時間的に連続して撮影された静止画の集合である動画の取得中にカメラを動かすと、カメラの画角が変わる。こうして取得した動画の各フレーム（静止画）から得られたテクスチャを接合していくことで、接合画像が生成される。例えば、フレームメモリにテクスチャを上書きしていくことで、１枚の接合画像を生成することができる。ここで、テクスチャは、フレームそのものでもよいし、フレームの一部の領域を切り出したものでもよい。なお、カメラの画角とはカメラ（撮像部）によって撮像することができる範囲を意味するものであり、カメラの視野に対応している。したがって、ユーザがパン操作によりカメラの向きを変えることで、画角（視野）が変化する。

もちろん、撮像方向は水平方向だけでなく、鉛直方向（上下方向）に変えてもよい。このように、画像処理装置は、ユーザが手動でカメラを２次元的に自由に動かして撮影した動画を用いて、接合画像を生成する。接合画像は、撮像部が取得する画像の画像サイズよりも大きい画素サイズを有している。

本実施の形態に係る画像処理装置の特徴は第１のテクスチャと、第１のテクスチャよりも小さい画素サイズの第２のテクスチャを用いることにある。例えば、第２のテクスチャを円形とすることで、テクスチャの方向性がなくなる。したがって、撮像方向がいずれの方向に移動した場合でも、上記の形状の歪や、輝度や色の違いを目立たなくするように画像接合を行う技術を提供することができる。テクスチャを円形とした場合におけるテクスチャの軌跡について、図１に示す。

図１は、撮像方向を２次元的に移動した場合の円形テクスチャ５２の軌跡を示す図である。図１では、図１６と同様の動きの場合の軌跡を示している。図１で、時系列的には左から右に円形テクスチャ５２が上書きされている。

図１では、時間的に初期に上書きされた部分が比較的新しく上書きされた部分と隣接する箇所が発生しない。すなわち、時間的に大きく離れたテクスチャが隣接しにくくなる。換言すると、長時間離れたフレーム画像のテクスチャが空間的に離れて配置されやすくなり、長時間離れたフレーム画像のテクスチャの境目が少なくなる。したがって、形状の歪や、輝度又は色の違いによる境目が発生するという問題を回避することができる。

また、カメラの軌跡が水平または垂直に限定される場合は、上記の歪や境目の問題が少ない。この場合は、矩形のテクスチャで上書きすることにより、テクスチャの絶対的な面積の大きさを生かすことができる。これにより、より大きな接合画像を生成することができる。

さらに、フレーム画像間の動きに応じて、テクスチャ形状を変えるようにしてもよい。例えば、水平方向の動き成分と垂直方向の動き成分との比に応じて、テクスチャ形状を変更することができる。具体的には、動きに応じて輪郭の少なくとも一部が曲線となっている形状のテクスチャである円形テクスチャ、楕円形テクスチャおよび角を有していないテクスチャそして、矩形テクスチャを使い分けることができる。さらには、楕円形テクスチャの扁平率を変えるようにしてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

実施形態１．
次に、実施形態１にかかる画像処理装置、及びカメラの構成について、図２を用いて説明する。図２は本実施形態にかかる画像処理装置を用いたカメラの構成を示すブロック図である。

カメラ１００は、撮像部１０と、画像処理装置２０と、表示部３０と、を備えている。画像処理装置２０は、動画から接合画像を生成するための画像処理を行う。画像処理装置２０は、第１の導出部２１と、第２の導出部２２と、テクスチャ書き込み部２３と、フレームメモリ２９とを備えている。

フレームメモリ２９は、垂直方向及び水平方向において所定の画素数を有している。例えば、フレームメモリ２９は、矩形の画素構造となっている。そして、フレームメモリ２９には、画素間の動きベクトルに応じた画素位置に、接合画像を構成するテクスチャが書き込まれる。フレームメモリ２９は接合画像を構成するテクスチャが書き込まれる記憶部となっている。

撮像部１０は、撮像レンズ１２を介して撮像素子１１に入力された被写体からの光を光電変換して動画を生成し、その動画を画像処理装置２０に出力する。撮像素子１１は、ＣＣＤ(charge coupled device)素子やＣＭＯＳ(Complementary Metal Oxide sensor)素子である。撮像部１０で取得された動画は、画像処理装置２０に入力される。表示部３０は、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置を備えている。そして、撮像部１０が取得した動画を表示する。すなわち、表示部３０は、動画の各フレームを順次表示していく。なお、カメラ１００には、ユーザが操作を行うための操作部（不図示）が設けられている。例えば、表示部３０がタッチパネルとすると、表示部３０が操作部となる。もちろん、操作部は、ボタン等であってもよい。

なお、画像処理装置２０の各ブロックは、ハードウェア的には、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩ（Large Scale Integration）で実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現される。図２では、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以下、画像処理装置２０の各ブロックでの処理について、図３を参照して説明する。図３は、本実施形態にかかる画像処理方法を示すフローチャートである。以下の説明では、接合画像を生成するための処理を中心に説明する。すなわち、カメラ１００における通常の処理、すなわち接合画像を生成する処理以外の処理は、公知の手法を用いることができるため、説明を省略する。

まず、撮像部１０は、動画を構成するフレーム画像を画像処理装置２０に入力する（Ｓ１１）。すると、第１の導出部２１は、１つのフレーム画像全体と一致する矩形テクスチャについて、第１の動きベクトルを導出する（Ｓ１２）。第１の導出部２１は、例えば、連続する２つのフレーム画像間の大域的動きベクトルを第１の動きベクトルとして導出する。第１の動きベクトルの導出には、公知のマッチング評価手法を用いることができる。例えば、第１の導出部２１は、２つのフレーム画像を画素単位でマッチングして、最も誤差が小さくなる時のずれ量を動きとして検出する。そして、第１の導出部２１は、フレーム画像間の動きを２次元ベクトルの形で導出する。

第１の導出部２１は、フレーム画像の画素サイズと同じ画素サイズの矩形テクスチャを用いている。そして、２つのフレーム画像の矩形テクスチャを比較して、第１の動きベクトルを導出している。

次に、第２の導出部２２は、第１の導出部２１での導出結果に基づいて、第２の動きベクトルを導出する（Ｓ１３）。第２の導出部２２は、フレーム画像の一部であり、フレーム画像と同一の中心で内接する円形テクスチャを用いて、第２の動きベクトルを導出している。第２の導出部２２は、２つのフレーム画像に対応する円形テクスチャに対して、上記と同様に、公知のマッチング評価方法を用いた動きベクトルの導出を行う。第２の導出部２２は、連続する２つのフレーム画像の円形テクスチャ間の大域的動きベクトルを第２の動きベクトルとして導出する。

図４は、矩形のフレーム画像５０における、矩形テクスチャ５１と、円形テクスチャ５２を示す図である。矩形テクスチャ５１は、第１の動きベクトルの導出に用いられる。円形テクスチャ５２は、第２の動きベクトルの導出に用いられる。矩形のフレーム画像５０と矩形テクスチャ５１は同じサイズとなっている。円形テクスチャ５２は、矩形テクスチャ５１よりも小さいサイズとなっている。すなわち、円形テクスチャ５２全体が、矩形テクスチャ５１内に包含されている。円形テクスチャ５２は、フレーム画像５０と同一の中心で、フレーム画像と内接する円形となっている。

このようにすることで、予め矩形テクスチャ５１の豊富な画素数で概略的な第１の動きベクトルを算出した後に、レンズ歪の影響が少ない画像中央部の円形テクスチャ５２でより正確な第２の動きベクトルを算定することが可能になる。

第２の導出部２２は、第１の導出部２１での導出結果を用いて、第２の動きベクトルを導出している。例えば、第１の導出部２１で導出した第１の動きベクトルに基づいて、第２の導出部２２は、マッチング評価を行う動きベクトルの探索範囲を決定している。第２の導出部２２は、第１の動きベクトルを中心とする動きベクトルの探索範囲で、円形テクスチャ５２を２次元的にずらす。すなわち、マッチングのために円形テクスチャ５２をずらす動きベクトルの探索範囲を第１の動きベクトルに応じて設定することが可能になる。第１の動きベクトルの導出に用いられたマッチング範囲よりも、第２の動きベクトルに用いられる動きベクトルの探索範囲を狭くすることができる。このようにすることで、動きベクトルの導出時間を短くすることができる。

さらに、第１の導出部２１では、フレーム画像全体と画素サイズが一致する矩形テクスチャ５１を用いている。この場合、フレーム画像全体の全画素に対して、マッチングを行うことになる。フレーム画像全体を用いる場合、画素数が多いため、処理時間が長くなる恐れがある。処理時間を短縮するため、１画素単位でない動きベクトル探索を行なうことも可能である。例えば、１画素置き、又は２画素置き以上のピッチで動きベクトルの探索を行うことができる。すなわち、第１の導出部２１は、複画素置きのフレーム画像でマッチング評価を行う。

一方、第２の導出部２２は、円形テクスチャ５２に含まれる全画素を用いてマッチング評価を行う。このように、第１の導出部２１で精度の低い動きベクトルの導出を行った後、第２の導出部２２で精度の高い動きベクトルの導出を行うことも可能である。こうすることで、短時間で動きベクトルを精度よく算出することができる。

このように、第１の動きベクトルに基づいて、第２の導出部２２が第２の動きベクトルを導出している。こうすることで、円形テクスチャ５２についての動きベクトルを適切に導出することができる。

そして、テクスチャ書き込み部２３が第２の動きベクトルに基づいて、円形テクスチャ５２をフレームメモリ２９に上書きする（Ｓ１４）。第２の動きベクトルは事実上フレーム画像間の円形テクスチャ５２の位置ずれである。したがって、フレームメモリ２９上で第２の動きベクトルに従って相互の位置合わせを行う。そして、テクスチャ書き込み部２３は、第２の動きベクトルに応じた位置で、円形テクスチャ５２をフレームメモリ２９に書き込む。

次に、最終フレームであるか否かを判定する（Ｓ１５）。最終フレームでない場合（Ｓ１５のＮＯ）、ステップＳ１１に戻り、動画フレームの入力（Ｓ１１）、第１の動きベクトルの導出（Ｓ１２）、第２の動きベクトルの導出（Ｓ１４）、及び円形テクスチャの上書き（Ｓ１４）を繰り返す。一方、最終フレームと判定されると（Ｓ１５のＹＥＳ）、処理を終了する。これにより、接合画像が完成する。

このように、時間的に後のフレーム画像の円形テクスチャ５２の上書きを繰り返すことにより接合画像が生成される。すなわち、フレームメモリ２９には、入力されたフレーム数分の円形テクスチャ５２の集合からなる接合画像が格納される。最後のフレームになったとき、すなわち、動画フレームが入力されなくたった時に、画像処理装置２０は処理を終了する。そして、表示部３０は、フレームメモリ２９に記憶された接合画像を表示する。

図５は、最終的に取得された接合画像５５の形状を示している。円形テクスチャ５２が書き込まれた矩形状の領域が接合画像となっている。すなわち、フレームメモリ２９においてテクスチャが書き込まれた画素を全て包含する最小の矩形領域が、接合画像５５となる。もちろん、接合画像５５は、矩形以外の形状でもよい。

上記のように、円形テクスチャ５２を用いることで、時間的に大きく離れた円形テクスチャが隣接しにくくなる。換言すると、長時間離れたフレーム画像のテクスチャが空間的に離れて配置されやすくなり、長時間離れたフレーム画像のテクスチャの境目が少なくなる。したがって、形状の歪や、輝度又は色の違いによる境目が発生するという問題を回避することができる。以上の手法により、手動でカメラを２次元的に自由に動かして撮影した動画を接合しての静止画像の作成において、往復的なカメラ軌跡での撮影の折に、形状の歪や、輝度や色の違いによる境目が目立つことを回避することができる。

なお、上記の動き推定において、フレーム画像に内接する円形テクスチャ５２を利用しているが、第２のテクスチャとして、サイズの異なる円や楕円、対角線が水平・垂直線と平行な矩形（所謂ひし形）、その他の多角形や自由図形を利用することも可能である。第２のテクスチャとしては矩形以外の形状であることが好ましく、より円形に近い形状とすることがより好ましい。

第２のテクスチャとして円形テクスチャ５２を用いることで、撮像方向がどの方向に移動した場合でも、連続するフレーム画像のテクスチャが接合画像において隣接するのを防ぐことができる。換言すると、円形テクスチャを用いることで、各フレーム画像のテクスチャに隣接するテクスチャは、時間的に連続するフレーム画像のテクスチャとなる。

なお、矩形テクスチャ５１がフレーム画像５０と一致するとして説明したが、矩形テクスチャは、フレーム画像５０の一部であってもよい。すなわち、第１の動きベクトルの導出に用いられる第１のテクスチャは、フレーム画像の一部の領域又は全部の領域であればよい。第２の動きベクトルの導出に用いられる第２のテクスチャのサイズは、第１のテクスチャよりも小さければよい。

実施形態２．
本実施の形態では、動きベクトルにおける水平成分と垂直成分とに応じて、第１のテクスチャ及び第２のテクスチャのいずれをメモリに書き込みかを判定する判定部を備えたことを特徴としている。

本実施形態に係る画像処理装置、及びその画像処理方法について、図６、図７を用いて説明する。図６は、画像処理装置２０を用いたカメラ１００の構成を示すブロック図である。図７は、画像処理装置２０における処理を示すフローチャートである。

本実施の形態では、図２に示した実施形態１にかかるカメラの構成に対して、ベクトル成分判定部２４が追加されている。さらに、実施形態１のテクスチャ書き込み部２３に代えて、第１のテクスチャ書き込み部２５、第２のテクスチャ書き込み部２６が設けられている。なお、画像処理装置２０の基本的構成、及び処理方法については、実施形態１と同様であるため、説明を省略する。例えば、第１の導出部２１、第２の導出部２２における動きベクトルの導出処理については、実施形態１と同様であるため、説明を省略する。また、ステップＳ２１〜ステップＳ２３、Ｓ２７については、実施形態１のステップＳ１１〜ステップＳ１３、Ｓ１５とそれぞれ同様であるため、説明を省略する。

ステップＳ２３において、第２の動きベクトルを導出したら、ベクトル成分判定部２４が第２の動きベクトルの片方の成分のみが０となっているか否かを判定する（Ｓ２４）。すなわち、ベクトル成分判定部２４は、動きベクトルの水平方向成分、又は垂直方向成分が０であるか否かを判定する。このように、ベクトル成分判定部２４は、動きベクトルが垂直方向のみ、又は水平方向のみとなっているか否かを判定する。ここで、水平方向、及び垂直方向とはフレーム画像の端辺と平行な方向である。

なお、ベクトル成分判定部２４は、円形テクスチャ５２の動きが水平のみもしくは垂直のみかの判定を行うが、厳密な判定でなくてもよい。例えば水平成分の絶対値が垂直成分の絶対値の１０倍以上の場合や垂直成分の絶対値が水平成分の絶対値の１０倍以上の場合なども「動きベクトルの成分の片方のみが０」と判断して構わない。換言すると、ベクトル成分判定部２４は、水平成分の絶対値と垂直成分の絶対値との比が所定の範囲内にあるか否かを判定する。

例えば、（水平成分の絶対値）／（垂直成分の絶対値）を成分比Ｒとすると、所定の範囲は、上限値と下限値とで決まる。例えば上記のように１０倍を閾値とすると、上限値を１０とし、下限値を０．１とすることができる。したがって、ベクトル成分判定部２４は、成分比Ｒは０．１以下であれば、垂直方向のみの移動であり、１０以上であれば、水平方向のみの移動であると判定する。ベクトル成分判定部２４は、成分比Ｒが０．１〜１０の範囲内であれば、斜め方向の移動と判定する。もちろん、上限値と下限値は上記の値に限られるものではない。

このように、水平成分の絶対値と垂直成分の絶対値の比が所定の範囲外であれば、水平移動のみ、又は垂直移動のみの１次元移動とみなす。一方、水平成分の絶対値と垂直成分の絶対値の比が所定の範囲内であれば、水平方向かつ垂直方向に移動する２次元移動とみなす。すなわち、画角が斜めに移動することになる。

第２の動きベクトルが、水平成分のみの場合、あるいは、垂直成分のみの場合（Ｓ２４のＹＥＳ）、第１のテクスチャ書き込み部２５が矩形テクスチャ５１をフレームメモリ２９に上書きする（Ｓ２５）。すなわち、フレーム画像間で円形テクスチャ５２が垂直方向、及び水平方向のうちの１方向にしか移動していない場合、矩形テクスチャ５１がフレームメモリ２９に書き込まれる。

一方、第２の動きベクトルが、水平成分のみ、あるいは垂直成分のみでない場合（Ｓ２４のＮＯ）、第２のテクスチャ書き込み部２６が円形テクスチャを上書きする（Ｓ２６）。すなわち、フレーム画像間で円形テクスチャ５２が垂直方向、及び水平方向の両方向に移動している場合、円形テクスチャ５２がフレームメモリ２９に書き込まれる。このように、ベクトル成分判定部２４は、動きベクトルの成分に基づいて、１次元移動（水平移動、又は垂直移動）か２次元移動（斜め移動）かの判定を行う。そして、ベクトル成分判定部２４は、矩形テクスチャ５１、及び円形テクスチャ５２のいずれを用いるかを決定する。

ステップＳ２５、又はステップＳ２６において、フレームメモリ２９を上書きしたら、最終フレームであるか否かを判定する（Ｓ２７）。最終フレームでない場合（Ｓ２７のＮＯ）、ステップＳ２１〜Ｓ２６の処理を繰り返す。最終フレームである場合（Ｓ２７のＹＥＳ）、処理を終了する。

このように、第２の動きベクトルの成分に基づいて、テクスチャの形状を矩形から円形に切り替えている。なお、上記の説明では、ベクトル成分判定部２４が、第２の動きベクトルの成分に基づいて、フレーメモリ２９に書き込まれるテクスチャを選択したが、第１の動きベクトルの成分に基づいて、テクスチャを選択してもよい。ベクトル成分判定部２４が第１の動きベクトルの垂直成分、及び水平成分に基づいて判定を行い、矩形テクスチャ５１及び円形テクスチャ５２のいずれを用いるかを決定すればよい。もちろん、第１及び第２の動きベクトルの両方のベクトル成分に基づいて、ベクトル成分判定部２４が判定してもよい。

ここで一例として、本実施の形態にかかるテクスチャの軌跡を図８に示す。図８においては、Ａ、Ｂ、Ｃ、Ｄの順番で画角が移動しているとして説明する。ＡからＢの区間で、画角が水平方向のみに移動している。ＣからＤの区間で画角が斜め方向に移動している。なお図８では、テクスチャの中心点の軌跡を矢印で示している。

ＡからＢの区間では、動きベクトルが水平方向の成分のみとなるため、垂直成分が０となる。したがって、ベクトル成分判定部２４が動きベクトルが片方の成分のみ０であると判定する（ステップＳ２４のＹＥＳ）。よって、第１のテクスチャ書き込み部２５が矩形テクスチャ５１をフレームメモリ２９に上書きする。したがって、テクスチャ５１ａからテクスチャ５１ｂの順番でフレームメモリ２９に上書きされる。このように、フレームメモリ２９には、矩形テクスチャ５１が第１の動きベクトルに応じた位置に書き込まれる。

ＣからＤの区間では、第２の動きベクトルが１方向の成分のみとならないため、垂直成分及び水平成分のいずれも０とならない。したがって、ベクトル成分判定部２４が動きベクトルが片方の成分のみ０であると判定しない（ステップＳ２４のＮＯ）。よって、第２のテクスチャ書き込み部２６が円形テクスチャ５２をフレームメモリ２９に上書きする。したがって、テクスチャ５２ｃからテクスチャ５２ｄの順番でフレームメモリ２９に上書きされる。このように、フレームメモリ２９には、円形テクスチャ５２が第２の動きベクトルに応じた位置に書き込まれる。

第１のテクスチャ書き込み部２５は、第２の動きベクトルの成分の片方のみがゼロの場合に第１の動きベクトルに従ってフレーム相互の位置合わせを行う。そして、第１のテクスチャ書き込み部２５は、時間的に後のフレーム画像の矩形テクスチャ５１でフレームメモリ２９を上書きする。ここで矩形テクスチャ５１のまま上書きを行うのは、図１７、図１８で示したたように、動きが水平のみもしくは垂直のみの場合は、形状の歪や、輝度や色の違いによる境目の問題が発生しにくいからである。さらに、矩形テクスチャ５１を用いることで、より大きい接合画像を生成することができる。フレーム画像と同じ画素サイズの矩形テクスチャ５１を用いることで、フレーム画像全体の面積を利用することができ、より接合画像を大きくすることができる。

一方、第２のテクスチャ書き込み部２６は第２の動きベクトルの成分の片方のみがゼロの場合以外について円形テクスチャ５２での上書きを行う。すなわち、ベクトル成分判定部２４は、第２の動きベクトルが斜め方向の成分を持つ場合、斜め移動と判定する。斜め移動の場合、第２の動きベクトルに応じた位置に円形テクスチャ５２を上書きする。この処理については、実施の形態１と同様である。よって、実施の形態１と同様に、形状の歪や、輝度や色の違いによる境目が目立つことを回避することができる。

本実施の形態３．
本実施の形態では、動きベクトルの成分に基づいてテクスチャの形状を変えている。本実施の形態に係る画像処理装置及びその画像処理方法について、図９及び図１０を用いて説明する。図９は、画像処理装置２０を用いたカメラ１００の構成を示すブロック図である。図１０は、画像処理装置２０における処理方法を示すフローチャートである。

図９では、図６に示した実施形態２にかかるカメラの構成に対して、第３の導出部２７、第３のテクスチャ書き込み部２８が追加されている。すなわち、実施形態２の構成に対して、導出部とテクスチャ書き込み部が一つずつ追加されている。なお、画像処理装置２０の基本的構成及び処理については、実施の形態１、２と同様であるため説明を省略する。すなわち、第１の導出部２１〜第２のテクスチャ書き込み部２６での処理については、実施の形態２と同様である。

また、ステップＳ３１、ステップＳ３２，ステップＳ３４、ステップＳ３５，ステップＳ３６、ステップＳ３８、及びステップＳ４０については、実施の形態１、２と同様であるため詳細な説明を省略する。具体的には、ステップＳ３１、ステップＳ３２，ステップＳ３４、ステップＳ３５，ステップＳ３６、ステップＳ３８、及びステップＳ４０は、実施の形態におけるステップＳ２１、ステップＳ２２、ステップＳ２３、ステップＳ２４、ステップＳ２５、ステップＳ２６、ステップＳ２７に対応しているため、共通する説明を省略する。

図１１は、フレーム画像５０におけるテクスチャを示す図である。第３の導出部２７は、図１１に示すように楕円形テクスチャ５３を用いている。楕円形テクスチャ５３は、フレーム画像５０、即ち、矩形テクスチャ５１よりも画素サイズが小さくなっている。楕円形テクスチャ５３の中心は、矩形テクスチャ５１の中心と一致し、矩形テクスチャ５１に内接する楕円形である。したがって、楕円形テクスチャ５３は、矩形テクスチャに包含されている。さらに、円形テクスチャ５２は、楕円形テクスチャ５３よりも画素サイズが小さくなっている。円形テクスチャ５２の中心と楕円形テクスチャ５３の中心は一致している。円形テクスチャ５２は、楕円形テクスチャ５３に包含されている。

第１の導出部２１が第１の動きベクトルを導出したら（Ｓ３２）、第３の導出部２７は、楕円形テクスチャ５３に基づいて、第３の動きベクトルを算出する（Ｓ３３）。第３の導出部２７は、第１の動きベクトルの導出結果に基づいて、第３の動きベクトルを導出する。第３の導出部２７は、連続する２つのフレーム画像の楕円形テクスチャ間の大域的動きベクトルを第３の動きベクトルとして導出する。

そして、第３の導出部２７が第３の動きベクトルを導出したら、第２の導出部２２が第２の動きベクトルを導出する（Ｓ３４）。そして、ベクトル成分判定部２４が第２の動きベクトルの片方の成分のみがゼロであるか否かを判定する（Ｓ３５）。

例えば、第２の動きベクトルの水平成分のみがゼロの場合（Ｓ３５のＹＥＳ）、すなわち、１次元移動の場合、第１のテクスチャ書き込み部２５がフレームメモリ２９に矩形テクスチャを上書きする（Ｓ３６）。

一方、ベクトル成分判定部２４が第２の動きベクトルの片方の成分のみがゼロでない場合、すなわち、１次元移動でない場合、ベクトル成分判定部２４が、動きベクトルの垂直成分と水平成分を比較する（Ｓ３７）。ここでは、第２の動きベクトルの垂直成分と水平成分の大きさを比較している。そして、ベクトル成分判定部２４は、水平方向移動、又は垂直方向移動に近い斜め移動か、斜め４５度に近い斜め移動か否かを判定する。

例えば、ベクトル成分判定部２４は第２の動きベクトルの垂直成分と水平成分とを比較して、成分比が３倍以上であるか否かを判定する。すなわち、ベクトル成分判定部２４は、水平成分と垂直成分のうち一方が他方の３倍以上となっているか否かを判定する。水平成分と垂直成分との一方が他方に対して３倍未満の場合、第３のテクスチャ書き込み部２８が円形テクスチャ５２をフレームメモリ２９に上書きする（Ｓ３８）。水平成分と垂直成分との一方が他方に対して３倍以上の場合、第３のテクスチャ書き込み部２８が楕円形テクスチャ５３をフレームメモリ２９に上書きする（Ｓ３９）。

例えば、上記のように、（水平成分の絶対値）／（垂直成分の絶対値）を成分比Ｒとする。ベクトル成分判定部２４は、成分比Ｒが１／３〜３の範囲にあるか否かを判定する。ベクトル成分判定部２４は、成分比Ｒは１／３以下、又は３以上であれば、水平移動又は垂直移動に近い斜め移動と判定する。一方、ベクトル成分判定部２４は、成分比Ｒが１／３〜３の範囲内であれば、斜め４５度方向に近い斜め方向の移動と判定する。すなわち、水平方向及び垂直方向からの傾きが大きく斜め方向に移動する場合、円形テクスチャ５２を用いる。水平方向又は垂直方向に近い斜め方向に移動する場合、楕円形テクスチャ５３を用いる。

このようにすることで、時間的に初期に上書きされた部分が比較的新しく上書きされた部分を隣接する部分が発生しない。すなわち、時間的に大きく離れたテクスチャが隣接しなくなる。したがって、形状の歪や、輝度又は色の違いによる境目が発生するという問題を回避することができる。さらに、円形テクスチャ５２よりも大きい楕円形テクスチャ５３を用いているため、より大きい接合画像を取得することができる。

このように、第２の動きベクトルの成分に基づいて、テクスチャの形状を矩形から円形に切り替えている。なお、上記の説明では、ベクトル成分判定部２４が、第２の動きベクトルの成分に基づいて、フレーメモリ２９に書き込まれるテクスチャを選択したが、第１の動きベクトルの成分または第３の動きベクトル成分に基づいて、テクスチャを選択してもよい。ベクトル成分判定部２４が第１の動きベクトルの垂直成分、及び水平成分、または、第３の動きベクトルの垂直成分、及び水平成分に基づいて判定を行い、矩形テクスチャ５１、楕円テクスチャ５３及び円形テクスチャ５２のいずれを用いるかを決定すればよい。もちろん、第１から第３の動きベクトルの全てのベクトル成分に基づいて、ベクトル成分判定部２４が判定してもよい。

ここで一例として、図１２は、本実施の形態にかかる画像処理方法により生成した接合画像５５を示す図である。図１２では、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの順番で画角が移動しているとして説明する。ＡからＢの区間で、画角が水平方向のみに移動している。ＣからＤの区間で画角が水平方向に近い斜め方向に移動している。ＥからＦの区間では、斜め４５度に近い方向に画角が移動している。なお、図１２では、テクスチャの中心点の軌跡を矢印で示している。

ＡからＢの区間では、動きベクトルが水平方向の成分のみとなるため、垂直成分が０となる。したがって、ベクトル成分判定部２４が動きベクトルが片方の成分のみ０であると判定する（ステップＳ３５のＹＥＳ）。よって、第１のテクスチャ書き込み部２５が矩形テクスチャ５１を上書きする。したがって、テクスチャ５１ａからテクスチャ５１ｂの順番でフレームメモリ２９に上書きされる。フレームメモリ２９には、矩形テクスチャ５１が、第１の動きベクトルに応じた位置に書き込まれる。

ＣからＤの区間では、動きベクトルが水平方向からわずかに傾いた方向となっている。したがって、ベクトル成分判定部２４は、水平成分が垂直成分に対して３倍以上になっていると判定する（Ｓ３５の３倍以上）。よって、第３のテクスチャ書き込み部２８が楕円形テクスチャ５３をフレームメモリ２９に上書きする（Ｓ３９）。したがって、テクスチャ５２ｃからテクスチャ５２ｄの順番でフレームメモリ２９に上書きされる。フレームメモリ２９には、楕円形テクスチャ５３が、第３の動きベクトルに応じた位置に書き込まれる。

ＥからＦの区間では、第２の動きベクトルが斜め４５度に近い方向となっている。したがって、ベクトル成分判定部２４が水平成分と垂直成分の一方が他方に対して３倍未満になっていると判定する（Ｓ３５の３倍未満）。よって、第２のテクスチャ書き込み部２６が円形テクスチャ５２を上書きする（Ｓ３８）。したがって、テクスチャ５２ｅからテクスチャ５２ｆの順番でフレームメモリ２９に上書きされる。フレームメモリ２９には、円形テクスチャ５２が、第２の動きベクトルに応じた位置に書き込まれる。

上記の説明では、動きベクトルの水平成分と垂直成分の一方が他方の３倍以上となっている場合、楕円形テクスチャを用いたが、ベクトル成分判定部２４が判定を行う閾値は３倍上に限られるものではない。また、ベクトル成分判定部２４は、成分比ではなく、成分の絶対値に応じて、判定を行ってもよい。例えば、ベクトル成分判定部２４は、水平成分、及び垂直成分の一方の絶対値をしきい値と比較して判定してもよい。すなわち、ベクトル成分判定部２４はベクトルの成分に応じて判定を行うことができる。

実施形態３では、矩形テクスチャ５１、円形テクスチャ５２、楕円形テクスチャ５３の３つのテクスチャを用いたが、用いるテクスチャの数は、３つに限られるものではない。例えば、４以上のテクスチャを用いてもよい。あるいは、垂直成分と水平成分との成分比や大きさによって、テクスチャ形状を任意に変えることができる。例えば、成分比Ｒに応じて、楕円形テクスチャの扁平率(縦横比)を連続的に変えてもよい。さらに、テクスチャは、輪郭の少なくとも一部が曲線となっている形状のテクスチャであればよい。輪郭に少なくとも一部が曲線となっている形状とは、例えば、円形、楕円形や角を有していない形状である。もちろん、テクスチャとしては、フレーム画像の端辺と平行ではない辺を有する多角形であってもよい。例えば、テクスチャとして、菱形や、６角形等の多角形を用いることも可能である。

なお、第１の動きベクトルの導出は、輪郭の少なくとも一部が曲線となっている形状のテクスチャで行なってもよい。

（テクスチャの変形例１）
輪郭の一部が曲線となっているテクスチャの一例を図１３に示す。図１３では、テクスチャ５４が、四隅角部が丸められた矩形となっている。すなわち、図１３に示すテクスチャ５４では、矩形の四隅角部が円弧状になっている。画像処理装置２０は、このような角を有していないテクスチャ５４を接合して接合画像５５を生成する。

実施の形態１〜３の円形テクスチャ５２や楕円形テクスチャ５３の代わりに、図１３に示すようなテクスチャ５４を用いることができる。こうすることで、形状の歪や、輝度や色の違いによる境目などが発生することを防ぐことができる。すなわち、図１６で示したように、最も右側の最新フレームが、時間的に大きく離れたフレームに接触するのを防ぐことができる。図１３では、角がないテクスチャ５４が用いられているため、歪や境目の問題を大きく改善することができる。

（テクスチャの変形例２）
輪郭の一部が曲線となっているテクスチャの別の一例を図１４に示す。図１４では、テクスチャ５４が、２つの角部が丸められた矩形となっている。すなわち、図１４に示すテクスチャ５４では、矩形の左上角部と左下角部が円弧状になっており、右下角部と右上角部が直角になっている。画像処理装置２０は、このようなテクスチャ５４を接合することで接合画像５５を生成する。

実施の形態１〜３の円形テクスチャ５２や楕円形テクスチャ５３の代わりに、図１４に示すようなテクスチャ５４を用いることができる。こうすることで、形状の歪や、輝度や色の違いによる境目などが発生することを防ぐことができる。すなわち、図１４に示すテクスチャ５４を用いることで、図１６で示したように、最も右側の最新フレームが、時間的に大きく離れたフレームに接触するのを防ぐことができる。図１４に示すテクスチャ５４の大きさは、図１３に示すテクスチャ５４の大きさよりも大きくすることができる。すなわち、変形例２では、丸められている角部が少ないため、フレームメモリ２９上にテクスチャ５４が書き込まれる領域を大きくすることができる。

なお、図１４のテクスチャ５４では、画角の移動方向の後方側の２つの角部が丸められており、先頭側の２つの角部が直角になっている。すなわち、図１４では画角が右方向に移動しているため、左側の２つの角部が丸められており、右側の２つの角部が直角となっている。なお、変形例２において、画像処理装置２０は、動きベクトルに応じて、矩形テクスチャの四隅角部のうち、丸める角部を決定してもよい。すなわち、動きベクトルに応じて画角の移動方向を求め、画角の移動方向に基づいて丸める角部を決定してもよい。この場合、画角の移動方向の後方側の角部を丸めることが好ましい。例えば、画角が下方向に移動している場合は、右上角部と左上角部とを丸めるようにする。また、画角が上方向に移動している場合は、右下角部と左下角部とを丸めるようにし、画角が左方向に移動している場合は、右上角部と右下角部とを丸めるようにする。このようにすることで、形状の歪や、輝度や色の違いによる境目などが発生することを防ぐことができる。このように、画像間の動きに応じて、テクスチャ５４の動きを変化させることができる。

（テクスチャの変形例３）
輪郭の一部が曲線となっているテクスチャの別の一例を図１５に示す。図１５では、テクスチャ５４が、１つの角部が丸められた矩形となっている。すなわち、図１５に示すテクスチャ５４では、矩形の左下角部が円弧状になっており、残りの３つの角部が直角になっている。画像処理装置２０は、このようなテクスチャ５４を接合することで接合画像５５を生成する。

実施の形態１〜３の円形テクスチャ５２や楕円形テクスチャ５３の代わりに、図１５に示すようなテクスチャ５４を用いることができる。こうすることで、形状の歪や、輝度や色の違いによる境目などが発生することを防ぐことができる。すなわち、図１５に示すテクスチャ５４を用いることで、図１６で示したように、最も右側の最新フレームが、時間的に大きく離れたフレームに接触するのを防ぐことができる。図１５に示すテクスチャ５４の大きさは、図１４に示すテクスチャ５４の大きさよりも大きくすることができる。すなわち、変形例３では、丸められている角部が少ないため、フレームメモリ２９上にテクスチャ５４が書き込まれる領域を大きくすることができる。

なお、変形例３において、画像処理装置２０は、動きベクトルに応じて矩形テクスチャの四隅角部のうち、丸める角部を決定してもよい。すなわち、動きベクトルに応じて画角の移動方向を求め、画角の移動方向に基づいて丸める角部を決定してもよい。この場合、画角の移動方向の後方側の角部を丸めることが好ましい。例えば、画角が右下に移動する場合、左上角部を丸めるようにする。このように、画像間の動きに応じて、テクスチャ５４の動きを変化させることができる。

さらには、実施の形態２、３のように、図１３〜図１５のテクスチャ５４を切り替えるようにしてもよい。この場合、動きベクトルに応じて画角の移動方向を求め、移動方向に応じてテクスチャを決定する。また、輪郭の一部が曲線となるテクスチャは図１３〜図１５の形状に限られるものではない。例えば、矩形の３つの角部を丸めたテクスチャを用いてもよい。

上記画像処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ)、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ)、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではない。各実施の形態や変形例の組み合わせでもよく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

１０ 撮像部
１１ 撮像素子
１２ 撮像レンズ
２０ 画像処理装置
２１ 第１の導出部
２２ 第２の導出部
２３ テクスチャ書き込み部
２４ ベクトル成分判定部
２５ 第１のテクスチャ書き込み部
２６ 第２のテクスチャ書き込み部
２７ 第３の導出部
２８ 第３のテクスチャ書き込み部
２９ フレームメモリ
３０ 表示部
５０ フレーム画像
５１ 矩形テクスチャ
５２ 円形テクスチャ
５３ 楕円形テクスチャ ５５ 接合画像

Claims (6)

1. 複数の画像に基づく複数のテクスチャを接合して接合画像を生成する画像処理装置であって、
   前記複数の画像における画像間の動きを導出する導出部と、
   前記画像間の動きに基づいて、前記接合画像を構成する前記複数のテクスチャをフレームメモリに書き込むテクスチャ書き込み部と、
   を備え、
   前記複数のテクスチャは、輪郭の少なくとも一部が曲線となっている形状のテクスチャを含む、
   ことを特徴とする画像処理装置。
2. 輪郭の少なくとも一部が曲線となっているテクスチャは、円形のテクスチャ、楕円形のテクスチャ、又は、角を有していないテクスチャである、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記テクスチャ書き込み部は、前記画像間の動きに応じて、前記フレームメモリに書き込むテクスチャの形状を変化させる、
   ことを特徴とする請求項１又は２のいずれか１項に記載の画像処理装置。
4. 前記導出部は、前記複数のテクスチャに基づいて前記画像間の動きを導出する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 複数の画像に基づく複数のテクスチャを接合して接合画像を生成する画像処理方法であって、
   前記複数の画像における画像間の動きを導出する導出ステップと、
   前記画像間の動きに基づいて、前記接合画像を構成する前記複数のテクスチャをフレームメモリに書き込むテクスチャ書込ステップと、
   を有し、
   前記複数のテクスチャは、輪郭の少なくとも一部が曲線となっている形状のテクスチャを含む、
   ことを特徴とする画像処理方法。
6. 複数の画像に基づく複数のテクスチャを接合して接合画像を生成する画像処理をコンピュータに対して実行させるプログラムであって、
   前記複数の画像における画像間の動きを導出する導出ステップと、
   前記画像間の動きに基づいて、前記接合画像を構成する前記複数のテクスチャをフレームメモリに書き込むテクスチャ書込ステップと、
   をコンピュータに実行させ、
   前記複数のテクスチャは、輪郭の少なくとも一部が曲線となっている形状のテクスチャを含む、
   ことを特徴とするプログラム。

Images