JP2007288731A - リアルタイムパノラマ画像合成方法及びその装置 - Google Patents

Abstract

【課題】合成パノラマ画像に、追加する必要な部分のパノラマ画像を、撮像時点でのパノラマ画像を確認して撮像し、簡単に合成できる方法及びその装置を提供する。
【解決手段】撮像部１１で撮影した複数枚の静止画像を、パノラマ画像追加合成部１２で合成処理したパノラマ画像を、パノラマ画像表示部１４の画面１５に表示し、パノラマ画像表示部１４の画面１５のパノラマ画像で確認して追加すべき個所を特定して追加の静止画像を撮影し、この追加撮影した静止画像を表示したパノラマ画像に追加合成処理して新たなパノラマ画像を表示する。
【選択図】図１

Description

本発明は、リアルタイムパノラマ画像合成方法及びその装置に係り、特に撮像部と画像表示部を用いて撮像したパノラマ画像をリアルタイムに追加できるリアルタイムパノラマ画像合成方法及びその装置に関する。

一般に全方位が連続するパノラマ画像の合成は、例えば雲台上に１台のデジタルカメラを設置して、デジタルカメラを回転させながら所定の間隔で各方位のデジタル画像を撮影し、これらのデジタル画像をパーソナルコンピュータ（以下「パソコン」と略称する。）に入力し、任意の画像処理ソフトを使用して水平方向に連続するパノラマ写真に合成することが行われている。このような１台のデジタルカメラでの撮影で、撮影時間のずれが問題となる場合には、ベースプレートの上面に複数台のデジタルカメラを同芯状に配列し、しかも隣接する相互の写角がオーバラップする所定の角度間隔で放射状に配列し、全方位で同時に撮影したデジタル画像をパソコンに入力し、任意の画像処理ソフトによって、各デジタルを画像水平方向に連続するパノラマ写真に合成することも提案されている（特許文献１参照）。

また、撮影者が位置や角度のセンサのついたビデオカメラで、移動しながら撮影を行い、ビデオカメラで撮影した位置や角度の情報付のフレーム画像を、順次パソコンに取り込んで、十分な解像度をもったパノラマ画像をリアルタイムに作成し、しかもサーバを介して他のユーザのパソコンにも表示することも知られている（特許文献２参照）。

なお、顕微鏡では、顕微鏡画像を用いて細菌数カウントを行うために、対象画像を画像処理してパターンマッチングによって認識判定して自動計測することも行われている（特許文献３参照）。

特開２００４−６１８０８号公報 特開２０００−２０９６１３号公報 特開２００５−２５８９４０号公報

しかし、上記特許文献１のように複数台のデジタルカメラで撮影したデジタル画像を、画像処理ソフトの活用でパノラマ画像を合成する場合、デジタルカメラと画像処理ソフトとが連携してないため、合成したパノラマ画像を見て不足していると判断した部分の画像、例えば合成パノラマ画像の例えば更に上方の画像が必要であったとしても、所望のデジタル画像を追加撮像するのが困難だった。即ち、デジタルカメラによる撮像から、パノラマ画像を見ることができるようになるまでには、デジタルカメラからパソコンへの画像の転送、画像処理ソフトでパノラマ機能の選択、パノラマ画像の元になる画像の選択などの手順が存在し、手間が掛かる上、その時点での合成パノラマ画像で、デジタルカメラの撮像対象領域もわかりにくく、既合成パノラマ画像と追加撮像した画像との位置関係が明確でなく合成が簡単に行えない問題があった。

また、特許文献２のようにビデオカメラで撮影した画像を、その場でパノラマ画像にする場合、パノラマ画像を見ながら不足していると判断した部分の画像を追加撮像するのは容易であるが、この場合は静止画よりも画質の劣るビデオ画像である。しかも、画像の選択を行っていないために、ぶれた画像や不要な領域の画像が含まれてしまい、データ量と処理量の増大とパノラマ画像の質の低下を招くことになるし、ビデオカメラとパノラマ画像処理が密接に結びついているため、異なるビデオカメラで撮像したパノラマ画像の処理は容易に行えない問題がある。

更に、パノラマ画像の画像認識を行う場合の特許文献３の如き従来の画像認識装置は、パノラマ画像に対応していないから、パノラマ画像をそのまま扱うことができず、カメラで撮影したのと同様の矩形に整形する必要があって余分な手間が掛かっていた。また、パノラマ画像のデータの一部も無駄に捨てられ、パノラマ画像が更新されると共に画像認識の更新を行うこともなかった。

本発明の目的は、パノラマ画像の合成の際に、追加する必要な部分のパノラマ画像を、撮像時点でのパノラマ画像を確認して撮像し、簡単に合成することのできるリアルタイムパノラマ画像合成方法及びその装置を提供することにある。

本発明のリアルタイムパノラマ画像合成方法は、撮像部で撮影した複数枚の静止画像を合成したパノラマ画像を、パノラマ画像表示部の画面に表示し、前記パノラマ画像表示部の画面のパノラマ画像で確認して追加すべき個所を特定して前記撮像部により追加静止画像を撮影し、前記追加静止画像をパノラマ画像表示部の画面に表示したパノラマ画像に追加合成する処理を開始して新たなパノラマ画像を表示することを特徴とする。

好ましくは、前記パノラマ画像表示部の画面には、パノラマ画像に重ねて撮像部により撮影する対象領域枠で追加静止画像部分を表示することを特徴とする。

本発明のリアルタイムパノラマ画像合成装置は、静止画像を撮像する撮像部と、前記撮像部により新たに撮像した静止画像を追加合成する処理を開始し、静止画像又はパノラマ画像に追加合成してパノラマ画像を生成するパノラマ画像合成部と、前記パノラマ画像合成部で合成したパノラマ画像の記憶を制御するパノラマ画像記憶制御部と、前記パノラマ画像合成部で合成したパノラマ画像を表示するパノラマ画像表示部とを備えて構成したことを特徴とする。

好ましくは、前記撮像部とパノラマ画像合成部との間に撮影した静止画像を保持するフォルダを設け、前記撮像部の撮像によるフォルダへの静止画像の追加により前記パノラマ画像合成部のパノラマ画像合成処理を開始することを特徴とする。

また好ましくは、前記パノラマ画像記憶制御部とパノラマ画像表示部と間に、パノラマ画像を処理して所定の認識判別処理を行うパノラマ画像認識部を設け、前記撮像部の撮像による前記パノラマ画像記憶制御部のパノラマ画像の更新により前記パノラマ画像認識部の認識判別処理を開始することを特徴とする。

本発明のリアルタイムパノラマ画像合成方法によれば、パノラマ画像の追加合成に必要な部分のパノラマ画像は、撮像時点でのパノラマ画像を確認して撮像し、簡単に合成することができる。また従来のように余分な画像が用いることがないので、データ量と処理量の増大やパノラマ画像の質の低下がなくなる。

また、本発明のリアルタイムパノラマ画像合成装置によれば、パノラマ画像の撮像や追加合成が容易な装置を簡単に構成することができる。

本発明では、撮像部で撮影した複数枚の静止画像を使用してパノラマ画像を、パノラマ画像表示部の画面に表示しておき、画面のパノラマ画像で確認して追加すべき個所を特定して追加の静止画像を撮影し、この追加撮影した静止画像をパノラマ画像追加合成部により追加合成して新たなパノラマ画像を表示するものである。以下、本発明について各実施例を用いて説明する。

本発明を適用した一実施例のマンション物件紹介データ作成装置を、図１に示している。このマンション物件紹介データ作成装置は、静止画像を撮影するデジタルカメラ等の撮像部１１を、パノラマ画像追加合成部１２に接続し、このパノラマ画像追加合成部１２の出力側には、順にパノラマ画像記憶制御部１３と複数枚の静止画像を合成処理したパノラマ画像を表示するパノラマ画像表示部１４を接続している。

撮像部１１で撮影したマンション物件の複数枚の静止画像は、パノラマ画像記憶制御部１３に記憶され、必要枚数を取り出してパノラマ画像追加合成部１２で公知の画像処理ソフトにより、パノラマ画像を合成処理して図２のようにパソコン等のパノラマ画像表示部１４の画面１５に表示すると共に、パノラマ画像記憶制御部１３記憶保存する。

パノラマ画像表示部１４に合成表示されたパノラマ画像から、更に追加すべき部分がある時には、パノラマ画像表示部１４で追加必要な部分を目視確認している状態で、撮像部１１で新たに静止画像を撮像する。新たな静止画像が撮像されると、パノラマ画像追加合成部１２ではそれまでに撮像された画像とつながる部分画像の変形の度合いから、新たな静止画像が撮像部１１で撮像した撮影位置データを計算処理をする。新たに撮影された静止画像は、撮像部１１の位置データと共にパノラマ画像記憶制御部１３に記憶される。

パノラマ画像表示部１４には、撮像部１１の位置からの静止画像が、それまで撮影された静止画像に合成処理され、撮像部１１からの視野に併せて静止画像を回転させて台形に変形させて表示する。静止画像の一部が画像表示部１４の画面１５上の同じ位置に表示される場合には、細かい画素で表示が可能な画像を優先して表示する。

マンション物件の部屋の場合、図２に部屋窓側を撮影した３枚の静止画像を実線枠で示すパノラマ画像２０のように合成処理し、パノラマ画像表示部１４の画面１５に表示するが、このベッド２１と窓２２のある部屋のパノラマ画像２０で不足した部分、即ち静止画像の領域枠２３で示す部分をパノラマ画像表示部１４の画面１５で確認しながら追加撮影し、得た静止画像を追加合成処理し、例えば公知のように撮影してない周辺をぼかす処理を行って画面が途切れる違和感を緩和するように表示する。

パノラマ画像表示部１４の画面１５には、撮像部１１での新たな撮像対象領域である撮像対象領域枠２３Ａを表示し、例えばパソコンを活用して撮像部１１に連動するようにした撮像ボタン２４やキャンセルボタン２５、更には撮像部１１の位置前進後退ボタン２６や方向の上下左右ボタン２７を画面中に表示する。これらを使用して必要な静止画像を入手し、パノラマ画像追加合成部１２を用いてパノラマ画像を追加合成処理して表示させ、これと同時にパノラマ画像記憶制御部１３記憶保存する。なお、撮像部１１の撮影位置が変更された場合には、静止画像の重なりから位置データを再計算して、パノラマ画像表示部１４の画面１５に再表示する。

パノラマ画像表示部１４の画面１５には、パノラマ画像との重なりの位置データで計算される撮像部１１の撮像対象領域を示す撮像対象領域枠２３Ａが表示されているので、この撮像対象領域の枠を見ながら、パノラマ表示の撮像部１１位置と撮影する撮像部１１位置を調整する。そして、パノラマ画像の撮像されていない領域や、追加撮影の必要なパノラマ画像画素の荒い領域を選んで撮像ボタンを押してパノラマ画像に画像を追加処理する。

撮像部１１の移動により映っている画像が変化した場合には、撮像対象領域枠２３Ａは位置データを計算して再表示される。また、最後に撮像してパノラマ画像に加えられた領域を示す領域枠２３も表示しているので、パノラマ画像への追加結果が望む画像でないときには、キャンセルボタン２５を押して取り除くこともできる。

本発明を適用したフォルダ監視パノラマ合成装置を、図３に示しており、この実施例では上記した図１と略同様な構成であるが、更に撮像部１１とパノラマ画像追加合成部１２間に、静止画像を保存するフォルダ１６を介在させたものである。この構成では、パノラマ画像追加合成部１２は、常に撮像部１１が撮像した静止画像を保存するフォルダ１６を監視しており、静止画像が追加された場合には、パノラマ画像記憶制御部１３に記憶されているパノラマ画像と追加画像とを合成したパノラマ画像を計算して、パノラマ画像記憶制御部１３を更新処理し、この更新されたパノラマ画像は、パノラマ画像表示部１４の画面１５に表示する。監視しているフォルダ１６内の画像が消去された場合には、パノラマ画像を始めから合成処理を実施する。

この装置でのパノラマ画像表示部１４の画面１５の表示例を図４に示しており、監視対象物の例えば火山の撮影用である撮像部１１のソフトウェアの表示ウインドー２８とフォルダ1６を監視する装置のウインドー２９が同時に表示されている。この場合、フォルダ1６を監視する装置は、撮像部１１のソフトウェアが画像保存するフォルダ１６を監視するように設定しておき、撮像部１１のソフトウェアで画像保存を選択すると、フォルダ１６に画像が追加されたことを検出してパノラマ画像の更新処理を行い、画面１５に表示する。これにより、パノラマ機能を持たない監視用である撮像部１１のソフトウェアの画像から、容易にパノラマ画像を作ることができる。

フォルダ１６に画像を保存するソフトウェアは、撮像部１１のソフトウェアに限定されることはなく、テレビ会議や顕微鏡１１等の操作ソフトウェアでも使用でき、またフォルダからフォルダへの画像整理を行う途中でもパノラマ画像を作成することができる。

本発明を適用した細菌計測装置を図５に示しており、この実施例では撮像部１１によって顕微鏡１８で観察する資料１９の画像を撮像できるようにし、上記した各実施例と異なる点は、パノラマ画像追加合成部１２とパノラマ画像記憶制御部１３に、更に表示したパノラマ画像を処理して所定の認識判別処理を行うパノラマ画像認識部１６を備えたものである。

パノラマ画像追加合成部１２は、撮像部１１等に設けた位置センサーから得られる試料位置、又はパノラマ画像と新たに撮像された静止画像との重なりから、新たに撮像された静止画像のパノラマ画像に対する位置を計算し、パノラマ画像に追加合成処理をする。撮像部１１に対して資料１９は、垂直平面内でしか移動しないので、新たに撮影した静止画像をパノラマ画像に追加合成する際も何ら障害もなく行える。パノラマ画像に対する撮像部１１の撮像対象領域の位置も、位置センサーから得られる試料位置又はパノラマ画像と撮像部１１に映っている画像との重なりから計算する。

顕微鏡のパノラマ画像であるため、パノラマ画像認識部１６では公知の手段を用いて、パノラマ画像の濃淡ヒストグラムを元に濃淡の閾値を設定してパノラマ画像を２値化し、次に孤立点除去によるノイズの除去を行い、連結している領域毎に番号を付けるラベリング処理を行い、大きさと位置を記録する。連結している領域は、略各細菌の画像に対応しており、良く知られているように各細菌の大きさと位置から、画面のＸＹ座標の関数で表した細菌密度とＸＹ座標の関数で表した細菌の大きさが計算することができる。

この実施例での図６に示すパノラマ画像表示部１４の画面１５の表示例では、実線で示す５枚の矩形の静止画像をＬ字型に繋げて合成したパノラマ画像２０、撮像部１１の撮像対象の領域を示す撮像対象領域枠２３Ａ、画面のＸＹ座標の関数で表した細菌３０の密度やＸＹ座標の関数で表した細菌の大きさの計測データ３１を表示している。このように表示すると、撮像部１１の撮影した静止画像そのままでは、含まれる細菌の数が少ないが、複数枚を合成して表示範囲を広げたパノラマ画像２０では、細菌密度のＸ軸、Ｙ軸依存性の認識が容易に行える。

また、矩形に整形せずにＬ字型の合成したパノラマ画像２０を、そのまま表示して認識することができるので、少ない枚数の静止画像の撮影で、Ｘ軸とＹ軸の広い範囲を表示できるから、より正確なＸ軸、Ｙ軸依存性の認識ができる。複数枚の静止画像でパノラマ画像を合成する際には、Ｌ字型に限ることなく十字型等の特定形状のパノラマ画像を合成表示しても良く、この場合でも画像認識で細菌と間違いやすいごみを意図的にのぞいたパノラマ画像を表示できる。

パノラマ画像表示部１４の画面１５に表示したパノラマ画像２０上に、撮像部１１の撮像対象領域を示す撮像対象領域枠２３Ａを見ながら試料位置を調整することで、Ｌ字型等の望んだ特定形状のパノラマ画像に必要な静止画像を、容易に撮像することができる。撮影操作を行うと、パノラマ画像追加合成部１２が新たに撮像された静止画像を、画面１５のパノラマ画像に追加合成処理をする。追加合成したパノラマ画像を用いて、パノラマ画像認識部１６が細菌密度、細菌の大きさなどを再計算するが、再計算された細菌密度、細菌の大きさ等から、次にパノラマ画像に追加する画像の撮影位置を選ぶこともできる。また、パノラマ画像消去ボタンを押した場合にはパノラマ画像が消去され、始めからパノラマ画像の再合成処理を行うこともできる。

パノラマ画像表示部１４の画面１５に表示したパノラマ画像では、細菌以外に細胞やトナー、ダスト等も当然に計測でき、また密度や大きさ以外に、形や色更には方向等も計測することができる。

本発明を適用した形状計測装置を図７に示し、この例は図５の実施例と略同様な構成であって、撮像部１１が電子顕微鏡である点のみが異なっている。

撮像部１１である電子顕微鏡に対して資料は、垂直平面内でしか移動しないから、上記した如く新たに撮影した静止画像をパノラマ画像に追加合成する際に何の障害もなく行え、また撮像部１１が電子顕微鏡であるため、倍率の異なる静止画像を撮影してパノラマ画像に追加合成処理する場合には、例えば合成済の低い倍率のパノラマ画像を高い倍率の画像に予め変換しておき、撮像した静止画像との合成処理を実施する。

対象物の形状計測を行う場合、パノラマ画像認識部１６で公知の手段を用いて、パノラマ画像を２値化した上で、ノイズ除去してエッジ検出し、これにより得られた外形を、求めている外形に当てはめて外形の測定値を求める。

この形状計測装置によるパノラマ画像表示部１４の画面１５の表示例を図８に示しており、撮像部１１の撮影した実線で示す矩形の５枚の静止画像が、計測対象の機械部品の外形３２に沿って繋がったパノラマ画像２０として表示すると共に、外形測定値データ３３を表示している。このように計測対象物を、外形に沿って撮像してパノラマ画像２０を合成表示すると、少ない撮像回数で外形のパノラマ画像と測定値を得ることができるし、パノラマ画像表示部１４での画面１５の表示状態を確認しながら、撮像範囲を外形周辺に限定できるため、追加撮影する静止画像部適切に定めることができる。

外形測定する対象物の外形部分を指定しない場合には、パノラマ画像表示部１４での画面１５を確認してリアルタイムで撮影するため、間違った部分を外形と認識して間違った外形測定値を得る恐れもなくなる。

倍率の異なる撮像画像を組み合わせてパノラマ画像とする場合、例えば予め低い倍率で機械部品の全体を撮影し、その後に高い倍率で撮影すれば外形に沿った撮像が容易になるし、また変化の大きい部分だけを高い倍率で撮影した静止画像を用い、パノラマ画像を合成処理することも可能である。

対象物の外形の測定は、交差角度や半径に限定されるものではなく、外形を予め指定された関数に適合させることも可能で、この場合適合した関数の曲線を、パノラマ画像に重ねて画面表示することも可能であり、パノラマ画像に重なった関数の曲線を見ながら、撮影場所を選ぶことによって正しく関数に適合させることができる。

上記した各実施例の装置を構成する各部分、即ちパノラマ画像追加合成部１２やパノラマ画像記憶制御部１３やパノラマ画像認識部１７、更にフォルダ１６等は、パソコン内に組み込んで使用しても、それぞれ別個に構成して使用することができる。

本発明を適用したマンション物件紹介データ作成装置の実施例を示す構成図である。 図２のパノラマ画像の表示例である。 本発明を適用したフォルダ監視パノラマ合成装置の実施例を示す構成図である。 図３のパノラマ画像の表示例である。 本発明のパノラマ画像生成装置を適用した細菌計測装置の実施例を示す構成図である。 図５のパノラマ画像の表示例である。 本発明を適用した形状計測装置の実施例を示す構成図である。 図７のパノラマ画像の表示例である。

符号の説明

１１…撮像部、１２…パノラマ画像追加合成部、１３…パノラマ画像記憶制御部、１４…パノラマ画像表示部、１５…画面、１６…フォルダ、１７…パノラマ画像認識部、２０…パノラマ画像。

Claims (5)

1. 撮像部で撮影した複数枚の静止画像を合成したパノラマ画像を、パノラマ画像表示部の画面に表示し、前記パノラマ画像表示部の画面のパノラマ画像で確認して追加すべき個所を特定して前記撮像部により追加静止画像を撮影し、前記追加静止画像をパノラマ画像表示部の画面に表示したパノラマ画像に追加合成する処理を開始して新たなパノラマ画像を表示することを特徴とするリアルタイムパノラマ画像合成方法。
2. 請求項１において、前記パノラマ画像表示部の画面には、パノラマ画像に重ねて撮像部により撮影する対象領域枠で追加静止画像部分を表示することを特徴とするリアルタイムパノラマ画像合成方法。
3. 静止画像を撮像する撮像部と、前記撮像部により新たに撮像した静止画像を追加合成する処理を開始し、静止画像又はパノラマ画像に追加合成してパノラマ画像を生成するパノラマ画像合成部と、前記パノラマ画像合成部で合成したパノラマ画像の記憶を制御するパノラマ画像記憶制御部と、前記パノラマ画像合成部で合成したパノラマ画像を表示するパノラマ画像表示部とを備えて構成したことを特徴とするリアルタイムパノラマ画像合成装置。
4. 請求項３において、前記撮像部とパノラマ画像合成部との間に撮影した静止画像を保持するフォルダを設け、前記撮像部の撮像によるフォルダへの静止画像の追加により前記パノラマ画像合成部のパノラマ画像合成処理を開始することを特徴とするリアルタイムパノラマ画像合成装置。
5. 請求項３において、前記パノラマ画像記憶制御部とパノラマ画像表示部と間に、パノラマ画像を処理して所定の認識判別処理を行うパノラマ画像認識部を設け、前記撮像部の撮像による前記パノラマ画像記憶制御部のパノラマ画像の更新により前記パノラマ画像認識部の認識判別処理を開始することを特徴とするリアルタイムパノラマ画像合成装置。
   

Images