JP2004247793A

JP2004247793A - Panoramic photographing method, and image processing apparatus and image photographing apparatus capable of utilizing the method

Info

Publication number: JP2004247793A
Application number: JP2003032748A
Authority: JP
Inventors: Michimitsu Hattori; 進実服部; Minoru Nakazawa; 実中沢; Masashi Saito; 応志斉藤
Original assignee: Kanazawa Institute of Technology (KIT)
Current assignee: Kanazawa Institute of Technology (KIT)
Priority date: 2003-02-10
Filing date: 2003-02-10
Publication date: 2004-09-02
Anticipated expiration: 2023-02-10
Also published as: JP4001233B2

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that a special apparatus is necessary for photographing a panoramic image and an image composition processing is very troublesome. <P>SOLUTION: An image input section 16 captures an image of an object consecutively photographed by a CCD camera 14 while shifting an imaging area and stores the image to an image storage section 26 as an input image 28. A local feature point tracking section 18 repeats tracking a moving destination of a local feature point in a one-preceding input image 28 from inside a new input image 28, an image composition section 20 sequentially overlaps the new input image 28 acquired one after another by the image input section 16 onto a panoramic image 30 according to the tracing result to composite a panoramic image 30 with a wider visual field. An image display section 22 displays the panoramic image 30 composited in this way onto a display apparatus 13. An image compression section 24 applies compression encoding to the panorama image 30 and stores the resulting panoramic image to the image storage section 26. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明はパノラマ画像生成技術、とくに撮像エリアを変えながら撮影された画像をもとにパノラマ画像を合成するパノラマ撮影方法、およびその方法を利用可能な画像処理装置と画像撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタルビデオの普及により、撮影された画像をパーソナルコンピュータで手軽に編集したり、加工することができるようになった。ＣＣＤ（Ｃｈａｒｇｅ−ＣｏｕｐｌｅｄＤｅｖｉｃｅ）カメラが搭載された携帯電話やＰＤＡ（ＰｅｒｓｏｎａｌＤａｔａＡｓｓｉｓｔａｎｔ）なども利用されており、撮影した画像を電子メールでやりとりすることも頻繁に行われている。さらには、動画メールを送信したり、視野の広いパノラマ画像を撮影するなど、デジタル画像の利用形態は一層の広がりを見せている。
【０００３】
パノラマ画像を撮影する方法には、複数のカメラを配置して視野の異なる画像を撮影する方法と、反射鏡や魚眼レンズを用いて視野の広い画像を撮影する方法とがある。たとえば、特許文献１には、全方位反射鏡を用いてイメージセンサに全方位の画像を撮像する撮影装置が開示されている。
【０００４】
【特許文献１】
特開２００２−２６２１５７号公報（全文、第１−１３図）
【０００５】
【発明が解決しようとする課題】
複数のカメラを配置して全方位を撮影する方法では、装置が大きくなりコストがかかる。カメラを駆動して全方位を撮影することもできるが、駆動するための装置が必要となり、やはり装置が大がかりになる。特許文献１に開示された方法では、全方位の画像を撮像するために、全方位反射鏡など専用の特殊な装置が必要であり、コストがかかる。
【０００６】
また、視野の異なる複数の画像をパノラマ画像として視覚化するためには、複数の画像をつなぎ合わせる処理が必要であり、計算時間がかかる。フォトレタッチソフトウエアなどを利用してそのような複数の画像を合成することもできるが、非常に手間のかかる作業となり、一般ユーザには難しい。
【０００７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、低コストで簡単にパノラマ画像を生成することのできる技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明のある態様はパノラマ撮影方法に関する。この方法は、撮像エリアを徐々にずらしながら被写体を撮影し、撮影画像の局所特徴点の移動先を連続撮影された画像上で追跡することにより、連続撮影された画像を一枚のパノラマ画像に合成する。撮像エリアとは、カメラが撮影することのできる被写体の範囲であり、カメラを左右上下、もしくは任意の方向に移動させたり、カメラをパン（ｐａｎ）またはチルト（ｔｉｌｔ）させたりしながら撮影することにより、撮像エリアは連続的に変化する。局所特徴点は、被写体の撮影画像上に設けられる特徴的な点であり、理想的には１ピクセルであるが、数ピクセル程度のきわめて小さい領域である場合も含む。撮像エリアが徐々にずれた画像を合成すればよいため、画像全体で特徴点の移動を追跡することなく、局所的に設けられた特徴点の追跡によりパノラマ画像の合成処理が可能である。
【０００９】
前記撮影画像は、カメラを前記被写体に近接させた状態でカメラを徐々に移動させることにより撮影されてもよい。被写体とカメラの間の距離は、最終的に得られるパノラマ画像に要求される解像度とカメラが撮影可能な解像度の関係により定めることができる。カメラの移動はユーザによる手動で行われてもよく、駆動装置によって自動で行われてもよい。被写体面をカメラでなぞるようにして連続撮影することにより、低解像度の小型カメラでも、高解像度で広い視野の画像を生成することができる。
【００１０】
前記局所特徴点の近傍に限定して前記局所特徴点のオプティカルフローを求めることにより、前記局所特徴点の移動先を探索してもよい。撮像エリアをわずかにずらしながら被写体を連続的に撮影するため、局所特徴点の移動先はその局所特徴点の近傍に存在すると仮定してよく、その仮定の下、きわめて容易に局所特徴点の移動先を探索することができ、連続撮影される画像をリアルタイムでパノラマ画像に合成することが可能となる。
【００１１】
前記局所特徴点が前記撮像エリアから外れる事態に対処して、現在の撮像エリア内に新たな局所特徴点を設定してもよい。撮像エリアをずらしていくと、局所特徴点がやがては撮像エリアから外れることになる。局所特徴点が撮像エリア内に存在しなくなった場合や、局所特徴点が撮像エリアの端部に近づいた場合に、新たな局所特徴点を設定し直すことにより、パノラマ撮影を継続することができる。
【００１２】
本発明の別の態様は画像処理装置に関する。この装置は、撮像エリアを徐々にずらしながら撮影された複数の画像を入力する入力部と、前記複数の画像を記憶する記憶部と、前記複数の画像間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含む。
【００１３】
撮像エリアが徐々に変化する複数の入力画像は、デジタルカメラにより撮影された静止画像であっても、デジタルビデオカメラにより撮影された動画フレームであってもよい。前記追跡部は、１つ前に入力された静止画像または動画フレームの局所特徴点に対応する点を現在の入力画像内で探索し、前記合成部は、その対応関係をもとに１つ前の静止画像または動画フレームに現在の静止画像または動画フレームを重ね合わせることにより前記パノラマ画像を生成してもよい。また、前記合成部による重ね合わせ処理後の画像は順次破棄され、合成された前記パノラマ画像のみが前記記憶部に記憶され、次回の重ね合わせ対象として再帰的に利用されてもよい。これにより、撮影範囲がずれた複数の入力画像をすべて記憶する必要がなくなり、合成過程にあるパノラマ画像だけを記憶して、記憶容量を節約することができる。
【００１４】
本発明のさらに別の態様は画像撮像装置に関する。この装置は、被写体の画像を撮像する撮像部と、前記撮像部により撮像エリアを徐々にずらしながら撮像された複数の画像を記憶する記憶部と、前記複数の画像間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含む。
【００１５】
本発明のさらに別の態様も画像撮像装置に関する。この装置は、被写体の動画を撮像する撮像部と、前記撮像部により撮像エリアを徐々にずらしながら撮像された動画の複数のフレームを記憶する記憶部と、前記複数のフレーム間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数のフレームを一枚のパノラマ画像に合成する合成部とを含む。
【００１６】
上記のいずれの態様の画像撮像装置においても、撮像部は、被写体に近接した状態で被写体の画像を撮像してもよい。また撮像部は手動または自動で被写体面をなぞるように撮像してもよい。
【００１７】
本発明のさらに別の態様はコンピュータプログラムに関する。このプログラムは、撮像エリアを徐々にずらしながら撮影された画像を順次入力するステップと、順次入力される前記画像間で局所特徴点を追跡するステップと、追跡された前記局所特徴点をもとに順次入力される前記画像を一枚のパノラマ画像に合成するステップとをコンピュータに実行させる。
【００１８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００１９】
【発明の実施の形態】
実施の形態１
図１は、実施の形態１に係るパノラマ撮影システムの構成図である。パーソナルコンピュータ１２に接続されたＣＣＤカメラ１４を用いて被写体を撮影し、撮影された画像をディスプレイ１３に表示する。ＣＣＤカメラ１４を上下左右に連続的に動かしたり、回転させることにより、広い視野で被写体を撮影し、パーソナルコンピュータ１２に取り込む。撮影された画像はこれから述べる方法でパノラマ画像に合成されディスプレイ１３に表示される。合成されたパノラマ画像はパーソナルコンピュータ１２にて圧縮符号化された後、ハードディスクなどに記録される。
【００２０】
図２は、実施の形態１に係る画像処理装置１０の構成図である。画像処理装置１０は、図１のパーソナルコンピュータ１２の内部に構成されるものであり、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたパノラマ画像合成機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２１】
画像入力部１６は、ＣＣＤカメラ１４が撮影する被写体の画像を取り込み、画像記憶部２６に入力画像２８として格納する。ＣＣＤカメラ１４は撮像エリアをずらしながら被写体を連続的に撮影しており、画像入力部１６は、撮像エリアの異なる被写体の画像を入力画像２８として連続的に取り込む。たとえば、ユーザがＣＣＤカメラ１４をわずかにずらして被写体を撮影すると、画像入力部１６は数ドットだけ撮像エリアがずれた被写体の画像をＣＣＤカメラ１４から新たな入力画像２８として取得する。
【００２２】
局所特徴点追跡部１８は、画像入力部１６からの指示を受け、入力画像２８の局所特徴点を追跡する。局所特徴点は、最初の入力画像２８のたとえば中心点もしくはその周囲の特徴的な点である。局所特徴点追跡部１８は、最初の入力画像２８の局所特徴点の移動先を新たな入力画像２８内で追跡する。この局所特徴点の追跡には、後述のように追跡範囲を局所領域に限定したオプティカルフローが用いられる。
【００２３】
画像合成部２０は、局所特徴点追跡部１８により追跡された局所特徴点の移動方向と移動量にもとづいて、最初の入力画像２８に新たな入力画像２８を重ね合わせる処理を行い、処理結果の画像をパノラマ画像３０として画像記憶部２６に格納する。以降、局所特徴点追跡部１８は、一つ前の入力画像２８の局所特徴点の移動先を新たな入力画像２８内で追跡することを繰り返し、画像合成部２０は、その追跡結果にしたがって、画像入力部１６により次々に取得される新たな入力画像２８をパノラマ画像３０に順次重ね合わせ、より視野の広いパノラマ画像３０を合成していく。なお、次々に取得される入力画像２８は、パノラマ画像３０に合成された時点で画像記憶部２６から消去し、記憶領域を圧迫しないようにする。
【００２４】
画像表示部２２は、こうして合成されていくパノラマ画像３０をディスプレイ１３に表示する。ユーザがＣＣＤカメラ１４による被写体の撮影を終えた時点で、画像入力部１６はＣＣＤカメラ１４からの入力画像２８の取り込みを中止し、その時点で合成されているパノラマ画像３０を被写体の最終的なパノラマ画像３０として扱い、画像圧縮部２４はそのパノラマ画像３０を圧縮符号化して画像記憶部２６に保存する。
【００２５】
図３は、被写体と撮像エリア４０の関係を説明する図である。撮像エリア４０は、ＣＣＤカメラ１４が撮影することのできる被写体の範囲であり、ＣＣＤカメラ１４と被写体の間の距離に応じて、撮像エリア４０は狭くなったり、広がったりする。ＣＣＤカメラ１４を被写体から遠ざけると、撮像エリア４０は広がるが、撮影される被写体画像の解像度は落ちる。逆に、ＣＣＤカメラ１４を被写体に近づけると、撮像エリア４０は狭くなる反面、被写体画像の解像度は上がる。したがって被写体画像の解像度の要求に合わせて、ＣＣＤカメラ１４と被写体の間の距離を定めることになり、撮像エリア４０はそれに応じて限定されることがある。特に、パーソナルコンピュータ１２に接続して利用するＣＣＤカメラ１４は、一般に解像度があまり高くないため、被写体にある程度接近して撮影しなければ、十分な解像度の画像を撮影することができない。そのため、撮像エリア４０を狭くせざるを得ず、被写体全体を撮影することができない。そこでユーザは上下左右に撮像エリア４０を連続移動させて被写体全体を撮影する。
【００２６】
図４（ａ）〜（ｃ）は、図３の撮像エリア４０が左右に連続移動した場合に取得される入力画像２８ａ〜２８ｃと、それらの入力画像２８ａ〜２８ｃ上の局所特徴点４２ａ〜４２ｃの関係を説明する図である。図４（ａ）は、撮影開始時点の撮像エリア４０で取得された入力画像２８ａであり、局所特徴点４２ａとして入力画像２８ａの中心点が設定されている。図４（ｂ）は、わずかに左に撮像エリア４０をずらして取得された入力画像２８ｂであり、局所特徴点４２ｂはわずかに右にずれる。図４（ｃ）は、撮像エリア４０をさらに左にずらして取得された入力画像２８ｃであり、局所特徴点４２ｃはさらに右にずれる。
【００２７】
図４（ｄ）は、連続撮影された入力画像２８ａ〜２８ｃ上での局所特徴点４２ａ〜４２ｃの移動軌跡を示すものであり、最初の局所特徴点４２ａから次の局所特徴点４２ｂへの移動はベクトル４３ｂで示され、さらに次の局所特徴点４２ｃへの移動はベクトル４３ｃで示されている。
【００２８】
図５（ａ）〜（ｄ）は、局所特徴点４２ａ〜４２ｃの移動にもとづいて入力画像２８ａ〜２８ｃを合成してパノラマ画像３０が生成する方法を説明する図である。図５（ｂ）の入力画像２８ｂは、図４（ｄ）のベクトル４３ｂとは反対方向で同じ大きさのベクトル４５ｂにもとづいて、移動方向と移動量を決定されて、図５（ａ）の入力画像２８ａに対してずらされる。このようにずらすことで、図５（ｂ）の入力画像２８ｂの局所特徴点４２ｂが、図５（ａ）の入力画像２８ａの局所特徴点４２ａと一致するようになり、図５（ｂ）の入力画像２８ｂを図５（ａ）の入力画像２８ａに重ね合わせてメモリ上で上書きすることができる。
【００２９】
さらに、図５（ｃ）の入力画像２８ｃについても、同様に、図４（ｄ）のベクトル４３ｃとは反対方向で同じ大きさのベクトル４５ｃにもとづいてずらし、局所特徴点４２ｃを図５（ｂ）の入力画像２８ｂの局所特徴点４２ｂに一致させる。その上で、図５（ａ）の入力画像２８ａに図５（ｂ）の入力画像２８ｂが重ね合わされた画像に、さらに図５（ｃ）の入力画像２８ｃが重ね合わされる。こうして図５（ｂ）、（ｃ）の入力画像２８ｂ、２８ｃをずらして次々に重ね合わせることで図５（ｄ）に示すように、局所特徴点４２を合成の基準とするパノラマ画像３０が生成される。
【００３０】
画像処理装置１０の局所特徴点追跡部１８は、局所特徴点４２をオプティカルフローにより自動追跡する。局所特徴点は一例として、最初に撮像された画像の中心または、中心の周辺から得られる特徴点であり、そのサイズは１×１ピクセルから４×４ピクセルである。オプティカルフローによる自動追跡の計算を高速化するために特徴点は小さいほどよく、理想的には１ピクセルであるのが好ましいが、撮影される画像の性質により、特徴点として成立するために一定の大きさをもつ微小領域となることもあり、そのような場合も特徴点と称することにする。撮像エリア４０を徐々にずらしながら撮影された画像間で位置の微調整を行うことが目的であるため、画像合成の基準としてこのような微小領域の局所特徴点を設けてその動きを追跡するだけで十分に機能し、画像全体の動きをオプティカルフローで追跡する必要はない。
【００３１】
オプティカルフロー算出には従来から様々な手法が提案されているが、本実施の形態では精度が良好でかつ処理が高速なＬｕｃａｓ−Ｋａｎａｄｅ法を用いてオプティカルフローの算出を行う。ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間δｔ後に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動したとする。Ｌｕｃａｓ−Ｋａｎａｄｅ法は、同一物体の局所領域ω内ではオプティカルフローは一定であると仮定する空間局所勾配法の一つであり、局所領域ωにおけるオプティカルフロー（ｕ，ｖ）＝（δｘ／δｔ，δｙ／δｔ）は次式により求められる。
ｕ＝Σ_ω（∂Ｉ／∂ｘ）・［Ｊ（ｐ）−Ｉ（ｐ）］／Σ_ω（∂Ｉ／∂ｘ）^２
ｖ＝Σ_ω（∂Ｉ／∂ｙ）・［Ｊ（ｐ）−Ｉ（ｐ）］／Σ_ω（∂Ｉ／∂ｙ）^２
ここで、Ｉ（ｐ）＝Ｉ（ｘ，ｙ，ｔ），Ｊ（ｐ）＝Ｉ（ｘ，ｙ，ｔ＋δｔ）である。なお、Ｌｕｃａｓ−Ｋａｎａｄｅ法は次の文献に詳しい。Ｌｕｃａｓ，Ｂ．ａｎｄＫａｎａｄｅ，Ｔ．：ＡｎＩｔｅｒａｔｉｖｅＩｍａｇｅＲｅｇｉｓｔｒａｔｉｏｎＴｅｃｈｎｉｑｕｅｗｉｔｈａｎＡｐｐｌｉｃａｔｉｏｎｔｏＳｔｅｒｅｏＶｉｓｉｏｎ，Ｐｒｏｃ．ＤＡＲＰＡＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇＷｏｒｋｓｈｏｐ，ｐｐ．１２１−１３０（１９８１）．
【００３２】
本実施の形態では、局所領域ωを１０×１０ピクセルの正方領域としてオプティカルフローの計算を行い、連続する２枚の入力画像２８間で局所特徴点４２の対応関係を求め、局所特徴点４２を追跡する。ユーザは撮像エリア４０を左右上下あるいは任意の方向に少しずつずらしながら被写体を連続的に撮影するため、局所特徴点４２の探索範囲をこのようなきわめて小さい領域に限定することができる。したがって、オプティカルフローを非常に高速に計算することができ、局所特徴点４２の追跡を連続撮影に同期してリアルタイムで行うことができる。
【００３３】
図５（ａ）〜（ｃ）のように、左に連続的に撮像エリア４０をずらしていくと、左方向に視野の広がったパノラマ画像３０が徐々に生成されていくが、局所特徴点４２は入力画像２８上で右にずれていくため、やがては撮像エリア４０から外れることになる。図６（ａ）〜（ｄ）は、最初に設定した局所特徴点４２が撮像エリア４０から外れたときに、新たに局所特徴点４４を設けて、パノラマ画像３０の生成を継続する様子を説明する図である。図６（ａ）のように、撮像エリア４０から左に移動した結果、最初の局所特徴点４２が現在の入力画像２８ａ上に存在しなくなった場合、新たな局所特徴点４４を現在の入力画像２８ａの中心点に設定する。図６（ｂ）、（ｃ）は、撮像エリア４０をさらに左に少しずつずらしたときの入力画像２８ｂ、２８ｃと、それらの画像上での新たな局所特徴点４４ｂ、４４ｃの移動を示す。図６（ａ）〜（ｃ）の入力画像２８ａ〜２８ｃを新たな局所特徴点４４ａ〜４４ｃを基準としてこれまでに得られたパノラマ画像３０に順次重ね合わせる。これにより、図６（ｄ）に示すように、最初の局所特徴点４２と新たな局所特徴点４４を合成の基準とするパノラマ画像３０が得られる。
【００３４】
図７（ａ）〜（ｃ）は、撮像エリア４０を上下方向にずらした場合にパノラマ画像３０が生成される様子を説明する図である。図７（ｂ）、（ｃ）は、図７（ａ）に示す入力画像２８ａが撮影された状態から上に撮像エリア４０を少しずつずらした場合の入力画像２８ｂ、２８ｃと、それらの画像上での局所特徴点４４ｂ、４４ｃの移動を示す。図７（ｂ）の入力画像２８ｂの局所特徴点４４ｂの移動量にもとづいて入力画像２８ｂをずらして、図７（ａ）の入力画像２８ａの局所特徴点４４ａに一致させることで、図７（ｂ）の入力画像２８ｂは図７（ａ）の入力画像２８ａに重ね合わされる。同様に図７（ｃ）の入力画像２８ｃがさらにその上に重ね合わされ、図７（ｄ）に示すように視野が上に広がったパノラマ画像３０が得られる。
【００３５】
図８（ａ）は、撮像エリア４０を左右上下にずらしながら被写体を撮影する様子を示す。撮像エリア４０の移動方向は斜めであってもよい。その場合は、入力画像２８をずらす方向が斜めになる。図８（ｂ）は、図８（ａ）のように撮像エリア４０を連続的に移動して撮影した入力画像２８をもとに合成されるパノラマ画像３０を示す。このようにして、被写体全体を撮影したパノラマ画像３０がメモリ上に形成される。こうして得られたパノラマ画像３０は圧縮符号化されて保存される。
【００３６】
図９は、画像処理装置１０によるパノラマ画像合成手順を示すフローチャートである。ユーザはまず初期位置でＣＣＤカメラ１４による撮像を開始する（Ｓ１０）。画像入力部１６は、初期位置の撮像エリア４０で撮像された被写体の画像を入力画像２８として取得し、局所特徴点追跡部１８は、その入力画像２８上に局所特徴点４２を設定する（Ｓ１２）。ユーザはＣＣＤカメラ１４を移動させて撮像エリア４０を連続的にずらす（Ｓ１４）。ＣＣＤカメラ１４はそのようにして連続的に変化する撮像エリア４０における被写体の画像を連続して撮像する（Ｓ１６）。
【００３７】
局所特徴点追跡部１８は、先に設定した局所特徴点４２が現在の撮像エリア４０内にあるかどうかを調べる（Ｓ１８）。先に設定した局所特徴点４２が撮像エリア４０内に存在しない場合（Ｓ１８のＮ）、新たな局所特徴点４４を現在の入力画像２８上に設定する（Ｓ２０）。先に設定した局所特徴点４２が撮像エリア４０内に存在する場合（Ｓ１８のＹ）、新たな局所特徴点４４を設定することなく、ステップＳ２２に進む。
【００３８】
ステップＳ１８において、局所特徴点４２が撮像エリア４０から外れた後では、局所特徴点４２が現在の撮像エリア４０内にあるかどうかを調べるのは処理が複雑になる。そこで、局所特徴点４２が画像入力部１６により取得された現在の入力画像２８の端部に近づいた場合に、局所特徴点４２は撮像エリア４０から外れると予想し、新たな新たな局所特徴点４４を現在の入力画像２８の中心に設定し直してもよい。
【００３９】
局所特徴点追跡部１８は、現在の入力画像２８上で局所特徴点４２または４４を追跡する（Ｓ２２）。画像合成部２０は、追跡された局所特徴点４２または４４にもとづいて現在の入力画像２８をこれまで得られたパノラマ画像３０の上にさらに重ね合わせて合成する（Ｓ２４）。以降、Ｓ１４〜Ｓ２４までの処理を、ユーザがＣＣＤカメラ１４を用いた被写体の撮影を終了するまで繰り返す。
【００４０】
以上述べたように、本発明の実施の形態によれば、ＣＣＤカメラ１４を左右上下に動かしながら撮影した画像をもとに視野の広いパノラマ画像をリアルタイムに生成し、パーソナルコンピュータ１２の画面で確認することができる。パノラマ画像を撮影するためにＣＣＤカメラ１４を被写体から遠ざける必要がなく、被写体にＣＣＤカメラ１４を接近した状態で被写体を撮影し、解像度の高い撮影画像をもとに大きなサイズのパノラマ画像を生成できる。また、広角レンズをもつ特殊なカメラを用いることなく、小型のＣＣＤカメラでパノラマ撮影ができるため、低コストで実現できる。たとえば、文字が書かれた紙面を撮影する場合、紙面全体をＣＣＤカメラで一度に撮影するには、ＣＣＤカメラを紙面から遠ざけて撮影しなければならないため、ＣＣＤカメラの解像度が低い場合、撮影画像上で文字を読み取ることは難しくなる。しかし、本実施の形態では、ＣＣＤカメラを紙面に接近させて、紙面をなぞるように撮影することで、文字をはっきり読み取れる高解像度のパノラマ画像を生成することができる。
【００４１】
実施の形態２
図１０は実施の形態２に係るデジタルカメラ２００の構成を示す。デジタルカメラ２００は、撮像ブロック２０２、機構制御ブロック２０４、処理ブロック２０６、ＬＣＤモニタ２０８、および操作ボタン２１０を含む。
【００４２】
撮像ブロック２０２は、レンズ２１０、ＣＣＤ２１２、信号処理部２１４を含む。レンズ２１０を通してＣＣＤ２１２の受光面上に被写体が結像する。この被写体像の光量に応じてＣＣＤ２１２に電荷が蓄積され、電圧信号として読み出される。電圧信号は信号処理部２１４でＲＧＢ成分に分解され、ホワイトバランス調整、ガンマ補正が行われる。その後、ＲＧＢ信号はＡ／Ｄ変換され、デジタル画像データとなって処理ブロック２０６へ出力される。機構制御ブロック２０４は、撮像ブロック２０２のレンズ２１０のズーム、フォーカス、絞りなど光学系の制御を行う。
【００４３】
処理ブロック２０６は、デジタルカメラ２００全体の制御に利用されるＣＰＵ２２０とメモリ２２２のほか、カードインタフェース２２４、外部インタフェース２２６を有する。これらのうち、ＣＰＵ２２０の機能の一部とメモリ２２２にロードされたパノラマ画像合成プログラムが、実施の形態１の画像処理装置１０に相当し、実施の形態１で説明したパノラマ画像の合成処理を行う。また、実施の形態１の画像記憶部２６は、このメモリ２２２の一部を利用して実現される。メモリ２２２に格納された合成されたパノラマ画像のデータは圧縮符号化され、カードインタフェース２２４を介してメモリカード２３０へ書き込まれる。
【００４４】
外部インタフェース２２６は、プリンタやパーソナルコンピュータ等の外部機器との間で個別のインタフェースによるデータのやりとりを行う。これにより、符号化されたパノラマ画像データが外部機器へ出力される。外部インタフェース２２６は、標準的な通信仕様に応じたプロトコル変換等の制御を行い、ネットワークを介して外部機器と画像データのやりとりを行ってもよい。
【００４５】
ＬＣＤモニタ２０８は、メモリ２２２に格納された現在の撮像エリアの被写体画像を表示する。また、操作ボタン２１０により表示モードを切り替えることにより、ＬＣＤモニタ２０８は、合成過程にあるパノラマ画像を表示したり、最終的に得られたパノラマ画像を表示することもできる。さらに、ＬＣＤモニタ２０８は、被写体画像のほか、撮影／再生モード、ズーム倍率、日時などを表示する。操作ボタン２１０は、ユーザが撮影を行い、または各種動作モードを設定するためのパワースイッチ、レリーズスイッチ等を含む。
【００４６】
ユーザが操作ボタン２１０によりパノラマ撮影モードを選択すると、処理ブロック２０６に内蔵された画像処理装置１０は、実施の形態１で説明したパノラマ画像合成処理を行う。また、ユーザが操作ボタン２１０により、被写体の撮影中に新たな局所特徴点を設定する指示を行うことができるように構成してもよい。また、通常、局所特徴点は撮像エリアの中心付近で自動的に抽出されて設定されるが、ユーザが操作ボタン２１０により、局所特徴点となる点や領域を被写体の画像上で設定することができるように構成してもよい。
【００４７】
本実施の形態によれば、通常のデジタルカメラを用いて、特別な駆動装置を使わずにパノラマ画像を撮影できる。異なる視野で撮影した複数の画像をパーソナルコンピュータなどで合成する手間が省け、手軽にパノラマ画像を撮影できる。
【００４８】
なお、このようなデジタルカメラ２００を小型化して、ＰＤＡのような携帯端末や携帯電話のカメラ部に搭載することもできる。特に携帯電話では小型で低解像度のＣＣＤカメラが使われるため、本実施の形態にように撮像エリアを移動させながらパノラマ画像を合成する方法がコスト的に実現しやすく、非常に簡単な処理で良質のパノラマ撮影が可能となる。
【００４９】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下そのような変形例を説明する。
【００５０】
上記の説明では、カメラで撮影された複数の画像を撮影して、パノラマ画像を生成したが、デジタルビデオで撮影された動画から複数のフレームを抽出し、それらをもとにパノラマ画像を生成してもよい。視野を変えながら撮影された動画から、撮像エリアが連続的に変化した複数のフレームを抽出することができ、それらの複数のフレームを同様の手法でパノラマ画像に合成することができる。特に本発明を監視カメラやＷｅｂカメラに適用すれば、常時撮影されている動画からパノラマ画像を自動的に生成して監視その他の目的に利用することができる。
【００５１】
【発明の効果】
本発明によれば、簡便にパノラマ画像を生成することができる。
【図面の簡単な説明】
【図１】実施の形態１に係るパノラマ撮影システムの構成図である。
【図２】実施の形態１に係る画像処理装置の構成図である。
【図３】被写体と撮像エリアの関係を説明する図である。
【図４】入力画像上の局所特徴点の移動を説明する図である。
【図５】局所特徴点の移動にもとづいて入力画像を合成してパノラマ画像が生成する方法を説明する図である。
【図６】新たに局所特徴点を設けて、入力画像を合成してパノラマ画像を生成する方法を説明する図である。
【図７】撮像エリアを上下方向にずらした場合におけるパノラマ画像の生成方法を説明する図である。
【図８】撮像エリアを左右上下にずらしながら被写体を撮影することにより生成されるパノラマ画像を説明する図である。
【図９】実施の形態１に係る画像処理装置によるパノラマ画像合成手順を示すフローチャートである。
【図１０】実施の形態２に係るデジタルカメラの構成図である。
【符号の説明】
１０画像処理装置、１２パーソナルコンピュータ、１３ディスプレイ、１４ＣＣＤカメラ、１６画像入力部、１８局所特徴点追跡部、２０画像合成部、２２画像表示部、２４画像圧縮部、２６画像記憶部、２８入力画像、３０パノラマ画像、４０撮像エリア、４２局所特徴点。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a panoramic image generation technique, and more particularly to a panoramic image capturing method for synthesizing a panoramic image based on an image captured while changing an image capturing area, and an image processing apparatus and an image capturing apparatus that can use the method.
[0002]
[Prior art]
With the widespread use of digital cameras and digital videos, photographed images can be easily edited and processed by a personal computer. A mobile phone or a PDA (Personal Data Assistant) equipped with a CCD (Charge-Coupled Device) camera is also used, and photographed images are frequently exchanged by e-mail. Further, digital images are being used more widely, for example, by sending moving image mails or photographing panoramic images with a wide field of view.
[0003]
As a method of capturing a panoramic image, there are a method of arranging a plurality of cameras to capture images with different fields of view, and a method of capturing an image with a wide field of view using a reflector or a fisheye lens. For example, Patent Literature 1 discloses an imaging device that captures an omnidirectional image on an image sensor using an omnidirectional reflecting mirror.
[0004]
[Patent Document 1]
JP, 2002-262157, A (the whole sentence, Drawing 1-13)
[0005]
[Problems to be solved by the invention]
In the method of arranging a plurality of cameras and taking images in all directions, the size of the apparatus is increased and the cost is increased. Although it is possible to drive the camera to capture images in all directions, a device for driving is required, and the device is also large. In the method disclosed in Patent Literature 1, a special device such as an omnidirectional reflecting mirror is required to capture an omnidirectional image, and the cost is high.
[0006]
Further, in order to visualize a plurality of images having different visual fields as a panoramic image, a process of connecting the plurality of images is necessary, which requires a long calculation time. Although such a plurality of images can be synthesized by using photo retouching software or the like, the operation is very time-consuming and difficult for general users.
[0007]
The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique capable of easily generating a panoramic image at low cost.
[0008]
[Means for Solving the Problems]
One embodiment of the present invention relates to a panoramic photography method. In this method, a subject is photographed while gradually shifting the imaging area, and the destination of the local feature point of the photographed image is tracked on the continuously photographed image, so that the continuously photographed image is converted into one panoramic image. Combine. The imaging area is a range of a subject that can be photographed by the camera, and is to be photographed while moving the camera left, right, up, down, or in any direction, or panning or tilting the camera. As a result, the imaging area changes continuously. A local feature point is a characteristic point provided on a captured image of a subject, and is ideally one pixel, but also includes a very small area of about several pixels. Since it is only necessary to combine images whose imaging areas are gradually shifted, it is possible to combine panoramic images by tracking feature points provided locally without tracking movement of feature points in the entire image.
[0009]
The captured image may be captured by gradually moving the camera with the camera approaching the subject. The distance between the subject and the camera can be determined by the relationship between the resolution required for the finally obtained panoramic image and the resolution that the camera can shoot. The movement of the camera may be performed manually by a user, or may be performed automatically by a driving device. By performing continuous shooting while tracing the object surface with a camera, an image with a high resolution and a wide field of view can be generated even with a small camera having a low resolution.
[0010]
The destination of the local feature point may be searched for by obtaining the optical flow of the local feature point only in the vicinity of the local feature point. In order to continuously photograph the subject while slightly shifting the imaging area, it is possible to assume that the destination of the local feature point is in the vicinity of the local feature point, and based on this assumption, it is very easy to move the local feature point. It is possible to search ahead, and it is possible to combine continuously shot images with a panoramic image in real time.
[0011]
A new local feature point may be set in the current imaging area in response to a situation where the local feature point deviates from the imaging area. If the imaging area is shifted, the local feature point will eventually deviate from the imaging area. When the local feature point no longer exists in the imaging area or when the local feature point approaches the end of the imaging area, panoramic imaging can be continued by resetting a new local feature point. .
[0012]
Another embodiment of the present invention relates to an image processing device. The apparatus includes an input unit that inputs a plurality of images captured while gradually shifting an imaging area, a storage unit that stores the plurality of images, and a tracking unit that tracks local feature points between the plurality of images. A combining unit that combines the plurality of images into one panoramic image based on the tracked local feature points.
[0013]
The plurality of input images whose imaging areas gradually change may be still images captured by a digital camera or moving image frames captured by a digital video camera. The tracking unit searches for a point corresponding to a local feature point of a previously input still image or moving image frame in the current input image, and the synthesizing unit searches the previous input based on the correspondence. The panoramic image may be generated by superimposing the current still image or moving image frame on the still image or moving image frame. Further, the images after the superimposition processing by the synthesizing unit may be sequentially discarded, and only the synthesized panoramic image may be stored in the storage unit, and may be used recursively as a next superimposition target. As a result, it is not necessary to store all of the plurality of input images whose shooting ranges are shifted, and it is possible to store only the panoramic image in the synthesis process, thereby saving storage capacity.
[0014]
Still another preferred embodiment according to the present invention relates to an image pickup apparatus. The apparatus includes an imaging unit that captures an image of a subject, a storage unit that stores a plurality of images captured while gradually shifting an imaging area by the imaging unit, and tracks a local feature point among the plurality of images. A tracking unit; and a combining unit that combines the plurality of images into one panoramic image based on the tracked local feature points.
[0015]
Yet another embodiment of the present invention also relates to an image capturing apparatus. The apparatus includes an imaging unit that captures a moving image of a subject, a storage unit that stores a plurality of frames of a moving image captured while gradually shifting an imaging area by the imaging unit, and a local feature point between the plurality of frames. A tracking unit for tracking, and a combining unit for combining the plurality of frames into one panoramic image based on the tracked local feature points.
[0016]
In any of the above-described image capturing apparatuses, the image capturing unit may capture an image of the subject in a state in which the subject is close to the subject. The imaging unit may manually or automatically capture an image so as to trace the subject surface.
[0017]
Yet another embodiment of the present invention relates to a computer program. This program includes the steps of sequentially inputting images captured while gradually shifting the imaging area, tracking local feature points between the sequentially input images, and based on the tracked local feature points. Compositing the sequentially input images into one panoramic image.
[0018]
It is to be noted that any combination of the above-described components and any conversion of the expression of the present invention between a method, an apparatus, a computer program, a recording medium, and the like are also effective as embodiments of the present invention.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiment 1
FIG. 1 is a configuration diagram of the panoramic photographing system according to the first embodiment. The subject is photographed using the CCD camera 14 connected to the personal computer 12, and the photographed image is displayed on the display 13. By continuously moving or rotating the CCD camera 14 up, down, left, and right, the subject is photographed in a wide field of view and taken into the personal computer 12. The captured image is combined with a panoramic image by a method described below and displayed on the display 13. The synthesized panoramic image is compression-encoded by the personal computer 12 and then recorded on a hard disk or the like.
[0020]
FIG. 2 is a configuration diagram of the image processing apparatus 10 according to the first embodiment. The image processing apparatus 10 is configured inside the personal computer 12 shown in FIG. 1, and can be realized by a CPU, a memory, or another LSI of an arbitrary computer in terms of hardware, and is implemented in a memory in terms of software. It is realized by a loaded program having a panoramic image synthesizing function or the like. Here, functional blocks realized by their cooperation are illustrated. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
[0021]
The image input unit 16 captures an image of a subject captured by the CCD camera 14 and stores the captured image as an input image 28 in the image storage unit 26. The CCD camera 14 continuously shoots a subject while shifting the imaging area, and the image input unit 16 continuously captures images of subjects having different imaging areas as an input image 28. For example, when the user photographs the subject by slightly shifting the CCD camera 14, the image input unit 16 acquires an image of the subject whose imaging area is shifted by several dots from the CCD camera 14 as a new input image 28.
[0022]
The local feature point tracking unit 18 receives an instruction from the image input unit 16 and tracks a local feature point of the input image 28. The local feature point is, for example, a center point of the first input image 28 or a characteristic point around the center point. The local feature point tracking unit 18 tracks the destination of the local feature point of the first input image 28 in the new input image 28. The tracking of the local feature points uses an optical flow in which the tracking range is limited to a local region as described later.
[0023]
The image synthesizing unit 20 performs a process of superimposing a new input image 28 on the first input image 28 based on the moving direction and the moving amount of the local feature point tracked by the local feature point tracking unit 18. The image is stored in the image storage unit 26 as the panoramic image 30. Thereafter, the local feature point tracking unit 18 repeats tracking the destination of the local feature point of the previous input image 28 in the new input image 28, and the image synthesizing unit 20 calculates New input images 28 obtained one after another by the image input unit 16 are sequentially superimposed on the panoramic image 30 to synthesize a panoramic image 30 with a wider field of view. The input images 28 obtained one after another are deleted from the image storage unit 26 when they are combined with the panoramic image 30 so that the storage area is not pressed.
[0024]
The image display unit 22 displays the panoramic image 30 thus synthesized on the display 13. When the user has finished capturing the subject with the CCD camera 14, the image input unit 16 stops taking in the input image 28 from the CCD camera 14, and the panoramic image 30 synthesized at that time is converted to the final Treated as a panoramic image 30, the image compression unit 24 compression-encodes the panoramic image 30 and stores it in the image storage unit 26.
[0025]
FIG. 3 is a diagram illustrating the relationship between the subject and the imaging area 40. The imaging area 40 is a range of a subject which can be photographed by the CCD camera 14, and the imaging area 40 becomes narrower or wider depending on the distance between the CCD camera 14 and the subject. When the CCD camera 14 is moved away from the subject, the imaging area 40 increases, but the resolution of the captured subject image decreases. Conversely, when the CCD camera 14 is moved closer to the subject, the imaging area 40 becomes narrower, but the resolution of the subject image increases. Therefore, the distance between the CCD camera 14 and the subject is determined according to the demand for the resolution of the subject image, and the imaging area 40 may be limited accordingly. In particular, since the CCD camera 14 connected to the personal computer 12 and used is generally not high in resolution, an image with a sufficient resolution cannot be taken unless the subject is taken close to the subject to some extent. Therefore, the imaging area 40 must be narrowed, and the entire subject cannot be photographed. Therefore, the user continuously moves the imaging area 40 up, down, left, and right to photograph the entire subject.
[0026]
4A to 4C show input images 28a to 28c acquired when the imaging area 40 in FIG. 3 continuously moves left and right, and local feature points 42a to 42c on those input images 28a to 28c. FIG. FIG. 4A shows an input image 28a acquired in the imaging area 40 at the start of imaging, in which the center point of the input image 28a is set as the local feature point 42a. FIG. 4B is an input image 28b obtained by slightly shifting the imaging area 40 to the left, and the local feature point 42b is slightly shifted to the right. FIG. 4C shows the input image 28c obtained by further shifting the imaging area 40 to the left, and the local feature point 42c is further shifted to the right.
[0027]
FIG. 4D shows the trajectories of the local feature points 42a to 42c on the continuously captured input images 28a to 28c, and the movement from the first local feature point 42a to the next local feature point 42b. Is indicated by a vector 43b, and the movement to the next local feature point 42c is indicated by a vector 43c.
[0028]
FIGS. 5A to 5D are diagrams illustrating a method of generating the panoramic image 30 by combining the input images 28a to 28c based on the movement of the local feature points 42a to 42c. The moving direction and the moving amount of the input image 28b in FIG. 5B are determined based on the vector 45b having the same size in the opposite direction to the vector 43b in FIG. It is shifted with respect to the input image 28a. By shifting in this manner, the local feature points 42b of the input image 28b in FIG. 5B match the local feature points 42a of the input image 28a in FIG. The input image 28b can be overwritten on the memory by superimposing it on the input image 28a of FIG.
[0029]
Further, the input image 28c in FIG. 5C is similarly shifted based on a vector 45c having the same size in the opposite direction to the vector 43c in FIG. ) Coincides with the local feature point 42b of the input image 28b. Then, the input image 28c of FIG. 5B is superimposed on the input image 28b of FIG. 5B, and the input image 28c of FIG. 5C is further superimposed. In this way, the input images 28b and 28c in FIGS. 5B and 5C are shifted and superimposed one after another to generate a panoramic image 30 using the local feature point 42 as a reference for synthesis, as shown in FIG. 5D. Is done.
[0030]
The local feature point tracking unit 18 of the image processing device 10 automatically tracks the local feature points 42 by optical flow. As an example, the local feature point is a feature point obtained from the center of the first captured image or the periphery of the center, and has a size of 1 × 1 pixel to 4 × 4 pixels. In order to speed up the calculation of the automatic tracking by the optical flow, the smaller the feature point is, the better it is. Ideally, it is preferably one pixel. It may be a small area having a size, and such a case is also referred to as a feature point. Since the purpose is to finely adjust the position between the images taken while gradually shifting the imaging area 40, it is only necessary to provide local feature points of such a minute region as a reference for image synthesis and follow the movement thereof. Works well, and there is no need to track the motion of the entire image with optical flow.
[0031]
Various methods have been conventionally proposed for calculating the optical flow. In the present embodiment, the optical flow is calculated using the Lucas-Kanade method, which has high accuracy and high processing speed. The shading pattern I (x, y, t) at the image coordinate p = (x, y) at a certain time t has moved to the coordinates (x + δx, y + δy) after a certain short time δt while maintaining its shading distribution constant. And The Lucas-Kanade method is one of the spatial local gradient methods assuming that the optical flow is constant within the local region ω of the same object, and the optical flow (u, v) = (δx / δt, δy / δt) is obtained by the following equation.
u = Σ_ω(∂I / ∂x) · [J (p) -I (p)] / Σ_ω(∂I / ∂x)²
v = Σ_ω(∂I / ∂y) · [J (p) -I (p)] / Σ_ω(∂I / ∂y)²
Here, I (p) = I (x, y, t) and J (p) = I (x, y, t + δt). The Lucas-Kanade method is described in detail in the following document. Lucas, B.C. and Kanade, T.W. : AnIterative Image Registration Registration Technique with an Application to Stereo Vision, Proc. DARPA Image Understands Workshop, pp. 121-130 (1981).
[0032]
In the present embodiment, the optical flow is calculated by setting the local area ω as a square area of 10 × 10 pixels, the correspondence between the local feature points 42 between two consecutive input images 28 is obtained, and the local feature points 42 are determined. Chase. Since the user continuously shoots the subject while shifting the imaging area 40 slightly left, right, up and down or in any direction, the search range of the local feature point 42 can be limited to such an extremely small area. Therefore, the optical flow can be calculated at a very high speed, and the tracking of the local feature points 42 can be performed in real time in synchronization with the continuous imaging.
[0033]
As shown in FIGS. 5A to 5C, when the imaging area 40 is continuously shifted to the left, the panoramic image 30 having a wide field of view is gradually generated in the left direction. Shifts rightward on the input image 28, and eventually goes out of the imaging area 40. FIGS. 6A to 6D illustrate a state in which when the initially set local feature point 42 deviates from the imaging area 40, a new local feature point 44 is provided and the generation of the panoramic image 30 is continued. FIG. As shown in FIG. 6A, when the first local feature point 42 no longer exists on the current input image 28a as a result of moving to the left from the imaging area 40, a new local feature point 44 is added to the current input image. It is set to the center point of 28a. FIGS. 6B and 6C show the input images 28b and 28c when the imaging area 40 is further shifted slightly to the left, and the movement of new local feature points 44b and 44c on those images. The input images 28a to 28c in FIGS. 6A to 6C are sequentially superimposed on the panoramic images 30 obtained so far based on the new local feature points 44a to 44c. As a result, as shown in FIG. 6D, the panoramic image 30 using the first local feature point 42 and the new local feature point 44 as a reference for synthesis is obtained.
[0034]
FIGS. 7A to 7C are diagrams illustrating how the panoramic image 30 is generated when the imaging area 40 is shifted in the vertical direction. FIGS. 7B and 7C show input images 28b and 28c when the imaging area 40 is slightly shifted upward from the state where the input image 28a shown in FIG. 5 shows the movement of the local feature points 44b and 44c in FIG. By shifting the input image 28b based on the amount of movement of the local feature point 44b of the input image 28b in FIG. 7B to match the local feature point 44a of the input image 28a in FIG. The input image 28b of FIG. 7B is superimposed on the input image 28a of FIG. Similarly, the input image 28c of FIG. 7 (c) is further superimposed on the input image 28c, and a panoramic image 30 having a wide field of view is obtained as shown in FIG. 7 (d).
[0035]
FIG. 8A shows a state in which the subject is photographed while the imaging area 40 is shifted left, right, up, and down. The moving direction of the imaging area 40 may be oblique. In that case, the direction in which the input image 28 is shifted is oblique. FIG. 8B shows a panoramic image 30 synthesized based on the input image 28 photographed while continuously moving the imaging area 40 as shown in FIG. 8A. In this way, a panoramic image 30 of the entire subject is formed on the memory. The panoramic image 30 obtained in this way is compressed and stored.
[0036]
FIG. 9 is a flowchart showing a panoramic image synthesizing procedure by the image processing apparatus 10. First, the user starts imaging with the CCD camera 14 at the initial position (S10). The image input unit 16 acquires the image of the subject captured in the imaging area 40 at the initial position as the input image 28, and the local feature point tracking unit 18 sets the local feature point 42 on the input image 28 (S12). ). The user moves the CCD camera 14 to continuously shift the imaging area 40 (S14). The CCD camera 14 continuously captures an image of the subject in the continuously changing imaging area 40 (S16).
[0037]
The local feature point tracking unit 18 checks whether or not the previously set local feature point 42 is within the current imaging area 40 (S18). When the previously set local feature point 42 does not exist in the imaging area 40 (N in S18), a new local feature point 44 is set on the current input image 28 (S20). When the previously set local feature point 42 exists in the imaging area 40 (Y in S18), the process proceeds to step S22 without setting a new local feature point 44.
[0038]
In step S18, after the local feature point 42 deviates from the imaging area 40, it is complicated to check whether or not the local feature point 42 is in the current imaging area 40. Therefore, when the local feature point 42 approaches the end of the current input image 28 acquired by the image input unit 16, the local feature point 42 is expected to deviate from the imaging area 40, and a new new local feature point is obtained. 44 may be reset to the center of the current input image 28.
[0039]
The local feature point tracking unit 18 tracks the local feature point 42 or 44 on the current input image 28 (S22). The image synthesizing unit 20 further superimposes and synthesizes the current input image 28 on the panorama image 30 obtained so far based on the tracked local feature points 42 or 44 (S24). Thereafter, the processing from S14 to S24 is repeated until the user ends the photographing of the subject using the CCD camera 14.
[0040]
As described above, according to the embodiment of the present invention, a panoramic image having a wide field of view is generated in real time based on an image captured while moving the CCD camera 14 up, down, left and right, and confirmed on the screen of the personal computer 12. can do. There is no need to move the CCD camera 14 away from the subject in order to capture a panoramic image, and the subject can be photographed with the CCD camera 14 approaching the subject, and a large-sized panoramic image can be generated based on the high-resolution captured image. . In addition, since a panoramic image can be taken with a small CCD camera without using a special camera having a wide-angle lens, it can be realized at low cost. For example, when photographing a sheet of paper on which characters are written, in order to photograph the entire sheet at once with a CCD camera, the CCD camera must be moved away from the sheet of paper. Reading characters on it becomes difficult. However, in the present embodiment, a high-resolution panoramic image in which characters can be clearly read can be generated by shooting the CCD camera close to the paper surface and tracing the paper surface.
[0041]
Embodiment 2
FIG. 10 shows a configuration of a digital camera 200 according to the second embodiment. The digital camera 200 includes an imaging block 202, a mechanism control block 204, a processing block 206, an LCD monitor 208, and operation buttons 210.
[0042]
The imaging block 202 includes a lens 210, a CCD 212, and a signal processing unit 214. A subject forms an image on the light receiving surface of the CCD 212 through the lens 210. Electric charges are accumulated in the CCD 212 in accordance with the light amount of the subject image, and are read out as voltage signals. The voltage signal is decomposed into RGB components by the signal processing unit 214, and white balance adjustment and gamma correction are performed. Thereafter, the RGB signals are A / D converted and output as digital image data to the processing block 206. The mechanism control block 204 controls an optical system such as zoom, focus, and aperture of the lens 210 of the imaging block 202.
[0043]
The processing block 206 has a card interface 224 and an external interface 226 in addition to the CPU 220 and the memory 222 used for controlling the entire digital camera 200. Among these, a part of the function of the CPU 220 and the panorama image synthesizing program loaded into the memory 222 correspond to the image processing apparatus 10 of the first embodiment, and perform the panorama image synthesizing process described in the first embodiment. . Further, the image storage unit 26 of the first embodiment is realized by using a part of the memory 222. The combined panoramic image data stored in the memory 222 is compression-encoded and written to the memory card 230 via the card interface 224.
[0044]
The external interface 226 exchanges data with an external device such as a printer or a personal computer by an individual interface. Thereby, the encoded panoramic image data is output to the external device. The external interface 226 may control protocol conversion and the like according to standard communication specifications, and may exchange image data with an external device via a network.
[0045]
The LCD monitor 208 displays the subject image of the current imaging area stored in the memory 222. Further, by switching the display mode using the operation button 210, the LCD monitor 208 can display a panoramic image in the process of being synthesized or a panoramic image finally obtained. Further, the LCD monitor 208 displays a shooting / playback mode, a zoom magnification, date and time, and the like, in addition to the subject image. The operation buttons 210 include a power switch, a release switch, and the like for the user to take a picture or set various operation modes.
[0046]
When the user selects the panorama shooting mode using the operation button 210, the image processing device 10 built in the processing block 206 performs the panorama image synthesis processing described in the first embodiment. Further, the configuration may be such that the user can use the operation buttons 210 to give an instruction to set a new local feature point during shooting of the subject. Normally, local feature points are automatically extracted and set near the center of the imaging area. However, the user can use the operation buttons 210 to set points and regions that become local feature points on the image of the subject. You may comprise so that it can be performed.
[0047]
According to the present embodiment, a panoramic image can be shot using a normal digital camera without using a special driving device. This eliminates the need to combine a plurality of images taken in different fields of view with a personal computer or the like, and makes it possible to easily take panoramic images.
[0048]
Note that such a digital camera 200 can be miniaturized and mounted on a camera unit of a portable terminal such as a PDA or a mobile phone. In particular, since a small and low-resolution CCD camera is used in a mobile phone, a method of synthesizing a panoramic image while moving an imaging area as in the present embodiment is easy to realize in terms of cost, and a very simple process provides good quality. Panoramic shooting becomes possible.
[0049]
The present invention has been described based on the embodiments. These embodiments are exemplifications, and it is understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and that such modifications are also within the scope of the present invention. By the way. Hereinafter, such a modified example will be described.
[0050]
In the above description, a plurality of images taken by a camera are taken to generate a panoramic image.However, a plurality of frames are extracted from a moving image taken by a digital video, and a panoramic image is generated based on the extracted frames. You may. A plurality of frames whose imaging areas have continuously changed can be extracted from a moving image captured while changing the field of view, and the plurality of frames can be combined with a panoramic image by a similar method. In particular, if the present invention is applied to a surveillance camera or a Web camera, a panoramic image can be automatically generated from a moving image that is constantly photographed and used for monitoring and other purposes.
[0051]
【The invention's effect】
According to the present invention, a panoramic image can be easily generated.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a panoramic photographing system according to a first embodiment.
FIG. 2 is a configuration diagram of an image processing apparatus according to the first embodiment.
FIG. 3 is a diagram illustrating a relationship between a subject and an imaging area.
FIG. 4 is a diagram illustrating movement of a local feature point on an input image.
FIG. 5 is a diagram illustrating a method of generating a panoramic image by synthesizing an input image based on the movement of a local feature point.
FIG. 6 is a diagram illustrating a method of generating a panoramic image by combining a input image with a new local feature point.
FIG. 7 is a diagram illustrating a method of generating a panoramic image when an imaging area is shifted in a vertical direction.
FIG. 8 is a diagram illustrating a panoramic image generated by photographing a subject while shifting the imaging area left, right, up, and down.
FIG. 9 is a flowchart showing a panoramic image synthesizing procedure by the image processing apparatus according to the first embodiment.
FIG. 10 is a configuration diagram of a digital camera according to a second embodiment.
[Explanation of symbols]
Reference Signs List 10 image processing device, 12 personal computer, 13 display, 14 CCD camera, 16 image input unit, 18 local feature point tracking unit, 20 image synthesis unit, 22 image display unit, 24 image compression unit, 26 image storage unit, 28 inputs Images, 30 panoramic images, 40 imaging areas, 42 local feature points.

Claims

By photographing the subject while gradually shifting the imaging area, and tracking the destination of the local feature point of the photographed image on the continuously photographed image, it is possible to synthesize the continuously photographed image into one panoramic image. Characteristic panorama shooting method.

The panoramic imaging method according to claim 1, wherein a destination of the local feature point is searched for by obtaining an optical flow of the local feature point only in a vicinity of the local feature point.

The panoramic imaging method according to claim 1, wherein a new local feature point is set in a current imaging area in response to a situation where the local feature point deviates from the imaging area.

4. The panoramic photographing method according to claim 1, wherein the photographed image is photographed by gradually moving the camera while bringing the camera close to the subject. 5.

An input unit for inputting a plurality of images taken while gradually shifting the imaging area,
A storage unit for storing the plurality of images,
A tracking unit that tracks local feature points between the plurality of images,
A synthesizing unit for synthesizing the plurality of images into one panoramic image based on the tracked local feature points.

The input unit sequentially receives an input of an image whose imaging area gradually changes, and the tracking unit searches for a point corresponding to a local feature point of a previous input image in a current input image, and The image processing apparatus according to claim 5, wherein the unit generates the panoramic image by superimposing a current input image on a previous input image based on the correspondence.

The input unit receives an input of a moving image in which an imaging area gradually changes, and the tracking unit searches for a point corresponding to a local feature point of a previous moving image frame in a current moving image frame. The image processing apparatus according to claim 5, wherein the panorama image is generated by superimposing a current moving image frame on a previous moving image frame based on the correspondence relationship.

7. The image after superimposition processing by the synthesizing unit is sequentially discarded, and only the synthesized panoramic image is stored in the storage unit, and is used recursively as a next superimposition target. Or the image processing device according to 7.

8. The image processing apparatus according to claim 6, wherein the tracking unit searches for a point corresponding to a local feature point of the immediately preceding input image by limiting the point to the vicinity of the local feature point.

The image processing apparatus according to claim 5, wherein the tracking unit tracks the local feature point based on an optical flow.

The image processing apparatus according to claim 5, wherein the plurality of images are captured by gradually moving the camera in a state where the camera is close to a subject.

An imaging unit that captures an image of a subject;
A storage unit that stores a plurality of images captured while gradually shifting the imaging area by the imaging unit;
A tracking unit that tracks local feature points between the plurality of images,
A synthesizing unit for synthesizing the plurality of images into one panoramic image based on the tracked local feature points.

An imaging unit that captures a moving image of a subject;
A storage unit that stores a plurality of frames of a moving image captured while gradually shifting the imaging area by the imaging unit;
A tracking unit that tracks local feature points between the plurality of frames;
A synthesizing unit that synthesizes the plurality of frames into one panoramic image based on the tracked local feature points.

Sequentially inputting the captured images while gradually shifting the imaging area;
Tracking local feature points between the sequentially input images;
Combining the sequentially input images based on the tracked local feature points into one panoramic image.