JP2007510346A - パノラマ又はモザイク機能を有するデジタルカメラ - Google Patents

Abstract

デジタルカメラはメモリーとスキャンモードとを有する。このスキャンモードでは、カメラは一連の静止写真群を撮影する。連続する写真群の中から次にメモリーに保存される１枚が、メモリーに保存された先の１枚の写真との写真内容に関する重なり量に基づいて選択される。カメラは合成写真を創出するためにメモリーに保存された写真群を処理する。

Description

本発明はデジタルカメラ、及びデジタルカメラを有する電子装置、並びにデジタルカメラを用いて合成写真を創出することを可能とする方法に関する。

デジタルの半導体カメラは急速に伝統的なアナログカメラを置き換えている。価格は大衆市場の水準まで下がってきており、ユーザが撮像処理及び最終画像をかつてないほど制御できるように、伝統的なアナログ領域では聞いたことのない特色が付加されつつある。現在、デジタルカメラは、画像ファイルを転送するためにパーソナルコンピューター（PC）と接続するように設計され、商業的に利用可能となっている。これらのファイルは静止画ファイル（例えばJPEGファイル）の他に動画ビデオファイル（例えばクイックタイムファイル）も含むことができる。このようなデジタルカメラはデジタルの静止画及び動画ビデオセグメントを記録することができ、並びに画像を例えばフラッシュEPROM（消去可能なプログラマブル読出し専用メモリー）等のメモリーを用いて保存することができる。また、デジタルカメラはますます頻繁に他の装置と集積化されている。移動電話等の装置は標準装備として現在カメラチップを備えてきている。市場レポートは2002年には世界で約2千万台の所謂“カメラ付き携帯電話”が売られると予測する。内蔵デジタルカメラは離れたグループ間でスナップ写真を瞬時に共有することを可能にする。同様の特定用途向けカメラチップの傾向が携帯情報端末（PDA）市場でも現れてきている。半導体カメラはこのように家庭用電化製品（CE）環境すなわち大衆市場においてコモディティ化してきており、ブランド所有者は付加機能を提供する魅力的な特徴によって自社の製品を差異化しようとしている。

上記の一例として、メモリーを有し、個々の静止デジタル画像を生成するための第1モードと、パノラマデジタル画像を構築する際に使用される重なりを持つデジタル画像シリーズを撮像するための第2モードとで動作可能なデジタルカメラを提供することによってパノラマデジタル画像を創出する技術が開示されている（特許文献１参照）。デジタルカメラはスタンドに載せられ、一続きの所定の位置を通ってスタンド上を回転し、第2モードにおいて重なりを持つデジタル画像シリーズを撮像するように動作する。パノラマデジタル画像に対応する重なりを持つデジタル画像シリーズはメモリーの所定の位置に保存され、パノラマデジタル画像を創出するためにこれらの画像を縫い合わせるように処理される。
米国特許出願公開第2003/095193号明細書

従来のカメラは、ユーザが正確にパノラマ画像を創出するための特定の手順に従うことを要求する。加えて、カメラは三脚又はその他の安定なスタンドを必要とする。本発明は、従来のパノラマ画像を創出するためのデジタルカメラの代替となる、より使いやすいカメラを提供することを課題とする。

例えば景色や建物の外観等を被写体とする画像を記録するために、カメラが写真群を撮影している間にユーザがカメラを一振り（スイープ）して被写体を走査（スキャン）する。スイープが完了すると、カメラはパノラマ又はモザイク写真を創出するために撮影された写真群を縫い合わせる。

より詳細には、本発明はメモリー、及びカメラが一連の静止写真群を撮影する動作モードを有するデジタルカメラに関する。一連の写真群の中の次の１枚が、メモリーに保存された先の１枚の写真との写真内容に関する重なり量に基づいて、メモリーに保存されるために選択される。カメラは、例えばパノラマ又はモザイク等の合成写真を創出するために、メモリーに保存された写真群を処理する。カメラは、スイープ中にそれぞれの写真を撮影していくとき、その時々でのカメラの相対座標を表す情報を求めるため、センサーを有することが好ましい。このようなセンサーは、例えばそれらの出力からカメラの位置が得られる加速度計又は回転速度計を有する。この情報は、もし、例えば、幅広なだけでなく高さもある被写体をスキャンするためにスイープが蛇行経路を辿るような場合、合成写真を創出する制御のために用いることができる。この情報はまた、例えばカメラとスキャンされた被写体の該当領域との間の予測距離についての情報と併用して、次の写真を決定するために利用することができる。後者である距離は、例えば自動焦点機能を有するカメラの焦点設定に基づいて自動的に予測することができる。また、例えば、ユーザに撮影結果のフィードバックを提供するために、カメラは合成写真内の領域で一連の写真群では覆うことができていない領域を検出する検出器を有することが好ましい。もし、写真撮影後にユーザが写真を確認できる表示画面（ビューア）がカメラに付いているならば、それまでに作り出された合成写真の縮小版が同様に提供され得る。そして、如何なる隙間も容易に見つけられ、ユーザはその隙間を覆う追加写真を撮ることができる。ユーザはガイドに従い、例えば実時間の画像を表示画面に重ねることにより、すなわち、カメラが向けられ記録されようとしている画像を隙間の隣の撮影済みの1枚又はそれより多い画像の部分に重ねることにより、適当な領域にカメラを向けることができる。

本発明の更なる実施形態では、上述のカメラが移動電話、パームトップコンピュータ又はPDA等の電子装置に内蔵あるいは別の方法で機能的に統合される。

カメラで処理された画像を有する利点の１つは、撮影結果が満足いくものであるかどうかを決めるために、ユーザがほぼ即座に結果を試し見（プレビュー）できることである。例えば、2次元でのスイープを用いる場合、ユーザがスキャンする被写体の領域を誤るかもしれないが、そのようなために上述の解法が提供される。別の利点は、本発明のカメラは自分のことは自分でできることにある。撮影された写真をPCにダウンロードすること、及び、それらをPC上で後処理することはもはや必要ではない。このようにして、パノラマ及びモザイク機能を有する低コストデジタルカメラが提供される。

本発明はまたデジタルカメラを用いた合成写真の創作方法に関する。この方法は一連の静止写真群を撮影すること、一連の写真群の中の次の１枚を、メモリーに保存された先の１枚との写真内容に関する重なり量に基づいて選択すること、を有する。保存された写真群は合成写真を創出するために処理される。この方法は、それぞれの写真を撮影していくとき、その時々でのカメラの相対座標を表す情報を求めることを有することが好ましい。この情報は縫い合わせアルゴリズムを用いて合成写真を創出する制御のため、及び／又は、次に保存されるべき写真を決定するために用いられる。この方法は合成写真内の領域でメモリーに保存された写真群では覆うことができていない領域を識別するステップを有することが好ましい。

完全を期すため、特許文献WO0195109「画像を結合して合成画像にする方法及び装置」を参照する。この文献は、3次元（３D）シーンの投影として画像を結合する装置によって形成された、重なりを有する2次元（２D）画像を結合する装置及び方法に関する。特に、結合するためのステップは、２D画像の1つの投影変換による画像の登録を含み、変換は両画像間で発見される対応する特徴から得られる。精度及び安定性の改善を達成するために、対応する特徴点の座標が選ばれ、又は、座標値の計算範囲が概して最小化されるように変換される。装置は付属の画像取得装置を備え適当に設定された画像処理装置又はコンピュータを有する。1つの実施例に診断用X線装置がある。

図面を参照し、実施例によって本発明について詳細に説明する。全図面を通して、同一の参照符号は同様の又は対応する特徴を示す。

図1は本発明に従った、好ましくは手で支える、デジタルカメラ100のブロック図である。この実施例におけるカメラはビデオカメラと対照的なものである静止画デジタルカメラである。カメラ100は画像センサー102、キャッシュメモリー（以下、キャッシュと称する）104、メモリー106、データ処理装置108、及び表示装置又はビューア110を有する。処理装置108は位置及び／又は方位センサー112、重なり制御装置114、画像縫い合わせソフトウェア116及び隙間検出器118を有する。

センサー102は例えば電荷結合素子（CCD）等の半導体画像検出素子（図示せず）を有し、被写体の光学像をデジタルデータに変換する。CCDが用いられる場合、センサー102はCCDのアナログ出力信号をデジタルデータに変換するためのA/Dコンバータ（図示せず）を有する。センサー102は当該センサーからのデジタルデータを保存するキャッシュ104に接続される。ユーザがカメラのシャッターボタンを押し下げると（図示せず）、処理装置108は所謂全画素読み出しを実行するようにCCDを制御する。全画素読み出しにて、データが一時的にキャッシュ104に保存される。そこから、データは処理装置108の制御の下でメモリー106に転送される。メモリー106は、例えば取り外し可能なメモリーカード又は小型のハードディスクドライブ（HDD）等を有する。表示装置110は、メモリー106に保存された画像だけでなく、例えば適切な被写体を焦点に合わせたり、検出したりしている間、センサー102によって記録される画像をユーザに表示する。ここまでの動作は公知のデジタルカメラと似通っている。

本発明に係るカメラ100は、ここではスキャンモードと称する動作モードを有する。スキャンモードでは、カメラの光学部品（図示せず）を用いた１枚の画像で撮像できる範囲より広い範囲を覆う一連の画像群が撮像される。このため、被写対象の領域を一緒になって覆う写真群を撮影し得るように、カメラが移動され、かつ／あるいはユーザによってその向きに変えられなければならない。動作は以下になる。

スキャンモードでは、カメラ100はユーザによって、累積された視野が或る領域を覆うような経路に沿ってスイープされる。例えば、カメラ100はユーザによって、博物館で展示される大きな連結式蒸気機関車を撮像するために左から右に、あるいは、アメリカスギの木を撮像するために下から上へ、ある経路に沿ってスイープされる。メモリー106に転送される最初の写真が撮影される。スイープの間カメラは写真群を撮り続ける。センサー102及びキャッシュ104のリフレッシュ速度は、人間がカメラを保持する腕や手首を動かし得る典型的な早さが与えられたとき、最初の写真と重なりを有する多数の写真がスイープの間に撮影可能な速度にされる。重なり制御装置114は、これら後の写真と最初の写真との重なりを導出し、ある最小の又はその他の望ましい重なり量を有する写真をメモリー106に転送させる制御を行う。この最終的な写真が2番目の写真となる。カメラ100は写真群を撮影し続け、重なり制御装置114は同様に2番目の写真に関してメモリーに転送されるべき3番目の写真を選択し、最後の写真まで続けられる。最後の写真はスキャンモードが終了した瞬間に関係する。スキャンモードの終了は、例えば、ユーザがスイープの間ずっと押し下げていたボタン（図示せず）を離すこと、及び／又はカメラ筐体の動きを止めることによって為される。単純な水平スイープでは、メモリー106の写真の順番は線形になる。画像処理分野で公知の古くからの縫い合わせアルゴリズム116が処理装置108上で実行され、メモリー106から利用可能な重なり写真群から合成写真が作り出される。

重なり制御装置114は連続する写真間の重なりを制御する。制御装置114は、例えば、予想される重なり領域で、連続する写真の整合画素を探すアルゴリズムによって実施される。もし、センサー112が、カメラ100が右に動いていること及び好ましくは現在速度を検出し、また、スキャンされる被写体のカメラからの距離についての情報をも有するならば、カメラのレンズ（図示せず）で覆われる角度が与えられ、予想される重なり領域は最小化され得る。先述の距離は、例えば焦点設定に基づいて予測可能である。センサー112は、例えば、ホール効果等に基づいて地球磁場に対する相対速度を求められる、単純な加速度計又は回転速度計等を有する。あるいは、すぐ前にメモリー106に保存された写真の画素に対するキャッシュ104内の写真の画素の相対速度（単位時間における或る方向への実際上の画素変位）は、連続する写真をビデオ画像処理で知られている動き予測アルゴリズムにかけることよって測定され得る。重なり量は速度に依存するので、重なりが決定される。

望ましい重なり量は、好ましくはプログラムでき、例えば照明の状況や詳細を描写する写真の高周波成分に依存して自動的になされる、あるいは、ユーザが選択できる。

別の例として、例えば、面白い建造物の外観又は接近した物体を覆うように、カメラ100はユーザによって、実質的に鉛直平面にある蛇行するような経路を辿らされる。撮影された写真を順序付けることは線形なものであるが、その線形な順序を配置することは最終的な合成写真を形成する2次元配列にて行われる。このとき縫い合わせは2次元領域の境界線ではなく写真の四方全てで発生する。これは、縫い合わせを行わせるためには、メモリー106への転送のために連続して選択された各写真の相対的な2次元位置が決定される必要があることを意味する。このため、処理装置108は、蛇行スイープ間にカメラ100によって辿られた経路又はカメラの焦点位置を求めることを可能とする位置又は方位センサー112を備える。センサー112は、例えば（カメラボディの垂直及び水平方向の加速度のための、並びに、好ましくは回転（pan）及び傾斜(tilt)角の相対変化を求めるための）単純な加速度計と、検出された加速度を2階時間積分して経路を求める回路とを有する。回転及び傾斜の動きは、例えば、対照的な方向の加速度を記録する対をなす加速度計を用いて決定され得る。従って、メモリー106に転送するために選択された写真は、相対的な垂直・水平座標を有するこの経路に沿うマークと結び付けることができる。これにより、線形な順序を2次元配列に配置することが可能となる。

図2及び3は本発明に従ったプロセス200を例示するフローチャートである。ステップ202において、ユーザによってカメラ100のスキャンモードボタンが押し下げられ、あるいは、他の何かによってカメラ100がスキャンモードに入り、スイープが開始する。ステップ204において、最初の写真が撮影されメモリー106に保存される。カメラ100は写真群を撮影し続ける。キャッシュ104にある次の写真がステップ206においてアクセスされ、ステップ208においてメモリー106に保存された最初の写真と比較される。ステップ210において、現在キャッシュ104にある写真が最初の写真に対して許容される重なりを有するかどうかが決定される。例えば、重なりが大きいと、次の写真すなわち１つ間をおいた2つ後の写真を採る方が良いかもしれず、その写真がキャッシュ104に一時的に格納されていた先の写真を置き換えるためにロードされる。これは合成写真を創出するために必要な写真の数を減少させ、カメラに積載されたメモリー106を効率的に使用するために役に立つ。もし、重なりが許容されないと、プロセス200はステップ206に戻る。もし、重なりが許容されると、ステップ212において、現在キャッシュ104にある写真がメモリー106に転送される。ステップ214において、スイープが完了したかどうか決定される。これは、例えば、スイープ動作が止まったこと又はカメラのスキャンモードボタンが離されたことを登録することによって為される。あるいは、１回のスイープでメモリー106に保存されるべき写真の最大数がユーザによって設定されてもよい。もし、スイープがまだ続けられていると、プロセス200はステップ206に戻る。もしスイープが完了していたら、プロセス200はステップ206に進み、メモリー106に蓄積された写真群が上述のように合成画像を創出するために縫い合わされる。ステップ218において、合成画像が１つ又はより多くの隙間を有するかどうか、すなわち、画素データが欠けている合成画像の拡張された領域があるかどうかが決定される。例えば、領域の境界線からの単純な補間で欠損画素を満たすことができる（ステップ216のサブルーチンでなし得る）といった意味で領域が拡張されていなければ、あるいは、隙間が存在しないならば、プロセス200はステップ220において終わりとされる。もし、隙間があれば、プロセス200はステップ222に行き、例えば上述の重ね表示手順を用いて、欠損領域がユーザに示される。そして、欠損領域を覆う追加写真が撮影されメモリー106に転送される。その上で、プロセス200はステップ216に戻り追加写真がそれまでに作成されていた合成写真に統合される。ここで、統合される追加写真の位置は、重ね表示手順において既に判明している。

スイープ終了の際にメモリー内の写真を互いに縫い合わせ始めることに代わって、処理装置108がメモリー106に保存された写真の座標を決定し、幾つか又は全ての写真がスイープ中に既に互いにつなぎあわされていてもよい。

本発明に係るカメラのブロック図である。 本発明に係る方法を例示するフローチャートである。 本発明に係る方法を例示するフローチャートである。

Claims (11)

1. メモリーを有するデジタルカメラであって：
   当該カメラが一連の静止写真群を撮影し；
   前記一連の写真群の中の次の１枚が、前記メモリーに保存された写真群の中の先の１枚との写真内容に関する重なり量に基づいて、前記メモリーに保存されるために選択され；かつ
   当該カメラが合成写真を創出するために前記メモリーに保存された前記写真群を処理する；
   動作モードを有するデジタルカメラ。
2. 請求項１に記載のデジタルカメラであって、前記一連の写真群のそれぞれの1枚を撮影したときの当該カメラのそれぞれの相対位置を表す情報を求めるためのセンサーを有するデジタルカメラ。
3. 請求項２に記載のデジタルカメラであって、縫い合わせアルゴリズムを用いて前記合成写真を創出する制御を行うために前記情報が用いられるデジタルカメラ。
4. 請求項２に記載のデジタルカメラであって、前記次の１枚を決定するために前記情報が用いられるデジタルカメラ。
5. 請求項１に記載のデジタルカメラであって、前記メモリーに保存された写真群によって覆われない前記合成写真中の領域を検出するための検出器を有するデジタルカメラ。
6. 請求項１に記載のデジタルカメラを内蔵した電子装置。
7. デジタルカメラを用いて合成写真を創出する方法であって：
   一連の静止写真群を撮影する工程；
   前記一連の写真群の中の次の１枚を、保存された写真群の中の先の１枚との写真内容に関する重なり量に基づいて、保存されるために選択する工程；及び
   合成写真を創出するために前記保存された写真群を処理する工程；
   を有する方法。
8. 請求項７に記載の方法であって、前記一連の写真群のそれぞれの1枚を撮影したときの前記カメラのそれぞれの相対位置を表す情報を求める工程を有する方法。
9. 請求項８に記載の方法であって、縫い合わせアルゴリズムを用いて前記合成写真を創出する制御を行うために前記情報を用いる工程を有する方法。
10. 請求項８に記載の方法であって、前記次の１枚を決定するために前記情報を用いる方法。
11. 請求項７に記載の方法であって、前記保存された写真群によって覆われない前記合成写真中の領域を識別する工程を有する方法。

Images